JP2004237022A - 情報処理装置および方法、プログラム、並びに記録媒体 - Google Patents

情報処理装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP2004237022A
JP2004237022A JP2003040993A JP2003040993A JP2004237022A JP 2004237022 A JP2004237022 A JP 2004237022A JP 2003040993 A JP2003040993 A JP 2003040993A JP 2003040993 A JP2003040993 A JP 2003040993A JP 2004237022 A JP2004237022 A JP 2004237022A
Authority
JP
Japan
Prior art keywords
information
terminal
user
unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003040993A
Other languages
English (en)
Inventor
Masumi Ono
真澄 小野
Mikio Kamata
幹夫 鎌田
Masamichi Asukai
正道 飛鳥井
Kazunori Omura
和典 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003040993A priority Critical patent/JP2004237022A/ja
Priority to PCT/JP2003/012758 priority patent/WO2004053702A1/ja
Priority to CN2003801002127A priority patent/CN1692341B/zh
Priority to KR1020047012342A priority patent/KR100994906B1/ko
Priority to EP03748712A priority patent/EP1574961A4/en
Priority to US10/503,121 priority patent/US7548891B2/en
Publication of JP2004237022A publication Critical patent/JP2004237022A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/217—Input arrangements for video game devices characterised by their sensors, purposes or types using environment-related information, i.e. information generated otherwise than by the player, e.g. ambient temperature or humidity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/58—Controlling game characters or game objects based on the game progress by computing conditions of game characters, e.g. stamina, strength, motivation or energy level
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081—Input via voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/206—Game information storage, e.g. cartridges, CD ROM's, DVD's, smart cards
    • A63F2300/208—Game information storage, e.g. cartridges, CD ROM's, DVD's, smart cards for storing personal settings or data of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/57—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
    • A63F2300/572—Communication between players during game play of non game information, e.g. e-mail, chat, file transfer, streaming of audio and streaming of video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/65—Methods for processing data by generating or executing the game program for computing the condition of a game character

Abstract

【課題】情報処理装置を用いて、生体情報などの非定義情報から、使用者の感情・状態を特定できるようにする。
【解決手段】入力部９１で使用者の脈拍情報と体動情報を取得し、特徴抽出部１１２において、脈拍情報と体動情報の特徴量ベクトルを生成する。学習部９４において、生成された特徴量ベクトルと蓄積部９５に蓄積された特徴量ベクトルを比較し、使用者の感情・状態を特定し、出力制御部１１４を経由して出力部９２へ出力する。また、新たに生成された特徴量ベクトルを蓄積部９５に蓄積されたベクトルに加えて、ベクトルの分布、分布の中心、標準偏差を再計算し、蓄積部９５に蓄積する。
【選択図】 図５

Description

【０００１】
【発明の属する技術分野】
本発明は情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、使用者の個性を反映する様々な情報から特徴を抽出し、学習を行い、その学習結果をもとに、使用者の感情、状態、およびその強度を特定することができるようにした情報処理装置および方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
従来、情報処理装置を用いたコミュニケーションとして、電話、メール、チャットなどが用いられている。情報処理装置を介さない対面時におけるコミュニケーションでは、言葉を用いた意味伝達のみならず、表情、動作、気配など様々な手段で、感情、状態などの情報も伝達される。それに対して、電話、メール、チャットなどは、主に、言葉を用いた意味伝達には有効であるが、言葉で表現されていない感情、状態、気配などを伝える事はできない。また、インターネット上で行われているバーチャルコミュニケーションにおいては、アバターと言われるコンピュータ合成画像なども用いられているが、人の感情を十分表現するには到っていない。
【０００３】
このように、現状では、情報処理装置を用いたコミュニケーションにおいて、極めて制限された情報のやり取りが行われているに過ぎない。
【０００４】
そこで、音声情報、画像情報、バイタルサイン（生体情報）といった情報を通信し、それらの情報をもとに操作者の心理や生理状態を推定し、推定量を出力する通信装置が、提案されている。（例えば、特許文献１参照）
【０００５】
【特許文献１】
特開２００２−３４９３６号公報
【０００６】
【発明が解決しようとする課題】
特許文献１の技術では、使用者の生体情報について各平均値からのずれが算出され、その結果から操作者の感情や状態を推定されている。しかし、このような単純な推定アルゴリズムを用いて人間の感情や状態を“喜”“怒”“哀”“楽”などに一義的に推定した結果は、必ずしも正しいと言えず、このような推定結果を表示する事は、操作者ならびに操作者間に誤解を生じさせ、かえってコミュニケーションの阻害要因となるおそれがある。
【０００７】
また、情報の表示に関しては、表、グラフ、または図形を用いる、顔の表情、色などを変化させて表示する、音声あるいは音情報を加工するといった方法が示されているが、生体情報から推定される感情や状態、更には、人の動作や気配などの情報を表示する方法としては不十分であるという課題があった。
【０００８】
本発明は、使用者の感情や状態を、その強度とともに特定することを可能にする。また、非言語的情報を用いてコミュニケーションができるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の情報処理装置は、非言語的情報と言語的情報の入力を受け付ける入力受付手段と、入力された非言語的情報を言語的情報に関係付けて、使用者の感情を学習する学習手段と、学習手段による学習の結果得られた情報を蓄積する蓄積手段と、入力された非言語的情報、または蓄積された非言語的情報を所定の信号に変換し、出力する出力手段とを備えることを特徴とする。
【００１０】
前記学習手段は、使用者の感情を、その強度とともに学習することができる。
【００１１】
前記学習手段は、新たに非言語的情報が入力されたとき、蓄積手段に蓄積された非言語的情報に基づいて、使用者の感情を特定し、出力手段は、学習手段が特定した結果を出力することができる。
【００１２】
前記蓄積手段は、学習手段により特定された感情に対応する非言語的情報を、蓄積手段に蓄積された非言語的情報に付加してさらに蓄積することができる。
【００１３】
非言語的情報の特徴を表す変数を生成する変数生成手段をさらに備え、学習手段は、生成された変数を統計的に処理し、変数を蓄積手段に蓄積することができる。
【００１４】
前記学習手段は、入力された非言語的情報から変数生成手段が生成した変数と、蓄積手段に蓄積された変数を比較して、使用者の感情を特定することができる。
【００１５】
前記入力手段は、非言語的情報として、使用者の脈拍情報、または体動情報の入力を受け付けることができる。
【００１６】
前記入力手段は、非言語的情報として、使用者の打鍵による振動情報の入力を受け付けることができる。
【００１７】
前記入力手段は、非言語的情報として、使用者のマウス握り圧情報、または環境温度情報の入力を受け付けることができる。
【００１８】
本発明の情報処理装置は、オンラインゲームを行うゲーム機とすることができる。
【００１９】
前記入力手段は、非言語的情報としてゲーム機のコントローラの加速度情報、または握り圧情報の入力を受け付けることができる。
【００２０】
前記出力手段は、蓄積された非言語的情報のうち、使用者が指定した特定の非言語的情報を抽出し、抽出された非言語的情報を所定の信号に変換し、使用者が指定する他のゲーム機に出力することができる。
【００２１】
本発明の情報処理方法は、非言語的情報と言語的情報の入力を受け付ける入力受付ステップと、入力された非言語的情報を言語的情報に関係付けて、使用者の感情を学習する学習ステップと、学習ステップの処理による学習の結果得られた情報を蓄積する蓄積ステップと、入力された非言語的情報または、蓄積された非言語的情報を所定の信号に変換し、出力する出力ステップとを含むことを特徴とする。
【００２２】
本発明のプログラムは、非言語的情報と言語的情報の入力の受け付けを制御する入力受付制御ステップと、入力された非言語的情報を言語的情報に関係付けて、使用者の感情の学習を制御する学習制御ステップと、学習制御ステップの処理による学習の結果得られた情報の蓄積を制御する蓄積制御ステップと、入力された非言語的情報または、蓄積された非言語的情報の所定の信号への変換、出力を制御する出力制御ステップとをコンピュータに実行させることを特徴とする。
【００２３】
本発明の記録媒体は、非言語的情報と言語的情報の入力の受け付けを制御する入力受付制御ステップと、入力された非言語的情報を言語的情報に関係付けて、使用者の感情の学習を制御する学習制御ステップと、学習制御ステップの処理による学習の結果得られた情報の蓄積を制御する蓄積制御ステップと、入力された非言語的情報または、蓄積された非言語的情報の所定の信号への変換、出力を制御する出力制御ステップとをコンピュータに実行させるプログラムが記録されていることを特徴とする。
【００２４】
本発明の情報処理装置および方法、プログラム並びに記録媒体においては、非言語的情報と言語的情報の入力が受け付けられ、入力された非言語的情報が言語的情報に関係付けられ、使用者の感情が学習される。入力された非言語的情報、または蓄積された非言語的情報が所定の信号に変換され、出力される。
【００２５】
なお、以上において感情とは、喜び、嫌悪のような感情だけを表すものではなく、活性、安定のような状態を含めて表すものである。
【００２６】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して説明する。図１は本発明の情報処理装置を利用したコミュニケーションシステムの構成を示す図である。
【００２７】
本発明の情報処理装置である端末１、端末２、および端末３はそれぞれネットワーク１１に接続され、互いに情報通信を行うことが可能である。
【００２８】
端末１（端末Ａ）、端末２（端末Ｂ）、端末３（端末Ｃ）にはそれぞれ、情報の入力を受け付ける入力部９１Ａ乃至９１Ｃ、入力された情報を処理する処理部９３Ａ乃至９３Ｃ、入力された情報から使用者の感情、状態、およびその強度を学習、特定する学習部９４Ａ乃至９４Ｃ、学習部によって学習、特定された情報を蓄積する蓄積部９５Ａ乃至９５Ｃ、学習部によって特定された情報、または蓄積部に蓄積された情報を出力する出力部９２Ａ乃至９２Ｃ、情報の送受信を行う通信部９６Ａ乃至９６Ｃ、および各部を制御するシステム制御部９７Ａ乃至９７Ｃが設けられている。
【００２９】
なお、端末１（端末Ａ）乃至端末３（端末Ｃ）の構成は同一であるため、それらを構成する入力部９１Ａ乃至システム制御部９７Ａ、入力部９１Ｂ乃至システム制御部９７Ｂ、並びに入力部９１Ｃ乃至システム制御部９７Ｃは、それぞれ同一の機能を有している。以下においては、それらを個々に区別する必要がない場合には、入力部９１乃至システム制御部９７と、まとめて表現する。
【００３０】
図２に示すように、端末１、端末２、または端末３の入力部に入力される情報は、定義情報と非定義情報に分類される。定義情報とは、その情報単独で、一義的に解釈が可能な情報であり、言語や意味の決まった記号、意図的に行われる特定の操作によって決まった情報を伝達できる自己申告情報などが、これに相当する。
【００３１】
一方、非定義情報とは、その情報単独では、多様な解釈が可能、もしくは解釈が困難な情報であり、脈拍、血流、血圧、呼吸、体温、皮膚表面温、皮膚電気抵抗、発汗、脳波、脳磁などの生理情報、体の移動、頭部の移動などの体動情報、打鍵による振動、マウスを握る圧力などの情報が、これに相当する。
【００３２】
処理部９３では、入力された定義情報から使用者の感情、状態、およびその強度（感情情報Ｅ）が抽出され、非定義情報からは、特徴量Ｃと、信号レベル列が抽出され、学習部９４に送られる。
【００３３】
学習部９４に送られた感情情報Ｅ、特徴量Ｃ、および信号レベル列は、統合された後、蓄積部９５に、特定の個人毎にＤａｔａとして蓄積される。Ｄａｔａは、蓄積情報としてのＰＩＤ、ＣＤ、ＣＳＤから構成される。
【００３４】
ＰＩＤは、氏名、ニックネーム、電子メールアドレスや個人に割り当てられた番号などの記号、性別、生年月日、居住地、血液型などで構成され、個人を特定する情報である。
【００３５】
ＣＤは、特定情報ＰＩＤにより特定された個人の感情情報Ｅ、入力された非定義情報から抽出された１つの特徴量Ｃの分布ｆｃ、その分布の中心値μ、標準偏差σ、使用者が情報を入力した時点における使用者の周辺環境情報（温度、湿度、環境音情報、近接者数、気象情報、位置情報など）Ｋｐ、および情報が蓄積された日時Ｔにより構成される。
【００３６】
感情・状態は、表１に示す通り１２通りに分別される。
Figure 2004237022
＜表１＞
【００３７】
さらに、各感情・状態は、強、中、弱の３種類の強度に分けられ、感情情報Ｅは３６（＝１２×３）通りとなる。従って単独情報ＣＤは１つの特徴量毎に３６個存在することになり、特徴量の数をｍとすると、単独情報ＣＤは１個人毎に３６×ｍ個存在する。
【００３８】
蓄積情報であるＣＳＤは、特定情報ＰＩＤにより特定された個人の感情情報Ｅ、非定義情報から抽出された複数の特徴量Ｃを組み合わせたベクトルＶｃの分布ｆｖｃ、分布の中心ベクトルＶμ、分布の標準偏差ベクトルＶσ、入力者が情報を入力した時点における入力者の周辺環境情報（温度、湿度、環境音情報、近接者数、気象情報、位置情報など）Ｋｐ、情報が蓄積された日時Ｔにより構成される。
【００３９】
感情・状態は、表１に示す通り１２通りに分別され、さらに、各感情・状態は、強、中、弱の３種類の強度に分けられ、感情情報Ｅは３６通りとなる。従って複数情報ＣＳＤは、１個人毎に３６個存在する。
【００４０】
蓄積部９５に蓄積された情報は、使用者の感情・状態を学習したり、特定したりするときに参照され、新しい情報が加えられた後、あらためて蓄積部９５に蓄積される。
【００４１】
蓄積部９５に十分な情報が蓄積された後は、非定義情報のみから、情報処理装置が、特定の個人の感情、状態、およびその強度を特定することができる。この場合、入力された非定義情報の特徴量を抽出され、蓄積部９５に蓄積された特定の個人に対応する情報と比較される。
【００４２】
例えば、処理部９３において、特定の個人ａについて、非定義情報から複数の特徴量Ｃ１，Ｃ２，．．Ｃｍが抽出されたとする。学習部９４において、この抽出された複数の特徴量から、特徴量ベクトルＶｃｘ（Ｃ１，Ｃ２．．．Ｃｍ）が生成される。
【００４３】
そして、学習部９４は、蓄積部９５に蓄積された個人ａについての複数情報ＣＳＤを読み出し、蓄積されている全ての感情、状態、およびその強度に対応する中心ベクトルＶμ１，Ｖμ２，．．．Ｖμ３６を読み出す。
【００４４】
次に、特徴量ベクトルＶｃｘと各中心ベクトルＶμｎ（ｎ＝１，２，．．．３６）の内積（Ｖｃｘ，Ｖμｎ）が算出される。さらに、内積（Ｖｃｘ，Ｖμｎ）の値が大きい分布から順番に、全てのベクトル成分に対して、（Ｖμｎｍ−σｎｍ）≦Ｖｃｘｍ≦（Ｖμｎｍ＋σｎｍ）の条件を満たしているか判定される。ここで、Ｖμｎｍは、Ｖμｎのｍ番目の成分を表し、σｎｍは、分布ｆｖｃｎの標準偏差ベクトルσｎのｍ番目の成分を表し、Ｖｃｘｍは、Ｖｃｘのｍ番目の成分を表している。
【００４５】
図３は、特徴量Ｃの感情情報Ｅ１乃至Ｅｎに対応する分布を示した図であり、縦軸は特徴量の分布ｆｃを表し、横軸は特徴量Ｃの値を表している。図３の例の場合、特徴量Ｃの値がＶｃｘｍとなったとき、感情情報Ｅ２に対応する分布において、（Ｖμ２ｍ−σ２ｍ）≦Ｖｃｘｍ≦（Ｖμ２ｍ＋σ２ｍ）の条件を満たしている。
【００４６】
このように、ベクトルを構成する全ての成分について、条件を満たすか否かが判定され、Ｖｃｘは、条件を満たした分布の内、内積（Ｖｃｘ，Ｖμｎ）の値が最大となる分布に属すると判定する。
【００４７】
図４は、入力された非定義情報から生成された、特徴量ベクトルＶｃｘと、蓄積部９５に蓄積されている各感情情報に対応する特徴量ベクトルの分布の関係を示す図である。これらのベクトルはｍ個の成分をもっているので、軸ｃｈ１、軸ｃｈ２．．．軸ｃｈｍにより構成されるｍ次元の空間に存在する。この空間の中には、感情情報Ｅ１に対応する特徴量ベクトルの分布ｆｖｃ１、その分布の中心ベクトルＶμ１、感情情報Ｅ２に対応する特徴量ベクトルの分布ｆｖｃ２、その分布の中心ベクトルＶμ２、および感情情報Ｅｎに対応する特徴量ベクトルの分布ｆｖｃｎが存在する。
【００４８】
各中心ベクトルＶμ１、Ｖμ２およびＶμｎとＶｃｘの内積値（Ｖｃｘ，Ｖμ１）、（Ｖｃｘ，Ｖμ２）、および（Ｖｃｘ，Ｖμｎ）の中で、最大となるのは（Ｖｃｘ，Ｖμ２）であり、かつＶｃｘおよびＶμ２を構成するｍ個の成分全てについて（Ｖμ２ｍ−σ２ｍ）≦Ｖｃｘｍ≦（Ｖμ２ｍ＋σ２ｍ）の条件を満たしているので、Ｖｃｘは、感情情報Ｅ２に対応する分布に属するものと判定される。
【００４９】
このようにして、入力された非定義情報から、特定された個人の感情、状態、およびその強度を特定することができる。
【００５０】
実施の形態１
【００５１】
図５に本発明の第１の情報処理装置の構成例を示す。この情報処理装置は、携帯電話などに適用することができる。この情報処理装置には、使用者の音声情報、脈拍情報、および距離情報の入力を受け付ける入力部９１、入力部９１から入力された情報を処理する処理部９３、処理部９３から出力された特徴情報と感情情報に基づいて、学習、特定を行う学習部９４、学習部９４から出力された学習情報、特定情報を蓄積する蓄積部９５、処理部９３から出力された出力情報に基づいて、情報を出力する出力部９２、通信を行う通信部９６、および各部を制御するシステム制御部９７が設けられている。
【００５２】
処理部９３には、入力部９１から入力された情報を、音声情報、脈拍情報、または体動情報に分別する情報弁別部１１１、脈拍情報と体動情報から特徴情報を抽出する特徴抽出部１１２、音声情報から感情情報を抽出する意味抽出部１１３、および出力部９２に出力情報を出力する出力制御部１１４が設けられている。通信部９６には、情報の送信を行う情報送信部１２１、情報の受信を行う情報受信部１２２が設けられている。
【００５３】
図６に入力部９１の構成例を示す。この例では、使用者の音声を取得するマイク１３１、使用者の脈拍を検知する脈波センサ１３２、使用者の体の動きを検知する測距センサ１３３、文字、数字などの情報を入力するキーボード１３４、マイク１３１からの信号を認識する音声認識部１３５、脈波センサ１３２からの信号を増幅する電源アンプ部１３６、測距センサ１３３からの信号を増幅する電源アンプ部１３７により構成されている。
【００５４】
図７と図８に出力部９２の構成例を示す。図７の例では、所定の信号に基づいてオブジェクトを移動させる移動オブジェクト１５２、移動オブジェクト１５２を駆動する電源駆動部１５１により構成されている。
また、移動オブジェクト１５２は、オブジェクト１７３、駆動用ベルト１７４、サーボモータ１７１、および回転軸１７２により構成されている。
【００５５】
図８の例では、所定の信号に基づいて、光を発する発光部１９２と発光部１９２を駆動する電源アンプ部１９１により構成されている。
【００５６】
使用者ａがもっている情報処理装置を端末Ａとし、使用者ｂがもっている情報処理装置を端末Ｂとして、使用者ａと使用者ｂがそれぞれの端末を用いて、相互に通信を行う場合、図９に示される手順で情報の送受信が行われる。最初に端末Ａは、端末Ｂに接続要求を送信し、それに対応して端末Ｂは端末Ａに接続応答を送信する。その後、端末Ａと端末Ｂの間で、メール、チャットなどの文字情報、会話で送受信される音声情報やＣＣＤカメラなどで取得された画像情報を送受信する。
【００５７】
次に端末Ａは生体情報（この例の場合、使用者の脈拍情報と体動情報）の送受信の初期設定を行い、端末Ｂに送受信要求を送信する。このとき、端末Ａから図１１に示される送信設定情報と受信設定情報が送信される。
【００５８】
送信設定情報は、情報送信モードの選択ｍｓ、情報処理方法の選択ｔｓ、情報出力形式の設定権の選択ｄｓにより構成される。受信設定情報は、情報受信モードの選択ｍｒ、情報処理方法の選択ｔｒ、情報出力形式の設定権の選択ｄｒにより構成される。
【００５９】
情報送信モードの選択ｍｓは、生体情報を送信するか否かを示し、情報処理方法の選択ｔｓは、送信時に生体情報の処理を行うか否かを示し、情報出力形式の設定権の選択ｄｓは、送信した生体情報の出力形式の設定を送信側で行うか、受信側で行うかを示す。
【００６０】
情報受信モードの選択ｍｒは、生体情報を受信するか否かを示し、情報処理方法の選択ｔｒは、受信時に生体情報の処理を行うか否かを示し、情報出力形式の設定権の選択ｄｒは、受信した生体情報の出力形式の選択を送信側で行うか、受信側で行うかを示す。
【００６１】
端末Ａから生体情報の送信要求を受け取った端末Ｂは、生体情報送受信設定の変更を行い、端末Ａに応答を送信する。
【００６２】
そして端末Ａから端末Ｂに使用者ａの生体情報が送信され、端末Ｂから端末Ａに使用者ｂの生体情報が送信される。端末Ａ、端末Ｂにはそれぞれ生体情報が蓄積される。
【００６３】
端末Ａから端末Ｂに接続終了要求が送信されると、端末Ｂはそれに応答し、通信は終了する。
【００６４】
このようにして、端末Ａと端末Ｂの間で通信が行われ、生体情報が蓄積される。生体情報が充分に蓄積された後は、図１０に示されるように情報の送受信が行われる。すなわち、端末Ａと端末Ｂとの間で生体情報が送受信されると、端末Ａと端末Ｂにおいて、使用者の感情・状態の特定処理が行われる。
【００６５】
次に図１２を参照して、端末Ｂにおける生体情報蓄積処理について説明する。最初に端末Ｂのシステム制御部９７は、ステップＳ１において、端末Ａとの通信開始時に、通信相手である端末Ａの使用者ａを特定する情報（例えば、氏名、ニックネームなど）ＰＩＤを取得する。ステップＳ２において、端末Ｂのシステム制御部９７は、情報弁別部１１１に、端末Ａから送信されてきた使用者ａの音声情報が入力されたか否かを判定させ、入力されたと判定されるまで待機する。
【００６６】
ステップＳ２において、音声情報が入力されたと判定された場合、ステップＳ３に進み、端末Ｂのシステム制御部９７は、特徴抽出部１１２に、端末Ａから送信されてきた使用者ａの脈拍情報、体動情報のサンプリング処理を開始させる。そして、ステップＳ４に進み、端末Ｂのシステム制御部９７は、意味抽出部１１３に音声の認識を行わせる。ステップＳ５において、端末Ｂのシステム制御部９７は、認識された音声の中に感情、状態およびその強度を表す語句があるか否かを判定し、感情、状態およびその強度を表す語句がないと判定された場合、ステップＳ２に戻り以降の処理を繰り返し実行する。感情・状態を表す語句は図２３に示されるようなものであり、強度を示す語句は図２４に示されるようなものである。
【００６７】
ステップＳ５において、感情、状態およびその強度を示す語句があると判定された場合、端末Ｂのシステム制御部９７は、ステップＳ６において、認識された語句の主語は使用者か否か、すなわち、認識された語句が、使用者ａの感情、状態およびその強度を表す語句であるか否かを判定し、主語は使用者ではないと判定された場合、ステップＳ２に戻り、以降の処理を繰り返し実行する。
【００６８】
ステップＳ６において、主語は使用者であると判定された場合、端末Ｂのシステム制御部９７は、ステップＳ７において、使用者ａの音声が１フレーズ分入力されたか否かを判定し、１フレーズ分入力されたと判定されるまで待機する。
【００６９】
ステップＳ７において、１フレーズ分入力されたと判定された場合、端末Ｂのシステム制御部９７は、ステップＳ８に進み、特徴抽出部１１２に、脈拍情報、体動情報のサンプリング処理を終了させる。
【００７０】
なお、脈拍情報、体動情報のサンプリング処理は、端末Ａの特徴抽出部１１２において行い、サンプリングした結果を端末Ｂに送信してもよい。
【００７１】
そして、ステップＳ９に進み、端末Ｂのシステム制御部９７は、意味抽出部１１３に、感情情報Ｅを抽出させる。
【００７２】
使用者ａが「ちょっと面白い」と話した場合、「面白い」という語句に対応する感情・状態は興味であり、「ちょっと」という語句に対応する強度は弱であると認識され、感情情報Ｅとして、「弱い興味」が抽出される。
【００７３】
ステップＳ１０において、端末Ｂのシステム制御部９７は、特徴抽出部１１２に使用者ａの脈拍情報に基づいて、特徴ベクトルＶｃ１の生成処理を実行させ、ステップ１１に進み、個人を特定する情報ＰＩＤ、感情情報Ｅに対応する脈拍情報を蓄積部９５から読み出す。この場合、使用者ａの弱い興味に対応する脈拍情報の特徴ベクトルが読み出される。そして、ステップＳ１２に進み、端末Ｂのシステム制御部９７は、学習部９４に、読み出された特徴ベクトルに新たに生成された特徴ベクトルＶｃ１を加えて、ベクトルの分布ｆｖｃ１、分布の中心ベクトルＶμ１、標準偏差ベクトルＶσ１を再計算させ、ステップＳ１３において、再計算した結果を蓄積部９５に記憶する。
【００７４】
ステップＳ１４において、端末Ｂのシステム制御部９７は、特徴抽出部１１２に使用者ａの体動情報に基づいて、特徴ベクトルＶｃ２の生成処理を実行させ、ステップＳ１５に進み、個人を特定する情報ＰＩＤ、感情情報Ｅに対応する体動情報を蓄積部９５から読み出す。この場合、使用者ａの弱い興味に対応する体動情報の特徴ベクトルが読み出される。そして、ステップＳ１６に進み、端末Ｂのシステム制御部９７は、学習部９４に、読み出された特徴ベクトルに新たに生成された特徴ベクトルＶｃ２を加えて、ベクトルの分布ｆｖｃ２、分布の中心ベクトルＶμ２、標準偏差ベクトルＶσ２を再計算させ、ステップＳ１７において、再計算した結果を蓄積部９５に記憶する。
【００７５】
次に図１４と図１５を参照して、脈拍情報の特徴ベクトルＶｃ１の生成処理について説明する。この処理は、端末Ｂの特徴抽出部１１２で行われる。ステップＳ３１において、端末Ｂの特徴抽出部１１２は、サンプリングした脈拍情報を読み出し、ステップＳ３２において、後述する極性判定処理を行い、ステップＳ３３に進み、後述するＴＶ出力処理を行い、ステップＳ３４において、後述するＶｍｉｎ，Ｖｍａｘ判定処理を行う。
【００７６】
ここで、図１６乃至図１８を参照して、極性判定処理、ＴＶ出力処理、およびＶｍｉｎ，Ｖｍａｘ判定処理について説明する。
【００７７】
最初に図１６を参照して、サンプリングした波形の極性判定処理について説明する。ステップＳ６１において、端末Ｂの特徴抽出部１１２は、変数ｎを１にセットし、ステップＳ６２において、Ｖｓ（ｎ）を読み出す。図１９に示される波形２１１を周期Ｔｃｌｋでサンプリングすると、Ｖｓ１，Ｖｓ２，Ｖｓ３．．．Ｖｓｎの値が得られる。ここで読み出されるＶｓ（ｎ）はｎが１のとき、Ｖｓ１となり、ｎが２のときＶｓ２となるように読み出される。
【００７８】
ステップＳ６３において、端末Ｂの特徴抽出部１１２は、Ｖｓ（ｎ）があるか否かを判定し、Ｖｓ（ｎ）がないと判定された場合、処理を終了する。ステップＳ６３において、Ｖｓ（ｎ）があると判定された場合、ステップＳ６４において、端末Ｂの特徴抽出部１１２は、Ｖｓ（ｎ）が閾値−Ｖｔｈ０より小さいか否かを判定し、Ｖｔｈ０より小さくないと判定された場合、ステップＳ６５に進み、Ｖｓ（ｎ）が閾値Ｖｔｈ０より大きいか否かを判定し、Ｖｔｈ０より大きくないと判定された場合、ステップＳ６６においてＳｉｇ（ｎ）に１をセットする。
【００７９】
ステップＳ６４において、Ｖｓ（ｎ）が閾値−Ｖｔｈ０より小さいと判定された場合、端末Ｂの特徴抽出部１１２は、Ｓｉｇ（ｎ）に−１をセットする。ステップＳ６５において、Ｖｓ（ｎ）が閾値Ｖｔｈ０より大きいと判定された場合、端末Ｂの特徴抽出部１１２は、Ｓｉｇ（ｎ）に１をセットする。
【００８０】
ステップＳ６７において、端末Ｂの特徴抽出部１１２は、ｎの値を１だけインクリメントし、ステップＳ６２に戻り、以降の処理を繰り返し実行する。
【００８１】
このようにして、波形の極性を示す変数Ｓｉｇ（ｎ）が生成される。すなわち、波形の極性が＋のときは、Ｓｉｇ（ｎ）の値が１となり、波形の極性が−のときは、Ｓｉｇ（ｎ）の値が−１となり、波形の極性が＋でもなく、−でもないとき、すなわち極性が０のときＳｉｇ（ｎ）の値は０となる。
【００８２】
次に図１７を参照して、Ｔｖ出力処理について説明する。ステップＳ７１において端末Ｂの特徴抽出部１１２は、変数ｎに２をセットし、変数Ｐに１をセットする。ステップＳ７２において、端末Ｂの特徴抽出部１１２は、極性判定処理の結果生成されたＳｉｇ（ｎ）を読み出し、ステップＳ７３においてＳｉｇ（ｎ）があるか否かを判定し、Ｓｉｇ（ｎ）がないと判定された場合、処理を終了する。
【００８３】
ステップＳ７３においてＳｉｇ（ｎ）があると判定された場合、端末Ｂの特徴抽出部１１２は、ステップＳ７４においてＳｉｇ（ｎ−１）を読み出し、ステップＳ７５において、Ｓｉｇ（ｎ）とＳｉｇ（ｎ−１）の値が等しいか否かを判定し、Ｓｉｇ（ｎ）とＳｉｇ（ｎ−１）の値が等しいと判定された場合、ステップＳ７６に進み、Ｓｉｇ（ｎ）の値が−１か否かを判定し、Ｓｉｇ（ｎ）の値が−１ではないと判定された場合、ステップＳ７８において、Ｓｉｇ（ｎ）の値が１か否かを判定し、Ｓｉｇ（ｎ）の値が１ではないと判定された場合、ステップＳ８０に進み、変数ｃの値を１だけインクリメントして、ステップＳ９３に進む。
【００８４】
ステップＳ７６において、Ｓｉｇ（ｎ）の値が−１であると判定された場合、端末Ｂの特徴抽出部１１２は、ステップＳ７７において変数ａの値を１だけインクリメントして、ステップＳ９３に進む。ステップＳ７８において、Ｓｉｇ（ｎ）の値が１であると判定された場合、端末Ｂの特徴抽出部１１２は、ステップＳ７９において変数ｂの値を１だけインクリメントして、ステップＳ９３に進む。
【００８５】
ステップＳ９３において、端末Ｂの特徴抽出部１１２は、ｎの値を１だけインクリメントして、ステップＳ７２に戻り以降の処理を繰り返し実行する。
【００８６】
一方、ステップＳ７５において、Ｓｉｇ（ｎ）とＳｉｇ（ｎ−１）の値が等しくないと判定された場合、端末Ｂの特徴抽出部１１２は、ステップＳ８１に進み、Ｓｉｇ（ｎ−１）の値が−１か否かを判定し、Ｓｉｇ（ｎ−１）の値が−１ではないと判定された場合、ステップＳ８６に進み、Ｓｉｇ（ｎ−１）の値が１か否かを判定し、Ｓｉｇ（ｎ−１）の値が１ではないと判定された場合、ステップＳ９０に進み、Ｔｖ０（Ｐ）の値をｃ＊Ｔｃｌｋにセットする。そして、ステップＳ９１に進み、端末Ｂの特徴抽出部１１２は、Ｔｖ０（Ｐ）を出力し、変数ｃの値を０にリセットして、ステップＳ９３に進む。
【００８７】
ステップＳ８１において、Ｓｉｇ（ｎ−１）の値が−１であると判定された場合、端末Ｂの特徴抽出部１１２は、ステップＳ８２に進み、Ｔｖ−（Ｐ）の値をａ＊Ｔｃｌｋにセットし、ステップＳ８３に進み、Ｔｖ−（Ｐ）を出力し、ステップＳ８４において変数ａの値を０にリセットし、ステップＳ８５に進み、変数Ｐの値を１だけインクリメントして、ステップＳ９３に進む。
【００８８】
ステップＳ８６において、Ｓｉｇ（ｎ−１）の値が１であると判定された場合、端末Ｂの特徴抽出部１１２は、ステップＳ８７に進み、Ｔｖ＋（Ｐ）の値をｂ＊Ｔｃｌｋにセットし、ステップＳ８８に進み、Ｔｖ＋（Ｐ）を出力し、ステップＳ８６において変数ｂの値を０にリセットして、ステップＳ９３に進む。
【００８９】
このようにすることで、波形の極性が−である間はａの値がインクリメントされ、波形の極性が＋である間はｂの値がインクリメントされ、波形の極性が０である間はｃの値がインクリメントされる。そして、波形の極性が変化したとき、ａ，ｂ，またはｃにサンプリング周期Ｔｃｌｋが乗じられるので、図２０に示されるように、波形の出力が正の値となる時間Ｔｖ＋（１），Ｔｖ＋（２）、波形の出力が閾値＋Ｖｔｈ０と−Ｖｔｈ０の間の値となる時間Ｔｖ０（１），Ｔｖ０（２），Ｔｖ０（３）、および波形の出力が負の値となる時間Ｔｖ−（１），Ｔｖ−（２）が得られる。
【００９０】
次に図１８を参照して、Ｖｍｉｎ，Ｖｍａｘ判定処理について説明する。
最初に、ステップＳ１１１において、端末Ｂの特徴抽出部１１２は、変数ｎに２をセットし、変数Ｐに１をセットする。そして、ステップＳ１１２に進み、Ｖｓ（ｎ）を読み出し、ステップＳ１１３において、Ｖｓ（ｎ）があるか否かを判定し、Ｖｓ（ｎ）がないと判定された場合、処理を終了する。ステップＳ１１３においてＶｓ（ｎ）があると判定された場合、端末Ｂの特徴抽出部１１２は、ステップＳ１１４に進み、Ｖｓ（ｎ−１）を読み出し、ステップＳ１１５において、ΔＶｓ（ｎ−１）にＶｓ（ｎ）−Ｖｓ（ｎ−１）の値をセットし、ステップＳ１１６に進み、ΔＶｓ（ｎ−１）の値を記憶する。
【００９１】
ステップＳ１１７において、端末Ｂの特徴抽出部１１２は、ΔＶｓ（ｎ−１）の値が０より小さいか否かを判定し、０より小さいと判定された場合、ステップＳ１１８で、ΔＶＳｉｇ（ｎ）に−１をセットし、ステップＳ１１７において、０より小さくないと判定された場合、ステップＳ１１９でΔＶＳｉｇ（ｎ）に１をセットする。ステップＳ１２０に進み、ΔＶＳｉｇ（ｎ−１）があるか否かを判定し、ΔＶＳｉｇ（ｎ−１）がないと判定された場合、ステップＳ１２７に進みｎの値を１だけインクリメントしてステップＳ１１２にもどる。
【００９２】
ステップＳ１２０において、ΔＶＳｉｇ（ｎ−１）があると判定された場合、ステップＳ１２１に進み、端末Ｂの特徴抽出部１１２は、ΔＶＳｉｇ（ｎ−１）を読み出す。ステップＳ１２２において、ΔＶＳｉｇ（ｎ）の値とΔＶＳｉｇ（ｎ−１）の値が等しいか否かを判定し、等しくないと判定された場合、ステップＳ１２３に進み、Ｖｓ（ｎ）の値がＶｔｈ０より小さいか否かを判定し、Ｖｔｈ０より小さくないと判定された場合、ステップＳ１２５に進み、Ｖｍａｘ（Ｐ）にＶｓ（ｎ−１）をセットして、Ｖｍａｘ（Ｐ）を出力し、Ｐの値を１だけインクリメントして、ステップＳ１２７へ進む。
【００９３】
ステップＳ１２２において、ΔＶＳｉｇ（ｎ）の値とΔＶＳｉｇ（ｎ−１）の値が等しいと判定された場合、端末Ｂの特徴抽出部１１２は、ステップＳ１２７へ進む。
【００９４】
ステップＳ１２３において、Ｖｓ（ｎ）の値がＶｔｈ０より小さいと判定された場合、端末Ｂの特徴抽出部１１２は、ステップＳ１２４に進み、Ｖｍｉｎ（Ｐ）にＶｓ（ｎ−１）をセットして、Ｖｍｉｎ（Ｐ）を出力し、ステップＳ１２７に進む。
【００９５】
このようにすることで、図２０に示されるようにＴｖ＋（１），Ｔｖ＋（２）における波形２２１のピーク値Ｖｍａｘ（１），Ｖｍａｘ（２）が得られ、時間Ｔｖ−（１），Ｔｖ−（２）における波形２２１のピーク値Ｖｍｉｎ（１），Ｖｍｉｎ（２）が得られる。
【００９６】
図１５にもどって、ステップＳ３５において、端末Ｂの特徴抽出部１１２は、変数Ｐの値を１にセットし、ステップＳ３６において、Ｔｖ＋（Ｐ）またはＴｖ−（０）があるか否かを判定し、Ｔｖ＋（Ｐ）またはＴｖ−（０）があると判定された場合、ステップＳ３７に進み、Ｔｐｐｇ＋（Ｐ）に値Ｔｖ＋（Ｐ）をセットし、ステップＳ３８において、Ｔｐｐｇ−（Ｐ）に値Ｔｖ−（Ｐ）をセットする。ステップＳ３９において、端末Ｂの特徴抽出部１１２は、Ｔｐｐｇ＋（Ｐ）とＴｐｐｇ−（Ｐ）を足してＴｐｐｇｉ（Ｐ）とする。そして、ステップＳ４０に進み、変数Ｐの値を１だけインクリメントし、ステップＳ３６に戻り、以降の処理を繰り返し実行する。
【００９７】
ステップＳ３３のＴｖ出力処理の結果、Ｔｖ＋（１）、Ｔｖ＋（２）、Ｔｖ−（１）、Ｔｖ−（２）が得られたとすると、変数Ｐの値が３になったとき、ステップＳ３６において、Ｔｖ＋（Ｐ）またはＴｖ−（Ｐ）がないと判定され、端末Ｂの特徴抽出部１１２は、ステップＳ４１に進み、Ｔｐｐｇ＋，Ｔｐｐｇ−，Ｔｐｐｇｉの平均値、Ｔｐｐｇ＋ｍ，Ｔｐｐｇ−ｍ，Ｔｐｐｇｉｍを計算する。
この場合、Ｔｐｐｇ＋ｍ，Ｔｐｐｇ−ｍ，Ｔｐｐｇｉｍはそれぞれ次のように計算される。
Ｔｐｐｇ＋ｍ＝（Ｔｐｐｇ＋（１）＋Ｔｐｐｇ＋（２））／２
Ｔｐｐｇ−ｍ＝（Ｔｐｐｇ−（１）＋Ｔｐｐｇ−（２））／２
Ｔｐｐｇｉｍ＝（Ｔｐｐｇｉ（１）＋Ｔｐｐｇｉ（２））／２
【００９８】
次にステップＳ４２に進み、端末Ｂの特徴抽出部１１２は、変数Ｐの値を１にセットし、ステップＳ４３において、Ｖｍａｘ（Ｐ）またはＶｍｉｎ（Ｐ）があるか否かを判定し、Ｖｍａｘ（Ｐ）またはＶｍｉｎ（Ｐ）があると判定された場合、ステップＳ４４に進み、Ａｐｐｇ＋（Ｐ）に値Ｖｍａｘ（Ｐ）をセットし、ステップＳ４５において、Ａｐｐｇ−（Ｐ）に値Ｖｍｉｎ（Ｐ）をセットする。そして、ステップＳ４６に進み、変数Ｐの値を１だけインクリメントし、ステップＳ４３に戻り、以降の処理を繰り返し実行する。
【００９９】
ステップＳ３４のＶｍｉｎ，Ｖｍａｘ判定処理の結果、Ｖｍａｘ（１）、Ｖｍａｘ（２）、Ｖｍｉｎ（１）、Ｖｍｉｎ（２）が得られたとすると、変数Ｐの値が３になったとき、ステップＳ４３において、Ｖｍａｘ（Ｐ）またはＶｍｉｎ（Ｐ）がないと判定され、端末Ｂの特徴抽出部１１２は、ステップＳ４７に進み、Ａｐｐｇ＋，Ａｐｐｇ−の平均値、Ａｐｐｇ＋ｍ，Ａｐｐｇ−ｍを計算する。
この場合、Ａｐｐｇ＋ｍ，Ａｐｐｇ−ｍはそれぞれ次のように計算される。
Ａｐｐｇ＋ｍ＝（Ａｐｐｇ＋（１）＋Ａｐｐｇ＋（２））／２
Ａｐｐｇ−ｍ＝（Ａｐｐｇ−（１）＋Ａｐｐｇ−（２））／２
【０１００】
そして、ステップＳ４８に進み、端末Ｂの特徴抽出部１１２は、特徴量ベクトルＶｃ１（Ｔｐｐｇ＋ｍ，Ｔｐｐｇ−ｍ，Ｔｐｐｇｉｍ，Ａｐｐｇ＋ｍ，Ａｐｐｇ−ｍ）を生成する。
【０１０１】
図２５に脈拍の波形２４１を示す。Ｔｐｐｇ＋は波形２４１の出力が正の値となる時間を示し、Ｔｐｐｇ−は波形２４１の出力が負の値となる時間を示し、Ｔｐｐｇｉは脈拍の１拍分の時間を示し、Ａｐｐｇ＋は、Ｔｐｐｇ＋における脈拍波形のピーク値であり，Ａｐｐｇ−は、Ｔｐｐｇ−における脈拍波形のピーク値となる。
【０１０２】
このようにして、使用者ａの弱い興味に対応する脈拍情報の特徴ベクトルＶｃ１が生成される。
【０１０３】
次に図２１を参照して、使用者ａの体動情報の特徴ベクトルＶｃ２の生成処理について説明する。
【０１０４】
ステップＳ１４１において、端末Ｂの特徴抽出部１１２は、サンプリングした体動情報を読み出す。そして、端末Ｂの特徴抽出部１１２は、ステップＳ１４２において、図１６を参照して説明した極性判定処理を行い、ステップＳ１４３において、図１７を参照して説明したＴｖ出力処理を行い、ステップＳ１４４においてＶｍａｘ，Ｖｍｉｎ判定処理を行う。そして、ステップＳ１４５に進み、端末Ｂの特徴抽出部１１２は、変数Ｐに１をセットする。ステップＳ１４６において、端末Ｂの特徴抽出部１１２は、Ｖｍａｘ，Ｖｍｉｎ判定処理において記憶されたΔＶの値（図１８のステップＳ１１６）の値を読み出す。
【０１０５】
体動情報の波形は、図２６に示される波形２６１のようになるので、Ｐの値が１のときは、ΔＶ１、Ｐの値が２のときはΔＶ２となるようにΔＶ（Ｐ）が読み出される。そして、ステップＳ１４７において、端末Ｂの特徴抽出部１１２は、ΔＶ（Ｐ）があるか否かを判定し、ΔＶ（Ｐ）があると判定された場合、ステップＳ１４８に進み、Ｖｅｌ（Ｐ）に│ΔＶ（Ｐ）│／Ｔｃｌｋの値をセットし、ステップＳ１４９においてΣΔＶにΣΔＶ＋│ΔＶ（Ｐ）│の値をセットし、ステップＳ１５０において、Ｐの値を１だけインクリメントしてステップＳ１４６に戻り、以降の処理を繰り返し実行する。
【０１０６】
この場合、ΔＶ（Ｐ）は、時間Ｔｃｌｋの間に使用者ａが移動した距離を示すので、Ｖｅｌ（Ｐ）は使用者ａが移動する速度を示し、ΣΔＶは、使用者ａが移動した距離の合計を示す。
【０１０７】
ステップＳ１４７において、ΔＶ（Ｐ）がないと判定された場合、端末Ｂの特徴抽出部１１２は、ステップＳ１５１においてＤにΣΔＶの値をセットし、速度Ｖｅｌの平均値Ｖｅｌｍを計算し、ステップＳ１５２に進み、特徴ベクトルＶｃ２（Ｖｅｌｍ，Ｄ）を生成する。
【０１０８】
このようにして、使用者ａの弱い興味に対応する体動情報の特徴ベクトルＶｃ２が生成される。
【０１０９】
ここまで、端末Ｂが、端末Ａから送信された使用者ａの脈拍情報と体動情報から特徴量ベクトルＶｃ１、Ｖｃ２を生成し、蓄積する処理について説明したが、同様に端末Ｂは、使用者ｂについての脈拍情報と体動情報から特徴量ベクトルを生成し、蓄積する。その結果、端末Ｂの蓄積部９５には、図２７にしめされるような、脈拍情報に関する学習結果２８１と体動情報に関する学習結果２８２がそれぞれ、使用者ａと使用者ｂに分けて蓄積される。
【０１１０】
また、端末Ａも同様にして、脈拍情報に関する学習結果と体動情報に関する学習結果をそれぞれ、使用者ａと使用者ｂに分けて蓄積することができる。
【０１１１】
上述した生体情報蓄積処理を繰り返し行い、生体情報が充分蓄積された後は、生体情報をもとに、使用者の感情、状態、およびその強度を特定することができる。
【０１１２】
次に図２８を参照して、端末Ｂによる感情状態の特定処理について説明する。
【０１１３】
ステップＳ１７１において、端末Ｂのシステム制御部９７は、端末Ａとの通信開始時に、通信相手である端末Ａの使用者ａを特定する情報ＰＩＤを取得する。ステップＳ１７２において、端末Ｂのシステム制御部９７は、情報弁別部１１１に、端末Ａから送信されてきた使用者ａの音声情報が入力されたか否かを判定させ、入力されたと判定されるまで待機する。音声情報が入力されたと判定された場合、ステップＳ１７３に進み、端末Ｂのシステム制御部９７は、特徴抽出部１１２に、端末Ａから送信されてきた使用者ａの脈拍情報、体動情報のサンプリング処理を開始させる。そして、ステップＳ１７４に進み、端末Ｂのシステム制御部９７は、意味抽出部１１３に音声の認識を行わせる。
【０１１４】
ステップＳ１７５において、端末Ｂのシステム制御部９７は、使用者ａの音声が１フレーズ分入力されたか否かを判定し、１フレーズ分入力されたと判定されるまで待機する。
【０１１５】
ステップＳ１７５において、１フレーズ分入力されたと判定された場合、端末Ｂのシステム制御部９７は、ステップＳ１７６に進み、特徴抽出部１１２に脈拍情報、体動情報のサンプリング処理を終了させる。
【０１１６】
なお、脈拍情報、体動情報のサンプリング処理は、端末Ａの特徴抽出部１１２において行い、サンプリングした結果を端末Ｂに送信してもよい。
【０１１７】
そして、ステップＳ１７７に進み、端末Ｂのシステム制御部９７は、特徴抽出部１１２に、使用者ａの脈拍情報に基づいて、特徴ベクトルＶｃ１生成処理を実行させ、ステップ１７８において、使用者ａの体動情報に基づいて、特徴ベクトルＶｃ２生成処理を実行させ、ステップＳ１７９に進み、学習部９４に、Ｖｃ１の感情、状態、およびその強度の特定処理を実行させ、ステップＳ１８０においてＶｃ２の感情、状態、およびその強度の特定処理を実行させ、ステップＳ１８１に進み、特定結果の出力と再計算処理を実行させる。
【０１１８】
次に、図２９と図３０を参照して、脈拍情報の特徴ベクトルＶｃ１の生成処理について説明する。この処理は、端末Ｂの特徴抽出部１１２で行われる。ステップＳ２０１において、端末Ｂの特徴抽出部１１２は、サンプリングした脈拍情報を読み出し、ステップＳ２０２において、図１６を参照して説明した極性判定処理を行い、ステップＳ２０３に進み、図１７を参照して説明したＴＶ出力処理を行い、ステップＳ２０４において、図１８を参照して説明したＶｍｉｎ，Ｖｍａｘ判定処理を行う。
【０１１９】
図３０のステップＳ２０５において、端末Ｂの特徴抽出部１１２は、変数Ｐの値を１にセットし、ステップＳ２０６において、Ｔｖ＋（Ｐ）またはＴｖ−（０）があるか否かを判定し、Ｔｖ＋（Ｐ）またはＴｖ−（０）があると判定された場合、ステップＳ２０７に進み、Ｔｐｐｇ＋（Ｐ）に値Ｔｖ＋（Ｐ）をセットし、ステップＳ２０８において、Ｔｐｐｇ−（Ｐ）に値Ｔｖ−（Ｐ）をセットする。ステップＳ２０９において、端末Ｂの特徴抽出部１１２は、Ｔｐｐｇ＋（Ｐ）とＴｐｐｇ−（Ｐ）を足してＴｐｐｇｉ（Ｐ）とする。そして、ステップＳ２１０に進み、変数Ｐの値を１だけインクリメントし、ステップＳ２０６に戻り、以降の処理を繰り返し実行する。
【０１２０】
ステップＳ２０６において、Ｔｖ＋（Ｐ）またはＴｖ−（Ｐ）がないと判定された場合、端末Ｂの特徴抽出部１１２は、ステップＳ２１１に進み、Ｔｐｐｇ＋，Ｔｐｐｇ−，Ｔｐｐｇｉの平均値、Ｔｐｐｇ＋ｍ，Ｔｐｐｇ−ｍ，Ｔｐｐｇｉｍを計算する。
【０１２１】
次にステップＳ２１２に進み、端末Ｂの特徴抽出部１１２は、変数Ｐの値を１にセットし、ステップＳ２１３において、Ｖｍａｘ（Ｐ）またはＶｍｉｎ（Ｐ）があるか否かを判定し、Ｖｍａｘ（Ｐ）またはＶｍｉｎ（Ｐ）があると判定された場合、ステップＳ２１４に進み、Ａｐｐｇ＋（Ｐ）に値Ｖｍａｘ（Ｐ）をセットし、ステップＳ２１５において、Ａｐｐｇ−（Ｐ）に値Ｖｍｉｎ（Ｐ）をセットする。そして、ステップＳ２１６に進み、変数Ｐの値を１だけインクリメントし、ステップＳ２１３に戻り、以降の処理を繰り返し実行する。
【０１２２】
ステップＳ２１３において、Ｖｍａｘ（Ｐ）またはＶｍｉｎ（Ｐ）がないと判定され、端末Ｂの特徴抽出部１１２は、ステップＳ２１７に進み、Ａｐｐｇ＋，Ａｐｐｇ−の平均値、Ａｐｐｇ＋ｍ，Ａｐｐｇ−ｍを計算する。
【０１２３】
そして、ステップＳ２１８に進み、端末Ｂの特徴抽出部１１２は、特徴量ベクトルＶｃ１（Ｔｐｐｇ＋ｍ，Ｔｐｐｇ−ｍ，Ｔｐｐｇｉｍ，Ａｐｐｇ＋ｍ，Ａｐｐｇ−ｍ）を生成する。
【０１２４】
このようにして、使用者ａの脈拍情報の特徴ベクトルＶｃ１が生成される。
【０１２５】
次に図３１を参照して、使用者ａの体動情報の特徴ベクトルＶｃ２の生成処理について説明する。
【０１２６】
ステップＳ２３１において、端末Ｂの特徴抽出部１１２は、サンプリングした体動情報を読み出す。そして、端末Ｂの特徴抽出部２３２は、ステップＳ２３２において、図１６を参照して説明した極性判定処理を行い、ステップＳ２３３において、図１７を参照して説明したＴｖ出力処理を行い、ステップＳ２３４において図１８を参照して説明したＶｍａｘ，Ｖｍｉｎ判定処理を行う。そして、ステップＳ２３５に進み、端末Ｂの特徴抽出部１１２は、変数Ｐに１をセットする。ステップＳ２３６において、端末Ｂの特徴抽出部１１２は、Ｖｍａｘ，Ｖｍｉｎ判定処理において記憶されたΔＶの値（図１８のステップＳ１１６）の値を読み出す。
【０１２７】
ステップＳ２３７において、端末Ｂの特徴抽出部１１２は、ΔＶ（Ｐ）があるか否かを判定し、ΔＶ（Ｐ）があると判定された場合、ステップＳ２３８に進み、Ｖｅｌ（Ｐ）に│ΔＶ（Ｐ）│／Ｔｃｌｋの値をセットし、ステップＳ２３９においてΣΔＶにΣΔＶ＋│ΔＶ（Ｐ）│の値をセットし、ステップＳ２４０において、Ｐの値を１だけインクリメントしてステップＳ２３６に戻り、以降の処理を繰り返し実行する。
【０１２８】
ステップＳ２３７において、ΔＶ（Ｐ）がないと判定された場合、端末Ｂの特徴抽出部１１２は、ステップＳ２４１においてＤにΣΔＶの値をセットし、Ｖｅｌの平均値Ｖｅｌｍを計算し、ステップＳ２５２に進み、特徴ベクトルＶｃ２（Ｖｅｌｍ，Ｄ）を生成する。
【０１２９】
このようにして、使用者ａの体動情報の特徴ベクトルＶｃ２が生成される。
【０１３０】
次に図３３を参照して、Ｖｃ１の感情、状態、およびその強度の特定処理について説明する。この処理は端末Ｂの学習部９４により実行される。
【０１３１】
ステップＳ２６１において、この処理は端末Ｂの学習部９４は、蓄積部９５に蓄積されている使用者ａに対応する脈拍情報の特徴量ベクトルの分布ｆｖｃ１、分布の中心ベクトルＶμ１、分布の標準偏差ベクトルＶσ１を読み出す。
【０１３２】
上述したように感情・状態は、表１に示す通り１２通りに分別され、さらに、各感情・状態は、強、中、弱の３種類の強度に分けられ、感情情報は３６通りある。従って、ｆｖｃ１，Ｖμ１，Ｖσ１も感情情報に対応してそれぞれ３６通り存在する。
【０１３３】
ステップＳ２６２において、端末Ｂの学習部９４は、変数Ｑに１をセットし、ステップＳ２６３に進み、ベクトルＶμ１（Ｑ）とステップＳ１７７（図２８）で生成した特徴量ベクトルＶｃ１の内積値を算出し、内積値に対応させてＶμ１（Ｑ）を記憶する。そして、ステップＳ２６４に進み、Ｑの値を１だけインクリメントし、ステップ２６５において、全ての感情情報について計算したか否か、すなわち、３６種類の中心ベクトルＶμ１について、内積値を計算したか否かを判定し、全ての感情情報について計算していないと判定された場合、ステップＳ２６３に戻り、以降の処理を繰り返し実行する。
【０１３４】
全ての感情情報に対応する３６種類の中心ベクトルＶμ１について内積値の計算が終わると、端末Ｂの学習部９４の中にある図示せぬ記憶部には、図３４のようなデータが記憶されている。ステップＳ２６６において、端末Ｂの学習部９４は、内積値の大きい順にデータをソートする。
【０１３５】
ステップＳ２６７において、端末Ｂの学習部９４は、変数Ｒに１をセットし、ステップＳ２６８において、全ての感情情報に関してデータが読み出されたか否かを判定し、全ての感情情報に関してデータが読み出されていないと判定された場合、ステップＳ２６９に進み、ソートしたデータを読み出す。表２の例では、内積値が最も大きい「安定・中」に対応する特徴量ベクトルの中心ベクトルＶμ１−２９が最初に読み出される。
【０１３６】
ステップＳ２７０において、端末Ｂの学習部９４は、変数ｍに１をセットし、ステップＳ２７１に進み、Ｖμ１（Ｒ）ｍ−Ｖσ１（Ｒ）ｍ≦Ｖｃ１ｍ≦Ｖμ１（Ｒ）ｍ＋Ｖσ１（Ｒ）ｍの条件を満たしているか否かを判定する。ここで、Ｖμ１（Ｒ）ｍは、ベクトルＶμ１（Ｒ）のｍ番目の成分を表し、Ｖσ１（Ｒ）ｍ，Ｖｃ１ｍもそれぞれ同様にベクトルＶσ１，Ｖｃ１のｍ番目の成分を表す。脈拍情報の特徴量ベクトルは上述したようにＴｐｐｇ＋ｍ，Ｔｐｐｇ−ｍ，Ｔｐｐｇｉｍ，Ａｐｐｇ＋ｍ，Ａｐｐｇ−ｍの５個の成分により構成されている。ｍの値が１のとき、Ｖμ１（Ｒ），Ｖσ１（Ｒ），Ｖｃ１の各ベクトルのＴｐｐｇ＋ｍ成分が抽出され、処理が行われる。
【０１３７】
ステップＳ２７１において、Ｖμ１（Ｒ）ｍ−Ｖσ１（Ｒ）ｍ≦Ｖｃ１ｍ≦Ｖμ１（Ｒ）ｍ＋Ｖσ１（Ｒ）ｍの条件を満たしていないと判定された場合、端末Ｂの学習部９４は、ステップＳ２７６に進み、Ｒの値を１だけインクリメントして、ステップＳ２６８に戻り、以降の処理を繰り返し実行する。ステップＳ２７１において、Ｖμ１（Ｒ）ｍ−Ｖσ１（Ｒ）ｍ≦Ｖｃ１ｍ≦Ｖμ１（Ｒ）ｍ＋Ｖσ１（Ｒ）ｍの条件を満たしていると判定された場合、端末Ｂの学習部９４は、ステップＳ２７２に進み、ｍの値を１だけインクリメントして、ステップＳ２７３に進み、ｍの値が６と等しいか否かを判定し、ｍの値が６と等しくないと判定された場合、ステップＳ２７１に戻り、以降の処理を繰り返し実行する。
【０１３８】
ステップＳ２７３において、ｍの値が６と等しいと判定された場合、すなわち、Ｖμ１（Ｒ），Ｖσ１（Ｒ），Ｖｃ１の各ベクトルを構成する５個の成分について、全てＶμ１（Ｒ）ｍ−Ｖσ１（Ｒ）ｍ≦Ｖｃ１ｍ≦Ｖμ１（Ｒ）ｍ＋Ｖσ１（Ｒ）ｍの条件を満たしていると判定された場合、端末Ｂの学習部９４は、ステップＳ２７４に進み、Ｖｃ１はＲに対応する感情情報Ｅ１に属しているものと特定する。Ｒが１のとき、Ｒに対応する感情情報Ｅ１は「安定・中」となる。
【０１３９】
ステップＳ２６８において、全ての感情情報に関してデータが読み出されたと判定された場合、端末Ｂの学習部９４は、Ｖｃ１の感情、状態、およびその強度は特定不能として処理を終了する。
【０１４０】
図３５は、使用者ａの各感情情報に対応する脈拍情報の特徴量ベクトルを示した図である。この図は、Ｔｐｐｇ＋ｍ軸、Ｔｐｐｇ−ｍ軸、Ｔｐｐｇｉｍ軸、Ａｐｐｇ＋ｍ軸、Ａｐｐｇ−ｍ軸からなる５次元空間として示されている。図２８のステップＳ１７７において生成された特徴量ベクトル３８１（Ｖｃ１）は、「安定・中」に対応する特徴量ベクトルの分布３８３の中心ベクトル３８２（Ｖμ１−２９）と近接しており、上述したＶｃ１の感情、状態、およびその強度特定処理の結果、「安定・中」を示す特徴量ベクトルであると特定される。
【０１４１】
次に図３６を参照して、Ｖｃ２の感情、状態、およびその強度の特定処理について説明する。この処理は端末Ｂの学習部９４により実行される。
【０１４２】
ステップＳ２９１において、端末Ｂの学習部９４は、蓄積部９５に蓄積されている使用者ａに対応する体動情報の特徴量ベクトルの分布ｆｖｃ２、分布の中心ベクトルＶμ２、分布の標準偏差ベクトルＶσ２を読み出す。
【０１４３】
上述したように感情・状態は、表１に示す通り１２通りに分別され、さらに、各感情・状態は、強、中、弱の３種類の強度に分けられ、感情情報は３６通りある。従って、ｆｖｃ２，Ｖμ２，Ｖσ２も感情情報に対応してそれぞれ３６通り存在する。
【０１４４】
ステップＳ２９２において、端末Ｂの学習部９４は、変数Ｑに１をセットし、ステップＳ２９３に進み、ベクトルＶμ２（Ｑ）とステップＳ１７８（図２８）で生成した特徴量ベクトルＶｃ２の内積値を算出し、内積値に対応させてＶμ２（Ｑ）を記憶する。そして、ステップＳ２９４に進み、Ｑの値を１だけインクリメントし、ステップ２９５において、全ての感情情報について計算したか否か、すなわち、３６種類の中心ベクトルＶμ２について、内積値を計算したか否かを判定し、全ての感情情報について計算していないと判定された場合、ステップＳ２９３に戻り、以降の処理を繰り返し実行する。
【０１４５】
全ての感情情報に対応する３６種類の中心ベクトルＶμ２について内積値の計算が終わると、端末Ｂの学習部９４の中にある図示せぬ記憶部には、図３７のようなデータが記憶されている。ステップＳ２９６において、端末Ｂの学習部９４は、内積値の大きい順にデータをソートする。
【０１４６】
ステップＳ２９７において、端末Ｂの学習部９４は、変数Ｒに１をセットし、Ｓ２９８において、全ての感情情報に関してデータが読み出されたか否かを判定し、全ての感情情報に関してデータが読み出されていないと判定された場合、ステップＳ２９９に進み、ソートしたデータを読み出す。図３７の例では、内積値が最も大きい「安定・中」に対応する特徴量ベクトルの中心ベクトルＶμ２−２９が最初に読み出される。
【０１４７】
ステップＳ２７０において、端末Ｂの学習部９４は、変数ｍに１をセットし、ステップＳ２７１に進み、Ｖμ２（Ｒ）ｍ−Ｖσ２（Ｒ）ｍ≦Ｖｃ２ｍ≦Ｖμ２（Ｒ）ｍ＋Ｖσ２（Ｒ）ｍの条件を満たしているか否かを判定する。ここで、Ｖμ２（Ｒ）ｍは、ベクトルＶμ２（Ｒ）のｍ番目の成分を表し、Ｖσ２（Ｒ）ｍ，Ｖｃ２ｍもそれぞれ同様にベクトルＶσ２，Ｖｃ２のｍ番目の成分を表す。体動情報の特徴量ベクトルは上述したようにＶｅｌｍ，Ｄの２個の成分により構成されている。ｍの値が１のとき、Ｖμ２（Ｒ），Ｖσ２（Ｒ），Ｖｃ２の各ベクトルのＶｅｌｍ成分が抽出され、処理が行われる。
【０１４８】
ステップＳ３０１において、Ｖμ２（Ｒ）ｍ−Ｖσ２（Ｒ）ｍ≦Ｖｃ２ｍ≦Ｖμ２（Ｒ）ｍ＋Ｖσ２（Ｒ）ｍの条件を満たしていないと判定された場合、端末Ｂの学習部９４は、ステップＳ３０６に進み、Ｒの値を１だけインクリメントしてステップＳ２９８に戻り、以降の処理を繰り返し実行する。ステップＳ３０１において、Ｖμ２（Ｒ）ｍ−Ｖσ２（Ｒ）ｍ≦Ｖｃ２ｍ≦Ｖμ２（Ｒ）ｍ＋Ｖσ２（Ｒ）ｍの条件を満たしていると判定された場合、端末Ｂの学習部９４は、ステップＳ３０２に進み、ｍの値を１だけインクリメントして、ステップＳ３０３に進み、ｍの値が３と等しいか否かを判定し、ｍの値が３と等しくないと判定された場合、ステップＳ３０１に戻り、以降の処理を繰り返し実行する。
【０１４９】
ステップＳ３０３において、ｍの値が３と等しいと判定された場合、すなわち、Ｖμ２（Ｒ），Ｖσ２（Ｒ），Ｖｃ２の各ベクトルを構成する２個の成分について、全てＶμ２（Ｒ）ｍ−Ｖσ２（Ｒ）ｍ≦Ｖｃ２ｍ≦Ｖμ２（Ｒ）ｍ＋Ｖσ２（Ｒ）ｍの条件を満たしていると判定された場合、端末Ｂの学習部９４は、ステップＳ２７４に進み、Ｖｃ２はＲに対応する感情情報Ｅ２に属しているものと特定する。Ｒが１のとき、Ｒに対応する感情情報Ｅ２は「安定・中」となる。
【０１５０】
ステップＳ２９８において、全ての感情情報に関してデータが読み出されたと判定された場合、端末Ｂの学習部９４は、Ｖｃ２の感情、状態、およびその強度は特定不能として処理を終了する。
【０１５１】
図３８は、使用者ａの各感情情報に対応する体動情報の特徴量ベクトルを示した図である。この図は、Ｖｅｌｍ軸、Ｄ軸からなる２次元空間として示されている。図２８のステップＳ１７８において生成された特徴量ベクトル４０１（Ｖｃ２）は、「安定・中」に対応する特徴量ベクトルの分布４０３の中心ベクトル４０２（Ｖμ２−２９）と近接しており、上述したＶｃ２の感情、状態、およびその強度特定処理の結果、「安定・中」を示す特徴量ベクトルであると特定される。
【０１５２】
次に、図３９を参照して、特定結果出力再計算処理について説明する。この処理は端末Ｂの学習部９４により実行される。ステップＳ３２１において端末Ｂの学習部９４は、Ｖｃ１により特定された感情情報Ｅ１とＶｃ２により特定された感情情報Ｅ２が等しいか否かを特定し、Ｅ１とＥ２が等しくないと判定された場合、ステップＳ３２２に進み、ステップＳ１７８（図２８）において生成された体動情報の特徴量ベクトルＶｃ２をＥ１に属するものとして処理結果を訂正する。Ｅ１は、脈拍情報をもとに生成された特徴量ベクトルＶｃ１により特定された、感情情報であり、Ｅ２は体動情報により特定された感情情報であり、Ｅ１とＥ２が異なる場合もあり得る。この場合、ベクトルを構成する成分が多い方、すなわち次元数が大きい方のベクトルによる特定結果が選択される。すなわち、５次元ベクトルであるＶｃ１により特定された感情情報Ｅ１が選択され、２次元ベクトルであるＶｃ２は、感情情報Ｅ１を示すものとして処理結果が訂正される。
【０１５３】
ステップＳ３２３において、端末Ｂの学習部９４は、特定結果を出力制御部１１４に出力し、ステップＳ３２４において、使用者ａの感情情報Ｅ１に対応する脈拍情報の特徴量ベクトルの分布ｆｖｃ１、分布の中心ベクトルＶμ１、分布の標準偏差ベクトルＶσ１と、使用者ａの感情情報Ｅ１対応する体動情報の特徴量ベクトルの分布ｆｖｃ２、分布の中心ベクトルＶμ２、分布の標準偏差ベクトルＶσ２を再計算し、蓄積する。すなわち、ステップＳ１７７とステップＳ１７８（図２８）で生成された特徴量ベクトルＶｃ１とＶｃ２は、それぞれ蓄積部に蓄積されている使用者ａの「安定・中」を示す脈拍情報の特徴量ベクトル、体動情報の特徴量ベクトルに加えられ、あらたに、ｆｖｃ１、Ｖμ１、およびＶσ１、並びにｆｖｃ２、Ｖμ２、およびＶσ２が計算され、蓄積部９５に蓄積される。
【０１５４】
このようにして、脈拍情報と体動情報から感情、状態、およびその強度が特定される。また、感情、状態、およびその強度が特定された特徴量ベクトルの情報が、あらたに蓄積される。
【０１５５】
ここまで、端末Ｂが、端末Ａから送信された使用者ａの脈拍情報と体動情報から特徴量ベクトルＶｃ１、Ｖｃ２を生成し、感情、状態、およびその強度を特定する処理について説明したが、同様に端末Ｂは、使用者ｂについての脈拍情報と体動情報から特徴量ベクトルを生成し、感情、状態、およびその強度を特定することもできる。
【０１５６】
また、端末Ａも同様にして、使用者ａと使用者ｂの感情、状態、およびその強度を特定することができる。
【０１５７】
次に、図４０と図４１を参照して、情報出力処理について説明する。ステップＳ３４１において、システム制御部９７は、出力情報が選択されたか否かを判定し、選択されたと判定されるまで待機する。出力情報の選択は、例えば、端末のディスプレイ上に表示されたメニューを使用者が選択することによって行われる。使用者が選択できるメニューは、「特定結果」、「特徴量に基づく情報」、「波形情報」、および「蓄積情報」の４種類がある。
【０１５８】
ステップＳ３４１において、出力情報が選択されたと判定された場合、システム制御部９７は、ステップＳ３４２に進み、特定結果が選択されたか否かを判定し、特定結果が選択された判定された場合、ステップＳ３４３において、特定結果に対応する２ビットの選択情報００を出力制御部１１４に送信する。
【０１５９】
ステップＳ３４４において、出力制御部１４４は、感情、状態、およびその強度の特定結果を出力する。例えば、端末のディスプレイ上に「中の安定を示しているようです。」という文字が出力される。
【０１６０】
ステップＳ３４２において、特定結果が選択されていないと判定された場合、システム制御部９７は、ステップＳ３４５に進み、特徴量に基づく情報が選択されたか否かを判定し、特徴量に基づく情報が選択されたと判定された場合、ステップＳ３４６に進み、特徴量に基づく情報に対応する２ビットの選択情報０１を出力制御部１１４に送信する。
【０１６１】
ステップＳ３４７において、出力制御部１１４は、特徴量（Ｔｐｐｇ＋，Ｔｐｐｇ−，Ｔｐｐｇｉ，Ａｐｐｇ＋，Ａｐｐｇ−）を特徴抽出部１１２から取得し、ステップＳ３４８に進み、光呈示部駆動信号を生成する。すなわち、出力の振幅をＡｐｐｇ＋とし、出力ＯＮ時間をＴｐｐｇ＋とし、出力ＯＦＦ時間をＴｐｐｇ−として、図４２に示されるような正弦波信号を生成する。そして、ステップＳ３４９に進み、出力制御部１１４は、光提示部１９２を駆動させる。
【０１６２】
ステップＳ３５０において、出力制御部１１４は、特徴量（Ｖｅｌ，ΔＶ）を特徴抽出部１１２から取得し、ステップＳ３５１に進み、移動オブジェクトの移動速度をＶｅｌとして、移動距離ΔＶとした駆動信号を生成する。そして、ステップＳ３５２に進み、移動オブジェクト１５２を駆動させる。
【０１６３】
ステップＳ３４５において、特徴量に基づく情報が選択されていないと判定された場合、システム制御部９７は、ステップＳ３５３において、波形情報が選択されたか否かを判定し、波形情報が選択されたと判定された場合、波形情報に対応する２ビットの選択情報１０を出力制御部１１４に送信する。ステップＳ３５６において、出力制御部１１４は、特徴抽出部１１２からサンプリングされた脈拍情報を取得し、波形信号を生成し、ステップＳ３５７において光呈示部１９２を駆動させる。
【０１６４】
ステップＳ３５８において、出力制御部１１４は、特徴抽出部１１２からサンプリングされた脈拍情報を取得し、波形信号を生成し、ステップＳ３５９において移動オブジェクト１５２を駆動させる。
【０１６５】
ステップＳ３５３において、波形情報が選択されていないと判定された場合、システム制御部９７は、ステップＳ３６０に進み、蓄積情報が選択されたか否かを判定し、蓄積情報が選択されたと判定された場合、ステップＳ３６１に進み、蓄積情報に対応する２ビットの選択情報０１を出力制御部１１４に送信する。
【０１６６】
蓄積情報が選択された場合、端末のディスプレイ上に更にサブメニューが表示され、使用者は、どの蓄積情報を出力するかを選択することができる。すなわち、脈拍情報、体動情報などの情報の種類ｉｎｆ１とｉｎｆ２、個人を特定する情報ＰＩＤ、感情情報Ｅが選択される。例えば、ｉｎｆ１として脈拍情報、ｉｎｆ２として体動情報、ＰＩＤとして個人ａ、Ｅとして「強い好」などが選択される。
【０１６７】
ステップＳ３６２において、システム制御部９７は、情報の種類ｉｎｆ１，ｉｎｆ２、個人を特定する情報ＰＩＤ、感情情報Ｅが選択されたか否かを判定し、選択されたと判定されるまで待機する。
【０１６８】
ステップＳ３６３において、システム制御部９７は、使用者に選択された情報に基づいて（ｉｎｆ１，ｉｎｆ２，ＰＩＤ，Ｅ）の情報を生成し、出力制御部１１４に送信する。
【０１６９】
ステップＳ３６４において出力制御部１１４は、（ｉｎｆ１，ｉｎｆ２，ＰＩＤ，Ｅ）に基づいて、蓄積部９５から脈拍情報の中心ベクトルと体動情報の中心ベクトルを取得する。この場合、蓄積部に蓄積されている個人ａの「強い好」に対応する脈拍情報の特徴量ベクトルの分布の中心ベクトルＶμ１（Ｔｐｐｇ＋，Ｔｐｐｇ−，Ｔｐｐｇｉ，Ａｐｐｇ＋，Ａｐｐｇ−）、個人ａの「強い好」に対応する体動情報の特徴量ベクトルの分布の中心ベクトルＶμ２（Ｖｅｌｍ，Ｄ）が取得される。
【０１７０】
ステップＳ３６５において、出力制御部１１４は、中心ベクトルＶμ１に基づいて、光呈示部駆動信号を生成する。すなわち、出力の振幅をＡｐｐｇ＋とし、出力ＯＮ時間をＴｐｐｇ＋とし、出力ＯＦＦ時間をＴｐｐｇ−として、図４３に示されるような正弦波４４１の信号を生成し、ステップＳ３６５において光呈示部１９２を駆動信号に基づいて、３回駆動させる。
【０１７１】
ステップＳ３６６において、出力制御部１１４は、中心ベクトルＶμ２に基づいて移動オブジェクトの移動速度をＶｅｌとして、移動距離をＤとした駆動信号を生成し、ステップＳ３６７において移動オブジェクト１５２を駆動させる。
【０１７２】
ステップＳ３６０において、蓄積情報が選択されていないと判定された場合、システム制御部９７は、ステップＳ３６８に進み、エラー処理を実行し、処理を終了する。
【０１７３】
このようにして、使用者は、生体情報から特定された感情、状態、およびその強度を表示させ、認識することができる。また、光の点滅させたり、オブジェクトを移動させたりすることにより、生体情報を体感することができる。
【０１７４】
実施の形態２
【０１７５】
図４４に本発明の第２の情報処理装置の構成例を示す。この情報処理装置は、パーソナルコンピュータなどに適用することができる。この情報処理装置には、言語情報、キーボードの振動情報の入力を受け付ける入力部３０１、入力部３０１から入力された情報を処理する処理部３０３、処理部３０３から出力された特徴情報と感情情報に基づいて、学習、特定を行う学習部３０４、学習部３０４から出力された学習情報、特定情報を蓄積する蓄積部３０５、処理部３０３から出力された出力情報に基づいて、情報を出力する出力部３０２、通信を行う通信部３０６、および各部を制御するシステム制御部３０７が設けられている。
【０１７６】
処理部３０３には、入力部３０１から入力された情報を、言語情報、またはキーボード振動情報に分別する情報弁別部３２１、キーボード振動情報から特徴情報を抽出する特徴抽出部３２２、言語情報から感情情報を抽出する意味抽出部３２３、および出力部３０２に出力情報を出力する出力制御部３２４が設けられている。通信部３０６には、情報の送信を行う情報送信部３２５、情報の受信を行う情報受信部３２６が設けられている。
【０１７７】
図４５に入力部３０１の構成例を示す。この例では、キーボード３４１、使用者がキーボードを打鍵するときの振動を検知する振動センサ３４２、振動センサ３４２からの信号を増幅する電源アンプ部３４３により構成されている。
【０１７８】
図４６に出力部３０２の構成例を示す。この例では、振動モータ３６２、所定の信号に基づいて振動する振動呈示部３６２、振動呈示部を駆動する電源アンプ部３６１により構成されている。
【０１７９】
使用者ａがもっている情報処理装置を端末Ａとし、使用者ｂがもっている情報処理装置を端末Ｂとして、使用者ａと使用者ｂがそれぞれの端末を用いて、相互に通信を行う場合、図４７に示される手順で情報の送受信が行われる。最初に端末Ａは、端末Ｂに接続要求を送信し、それに対応して端末Ｂは端末Ａに接続応答を送信する。その後、端末Ａと端末Ｂの間で、メール、チャットなどの文字情報などを送受信する。
【０１８０】
次に端末Ａは振動情報（この例の場合、使用者がキーボードを打鍵するときの振動）の送受信の初期設定を行い、端末Ｂに送受信要求を送信する。このとき、実施の形態１の場合と同様に、端末Ａから図１１に示される送信設定情報と受信設定情報が送信される。
【０１８１】
端末Ａから振動情報の送信要求を受け取った端末Ｂは、振動情報送受信設定の変更を行い、端末Ａに応答を送信する。
【０１８２】
そして端末Ａから端末Ｂに使用者ａの振動情報が送信され、端末Ｂから端末Ａに使用者ｂの振動情報が送信される。端末Ａ、端末Ｂにはそれぞれ振動情報が蓄積される。
【０１８３】
端末Ａから端末Ｂに接続終了要求が送信されると、端末Ｂはそれに応答し、通信は終了する。
【０１８４】
このようにして、端末Ａと端末Ｂの間で通信が行われ、振動情報が蓄積される。振動情報が充分に蓄積された後は、図４８に示されるように情報の送受信が行われる。すなわち、端末Ａと端末Ｂとの間で振動情報が送受信されると、端末Ａと端末Ｂにおいて、使用者の感情・状態の特定処理が行われる。
【０１８５】
次に図４９を参照して、端末Ｂにおける振動情報蓄積処理について説明する。最初に端末Ｂのシステム制御部３０７は、ステップＳ３８１において、端末Ａとの通信開始時に、通信相手である端末Ａの使用者ａを特定する情報（例えば、氏名、ニックネームなど）ＰＩＤを取得する。ステップＳ３８２において、端末Ｂのシステム制御部３０７は、情報弁別部３２１に、端末Ａのキーボードからキー入力がされたか否かを判定させ、入力されたと判定されるまで待機する。
【０１８６】
ステップＳ３８２において、キー入力がされたと判定された場合、ステップＳ３８３に進み、端末Ｂのシステム制御部３０７は、特徴抽出部３２２に、端末Ａから送信されてきた使用者ａのキーボード打鍵時の振動情報のサンプリング処理を開始させる。そして、ステップＳ３８４に進み、端末Ｂのシステム制御部３０７は、意味抽出部３２３に、入力された文字情報を解析させる。ステップＳ３８５において、端末Ｂのシステム制御部９７は、解析された文字情報の中に感情、状態、およびその強度を表す語句があるか否かを判定し、感情、状態、およびその強度を表す語句がないと判定された場合、ステップＳ３８２に戻り以降の処理を繰り返し実行する。感情・状態を表す語句は実施の形態１の場合と同様に、図２３に示されるようなものであり、強度を示す語句は図２４に示されるようなものである。
【０１８７】
ステップＳ３８５において、感情、状態、およびその強度を示す語句があると判定された場合、端末Ｂのシステム制御部３０７は、ステップＳ３８６において、認識された語句の主語は使用者か否か、すなわち、解析された語句が、使用者ａの感情、状態、およびその強度を表す語句であるか否かを判定し、主語は使用者ではないと判定された場合、ステップＳ３８２に戻り、以降の処理を繰り返し実行する。
【０１８８】
ステップＳ６において、主語は使用者であると判定された場合、端末Ｂのシステム制御部３０７は、ステップＳ３８７において、文字情報が１フレーズ分入力されたか否かを判定し、１フレーズ分入力されたと判定されるまで待機する。
【０１８９】
ステップＳ３８７において、１フレーズ分入力されたと判定された場合、端末Ｂのシステム制御部３０７は、ステップＳ３８８に進み、特徴抽出部３２２に、キーボード打鍵時の振動情報のサンプリング処理を終了させる。
【０１９０】
なお、キーボード打鍵時の振動情報のサンプリング処理は、端末Ａの特徴抽出部３２２において行い、サンプリングした結果を端末Ｂに送信してもよい。
【０１９１】
そして、ステップＳ３８９に進み、端末Ｂのシステム制御部３０７は、意味抽出部３２３で、感情情報Ｅを抽出する。
【０１９２】
使用者ａが「とてもうれしい」と入力した場合、「うれしい」という語句に対応する感情・状態は喜びであり、「とても」という語句に対応する強度は強であると認識され、感情情報Ｅとして、「強い喜び」が抽出される。
【０１９３】
ステップＳ３９０において、端末Ｂのシステム制御部３０７は、特徴抽出部３２２で使用者ａの脈拍情報に基づいて、特徴ベクトルＶｃを生成し、ステップ３９１に進み、個人を特定する情報ＰＩＤ、感情情報Ｅに対応する振動情報を蓄積部３０５から読み出す。この場合、使用者ａの強い喜びに対応する振動情報の特徴ベクトルが読み出される。そして、ステップＳ３９２に進み、端末Ｂのシステム制御部３０７は、学習部３０４に、読み出された特徴ベクトルに新たに生成された特徴ベクトルＶｃを加えて、ベクトルの分布ｆｖｃ、分布の中心ベクトルＶμ、標準偏差ベクトルＶσを再計算させ、ステップＳ３９３において、再計算した結果を蓄積部３０５に記憶する。
【０１９４】
次に図５１と図５２を参照して、振動情報の特徴ベクトルＶｃの生成処理について説明する。この処理は、端末Ｂの特徴抽出部３２２で行われる。ステップＳ４０１において、端末Ｂの特徴抽出部３２２は、サンプリングした振動情報を読み出し、その後、実施の形態１の場合と同様に、ステップＳ４０２において、図１６の極性判定処理を行い、ステップＳ４０３に進み、図１７のＴＶ出力処理を行い、ステップＳ４０４において、図１８のＶｍｉｎ，Ｖｍａｘ判定処理を行う。
【０１９５】
キーボード打鍵時の振動情報の波形は図５４に示す波形４９１のようになる。この波形４９１には、使用者がキーが押下されることにより、細かく振動する部分４９２、４９４と使用者がキーに触れていないので、ほとんど振動しない部分４９３、４９５が存在する。細かく振動する部分４９２、４９４をサンプリングし、極性判定処理、ＴＶ出力処理を行うと、Ｔｖ＋、Ｔｖ０、Ｔｖ−、Ｔｖ０、Ｔｖ＋．．．のような出力を得る。一方、ほとんど振動しない部分４９３、４９５をサンプリングし、極性判定処理、ＴＶ出力処理を行うと、Ｔｖ０だけが出力され、このＴｖ０はかなり大きな値となる。従って、所定の時間である閾値Ｔｈより、小さいＴｖ０が出力されたとき、使用者はキーを押下しており、Ｔｈより大きいＴｖ０が出力されたとき、使用者はキーを押下していないことが分かる。
【０１９６】
図５２のステップＳ４０５において、端末Ｂの特徴抽出部３２２は、変数ｎとＰに１をセットし、ステップＳ４０６に進みＴｖ０（Ｐ）が閾値Ｔｈより大きいか否かを判定し、Ｔｖ０（Ｐ）がＴｈより大きくないと判定された場合、ステップＳ４０７に進み、Ｔｓｔｒ（ｎ）に、Ｔｓｔｒ（ｎ）＋Ｔｖ＋（Ｐ）＋Ｔｖ−（Ｐ）をセットする。Ｔｓｒ（ｎ）の初期値は０である。
【０１９７】
ステップＳ４０８において、端末Ｂの特徴抽出部３２２は、Ｖｍａｘ（Ｐ）が、Ｉｍａｘ（ｎ）より大きいか否かを判定する。Ｉｍａｘ（ｎ）の初期値は０である。ステップＳ４０８においてＶｍａｘ（Ｐ）が、Ｉｍａｘ（ｎ）より大きいと判定された場合、端末Ｂの特徴抽出部３２２は、ステップＳ４０９に進み、Ｉｍａｘ（ｎ）にＶｍａｘ（Ｐ）をセットし、ステップＳ４１０においてＰの値を１だけインクリメントして、ステップＳ４０６に戻り、以降の処理を繰り返し実行する。ステップＳ４０８においてＶｍａｘ（Ｐ）が、Ｉｍａｘ（ｎ）より大きくないと判定された場合、ステップＳ４０９の処理はスキップされる。
【０１９８】
ステップＳ４０６において、Ｔｖ０（Ｐ）がＴｈより大きいと判定された場合、端末Ｂの特徴抽出部３２２は、ステップＳ４１１に進み、Ｔｉｎｔ（ｎ）にＴｖ０（Ｐ）をセットし、Ｐの値を１だけインクリメントし、特徴量ベクトルＶｃ１（Ｔｓｔｒ（ｎ），Ｔｉｎｔ（ｎ），Ｉｍａｘ（ｎ））を生成する。ステップＳ４１３において、端末Ｂの特徴抽出部３２２は、Ｔｖ０（Ｐ）があるか否かを判定し、Ｔｖ０（Ｐ）があると判定された場合、ステップＳ４１４に進み、ｎの値を１だけインクリメントし、ステップＳ４０６に戻り、以降の処理を繰り返し実行する。
【０１９９】
ステップＳ４１３において、Ｔｖ０（Ｐ）がないと判定された場合、端末Ｂの特徴抽出部３２２は、処理を終了する。
【０２００】
このようにして、図５４に示す波形４９１から図５５Ａに示されるＴｓｔｒ（１）５１１、Ｔｉｎｔ（１）５１２、Ｔｓｔｒ（２）５１３、Ｔｉｎｔ（２）５１４、Ｔｓｔｒ（３）５１５、Ｔｉｎｔ（３）５１６、Ｔｓｔｒ（４）５１７、Ｔｉｎｔ（４）５１８、Ｔｓｔｒ（５）５１１、Ｔｉｎｔ（５）５１２が得られる。Ｔｓｔｒ（１）乃至Ｔｓｔｒ（５）は、使用者によりキーが押下されている時間を示し、Ｔｉｎｔ（１）乃至Ｔｉｎｔ（５）はキーが押下される間隔を示す。この例では、キーが５回押下（打鍵）されたことが分かる。
【０２０１】
また、図５４に示す波形４９１から図５５Ｂに示されるＩｍａｘ（１）５３１、Ｉｍａｘ（２）５３２、Ｉｍａｘ（３）５３３、Ｉｍａｘ（４）５３４、Ｉｍａｘ（５）５３５が得られる。Ｉｍａｘ（１）乃至Ｉｍａｘ（５）はそれぞれ、１乃至５回目の打鍵時における最大振動強度である。
【０２０２】
このようにして、使用者ａの強い喜びに対応する振動情報の特徴ベクトルＶｃが生成される。
【０２０３】
ここまで、端末Ｂが、端末Ａから送信された使用者ａのキーボードを打鍵時の振動情報から特徴量ベクトルＶｃを生成し、蓄積する処理について説明したが、同様に端末Ｂは、使用者ｂのキーボード打鍵時の振動情報から特徴量ベクトルを生成し、蓄積する。その結果、端末Ｂの蓄積部９５には、図５３にしめされるような、キーボードの振動情報に関する学習結果４６１がそれぞれ、使用者ａと使用者ｂに分けて蓄積される。
【０２０４】
また、端末Ａも同様にして、キーボードの振動情報に関する学習結果をそれぞれ、使用者ａと使用者ｂに分けて蓄積することができる。
【０２０５】
上述した振動情報蓄積処理を繰り返し行い、振動情報が充分蓄積された後は、振動情報をもとに、使用者の感情、状態、およびその強度を特定することができる。
【０２０６】
次に図５６を参照して、端末Ｂによる感情状態の特定処理について説明する。
【０２０７】
ステップＳ４３１において、端末Ｂのシステム制御部３０７は、端末Ａとの通信開始時に、通信相手である端末Ａの使用者ａを特定する情報ＰＩＤを取得する。ステップＳ４３２において、端末Ｂのシステム制御部３０７は、情報弁別部３２１に、端末Ａから送信されてきた使用者ａのキー入力情報が入力されたか否かを判定させ、入力されたと判定されるまで待機する。
【０２０８】
ステップＳ４３２において、キー入力情報が入力されたと判定された場合、ステップＳ４３３に進み、端末Ｂのシステム制御部９７は、特徴抽出部３２２に、端末Ａから送信されてきた使用者ａのキーボード打鍵時の振動情報のサンプリング処理を開始させる。そして、ステップＳ４３４に進み、端末Ｂのシステム制御部３０７は、意味抽出部３２３に１フレーズ分入力された否かを判定させ、１フレーズ分入力されたと判定されるまで待機する。ステップＳ４３４において、１フレーズ分入力されたと判定された場合、端末Ｂのシステム制御部３０７は、特徴抽出部３２２に、端末Ａから送信されてきた使用者ａのキーボード打鍵時の振動情報のサンプリング処理を終了させる。
【０２０９】
なお、キーボード打鍵時の振動情報のサンプリング処理は、端末Ａの特徴抽出部３２２において行い、サンプリングした結果を端末Ｂに送信してもよい。
【０２１０】
ステップＳ４３６において、端末Ｂのシステム制御部３０７は、特徴抽出部１１２に、特徴ベクトルＶｃｈの生成処理を実行させ、ステップＳ４３７に進み、学習部３０４にＶｃｈの感情、状態、およびその強度の特定処理を実行させ、ステップＳ４３８に進み、特定結果出力再計算処理を実行させる。
【０２１１】
次に図５７と図５８を参照して、Ｖｃｈ生成処理について説明する。この処理は端末Ｂの特徴抽出部３２２において実行される。ステップＳ４５１において、端末Ｂの特徴抽出部３２２は、サンプリングした振動情報を読み出し、その後、実施の形態１の場合と同様に、ステップＳ４５２において、図１６の極性判定処理を行い、ステップＳ４５３に進み、図１７のＴＶ出力処理を行い、ステップＳ４５４において、図１８のＶｍｉｎ，Ｖｍａｘ判定処理を行う。
【０２１２】
図５８のステップＳ４５５において、端末Ｂの特徴抽出部３２２は、変数ｎとＰに１をセットし、ステップＳ４５６に進みＴｖ０（Ｐ）が閾値Ｔｈより大きいか否かを判定し、Ｔｖ０（Ｐ）がＴｈより大きくないと判定された場合、ステップＳ４５７に進み、Ｔｓｔｒ（ｎ）に、Ｔｓｔｒ（ｎ）＋Ｔｖ＋（Ｐ）＋Ｔｖ−（Ｐ）をセットする。Ｔｓｒ（ｎ）の初期値は０である。
【０２１３】
ステップＳ４５８において、端末Ｂの特徴抽出部３２２は、Ｖｍａｘ（Ｐ）が、Ｉｍａｘ（ｎ）より大きいか否かを判定する。Ｉｍａｘ（ｎ）の初期値は０である。ステップＳ４５８においてＶｍａｘ（Ｐ）が、Ｉｍａｘ（ｎ）より大きいと判定された場合、端末Ｂの特徴抽出部３２２は、ステップＳ４５９に進み、Ｉｍａｘ（ｎ）にＶｍａｘ（Ｐ）をセットし、ステップＳ４６０においてＰの値を１だけインクリメントして、ステップＳ４５６に戻り、以降の処理を繰り返し実行する。ステップＳ４５８においてＶｍａｘ（Ｐ）が、Ｉｍａｘ（ｎ）より大きくないと判定された場合、ステップＳ４５９の処理はスキップされる。
【０２１４】
ステップＳ４５６において、Ｔｖ０（Ｐ）がＴｈより大きくいと判定された場合、端末Ｂの特徴抽出部３２２は、ステップＳ４６１に進み、Ｔｉｎｔ（ｎ）にＴｖ０（Ｐ）をセットし、Ｐの値を１だけインクリメントし、ステップＳ４６２において特徴量ベクトルＶｃ（Ｔｓｔｒ（ｎ），Ｔｉｎｔ（ｎ），Ｉｍａｘ（ｎ））を生成する。ステップＳ４６３において、端末Ｂの特徴抽出部３２２は、Ｔｖ０（Ｐ）があるか否かを判定し、Ｔｖ０（Ｐ）があると判定された場合、ステップＳ４６５に進み、ｎの値を１だけインクリメントし、ステップＳ４５６に戻り、以降の処理を繰り返し実行する。
【０２１５】
ステップＳ４６３において、Ｔｖ０（Ｐ）がないと判定された場合、端末Ｂの特徴抽出部３２２は、ステップＳ４６４に進み、Ｖｃの平均ベクトルＶｃｈを生成する。
【０２１６】
例えば、使用者ａが端末Ａから「それはどうかな・・・」を“ｓｏｒｅｈａｄｏｕｋａｎａ・・・”とローマ字で入力した場合、その振動情報が端末Ｂに送信され、端末Ｂにおいて、最後の“・”を除いた１５文字のキー入力に対応した１５個の特徴量ベクトルＶｃが生成される。この１５個の特徴量ベクトルＶｃの平均ベクトルがＶｃｈとなる。
【０２１７】
次に図５９を参照して、Ｖｃｈの感情、状態、およびその強度の特定処理について説明する。この処理は、端末Ｂの学習部３０４において実行される。
【０２１８】
ステップＳ４８１において、端末Ｂの学習部３０４は、蓄積部３０５に蓄積されている使用者ａに対応する振動情報の特徴量ベクトルの分布ｆｖｃ、分布の中心ベクトルＶμ、分布の標準偏差ベクトルＶσを読み出す。
【０２１９】
上述したように感情情報は３６通りあり、ｆｖｃ，Ｖμ，Ｖσも感情情報に対応してそれぞれ３６通り存在する。
【０２２０】
ステップＳ４８２において、端末Ｂの学習部３０４は、変数Ｑに１をセットし、ステップＳ４８３に進み、ベクトルＶμ（Ｑ）とステップＳ４３６（図５６）で生成した特徴量ベクトルＶｃｈの内積値を算出し、内積値に対応させてＶμ（Ｑ）を記憶する。そして、ステップＳ４８４に進み、端末Ｂの学習部３０４は、Ｑの値を１だけインクリメントし、ステップ４８５において、全ての感情情報について計算したか否か、すなわち、３６種類の中心ベクトルＶμについて、内積値を計算したか否かを判定し、全ての感情情報について計算していないと判定された場合、ステップＳ４８３に戻り、以降の処理を繰り返し実行する。
【０２２１】
全ての感情情報に対応する３６種類の中心ベクトルＶμについて内積値の計算が終わると、端末Ｂの学習部３０４の中にある図示せぬ記憶部には、実施の形態１の場合と同様に感情情報、内積値、中心ベクトルＶμの種類、内積値の大きさの順序が含まれたデータが記憶されている。ステップＳ４８６において、端末Ｂの学習部３０４は、内積値の大きい順にデータをソートする。
【０２２２】
ステップＳ４８７において、端末Ｂの学習部３０４は、変数Ｒに１をセットし、Ｓ４８８において、全ての感情情報に関してデータが読み出されたか否かを判定し、全ての感情情報に関してデータが読み出されていないと判定された場合、ステップＳ４８９に進み、ソートしたデータを読み出す。ステップＳ４９０において、変数ｍに１をセットし、ステップＳ４９１に進み、Ｖμ（Ｒ）ｍ−Ｖσ（Ｒ）ｍ≦Ｖｃｈｍ≦Ｖμ（Ｒ）ｍ＋Ｖσ（Ｒ）ｍの条件を満たしているか否かを判定する。ここで、Ｖμ（Ｒ）ｍは、ベクトルＶμ（Ｒ）のｍ番目の成分を表し、Ｖσ（Ｒ）ｍ，Ｖｃｈｍもそれぞれ同様にベクトルＶσ，Ｖｃｈのｍ番目の成分を表す。振動情報の特徴量ベクトルは上述したようにＴｓｔｒ，Ｔｉｎｔ，Ｉｍａｘの３個の成分により構成されている。ｍの値が１のとき、Ｖμ（Ｒ），Ｖσ（Ｒ），Ｖｃの各ベクトルのＴｓｔｒ成分が抽出され、処理が行われる。
【０２２３】
ステップＳ４９１において、Ｖμ（Ｒ）ｍ−Ｖσ（Ｒ）ｍ≦Ｖｃｈｍ≦Ｖμ（Ｒ）ｍ＋Ｖσ（Ｒ）ｍの条件を満たしていないと判定された場合、端末Ｂの学習部３０４は、ステップＳ４９６に進み、Ｒの値を１だけインクリメントして、ステップＳ４８８に戻り、以降の処理を繰り返し実行する。ステップＳ４９１において、Ｖμ（Ｒ）ｍ−Ｖσ（Ｒ）ｍ≦Ｖｃｈｍ≦Ｖμ（Ｒ）ｍ＋Ｖσ（Ｒ）ｍの条件を満たしていると判定された場合、端末Ｂの学習部３０４は、ステップＳ４９２に進み、ｍの値を１だけインクリメントして、ステップＳ４９３に進み、ｍの値が４と等しいか否かを判定し、ｍの値が４と等しくないと判定された場合、ステップＳ４９１に戻り、以降の処理を繰り返し実行する。
【０２２４】
ステップＳ４９３において、ｍの値が４と等しいと判定された場合、すなわち、Ｖμ（Ｒ），Ｖσ（Ｒ），Ｖｃｈの各ベクトルを構成する３個の成分について、全て、Ｖμ（Ｒ）ｍ−Ｖσ（Ｒ）ｍ≦Ｖｃｈｍ≦Ｖμ（Ｒ）ｍ＋Ｖσ（Ｒ）ｍの条件を満たしていると判定された場合、端末Ｂの学習部３０４は、ステップＳ４９４に進み、ＶｃｈはＲに対応する感情情報Ｅに属しているものと特定する。
【０２２５】
ステップＳ４８８において、全ての感情情報に関してデータを読み出したと判定された場合、端末Ｂの学習部３０４は、Ｖｃｈの感情、状態、およびその強度を特定不能として処理を終了する。
【０２２６】
図６０は、使用者ａの各感情情報に対応する振動情報の特徴量ベクトルを示した図である。この図は、Ｔｓｔｒ軸、Ｔｉｎｔ軸、Ｉｍａｘ軸からなる３次元空間として示されている。図５６のステップＳ４３６において生成された特徴量ベクトル５５５（Ｖｃｈ）は、「嫌悪・弱」に対応する特徴量ベクトルの分布５５７の中心ベクトル５５６（Ｖμ１５）と近接しており、上述したＶｃｈの感情、状態、およびその強度特定処理の結果、「嫌悪・弱」を示す特徴量ベクトルであると特定される。
【０２２７】
このようにして、特徴量ベクトルＶｃｈから、使用者ａの感情、状態、およびその強度が特定される。
【０２２８】
次に図６１を参照して、特定結果出力再計算処理について説明する。この処理は、端末Ｂの学習部３０４において実行される。ステップＳ５１１において、端末Ｂの学習部３０４は、特定結果を出力制御部３２４に出力し、ステップＳ５１２において使用者ａの感情情報Ｅに対応する振動情報の特徴量ベクトルの分布ｆｖｃ、分布の中心ベクトルＶμ、分布の標準偏差ベクトルＶσを再計算し、蓄積する。すなわち、ステップＳ４３６（図５６）で生成された特徴量ベクトルＶｃｈは、蓄積部に蓄積されている使用者ａの「嫌悪・弱」を示す振動情報の特徴量ベクトルに加えられ、あらたに、ｆｖｃ、Ｖμ、およびＶσが計算され、蓄積部３０５に蓄積される。
【０２２９】
このようにして、振動情報から感情、状態、およびその強度が特定される。また、感情、状態、およびその強度が特定された特徴量ベクトルの情報が、あらたに蓄積される。
【０２３０】
ここまで、端末Ｂが、端末Ａから送信された使用者ａのキーボード打鍵時の振動情報から特徴量ベクトルＶｃｈを生成し、感情、状態、およびその強度を特定する処理について説明したが、同様に端末Ｂは、使用者ｂについてのキーボード打鍵時の振動情報から特徴量ベクトルを生成し、感情、状態、およびその強度を特定することもできる。
【０２３１】
また、端末Ａも同様にして、使用者ａと使用者ｂの感情、状態、およびその強度を特定することができる。
【０２３２】
次に、図６２と図６３を参照して、情報出力処理について説明する。ステップＳ５３１において、システム制御部３０７は、出力情報が選択されたか否かを判定し、選択されたと判定されるまで待機する。出力情報の選択は、実施の形態１の場合と同様に、例えば、端末のディスプレイ上に表示されたメニューを使用者が選択することによって行われる。使用者が選択できるメニューは、「特定結果」、「特徴量に基づく情報」、「波形情報」、および「蓄積情報」の４種類がある。
【０２３３】
ステップＳ５３１において、出力情報が選択されたと判定された場合、システム制御部３０７は、ステップＳ５３２に進み、特定結果が選択されたか否かを判定し、特定結果が選択された判定された場合、ステップＳ５３３において、特定結果に対応する２ビットの選択情報００を出力制御部３２４に送信する。
【０２３４】
ステップＳ５３４において、出力制御部３２４は、感情、状態、およびその強度の特定結果を出力する。例えば、端末のディスプレイ上に「弱い嫌悪を示しているようです。」という文字が出力される。
【０２３５】
ステップＳ５３２において、特定結果が選択されていないと判定された場合、システム制御部３０７は、ステップＳ５３５に進み、特徴量に基づく情報が選択されたか否かを判定し、特徴量に基づく情報が選択されたと判定された場合、ステップＳ５３６に進み、特徴量に基づく情報に対応する２ビットの選択情報０１を出力制御部３２４に送信する。
【０２３６】
ステップＳ５３７において、出力制御部３２４は、特徴量（Ｔｓｔｒ，Ｔｉｎｔ，Ｉｍａｘ）を特徴抽出部３２２から取得し、ステップＳ５３８に進み、振動呈示部駆動信号を生成する。すなわち、出力のレベルをＩｍａｘとし、出力ＯＮ時間をＴｓｔｒとし、出力ＯＦＦ時間をＴｉｎｔとして、図６４に示されるような矩形波信号を生成する。そして、ステップＳ５３９に進み、出力制御部３２４は、振動提示部３６２を駆動させる。
【０２３７】
ステップＳ５３５において、特徴量に基づく情報が選択されていないと判定された場合、システム制御部３０７は、ステップＳ５４０において、波形情報が選択されたか否かを判定し、波形情報が選択されたと判定された場合、波形情報に対応する２ビットの選択情報１０を出力制御部３２４に送信する。ステップＳ５４２において、出力制御部３２４は、特徴抽出部３２２からサンプリングされた振動情報を取得し、波形信号を生成し、ステップＳ５４３において振動呈示部３６２を駆動させる。
【０２３８】
ステップＳ５４０において、波形情報が選択されていないと判定された場合、システム制御部３０７は、ステップＳ５４４に進み、蓄積情報が選択されたか否かを判定し、蓄積情報が選択されたと判定された場合、ステップＳ５４５に進み、蓄積情報に対応する２ビットの選択情報０１を出力制御部３２４に送信する。
【０２３９】
蓄積情報が選択された場合、端末のディスプレイ上に更にサブメニューが表示され、使用者は、どの蓄積情報を出力するかを選択することができる。すなわち、キーボードの振動情報などの情報の種類ｉｎｆ、個人を特定する情報ＰＩＤ、感情情報Ｅが選択される。例えば、ｉｎｆとしてキーボードの振動情報、ＰＩＤとして個人ａ、Ｅとして「強い活性」などが選択される。
【０２４０】
ステップＳ５４６において、システム制御部３０７は、情報の種類ｉｎｆ、個人を特定する情報ＰＩＤ、感情情報Ｅが選択されたか否かを判定し、選択されたと判定されるまで待機する。
【０２４１】
ステップＳ５４７において、システム制御部３０７は、使用者に選択された情報に基づいて（ｉｎｆ，ＰＩＤ，Ｅ）の情報を生成し、出力制御部３２４に送信する。
【０２４２】
ステップＳ５４８において出力制御部３２４は、（ｉｎｆ，ＰＩＤ，Ｅ）に基づいて、蓄積部３０５からキーボードの振動情報の中心ベクトルを取得する。この場合、蓄積部に蓄積されている個人ａの「強い活性」に対応する脈拍情報の特徴量ベクトルの分布の中心ベクトルＶμ（Ｔｓｔｒ，Ｔｉｎｔ，Ｉｍａｘ）が取得される。
【０２４３】
ステップＳ５４９において、出力制御部３２４は、中心ベクトルＶμに基づいて、振動呈示部駆動信号を生成する。すなわち、出力のレベルをＩｍａｘとし、出力ＯＮ時間をＴｓｔｒとし、出力ＯＦＦ時間をＴｉｎｔとして、図６５に示されるような矩形波５９１の信号を生成し、ステップＳ５５０において振動呈示部３６２を駆動信号に基づいて、３回駆動させる。
【０２４４】
ステップＳ５４４において、蓄積情報が選択されていないと判定された場合、システム制御部３０７は、ステップＳ５５１に進み、エラー処理を実行して、処理を終了する。
【０２４５】
このようにして、使用者は、振動情報から特定された感情、状態、およびその強度を表示させ、認識することができる。また、振動呈示部を駆動させることにより、振動情報を体感することができる。
【０２４６】
実施の形態３
【０２４７】
図６６に本発明の第３の情報処理装置の構成例を示す。この情報処理装置は、パーソナルコンピュータなどに適用することができる。この情報処理装置には、感情申告情報、マウスクリック情報、マウス握り圧情報、環境温度情報の入力を受け付ける入力部６１１、入力部６１１から入力された情報を処理する処理部６１３、処理部６１３から出力された特徴情報と感情態情報に基づいて、学習、特定を行う学習部６１４、学習部６１４から出力された学習情報、特定情報を蓄積する蓄積部６１５、処理部６１３から出力された出力情報に基づいて、情報を出力する出力部６１２、通信を行う通信部６１６、および各部を制御するシステム制御部６１７が設けられている。
【０２４８】
処理部６１３には、入力部６１１から入力された情報を、感情・状態申告情報、環境温度情報、マウスクリック情報またはマウス握り圧情報に分別する情報弁別部６３１、マウスクリック情報とマウス握り圧情報から特徴情報を抽出する特徴抽出部６３２、および出力部６１２に出力情報を出力する出力制御部６１２が設けられている。通信部６１６には、情報の送信を行う情報送信部６３４、情報の受信を行う情報受信部６３５が設けられている。
【０２４９】
図６７に入力部６１１の構成例を示す。この例では、マウス６５１、使用者がマウスを握るときの強度を検知する握り強度センサ６７１、握り強度センサ６７１からの信号を圧力信号に変換する圧力検出部６５２、環境温度を測定する温度センサ６５３、および温度センサ６５３からの信号を増幅する電源アンプ部６５４により構成されている。
【０２５０】
図６８に出力部６１２の構成例を示す。この例では、所定の信号に基づいて熱を発生する温度呈示部６９２、温度呈示部を駆動する電源アンプ部６９１により構成されている。温度呈示部６９２は、電流を流すと温度が変化するペルチェ素子６９３で構成されている。
【０２５１】
使用者ａがもっている情報処理装置を端末Ａとし、使用者ｂがもっている情報処理装置を端末Ｂとして、使用者ａと使用者ｂがそれぞれの端末を用いて、相互に通信を行う場合、図６９に示される手順で情報の送受信が行われる。最初に端末Ａは、端末Ｂに接続要求を送信し、それに対応して端末Ｂは端末Ａに接続応答を送信する。その後、端末Ａと端末Ｂの間で、メール、チャットなどの文字情報などを送受信する。
【０２５２】
次に端末Ａはクリック情報と握り圧情報（この例の場合、使用者がマウスを握るときの握り圧）の送受信の初期設定を行い、端末Ｂに送受信要求を送信する。このとき、実施の形態１の場合と同様に、端末Ａから図１１に示される送信設定情報と受信設定情報が送信される。
【０２５３】
端末Ａから振動情報の送信要求を受け取った端末Ｂは、クリック情報と握り圧情報送受信設定の変更を行い、端末Ａに応答を送信する。
【０２５４】
そして端末Ａから端末Ｂに使用者ａのクリック情報と握り圧情報が送信され、端末Ｂから端末Ａに使用者ｂの振動情報が送信される。端末Ａ、端末Ｂにはそれぞれクリック情報と握り圧情報が蓄積される。
【０２５５】
端末Ａから端末Ｂに接続終了要求が送信されると、端末Ｂはそれに応答し、通信は終了する。
【０２５６】
このようにして、端末Ａと端末Ｂの間で通信が行われ、クリック情報と握り圧情報が蓄積される。クリック情報と握り圧情報が充分に蓄積された後は、図７０に示されるように情報の送受信が行われる。すなわち、端末Ａと端末Ｂとの間でクリック情報と握り圧情報が送受信されると、端末Ａと端末Ｂにおいて、使用者の感情・状態の特定処理が行われる。
【０２５７】
次に図７１を参照して、端末Ｂにおけるクリック情報、握り圧情報蓄積処理について説明する。最初に端末Ｂのシステム制御部６１７は、ステップＳ５７１において、端末Ａとの通信開始時に、通信相手である端末Ａの使用者ａを特定する情報（例えば、氏名、ニックネームなど）ＰＩＤを取得し、ステップＳ５７２において、端末Ａから送信されてきた環境温度情報Ｋを取得する。ステップＳ５７２において、端末Ｂのシステム制御部６１７は、情報弁別部６３１に、端末Ａから感情・状態申告情報の入力があったか否かを判定させ、入力されたと判定されるまで待機する。
【０２５８】
端末Ａのディスプレイには、図７６に示されるような感情・状態チャートが表示されており、使用者ａは、この感情・状態チャートをマウスで所定の回数だけクリックすることにより感情・状態の申告を行う。感情・状態チャートをマウスでクリックすると、図７７に示される感情・状態申告情報が端末Ａから端末Ｂに送信される。また感情・状態の強度は、感情・状態チャートをクリックする回数により申告することができ、強度が弱のときは２回、強度が中のときは３回、強度が強のときは４回クリックする。
【０２５９】
また、使用者の感情・状態の申告情報は、仮想空間における使用者のエージェント（例えば、アバターなど）を用いて取得することもできる。
【０２６０】
ステップＳ５７３において、感情・状態申告情報の入力があったと判定された場合、ステップＳ５７４に進み、端末Ｂのシステム制御部６１７は、特徴抽出部６３２に、端末Ａから送信されてきた使用者ａのクリック情報と握り圧情報のサンプリング処理を開始させる。そして、ステップＳ５７５に進み、端末Ｂのシステム制御部６１７は、感情・状態申告情報のから、感情情報Ｅを抽出し、ステップＳ５７６において、特徴抽出部６３２に、クリック情報と握り圧情報のサンプリング処理を終了させる。
【０２６１】
なお、マウスのクリック情報と握り圧情報のサンプリング処理は、端末Ａの特徴抽出部６３２において行い、サンプリングした結果を端末Ｂに送信してもよい。
【０２６２】
使用者ａが感情・状態申告チャートの驚きの部分をマウスで４回クリックした場合、感情情報Ｅとして、「強い驚き」が抽出される。
【０２６３】
ステップＳ５７７において、端末Ｂのシステム制御部６１７は、特徴抽出部６３２に、使用者ａのクリック情報と握り圧情報に基づいて、特徴ベクトルＶｃの生成処理を実行させ、ステップＳ５７８に進み、環境温度Ｋの値が、基準値Ｋ１以上であるか否かを判定し、環境温度Ｋの値が、基準値Ｋ１以上であると判定された場合、ステップＳ５７９に進み、Ｋ≧Ｋ１におけるＰＩＤとＥに対応するクリック情報と握り圧情報を蓄積部６１５から読み出す。この場合、環境温度がＫ１以上のときの使用者ａの強い驚きに対応するクリック情報と握り圧情報の特徴ベクトルが読み出される。
【０２６４】
ステップＳ５７８において、環境温度Ｋの値が、基準値Ｋ１未満であると判定された場合、端末Ｂのシステム制御部６１７は、ステップＳ５８０に進み、Ｋ＜Ｋ１におけるＰＩＤとＥに対応するクリック情報と握り圧情報を蓄積部６１５から読み出す。この場合、環境温度がＫ１未満のときの使用者ａの強い驚きに対応するクリック情報と握り圧情報の特徴ベクトルが読み出される。
【０２６５】
そして、ステップＳ５８１に進み、端末Ｂのシステム制御部６１７は、学習部６１４に、読み出された特徴ベクトルに新たに生成された特徴ベクトルＶｃを加えて、ベクトルの分布ｆｖｃ、分布の中心ベクトルＶμ、標準偏差ベクトルＶσを再計算させ、ステップＳ５８２において、再計算した結果を蓄積部６１５に記憶する。
【０２６６】
次に図７３を参照して、クリック情報と握り圧情報の特徴ベクトルＶｃの生成処理について説明する。この処理は、端末Ｂの特徴抽出部６３２で行われる。ステップＳ５９１において、端末Ｂの特徴抽出部６３２は、サンプリングしたクリック情報と握り圧情報を読み出し、その後、実施の形態１の場合と同様に、ステップＳ５９２において、図１６の極性判定処理を行い、ステップＳ５９３に進み、図１７のＴＶ出力処理を行い、ステップＳ５９４において、図１８のＶｍｉｎ，Ｖｍａｘ判定処理を行い、ステップＳ５９５において、後述するクリック特徴算出処理を行い、値ＴｃｌｍとＴｃｉｍを取得する。
【０２６７】
そして、ステップＳ５９６に進み、端末Ｂの特徴抽出部６３２は、サンプリングした握り圧情報を読み出し、ステップＳ５９７において、極性判定処理を行い、ステップＳ５９８に進み、ＴＶ出力処理を行い、ステップＳ５９９において、Ｖｍｉｎ，Ｖｍａｘ判定処理を行い、ステップＳ６００において、後述する握り圧特徴算出処理を行い、値ＴｇｒｐｍとＩｇｒｐｍを取得する。
【０２６８】
ステップＳ６０１において、端末Ｂの特徴抽出部６３２は、特徴量ベクトルＶｃ（Ｔｃｌｍ，Ｔｃｉｍ，Ｔｇｒｐｍ，Ｉｇｒｐｍ）を生成する。
【０２６９】
次に図７４を参照して、クリック特徴算出処理について説明する。
使用者がマウスをクリックするときのクリック情報の波形は図７９に示す波形のようになる。すなわち、使用者がマウスのクリックボタンを押下しているとき、パルス７７１、パルス７７３、パルス７７５、パルス７７７が出力され、クリックボタンが押下される間の時間７７２，時間７７４，時間７７６は、それぞれ出力が０となる。この波形をサンプリングし、極性判定処理、ＴＶ出力処理を行うと、Ｔｖ＋、Ｔｖ０、Ｔｖ＋、Ｔｖ０、Ｔｖ＋．．．のような出力を得る。
【０２７０】
図７４のステップＳ６２１において、端末Ｂの特徴抽出部６３２は、変数ｎとＰに１をセットし、ステップＳ６２２に進みＴｃｌ（ｎ）にＴｖ＋（Ｐ）の値をセットし、Ｔｃｉ（ｎ）にＴｖ０（Ｐ）の値をセットする。そして、ステップＳ６２３に進み、端末Ｂの特徴抽出部６３２は、Ｐとｎの値を１だけインクリメントし、ステップＳ６２４において、Ｔｖ＋（Ｐ）またはＴｖ０（Ｐ）があるか否かを判定し、Ｔｖ＋（Ｐ）またはＴｖ０（Ｐ）があると判定された場合、ステップＳ６２２に戻り、以降の処理を繰り返し実行する。
【０２７１】
ステップＳ６２４において、Ｔｖ＋（Ｐ）またはＴｖ０（Ｐ）がないと判定された場合、端末Ｂの特徴抽出部６３２は、ステップＳ６２５に進み、Ｔｃｌの平均値ＴｃｌｍとＴｃｉの平均値Ｔｃｉｍを計算する。図７９の場合、ＴｃｌｍとＴｃｉｍは、それぞれ次の式で算出される。
Ｔｃｌｍ＝（Ｔｃｌ（１）＋Ｔｃｌ（２）＋Ｔｃｌ（３）＋Ｔｃｌ（４））／４
Ｔｃｉｍ＝（Ｔｃｉ（１）＋Ｔｃｉ（２）＋Ｔｃｉ（３））／３
【０２７２】
次に、図７５を参照して、握り圧特徴算出処理について説明する。使用者がマウスを握るときの握り圧情報は、図８０に示すような波形７９１になる。この波形をサンプリングし、極性判定処理、ＴＶ出力処理を行うと、Ｔｖ＋、Ｔｖ０、Ｔｖ＋．．．のような出力を得る。すなわち、使用者がマウスを閾値Ｖｔｈ０より強い強度で握っている時間はＴｖ＋となり、閾値Ｖｔｈ０より弱い強度で握っている時間はＴｖ０となる。
【０２７３】
また、Ｖｍａｘ，Ｖｍｉｎ判定処理を行うと、使用者がマウスを閾値Ｖｔｈ０より強い強度で握っている時間Ｔｖ＋における出力の最大強度Ｖｍａｘを得る。
【０２７４】
ステップＳ６４１において、端末Ｂの特徴抽出部６３２は、変数ｎとＰに１をセットし、ステップＳ６４２に進みＴｇｒｐ（ｎ）にＴｖ＋（Ｐ）の値をセットし、Ｉｇｒｐ（ｎ）にＶｍａｘ（Ｐ）の値をセットする。
【０２７５】
ステップＳ６４３において端末Ｂの特徴抽出部６３２は、Ｐとｎの値を１だけインクリメントして、ステップＳ６４４に進み、Ｔｖ＋（Ｐ）またはＴｖ０（Ｐ）があるか否かを判定し、Ｔｖ＋（Ｐ）またはＴｖ０（Ｐ）があると判定された場合、ステップＳ６４５に進み、Ｔｇｒｐの平均値ＴｇｒｐｍとＩｇｒｐの平均値Ｉｇｒｐｍを算出する。
図８０の場合、ＴｇｒｐｍとＩｇｒｐｍは、それぞれ次の式で算出される。
Ｔｇｒｐｍ＝（Ｔｇｒｐ（１）＋Ｔｇｒｐ（２））／２
Ｉｇｒｐｍ＝（Ｉｇｒｐ（１）＋Ｉｇｒｐ（２））／２
【０２７６】
このようにして、使用者ａの強い驚きに対応するクリック情報と握り圧情報の特徴ベクトルＶｃが生成される。
【０２７７】
ここまで、端末Ｂが、端末Ａから送信された使用者ａのマウスのクリック情報と握り圧情報から特徴量ベクトルＶｃを生成し、蓄積する処理について説明したが、同様に端末Ｂは、使用者ｂのマウスのクリック情報と握り圧情報から特徴量ベクトルを生成し、蓄積する。その結果、端末Ｂの蓄積部６１５には、図７８にしめされるように、マウスのクリック情報と握り圧情報に関する学習結果７１１がそれぞれ、環境温度Ｋ≧Ｋ１の場合７３１と環境温度Ｋ＜Ｋ１の場合７３２に分けて蓄積される。さらに、環境温度Ｋ≧Ｋ１の場合７３１と環境温度Ｋ＜Ｋ１の場合７３２のそれぞれにおいて、マウスのクリック情報と握り圧情報は、使用者ａと使用者ｂにに分けて蓄積される。
【０２７８】
また、端末Ａも同様にして、マウスのクリック情報と握り圧情報に関する学習結果をそれぞれ、使用者ａと使用者ｂに分けて蓄積することができる。
【０２７９】
上述したクリック情報と握り圧情報の蓄積処理を繰り返し行い、クリック情報と握り圧情報が充分蓄積された後は、クリック情報と握り圧情報をもとに、使用者の感情、状態、およびその強度を特定することができる。
【０２８０】
次に図８１を参照して、端末Ｂによる感情状態の特定処理について説明する。
【０２８１】
ステップＳ６６１において、端末Ｂのシステム制御部６１７は、端末Ａとの通信開始時に、通信相手である端末Ａの使用者ａを特定する情報ＰＩＤを取得する。ステップＳ６６２において、端末Ｂのシステム制御部６１７は、情報弁別部６３１に、使用者ａのマウス入力があったか否かを判定させ、入力があったと判定されるまで待機する。
【０２８２】
ステップＳ６６２において、マウス入力があったと判定された場合、ステップＳ６６３に進み、端末Ｂのシステム制御部６１７は、特徴抽出部６３２に、端末Ａから送信されてきた使用者ａのマウスのクリック情報と握り圧情報のサンプリング処理を開始させる。そして、ステップＳ６６４に進み、端末Ｂのシステム制御部６１７は、情報弁別部６３１にマウス入力が終わったか否かを判定させ、マウス入力が終わったと判定されるまで待機する。
【０２８３】
ステップＳ６６４において、マウス入力が終わったと判定された場合、端末Ｂのシステム制御部６１７は、特徴抽出部６３２に、端末Ａから送信されてきた使用者ａのマウスのクリック情報と握り圧情報のサンプリング処理を終了させる。
【０２８４】
なお、マウスのクリック情報と握り圧情報のサンプリング処理は、端末Ａの特徴抽出部６３２において行い、サンプリングした結果を端末Ｂに送信してもよい。
【０２８５】
ステップＳ６６６において、端末Ｂのシステム制御部３１７は、特徴抽出部６３２に、特徴ベクトルＶｃの生成処理を実行させ、ステップＳ６６７に進み、学習部６１４にＶｃの感情、状態、およびその強度の特定処理を実行させ、ステップＳ６６８において、特定結果出力再計算処理を実行させる。
【０２８６】
次に図８２を参照して、Ｖｃ生成処理について説明する。この処理は端末Ｂの特徴抽出部６３２において実行される。ステップＳ６８１において、端末Ｂの特徴抽出部６３２は、サンプリングしたクリック情報と握り圧情報を読み出し、ステップＳ６８２において、極性判定処理を行い、ステップＳ６８３に進み、ＴＶ出力処理を行い、ステップＳ６８４において、Ｖｍｉｎ，Ｖｍａｘ判定処理を行い、ステップＳ６８５において、後述するクリック特徴算出処理を行い、値ＴｃｌｍとＴｃｉｍを取得する。
【０２８７】
そして、ステップＳ６８６に進み、端末Ｂの特徴抽出部６３２は、サンプリングした握り圧情報を読み出し、ステップＳ６８７において、極性判定処理を行い、ステップＳ６８８に進み、ＴＶ出力処理を行い、ステップＳ６８９において、Ｖｍｉｎ，Ｖｍａｘ判定処理を行い、ステップＳ６９０において、後述する握り圧特徴算出処理を行い、値ＴｇｒｐｍとＩｇｒｐｍを取得する。
【０２８８】
ステップＳ６９１において、端末Ｂの特徴抽出部６３２は、特徴量ベクトルＶｃ（Ｔｃｌｍ，Ｔｃｉｍ，Ｔｇｒｐｍ，Ｉｇｒｐｍ）を生成する。
【０２８９】
次に図８３を参照して、クリック特徴算出処理について説明する。
【０２９０】
ステップＳ７１１において、端末Ｂの特徴抽出部６３２は、変数ｎとＰに１をセットし、ステップＳ７１２に進みＴｃｌ（ｎ）にＴｖ＋（Ｐ）の値をセットし、Ｔｃｉ（ｎ）にＴｖ０（Ｐ）の値をセットする。そして、ステップＳ７１３に進み、端末Ｂの特徴抽出部６３２は、Ｐとｎの値を１だけインクリメントし、ステップＳ７１４において、Ｔｖ＋（Ｐ）またはＴｖ０（Ｐ）があるか否かを判定し、Ｔｖ＋（Ｐ）またはＴｖ０（Ｐ）があると判定された場合、ステップＳ７１２に戻り、以降の処理を繰り返し実行する。
【０２９１】
ステップＳ７１４において、Ｔｖ＋（Ｐ）またはＴｖ０（Ｐ）がないと判定された場合、端末Ｂの特徴抽出部６３２は、ステップＳ７１５に進み、Ｔｃｌの平均値ＴｃｌｍとＴｃｉの平均値Ｔｃｉｍを計算する。
【０２９２】
次に、図８４を参照して、握り圧特徴算出処理について説明する。ステップＳ７３１において、端末Ｂの特徴抽出部６３２は、変数ｎとＰに１をセットし、ステップＳ７３２に進みＴｇｒｐ（ｎ）にＴｖ＋（Ｐ）の値をセットし、Ｉｇｒｐ（ｎ）にＶｍａｘ（Ｐ）の値をセットする。
【０２９３】
ステップＳ７３３において端末Ｂの特徴抽出部６３２は、Ｐとｎの値を１だけインクリメントして、ステップＳ７３４に進み、Ｔｖ＋（Ｐ）またはＴｖ０（Ｐ）があるか否かを判定し、Ｔｖ＋（Ｐ）またはＴｖ０（Ｐ）があると判定された場合、ステップＳ７３５に進み、Ｔｇｒｐの平均値ＴｇｒｐｍとＩｇｒｐの平均値Ｉｇｒｐｍを算出する。
【０２９４】
このようにして、使用者ａのマウスのクリック情報と握り圧情報から特徴量ベクトルＶｃが生成される。
【０２９５】
次に図８５を参照して、Ｖｃの感情、状態、およびその強度の特定処理について説明する。この処理は、端末Ｂの学習部６１４において実行される。
【０２９６】
ステップＳ７５１において、端末Ｂの学習部６１４は、端末Ａから送信されてきた環境温度情報Ｋの値が基準値Ｋ１以上か否かを判定し、Ｋ１以上であると判定された場合、蓄積部６１５に蓄積されているＫ≧Ｋ１における使用者ａに対応するマウスのクリック情報と握り圧情報の特徴量ベクトルの分布ｆｖｃ、分布の中心ベクトルＶμ、分布の標準偏差ベクトルＶσを読み出す。ステップＳ７５１において、Ｋの値が基準値Ｋ１未満であると判定された場合、端末Ｂの学習部６１４は、蓄積部６１５に蓄積されているＫ＜Ｋ１における使用者ａに対応するマウスのクリック情報と握り圧情報の特徴量ベクトルの分布ｆｖｃ、分布の中心ベクトルＶμ、分布の標準偏差ベクトルＶσを読み出す。
【０２９７】
上述したように感情情報は３６通りあり、ｆｖｃ，Ｖμ，Ｖσも感情情報に対応してそれぞれ３６通り存在する。
【０２９８】
ステップＳ７５４において、端末Ｂの学習部６１４は、変数Ｑに１をセットし、ステップＳ７５５に進み、ベクトルＶμ（Ｑ）とステップＳ６６６（図８１）で生成した特徴量ベクトルＶｃの内積値を算出し、内積値に対応させてＶμ（Ｑ）を記憶する。そして、ステップＳ７５６に進み、端末Ｂの学習部６１４は、Ｑの値を１だけインクリメントし、ステップ７５７において、全ての感情情報について計算したか否か、すなわち、３６種類の中心ベクトルＶμについて、内積値を計算したか否かを判定し、全ての感情情報について計算していないと判定された場合、ステップＳ７５５に戻り、以降の処理を繰り返し実行する。
【０２９９】
全ての感情情報に対応する３６種類の中心ベクトルＶμについて内積値の計算が終わると、端末Ｂの学習部３０４の中にある図示せぬ記憶部には、実施の形態１の場合と同様に感情情報、内積値、中心ベクトルＶμの種類、内積値の大きさの順序が含まれたデータが記憶されている。ステップＳ７５８において、端末Ｂの学習部６１４は、内積値の大きい順にデータをソートする。
【０３００】
ステップＳ７５９において、端末Ｂの学習部６１４は、変数Ｒに１をセットし、Ｓ７６０において、全ての感情情報に関してデータが読み出されたか否かを判定し、全ての感情情報に関してデータが読み出されていないと判定された場合、ステップＳ７６１に進み、ソートしたデータを読み出す。ステップＳ７６２において、変数ｍに１をセットし、ステップＳ７６３に進み、Ｖμ（Ｒ）ｍ−Ｖσ（Ｒ）ｍ≦Ｖｃｍ≦Ｖμ（Ｒ）ｍ＋Ｖσ（Ｒ）ｍの条件を満たしているか否かを判定する。ここで、Ｖμ（Ｒ）ｍは、ベクトルＶμ（Ｒ）のｍ番目の成分を表し、Ｖσ（Ｒ）ｍ，Ｖｃｍもそれぞれ同様にベクトルＶσ，Ｖｃｈのｍ番目の成分を表す。マウスのクリック情報と握り圧情報の特徴量ベクトルは上述したようにＴｃｌｍ，Ｔｃｉｍ，Ｔｇｒｐｍ，Ｉｇｒｐｍの４個の成分により構成されている。ｍの値が１のとき、Ｖμ（Ｒ），Ｖσ（Ｒ），Ｖｃの各ベクトルのＴｃｌｍ成分が抽出され、処理が行われる。
【０３０１】
ステップＳ７６３において、Ｖμ（Ｒ）ｍ−Ｖσ（Ｒ）ｍ≦Ｖｃｈｍ≦Ｖμ（Ｒ）ｍ＋Ｖσ（Ｒ）ｍの条件を満たしていないと判定された場合、端末Ｂの学習部６１４は、ステップＳ７６８に進み、Ｒの値を１だけインクリメントして、ステップＳ７６０に戻り、以降の処理を繰り返し実行する。ステップＳ７６３において、Ｖμ（Ｒ）ｍ−Ｖσ（Ｒ）ｍ≦Ｖｃｍ≦Ｖμ（Ｒ）ｍ＋Ｖσ（Ｒ）ｍの条件を満たしていると判定された場合、端末Ｂの学習部６１４は、ステップＳ７６４に進み、ｍの値を１だけインクリメントして、ステップＳ７６５に進み、ｍの値が５と等しいか否かを判定し、ｍの値が５と等しくないと判定された場合、ステップＳ７６３に戻り、以降の処理を繰り返し実行する。
【０３０２】
ステップＳ４９３において、ｍの値が５と等しいと判定された場合、すなわち、Ｖμ（Ｒ），Ｖσ（Ｒ），Ｖｃｈの各ベクトルを構成する４個の成分について、Ｖμ（Ｒ）ｍ−Ｖσ（Ｒ）ｍ≦Ｖｃｍ≦Ｖμ（Ｒ）ｍ＋Ｖσ（Ｒ）ｍの条件を満たしていると判定された場合、端末Ｂの学習部６１４は、ステップＳ７６６に進み、ＶｃはＲに対応する感情情報Ｅに属しているものと特定する。
【０３０３】
ステップＳ７６０において、全ての感情情報に関してデータを読み出したと判定された場合、端末Ｂの学習部６１４は、Ｖｃの感情、状態、およびその強度を特定不能として処理を終了する。
【０３０４】
図８６は、使用者ａの各感情情報に対応するマウスのクリック情報と握り圧情報の特徴量ベクトルを示した図である。この図は、Ｔｃｌｍ軸、Ｔｃｉｍ軸、Ｔｇｒｐｍ軸、Ｉｇｒｐｍ軸からなる４次元空間として示されている。図８１のステップＳ６６６において生成された特徴量ベクトル８１１（Ｖｃ）は、「喜び・強」に対応する特徴量ベクトルの分布８１３の中心ベクトル８１２（Ｖμ１）と近接しており、上述したＶｃの感情、状態、およびその強度特定処理の結果、「喜び・強」を示す特徴量ベクトルであると特定される。
【０３０５】
このようにして、特徴量ベクトルＶｃから、使用者ａの感情、状態、およびその強度が特定される。
【０３０６】
次に図６１を参照して、特定結果出力再計算処理について説明する。この処理は、端末Ｂの学習部６１４において実行される。ステップＳ６９１において、端末Ｂの学習部６１４は、特定結果を出力制御部６３３に出力し、ステップＳ６９２において使用者ａの感情情報Ｅに対応するマウスのクリック情報と握り圧情報の特徴量ベクトルの分布ｆｖｃ、分布の中心ベクトルＶμ、分布の標準偏差ベクトルＶσを再計算し、蓄積する。すなわち、ステップＳ６６６（図８１）で生成された特徴量ベクトルＶｃは、蓄積部に蓄積されている使用者ａの「喜び・強」を示すマウスのクリック情報と握り圧情報の特徴量ベクトルに加えられ、あらたに、ｆｖｃ、Ｖμ、およびＶσが計算され、蓄積部６１５に蓄積される。
【０３０７】
このようにして、マウスのクリック情報と握り圧情報から感情、状態、およびその強度が特定される。また、感情、状態、およびその強度が特定された特徴量ベクトルの情報が、あらたに蓄積される。
【０３０８】
ここまで、端末Ｂが、端末Ａから送信された使用者ａのマウスのクリック情報と握り圧情報から特徴量ベクトルＶｃを生成し、感情、状態、およびその強度を特定する処理について説明したが、同様に端末Ｂは、使用者ｂについてのマウスのクリック情報と握り圧情報から特徴量ベクトルを生成し、感情、状態、およびその強度を特定することもできる。
【０３０９】
また、端末Ａも同様にして、使用者ａと使用者ｂの感情、状態、およびその強度を特定することができる。
【０３１０】
次に、図８８と図８９を参照して、情報出力処理について説明する。ステップＳ７８１において、システム制御部６１７は、出力情報が選択されたか否かを判定し、選択されたと判定されるまで待機する。出力情報の選択は、実施の形態１の場合と同様に、例えば、端末のディスプレイ上に表示されたメニューを使用者が選択することによって行われる。使用者が選択できるメニューは、「特定結果」、「特徴量に基づく情報」、「波形情報」、および「蓄積情報」の４種類がある。
【０３１１】
ステップＳ７８１において、出力情報が選択されたと判定された場合、システム制御部６１７は、ステップＳ７８２に進み、特定結果が選択されたか否かを判定し、特定結果が選択された判定された場合、ステップＳ７８３において、特定結果に対応する２ビットの選択情報００を出力制御部６３３に送信する。
【０３１２】
ステップＳ７８４において、出力制御部６３３は、感情、状態、およびその強度の特定結果を出力する。例えば、端末のディスプレイ上に「強い喜びを示しているようです。」という文字が出力される。
【０３１３】
ステップＳ７８２において、特定結果が選択されていないと判定された場合、システム制御部６１７は、ステップＳ７８５に進み、特徴量に基づく情報が選択されたか否かを判定し、特徴量に基づく情報が選択されたと判定された場合、ステップＳ７８６に進み、特徴量に基づく情報に対応する２ビットの選択情報０１を出力制御部６３３に送信する。
【０３１４】
ステップＳ７８７において、出力制御部６３３は、特徴量（Ｔｇｒｐ，Ｉｇｒｐ）を特徴抽出部６３２から取得し、ステップＳ７８８に進み、温度呈示部駆動信号を生成する。すなわち、出力のレベルをＩｇｒｐとし、出力ＯＮ時間をＴｇｒｐとして、図９０に示されるような矩形波信号を生成する。そして、ステップＳ７８９に進み、出力制御部６３３は、温度提示部６９２を駆動させる。
【０３１５】
ステップＳ７８５において、特徴量に基づく情報が選択されていないと判定された場合、システム制御部６１７は、ステップＳ７９０において、波形情報が選択されたか否かを判定し、波形情報が選択されたと判定された場合、ステップＳ７９１において、波形情報に対応する２ビットの選択情報１０を出力制御部６３３に送信する。ステップＳ７９２において、出力制御部６３３は、特徴抽出部６３２からサンプリングされたマウスのクリック情報と握り圧情報を取得し、波形信号を生成し、ステップＳ７９３において温度呈示部６９２を駆動させる。
【０３１６】
ステップＳ７９０において、波形情報が選択されていないと判定された場合、システム制御部６１７は、ステップＳ７９４に進み、蓄積情報が選択されたか否かを判定し、蓄積情報が選択されたと判定された場合、ステップＳ７９５に進み、蓄積情報に対応する２ビットの選択情報０１を出力制御部３２４に送信する。
【０３１７】
蓄積情報が選択された場合、端末のディスプレイ上に更にサブメニューが表示され、使用者は、どの蓄積情報を出力するかを選択することができる。すなわち、マウスのクリック情報と握り圧情報などの情報の種類ｉｎｆ、個人を特定する情報ＰＩＤ、感情情報Ｅが選択される。例えば、ｉｎｆとしてマウスのクリック情報と握り圧情報、ＰＩＤとして個人ａ、Ｅとして「弱い驚き」などが選択される。
【０３１８】
ステップＳ７９６において、システム制御部６１７は、情報の種類ｉｎｆ、個人を特定する情報ＰＩＤ、感情情報Ｅが選択されたか否かを判定し、選択されたと判定されるまで待機する。
【０３１９】
ステップＳ７９７において、システム制御部６１７は、使用者に選択された情報に基づいて（ｉｎｆ，ＰＩＤ，Ｅ）の情報を生成し、出力制御部６３３に送信する。
【０３２０】
ステップＳ７９８において出力制御部６３３は、（ｉｎｆ，ＰＩＤ，Ｅ）に基づいて、蓄積部６１５からキーボードの振動情報の中心ベクトルを取得する。この場合、蓄積部に蓄積されている個人ａの「弱い驚き」に対応する脈拍情報の特徴量ベクトルの分布の中心ベクトルＶμ（Ｔｃｌ，Ｔｃｉ，Ｔｇｒｐ，Ｉｇｒｐ）が取得される。
【０３２１】
ステップＳ７９９において、出力制御部６３３は、中心ベクトルＶμに基づいて、温度呈示部駆動信号を生成する。すなわち、出力のレベルをＩｇｒｐとし、出力ＯＮ時間をＴｇｒｐとし、出力ＯＦＦ時間をＴｇｒｐとして、図９１に示されるような矩形波８５１の信号を生成し、ステップＳ８００において温度呈示部６９２を駆動信号に基づいて、３回駆動させる。
【０３２２】
ステップＳ７９４において、蓄積情報が選択されていないと判定された場合、システム制御部６１７は、ステップＳ８０１に進み、エラー処理を実行して、処理を終了する。
【０３２３】
このようにして、使用者は、マウスのクリック情報と握り圧情報から特定された感情、状態、およびその強度を表示させ、認識することができる。また、温度呈示部を駆動させることにより、握り圧情報を体感することができる。
【０３２４】
実施の形態４
【０３２５】
図９２は本発明の情報処理装置を利用した第２のコミュニケーションシステムの構成を示す図である。図１のシステムと異なり、端末１、端末２、および端末３に代わり、ゲーム機８７１、ゲーム機８７２、およびゲーム機８７３が、設置されている。そしてゲーム機８７１乃至８７３は、それぞれインターネットなどのネットワーク８８０を経由してサーバ８８１に接続され、互いに情報通信を行うように構成されている。
【０３２６】
ゲーム機８７１（ゲーム機Ａ）、ゲーム機８７２（ゲーム機Ｂ）、ゲーム機８７３（ゲーム機Ｃ）には、図１の場合と同様に、それぞれ、情報の入力を受け付ける入力部８９１Ａ乃至８９１Ｃ、入力された情報を処理する処理部８９３Ａ乃至８９３Ｃ、入力された情報から使用者の感情、状態、およびその強度を学習、特定する学習部８９４Ａ乃至８９４Ｃ、学習部によって学習、特定された情報を蓄積する蓄積部８９５Ａ乃至８９５Ｃ、学習部によって特定された情報、または蓄積部に蓄積された情報を出力する出力部８９２Ａ乃至８９２Ｃ、情報の送受信を行う通信部８９６Ａ乃至８９６Ｃ、および各部を制御するシステム制御部８９７Ａ乃至８９７Ｃが設けられている。
【０３２７】
なお、ゲーム機８７１（ゲーム機Ａ）乃至ゲーム機８７３（ゲーム機Ｃ）の構成は同一であるため、それらを構成する入力部８９１Ａ乃至システム制御部８９７Ａ、入力部８９１Ｂ乃至システム制御部８９７Ｂ、並びに入力部８９１Ｃ乃至システム制御部８９７Ｃは、それぞれ同一の機能を有している。以下においては、それらを個々に区別する必要がない場合には、入力部８９１乃至システム制御部８９７と、まとめて表現する。
【０３２８】
図９３にゲーム機８７１乃至８７３の構成例を示す。このゲーム機には、音声情報、加速度情報、およびゲーム機のコントローラ９４１（図９４）の握り圧情報の入力を受け付ける入力部８９１、入力部８９１から入力された情報を処理する処理部８９３、処理部８９３から出力された特徴情報と感情態情報に基づいて、学習、特定を行う学習部８９４、学習部８９４から出力された学習情報、特定情報を蓄積する蓄積部８９５、処理部８９３から出力された出力情報に基づいて、情報を出力する出力部８９２、通信を行う通信部８９６、および各部を制御するシステム制御部８９７が設けられている。
【０３２９】
処理部８９３には、入力部８９１から入力された情報から、加速度情報、握り圧情報、または音声情報を分別する情報弁別部９１１、加速度情報とコントローラ９４１の握り圧情報から特徴情報を抽出する特徴抽出部９１２、音声情報から感情情報を抽出する意味抽出部９１３、および出力部８９２に出力情報を出力する出力制御部９１４が設けられている。通信部８９６には、情報の送信を行う情報送信部９２１、情報の受信を行う情報受信部９２２が設けられている。
【０３３０】
入力部８９１は、マイクロホン、３軸（相互に垂直なＸ，Ｙ，Ｚ軸）方向の加速度を検知する加速度センサ、使用者がコントローラ９４１を握るときの強度を検知する握り圧センサにより構成され、ゲーム機に付属のコントローラ９４１に配置される。また、出力部８９２は、所定の信号に基づいて、光を発する光呈示部、および、所定の信号に基づいて振動する振動モータにより構成される振動呈示部により構成され、やはりコントローラ９４１に配置される。
【０３３１】
図９４にコントローラ９４１の構成例を示す。使用者は、コントローラ９４１の所定のボタンを操作することにより、ゲームを行う。コントローラ９４１内部の上部中央には、３軸加速度センサ９６１が設けられている。３軸加速度センサ９６１は、使用者がコントローラ９４１を動かすとき、Ｘ軸方向（図中紙面と平行な左右の方向）、Ｙ軸方向（図中紙面と平行な上下の方向）、Ｚ軸方向（図中紙面と垂直な前後の方向）のそれぞれの加速度を検知する。コントローラ９４１の下部中央には、マイクロホン９６２が設けられており、使用者が発する音声は、マイクロホン９６２に入力される。コントローラ９４１の下部の左右両端には、握り圧センサ９６３Ｌと９６３Ｒが設けられており、使用者がコントローラ９４１を使用するとき、通常握り圧センサ９６３Ｌと９６３Ｒが設置された部分が、それぞれ、使用者の左手と右手で握られる。
【０３３２】
また、３軸加速度センサ９６１の左右の両端の近傍には、それぞれ光呈示部９６４Ｌと９６４Ｒが設けられている。握り圧センサ９６３Ｌおよび９６３Ｒとほぼ同じ位置の下側に、それぞれ振動呈示部９６５Ｌおよび９６５Ｒが設けられている。上述したように、振動呈示部９６５Ｌおよび９６５Ｒは、コントローラ９４１に内蔵される振動モータにより構成される。
【０３３３】
使用者ａがもっているゲーム機をゲーム機Ａとし、使用者ｂがもっているゲーム機をゲーム機Ｂとして、使用者ａと使用者ｂは、それぞれのゲーム機を用いて、多人数参加型のオンラインゲームに参加することができる。このオンラインゲームにおいて、参加者は、同じくゲームに参加している他の参加者と音声によるコミュニケーションを行うことができる。例えば、使用者ａの音声が、ゲーム機Ａのコントローラのマイクロホン９６２から入力され、ゲーム機Ｂに送信され、ゲーム機Ｂが接続されているテレビのスピーカ、またはゲーム機専用のスピーカなどから出力され、使用者ｂに使用者ａが発した音声が伝えられる。同様に、使用者ｂが発した音声も使用者ａに伝えられ、使用者ａと使用者ｂは音声によるコミュニケーションを行うことができる。
【０３３４】
この場合、図９５に示される手順で情報の送受信が行われる。最初にゲーム機Ａは、ステップＳ１００１でサーバ８８１に、接続要求を送信し、ステップＳ１１０１でサーバ８８１は、接続要求を受信する。サーバ８８１は、ステップＳ１１０２で接続要求に基づいて、認証を行う。ゲーム機Ａから送信される接続要求には、使用者ａを特定する、例えば、氏名、ニックネームなどの情報、およびゲームに参加するためのパスワードが含まれており、サーバ８８１は、これらの情報に基づいて、使用者ａがゲームに参加する資格があるか否かを判定（認証）し、使用者ａがゲームに参加する資格があると判定された場合、ステップ１１０３でゲーム機Ａに接続要求受付を送信する。ゲーム機Ａは、ステップＳ１００２で接続要求受付を受信し、ステップＳ１００３でゲーム機Ａにおいてゲームが開始される。
【０３３５】
一方ゲーム機Ｂとサーバ８８１の間においても同様の手順で情報の送受信が行われ（ステップＳ１２０１（ステップＳ１００１に対応），Ｓ１１０４（ステップＳ１１０１に対応），Ｓ１１０５（ステップＳ１１０２に対応），Ｓ１１０６（ステップＳ１１０３に対応），Ｓ１２０２（ステップＳ１００３に対応））、ステップＳ１２０３で、ゲーム機Ｂにおいてもゲームが開始される。
【０３３６】
ステップＳ１００４で、ゲーム機Ａから、サーバ８８１にゲーム機Ｂへの接続要求が送信されると、ステップＳ１１０７でサーバ８８１は、ゲーム機Ｂへの接続要求を受信する。そして、サーバ８８１は、ステップＳ１１０９でゲーム機Ａに接続要求受付を送信し、これがステップＳ１００５でゲーム機Ａに受信される。サーバ８８１は、ステップＳ１１０８でゲーム機Ｂの呼び出しを行い、これがステップＳ１２０４でゲーム機Ｂに受信される。サーバ８８１は、ステップＳ１２０５でゲーム機Ｂから送信された応答を、Ｓ１１１０で受信し、ステップＳ２１１１でゲーム機ＡとＢの接続を開始する。サーバ８８１は、ステップＳ１１１２でゲーム機Ａに接続確認を送信し、これは、ステップＳ１００６でゲーム機Ａに受信される。
【０３３７】
そして、ゲーム機Ａからサーバ８８１を介して、ゲーム機Ｂに音声情報が送信され、ゲーム機Ｂからサーバ８８１を介して、ゲーム機Ａに音声情報が送信される（ステップＳ１００７，Ｓ１１１３，Ｓ１１１４，Ｓ１２０６，Ｓ１２０７，Ｓ１１１５，Ｓ１１１６，Ｓ１００８）。
【０３３８】
次にゲーム機Ａは、ステップＳ１００９で、加速度情報と握り圧情報の送受信の初期設定を行い、ステップＳ１０１０で、サーバ８８１に加速度・握り圧情報送受信要求を送信する。これは、ステップＳ１１１７でサーバ８８１に受信される。サーバ８８１は、ステップＳ１１１８で、ゲーム機Ｂに加速度・握り圧情報送受信要求を送信する。このとき、実施の形態１の場合と同様に、ゲーム機Ａから図１１に示される送信設定情報と受信設定情報が送信される。
【０３３９】
ステップＳ１２０８で、サーバ８８１から加速度・握り圧情報送受信要求を受信したゲーム機Ｂは、ステップＳ１２０９で加速度情報と握り圧情報の送受信設定の変更を行い、ステップＳ１２１０でサーバ８８１に応答を送信する。ステップＳ１１２０でゲーム機Ｂからの応答を受信すると、サーバ８８１は、ステップＳ１１２１でゲーム機ＡとＢの加速度・握り圧情報送受信を開始する。サーバ８８１は、ステップＳ１１２２でゲーム機Ａに接続確認を送信し、これが、ステップＳ１０１２でゲーム機Ａに受信される。これにより、ゲーム機Ａにおいて、ゲーム機Ｂから使用者ｂに関する加速度情報と握り圧情報が送信されてくることが認識され、ゲーム機Ｂにおいて、ゲーム機Ａから使用者ａに関する加速度情報と握り圧情報が送信されてくることが認識される。
【０３４０】
そして、サーバ８８１を介して、ゲーム機Ａからゲーム機Ｂに、加速度・握り圧情報が送信され（ステップＳ１０１３，Ｓ１１２３，Ｓ１１２４，Ｓ１２１１）、ゲーム機Ｂにおいて、ステップＳ１１１２で、特徴情報蓄積処理が行われる。同様に、サーバ８８１を介して、ゲーム機Ｂからゲーム機Ａに、加速度・握り圧情報が送信され（ステップＳ１２１３，Ｓ１１２５，Ｓ１１２６，Ｓ１０１４）、ゲーム機Ａにおいて、ステップＳ１０１５で、特徴情報蓄積処理が行われる。なお、特徴情報蓄積処理については、図９７を参照して後述する。
【０３４１】
ステップＳ１０１６で、ゲーム機Ａからサーバ８８１へゲーム機Ｂへの接続終了要求が送信されると、ステップＳ１１２７でサーバ８８１によりこれが受信され、さらに、ステップＳ１１２８でサーバ８８１からゲーム機Ｂにこれが送信される。ステップＳ１２１４で接続終了要求を受信したゲーム機Ｂは、ステップＳ１２１５でそれに応答し、ステップＳ１１３０で、サーバ８８１に受信される。この結果、通信は終了する。同様に、ステップＳ１１２９でサーバ８８１から接続終了要求受付が送信され、これがゲーム機ＡにおいてステップＳ１１０９で受信される。
【０３４２】
このようにして、サーバ８８１を介して、ゲーム機Ａとゲーム機Ｂの間で通信が行われ、加速度情報と握り圧情報が蓄積される。加速度情報と握り圧情報が充分に蓄積された後、ゲーム機Ａとゲーム機Ｂにおいて、図１１４を参照して後述する感情情報特定処理が行われる。この場合、図９６に示されるように情報の送受信が行われる。
【０３４３】
すなわち、図９６のゲーム機Ａにおける、ステップＳ１３０１乃至Ｓ１３１７の処理は、図９５のゲーム機Ａにおける、ステップＳ１００１乃至１０１７の処理と基本的に同様の処理であるが、ステップＳ１３１５において、ゲーム機Ｂから送信される加速度情報と握り圧情報に基づいて、感情情報特定処理が行われる。また、図９６のゲーム機Ｂにおける、ステップＳ１５０１乃至Ｓ１５１５の処理は、図９５のゲーム機Ｂにおける、ステップＳ１２０１乃至１２１５の処理と基本的に同様の処理であるが、ステップＳ１５１２において、ゲーム機Ａから送信される加速度情報と握り圧情報に基づいて、感情情報特定処理が行われる。
【０３４４】
図９６のサーバ８８１における、ステップＳ１４０１乃至Ｓ１４３０の処理は、図９５のサーバ８８１における、ステップＳ１１０１乃至１１３０の処理と同様の処理なのでその説明は省略する。
【０３４５】
次に図９７を参照して、ゲーム機Ａおよびゲーム機Ｂにおける特徴情報蓄積処理（図９５のステップＳ１０１５，Ｓ１２１２における処理）について説明する。ゲーム機Ａは、ゲーム機Ａに付属するコントローラ９４１から出力される使用者ａに関する加速度情報と握り圧情報に基づいて、特徴情報蓄積処理を行うこともできるし、ゲーム機Ｂから送信される使用者ｂに関する加速度情報、握り圧情報に基づいて、特徴情報蓄積処理を行うことも可能である。
【０３４６】
最初にゲーム機Ａが使用者ａに関する加速度情報と握り圧情報に基づいて、特情報蓄積処理を行う場合について説明する。ゲーム機Ａのシステム制御部８９７は、ステップＳ１６２１において、ゲーム機Ａの使用者ａを特定する情報（例えば、氏名、ニックネームなど）ＰＩＤを取得し、ステップＳ１６２２において、システム制御部８９７は、情報弁別部９１１に、使用者ａの音声情報の入力があったか否かを判定させ、入力されたと判定されるまで待機する。
【０３４７】
ステップＳ１６２２において、音声情報の入力があったと判定された場合、ステップＳ１６２３に進み、システム制御部８９７は、特徴抽出部９１２に、使用者ａに関する加速度情報と握り圧情報のサンプリング処理を開始させる。そして、ステップＳ１６２４に進み、システム制御部８９７は、意味抽出部９１３に入力された音声情報の音声認識を行わせる。
【０３４８】
ステップＳ１６２５において、システム制御部８９７は、認識された音声の中に感情、状態およびその強度を表す語句があるか否かを判定し、感情、状態およびその強度を表す語句がないと判定された場合、ステップＳ１６２２に戻り、それ以降の処理を繰り返し実行する。実施の形態１で上述したように、感情と状態を表す語句は、図２３に示されるようなものであり、強度を示す語句は図２４に示されるようなものである。
【０３４９】
ステップＳ１６２５において、感情、状態およびその強度を示す語句があると判定された場合、システム制御部８９７は、ステップＳ１６２６において、認識された語句の主語は使用者か否か、すなわち、認識された語句が、使用者ａの感情、状態およびその強度を表す語句であるか否かを判定し、主語は使用者ではないと判定された場合、ステップＳ１６２２に戻り、それ以降の処理を繰り返し実行する。
【０３５０】
ステップＳ１６２６において、主語は使用者であると判定された場合、システム制御部８９７は、ステップＳ１６２７において、使用者ａの音声が１フレーズ分入力されたか否かを判定し、１フレーズ分入力されたと判定されるまで待機する。ステップＳ１６２７において、１フレーズ分入力されたと判定された場合、システム制御部８９７は、ステップＳ１６２８に進み、特徴抽出部９１２に、加速度情報と握り圧情報のサンプリング処理を終了させる。
【０３５１】
そして、ステップＳ１６２９に進み、システム制御部８９７は、意味抽出部９１３に、感情情報Ｅを抽出させる。
【０３５２】
例えば、使用者ａが「びっくりした」と発話した場合、「びっくり」という語句に対応する感情、状態は驚きであり、その他特に形容詞（例えば、「とても」、「少し」など）がないことからその強度は中であると認識され、感情情報Ｅとして、「中の驚き」が抽出される。
【０３５３】
ステップＳ１６３０において、システム制御部８９７は、特徴抽出部９１２に、使用者ａに関する加速度情報と握り圧情報に基づいて、特徴ベクトルＶｃの生成処理を実行させ、ステップＳ１６３１に進み、情報ＰＩＤと感情情報Ｅに対応する加速度情報と握り圧情報を蓄積部８９５から読み出す。この場合、使用者ａの中の驚きに対応する加速度情報と握り圧情報の特徴ベクトルが読み出される。
【０３５４】
そして、ステップＳ１６３２に進み、システム制御部８９７は、学習部８９４に、読み出された特徴ベクトルに新たに生成された特徴ベクトルＶｃを加えて、ベクトルの分布ｆｖｃ、分布の中心ベクトルＶμ、標準偏差ベクトルＶσを再計算させ、ステップＳ１６３３において、再計算した結果を蓄積部８９５に記憶する。
【０３５５】
このようにして、加速度情報と握り圧情報から使用者ａの中の驚きに対応する特徴ベクトルが生成され、ベクトルの分布、分布の中心ベクトル、および標準偏差ベクトルが再計算され、蓄積される。
【０３５６】
次に図９９を参照して、加速度情報と握り圧情報の特徴ベクトルＶｃの生成処理の詳細について説明する。この処理は、特徴抽出部９１２で行われる。ステップＳ１６５１において、特徴抽出部９１２は、図１００と図１０１を参照して後述する加速度情報の特徴量算出処理を行う。これにより、特徴ベクトルＶｃを構成する成分のうち、第１番目乃至第１２番目の成分（Ａｃｃ＋（１），Ａｃｃ＋（２），Ａｃｃ＋（３），Ｔａｃ＋（１），Ｔａｃ＋（２），Ｔａｃ＋（３），Ａｃｃ−（１），Ａｃｃ−（２），Ａｃｃ−（３），Ｔａｃ−（１），Ｔａｃ−（２），Ｔａｃ−（３））が算出される。ステップＳ１６５２において、特徴抽出部９１２は、図１０４と図１０５を参照して後述する握り圧情報の特徴量算出処理を行う。これにより、特徴ベクトルＶｃを構成する成分のうち、第１３番目乃至第２０番目の成分（Ｉｇｒ＿Ｒ（１），Ｉｇｒ＿Ｒ（２），Ｔｇｒ＿Ｒ（１），Ｔｇｒ＿Ｒ（２）， Ｉｇｒ＿Ｌ（１），Ｉｇｒ＿Ｌ（２），Ｔｇｒ＿Ｌ（１），Ｔｇｒ＿Ｌ（２））が算出される。
【０３５７】
そして、ステップＳ１６５３において、特徴抽出部９１２は、特徴ベクトルＶｃ（Ａｃｃ＋（１），Ａｃｃ＋（２），Ａｃｃ＋（３），Ｔａｃ＋（１），Ｔａｃ＋（２），Ｔａｃ＋（３），Ａｃｃ−（１），Ａｃｃ−（２），Ａｃｃ−（３），Ｔａｃ−（１），Ｔａｃ−（２），Ｔａｃ−（３）， Ｉｇｒ＿Ｒ（１），Ｉｇｒ＿Ｒ（２），Ｔｇｒ＿Ｒ（１），Ｔｇｒ＿Ｒ（２）， Ｉｇｒ＿Ｌ（１），Ｉｇｒ＿Ｌ（２），Ｔｇｒ＿Ｌ（１），Ｔｇｒ＿Ｌ（２））を生成する。
【０３５８】
このようにして、加速度情報と握り圧情報から、使用者ａの中の驚きに対応する特徴ベクトルＶｃが生成される。
【０３５９】
次に、図１００と図１０１を参照して、図９９のステップＳ８５１の加速度情報の特徴量算出処理について説明する。ステップＳ１６７１において、特徴抽出部９１２は、サンプリングされた加速度情報を読み込み、その後、実施の形態１の場合と同様に、ステップＳ１６７２において、図１６の極性判定処理を行い、ステップＳ１６７３に進み、図１７のＴＶ出力処理を行い、ステップＳ１６７４において、図１８のＶｍｉｎ，Ｖｍａｘ判定処理を行う。
【０３６０】
図１０２は、コントローラ９４１の３軸加速度センサ９６１により、出力される加速度情報の波形の例を示す図である。３軸加速度センサ９６１は、上述したようにＸ軸方向の加速度、Ｙ軸方向の加速度、およびＺ軸方向の加速度を検知する。図１０２に示される加速度情報は、縦軸にＸ軸方向、Ｙ軸方向、およびＺ軸方向の加速度の和が示され、横軸に時間が示されている。この波形をサンプリングし、ステップＳ１６７２の極性判定処理、ステップＳ１６７４のＴＶ出力処理を行うと、Ｔｖ＋、Ｔｖ０、Ｔｖ−、Ｔｖ０、Ｔｖ＋．．．のような出力が得られる。
【０３６１】
ここで、時間Ｔｖ＋は、コントローラに対して、正方向の加速度が生じている時間を示すものであり、時間Ｔｖ−は、コントローラに対して、負方向の加速度が生じている時間を示すものであり、時間Ｔｖ０は、コントローラに対する加速度がほぼゼロとなる時間を示すものである。
【０３６２】
さらに、ステップＳ１６７４のＶｍｉｎ，Ｖｍａｘ判定処理が行われると、時間Ｔｖ＋に対応する出力値Ｖｍａｘと時間Ｔｖ−に対応する出力値Ｖｍｉｎが得られる。この結果、図１０３に示されるような波形の情報が得られる。
【０３６３】
図１０１のステップＳ１６７５において、特徴抽出部９１２は、時間の早い順にソートされている出力値Ｖｍａｘ（Ｐ）を、値の大きい順にソートして、出力値Ｖｍａｘ（１）、Ｖｍａｘ（２）、Ｖｍａｘ（３）を抽出し、ステップＳ１６７６において、出力値Ｖｍａｘ（１）、Ｖｍａｘ（２）、Ｖｍａｘ（３）に対応する時間Ｔｖ＋（１）、Ｔｖ＋（２）、Ｔｖ＋（３）を抽出する。
【０３６４】
すなわち、図１０３に示される正方向の出力値をもつ３つの矩形波の中で出力値の最も大きいもの（図中、左側から３番目の矩形波）が選択され、その出力値がＶｍａｘ（１）とされ、その時間がＴｖ＋（１）とされる。同様に、２番目に出力値の大きい矩形波の出力値がＶｍａｘ（２）、その時間がＴｖ＋（２）とされ、３番目に出力値の大きい矩形波の出力値がＶｍａｘ（３）、その時間がＴｖ＋（３）とされる。図１０３においては、正方向の出力値をもつ矩形波が３つある場合を例として説明したが、正方向の出力値をもつ矩形波が２つしかない場合は、Ｖｍａｘ（３）とＴｖ＋（３）の値は０とされる。
【０３６５】
図１０１に戻って、ステップＳ１６７７において、特徴抽出部９１２は、特徴ベクトルＶｃを構成する第１番目乃至第６番目の成分Ａｃｃ＋（１），Ａｃｃ＋（２），Ａｃｃ＋（３），Ｔａｃ＋（１），Ｔａｃ＋（２），Ｔａｃ＋（３）にそれぞれ、Ｖｍａｘ（１）、Ｖｍａｘ（２）、Ｖｍａｘ（３）、Ｔｖ＋（１）、Ｔｖ＋（２）、Ｔｖ＋（３）の値をセットする。
【０３６６】
ステップＳ１６７８において、特徴抽出部９１２は、時間の早い順にソートされている出力値Ｖｍｉｎ（Ｐ）を、値の小さい順にソートして、出力値Ｖｍｉｎ（１）、Ｖｍｉｎ（２）、Ｖｍｉｎ（３）を抽出し、ステップＳ１６７９において、出力値Ｖｍｉｎ（１）、Ｖｍｉｎ（２）、Ｖｍｉｎ（３）に対応する時間Ｔｖ−（１）、Ｔｖ−（２）、Ｔｖ−（３）を抽出する。
【０３６７】
すなわち、図１０３に示される負方向の出力値をもつ３つの矩形波の中で出力値の最も小さいもの（図中、左側の矩形波）が選択され、その出力値がＶｍｉｎ（１）とされ、その時間がＴｖ−（１）とされる。同様に、２番目に出力値の小さい矩形波の出力値がＶｍｉｎ（２）、その時間がＴｖ−（２）とされ、３番目に出力値の小さい矩形波の出力値がＶｍｉｎ（３）、その時間がＴｖ−（３）とされる。図１０３においては、負方向の出力値をもつ矩形波が３つある場合を例として説明したが、負方向の出力値をもつ矩形波が２つしかない場合は、Ｖｍｉｎ（３）とＴｖ−（３）の値は０とされる。
【０３６８】
図１０１に戻って、ステップＳ１６８０において、特徴抽出部９１２は、特徴ベクトルＶｃを構成する第７番目乃至第１２番目の成分Ａｃｃ−（１），Ａｃｃ−（２），Ａｃｃ−（３），Ｔａｃ−（１），Ｔａｃ−（２），Ｔａｃ−（３）にそれぞれ、Ｖｍｉｎ（１）、Ｖｍｉｎ（２）、Ｖｍｉｎ（３）、Ｔｖ−（１）、Ｔｖ−（２）、Ｔｖ−（３）の値をセットする。
【０３６９】
このようにして、加速度情報の特徴量が算出される。
【０３７０】
次に図１０４と図１０５を参照して、図９９のステップＳ１６５２の握り圧情報の特徴量算出処理について説明する。握り圧情報は、コントローラ９４１の右側の握り圧センサ９６３Ｒと左側の握り圧センサ９６３Ｌにより出力される。握り圧情報の特徴量算出処理は、握り圧センサ９６３Ｒにより出力された握り圧情報と、握り圧センサ９６３Ｌにより出力された握り圧情報のそれぞれに対して行われる。
【０３７１】
ステップＳ１７０１において、特徴抽出部９１２は、サンプリングされた握り圧情報を読み込み、その後、実施の形態１の場合と同様に、ステップＳ１７０２において、図１６の極性判定処理を行い、ステップＳ１７０３に進み、図１７のＴＶ出力処理を行い、ステップＳ１７０４において、図１８のＶｍｉｎ，Ｖｍａｘ判定処理を行う。図１０６は、握り圧センサ９６３Ｒにより出力された握り圧情報の波形を示す図であり、図１０７は、握り圧センサ９６３Ｌにより出力された握り圧情報の波形を示す図である。図１０６および図１０７は、それぞれ縦軸に握り圧の出力値が示され、横軸に時間が示されている。
【０３７２】
この波形をサンプリングし、ステップＳ１７０２の極性判定処理、ステップＳ１７０３のＴＶ出力処理を行うと、Ｔｖ＋、Ｔｖ０、Ｔｖ＋、Ｔｖ０．．．のような出力を得る。
【０３７３】
ここで、時間Ｔｖ＋は、使用者ａがコントローラを所定の強度以上の強度で握っている時間を示すものであり、時間Ｔｖ０は、使用者ａがコントローラを所定の強度未満の強度で握っている時間を示すものである。
【０３７４】
さらに、ステップＳ１７０４のＶｍｉｎ，Ｖｍａｘ判定処理が行われると、時間Ｔｖ＋に対応する出力値Ｖｍａｘと時間Ｔｖ−に対応する出力値Ｖｍｉｎが得られる。この結果、図１０６に示される握り圧情報から図１０８に示されるような波形の情報が得られ、図１０７に示される握り圧情報から図１０９に示されるような波形の情報が得られる。
【０３７５】
図１０５のステップＳ１７０５において、特徴抽出部９１２は、右側の握り圧センサ９６３Ｒの出力について、時間の早い順にソートされているＶｍａｘ（Ｐ）を、値の大きい順にソートして、Ｖｍａｘ（１）、Ｖｍａｘ（２）を抽出し、ステップＳ１７０６において、Ｖｍａｘ（１）、Ｖｍａｘ（２）に対応するＴｖ＋（１）、Ｔｖ＋（２）を抽出する。
【０３７６】
すなわち、図１０８に示される正方向の出力値をもつ２つの矩形波の中で出力値の最も大きいもの（図中、左の矩形波）が選択され、その出力値がＶｍａｘ（１）とされ、その時間がＴｖ＋（１）とされる。同様に、２番目に出力値の大きい矩形波の出力値がＶｍａｘ（２）、その時間がＴｖ＋（２）とされる。図１０３においては、矩形波が２つある場合を例として説明したが、矩形波が１つしかない場合は、Ｖｍａｘ（２）とＴｖ＋（２）の値は０とされる。
【０３７７】
図１０５に戻って、ステップＳ１７０７において、特徴抽出部９１２は、特徴ベクトルＶｃを構成する第１３番目乃至第１６番目の成分Ｉｇｒ＿Ｒ（１），Ｉｇｒ＿Ｒ（２），Ｔｇｒ＿Ｒ（１），Ｔｇｒ＿Ｒ（２）にそれぞれ、Ｖｍａｘ（１）、Ｖｍａｘ（２）、Ｔｖ＋（１）、Ｔｖ＋（２）の値をセットする。
【０３７８】
ステップＳ１７０８において、特徴抽出部９１２は、右側の握り圧センサ９６３Ｒの出力について、時間の早い順にソートされているＶｍａｘ（Ｐ）を、値の大きい順にソートして、Ｖｍａｘ（１）、Ｖｍａｘ（２）を抽出し、ステップＳ１７０９において、Ｖｍａｘ（１）、Ｖｍａｘ（２）に対応するＴｖ＋（１）、Ｔｖ＋（２）を抽出する。
【０３７９】
そして、ステップＳ１７１０において、特徴抽出部９１２は、特徴ベクトルＶｃを構成する第１７番目乃至第２０番目の成分Ｉｇｒ＿Ｌ（１），Ｉｇｒ＿Ｌ（２），Ｔｇｒ＿Ｌ（１），Ｔｇｒ＿Ｌ（２）にそれぞれ、Ｖｍａｘ（１）、Ｖｍａｘ（２）、Ｔｖ＋（１）、Ｔｖ＋（２）の値をセットする。
【０３８０】
このようにして、握り圧情報の特徴量が算出される。
【０３８１】
ここまで、ゲーム機Ａが、使用者ａに関する加速度情報と握り圧情報に基づいて、特徴情報蓄積処理を行う場合について説明したが、ゲーム機Ａは、ゲーム機Ｂから送信される使用者ｂに関する加速度情報と握り圧情報に基づいて、特徴情報蓄積処理を行うこともできる。この場合、使用者ｂに関する加速度情報と握り圧情報について、ゲーム機Ｂの特徴抽出部９１２においてサンプリング処理が行われ、サンプリングされた値に、出力制御部９１４と情報送信部９２１において、所定のヘッダが付加され、ゲーム機Ａに送信される。一方で使用者ｂが発した音声は、ゲーム機Ａに送信され、ゲーム機Ａの意味抽出部９１３において、使用者ｂの音声情報から感情情報の抽出が行われる。
【０３８２】
そして、ゲーム機Ａは、ゲーム機Ｂから送信されてきた、使用者ｂに関する加速度情報と握り圧情報にもとづいて、図９７と図９８を参照して上述した特徴情報蓄積処理を行う。例えば、使用者ｂが、「これは焦る」と発話した場合、ゲーム機Ａにおいて、特徴情報蓄積処理が行われ、図９７のステップＳ１６２９で感情情報として、「中の不安定」が抽出される。一方ゲーム機Ｂでは、使用者ｂが「これは焦る」と発話したとき、図１１０に示される波形の信号がゲーム機Ｂのコントローラ９４１の３軸加速度センサ９６１により検出され、図１１１に示される波形の信号がゲーム機Ｂのコントローラ９４１の握り圧センサ９６３Ｒにより検出され、図１１２に示される波形の信号がゲーム機Ｂのコントローラ９４１の握り圧センサ９６３Ｌにより検出される。
【０３８３】
図１１０乃至図１１２に示される波形の信号は、ゲーム機Ｂの特徴抽出部９１２により、それぞれ期間Ｔｃｌｋの間隔でサンプリングされる。そして、加速度情報として、図１１０の信号がサンプリングされた値Ｖｓ１，Ｖｓ２，Ｖｓ３，・・・Ｖｓｎが、使用者ｂの加速度情報であること示すヘッダが付加されて、ゲーム機Ａに送信される。同様に握り圧情報として、図１１１の信号がサンプリングされた値ＶｓＲ１，ＶｓＲ２，ＶｓＲ３，・・・ＶｓＲｎが、使用者ｂの右の握り圧情報であること示すヘッダが付加されて、ゲーム機Ａ送信され、図１１２の信号がサンプリングされた値ＶｓＬ１，ＶｓＬ２，ＶｓＬ３，・・・ＶｓＬｎが、使用者ｂの左の握り圧情報であること示すヘッダが付加されて、ゲーム機Ａに送信される。ゲーム機Ａは、ゲーム機Ｂから送信された加速度情報と握り圧情報にもとづいて、図９８のステップＳ１６３０の特徴ベクトルＶｃの生成処理において、使用者Ｂの中の不安定に対応する特徴ベクトルを生成し、蓄積する。
【０３８４】
同様にゲーム機Ｂは、使用者ｂの加速度情報と握り圧情報から特徴ベクトルを生成し、蓄積すると同時に、ゲーム機Ａから送信される使用者ａの加速度情報と握り圧情報から特徴ベクトルを生成し、蓄積する。その結果、ゲーム機Ａとゲーム機Ｂの蓄積部８９５には、図１１３に示されるように、加速度情報と握り圧情報に関する学習結果９８１がそれぞれ、使用者ａの情報９９１と使用者ｂの情報９９２に分けて蓄積される。
【０３８５】
上述した特徴情報蓄積処理を繰り返し行い、加速度情報と握り圧情報が充分蓄積された後は、加速度情報と握り圧情報をもとに、使用者の感情、状態、およびその強度を特定することができる。
【０３８６】
次に図１１４を参照して、ゲーム機Ｂによる使用者ａの感情状態特定処理について説明する。ステップＳ１７３１において、ゲーム機Ｂのシステム制御部８９７は、通信相手であるゲーム機Ａの使用者ａを特定する情報ＰＩＤを取得する。ステップＳ１７３２において、ゲーム機Ｂのシステム制御部８９７は、情報弁別部９１１に、使用者ａに関する加速度情報または握り圧情報の少なくとも一方の出力値が閾値を超えたか否かを判定させ、閾値を超えたと判定されるまで待機する。閾値は、プログラムなどにより予め設定しておいてもよいし、使用者がその都度設定するようにしてもよい。
【０３８７】
ステップＳ１７３２において、加速度情報または握り圧情報の少なくとも一方の出力値が閾値を超えたと判定された場合、ステップＳ１７３３に進み、システム制御部８９７は、特徴抽出部９１２の図示せぬ記憶部に、使用者ａに関する加速度情報と握り圧情報の出力値を記憶させる。そして、ステップＳ１７３４に進み、システム制御部８９７は、情報弁別部９１１に使用者ａに関する加速度情報または握り圧情報の出力値が所定の時間（例えば、１０秒）以上閾値以下になったか否かを判定させ、所定の時間以上閾値以下になっていないと判定された場合、ステップＳ１７３３に戻る。
【０３８８】
ステップＳ９３４において、使用者ａに関する加速度情報または握り圧情報の出力値が所定の時間以上閾値以下になったと判定された場合、ステップＳ１７３５に進み、システム制御部８９７は、特徴抽出部９１２に図１１５を参照して後述する特徴ベクトルＶｃａｇ生成処理を実行させる。これにより、使用者ａに関する加速度情報と握り圧情報に基づいて、特徴ベクトルＶｃａｇが生成される。ステップＳ１７３６において、システム制御部８９７は、学習部８９４に、図１２０を参照して後述するＶｃａｇの感情情報特定処理を実行させる。これにより、特徴ベクトルＶｃａｇに対応する感情情報が特定される。ステップＳ１７３７において、システム制御部８９７は、学習部８９４に、図１２２を参照して後述する特定結果出力再計算処理を実行させる。
【０３８９】
次に図１１５を参照して、Ｖｃａｇ生成処理について説明する。この処理はゲーム機Ｂの特徴抽出部９１２において実行される。ステップＳ１７５１において、特徴抽出部９１２は、加速度情報の特徴量算出処理（図１００と図１０１に示した処理と同様の処理なので、その説明は省略する）を行い、ステップＳ１７５２において、特徴抽出部９１２は、握り圧情報算出処理（図１０４と図１０５に示した処理と同様の処理なので、その説明は省略する）を実行する。そして、ステップＳ１７５３に進み、特徴抽出部９１２は、特徴ベクトルＶｃａｇ（Ａｃｃ＋（１），Ａｃｃ＋（２），Ａｃｃ＋（３），Ｔａｃ＋（１），Ｔａｃ＋（２），Ｔａｃ＋（３），Ａｃｃ−（１），Ａｃｃ−（２），Ａｃｃ−（３），Ｔａｃ−（１），Ｔａｃ−（２），Ｔａｃ−（３）， Ｉｇｒ＿Ｒ（１），Ｉｇｒ＿Ｒ（２），Ｔｇｒ＿Ｒ（１），Ｔｇｒ＿Ｒ（２）， Ｉｇｒ＿Ｌ（１），Ｉｇｒ＿Ｌ（２），Ｔｇｒ＿Ｌ（１），Ｔｇｒ＿Ｌ（２））を生成する。
【０３９０】
このようにして、使用者ａに関する加速度情報と握り圧情報から特徴ベクトルＶｃａｇが生成される。
【０３９１】
次に図１１６を参照して、Ｖｃａｇの感情情報特定処理について説明する。この処理は、ゲーム機Ｂの学習部８９４において実行される。
【０３９２】
ステップＳ１８３１において、学習部８９４は、蓄積部８９５に蓄積されている使用者ａに関する加速度情報と握り圧情報の特徴ベクトルの分布ｆｖｃ、分布の中心ベクトルＶμ、分布の標準偏差ベクトルＶσを読み出す。
【０３９３】
上述したように感情情報は３６通りあり、ｆｖｃ，Ｖμ，Ｖσも感情情報に対応してそれぞれ３６通り存在する。
【０３９４】
ステップＳ１８３２において、学習部８９４は、変数Ｑに１をセットする。ここで変数Ｑは、１から３６までの整数とされ、３６種類の感情情報に対応する。ステップＳ１８３３において、学習部８９４は、ベクトルＶμ（Ｑ）とステップＳ１７３５（図１１４）で生成した特徴ベクトルＶｃａｇの内積値を算出し、内積値に対応させてＶμ（Ｑ）を記憶する。そして、ステップＳ１８３４に進み、学習部８９４は、Ｑの値を１だけインクリメントし、ステップＳ１８３５において、全ての感情情報について計算したか否か、すなわち、３６種類の中心ベクトルＶμについて、内積値を計算したか否かを判定し、全ての感情情報について計算していないと判定された場合、ステップＳ１８３３に戻り、以降の処理を繰り返し実行する。
【０３９５】
全ての感情情報に対応する３６種類の中心ベクトルＶμについて内積値の計算が終わると、学習部８９４の中にある図示せぬ記憶部には、実施の形態１の場合と同様に感情情報、内積値、中心ベクトルＶμの種類、内積値の大きさの順序が含まれたデータが記憶されている。ステップＳ１８３６において、学習部８９４は、内積値の大きい順にデータをソートする。このとき、内積値の大きさの順番が変数Ｒで表され、変数Ｒの値は１から３６までの整数となる。
【０３９６】
ステップＳ１８３７において、学習部８９４は、変数Ｒに１をセットし、Ｓ１８３８において、全ての感情情報に関してデータが読み出されたか否かを判定し、全ての感情情報に関してデータが読み出されていないと判定された場合、ステップＳ１８３９に進み、ステップＳ１８３６の処理によりソートされたデータを順番に読み出す。例えば、ステップＳ１８３３で３６種類の感情情報に対応する中心ベクトルと特徴ベクトルＶｃａｇの内積値が算出され、それらの中心ベクトルの中で、特徴ベクトルＶｃａｇとの内積値が最も大きくなる中心ベクトルが、使用者ａの感情情報「活性・強」に対応する特徴ベクトルの中心ベクトルＶμ３０であった場合、Ｒの値が１のとき中心ベクトルＶμ３０と、使用者ａの感情情報「活性・強」に対応する特徴ベクトルの標準偏差ベクトルＶσ３０が読み出される。
【０３９７】
ステップＳ１８４０において、変数ｍに１をセットし、ステップＳ１８４１に進み、Ｖμ（Ｒ）ｍ−Ｖσ（Ｒ）ｍ≦Ｖｃａｇｍ≦Ｖμ（Ｒ）ｍ＋Ｖσ（Ｒ）ｍの条件を満たしているか否かを判定する。ここで、Ｖμ（Ｒ）ｍは、ベクトルＶμ（Ｒ）のｍ番目の成分を表し、Ｖσ（Ｒ）ｍ，Ｖｃａｇｍもそれぞれ同様にベクトルＶσ，Ｖｃａｇのｍ番目の成分を表す。加速度情報と握り圧情報の特徴ベクトルは上述したようにＡｃｃ＋（１），Ａｃｃ＋（２），Ａｃｃ＋（３），Ｔａｃ＋（１），Ｔａｃ＋（２），Ｔａｃ＋（３），Ａｃｃ−（１），Ａｃｃ−（２），Ａｃｃ−（３），Ｔａｃ−（１），Ｔａｃ−（２），Ｔａｃ−（３），Ｉｇｒ＿Ｒ（１），Ｉｇｒ＿Ｒ（２），Ｔｇｒ＿Ｒ（１），Ｔｇｒ＿Ｒ（２），Ｉｇｒ＿Ｌ（１），Ｉｇｒ＿Ｌ（２），Ｔｇｒ＿Ｌ（１），Ｔｇｒ＿Ｌ（２）の２０個の成分により構成されている。ｍの値が１のとき、Ｖμ（Ｒ），Ｖσ（Ｒ），Ｖｃａｇの各ベクトルの成分Ａｃｃ＋（１）が抽出され、処理が行われる。
【０３９８】
ステップＳ１８４１において、Ｖμ（Ｒ）ｍ−Ｖσ（Ｒ）ｍ≦Ｖｃａｇｍ≦Ｖμ（Ｒ）ｍ＋Ｖσ（Ｒ）ｍの条件を満たしていないと判定された場合、学習部８９４は、ステップＳ１８４６に進み、Ｒの値を１だけインクリメントして、ステップＳ１８３８に戻り、以降の処理を繰り返し実行する。ステップＳ１８４１において、Ｖμ（Ｒ）ｍ−Ｖσ（Ｒ）ｍ≦Ｖｃｈｍ≦Ｖμ（Ｒ）ｍ＋Ｖσ（Ｒ）ｍの条件を満たしていると判定された場合、学習部８９４は、ステップＳ１８４２に進み、ｍの値を１だけインクリメントして、ステップＳ１８４３に進み、ｍの値が２１と等しいか否か、すなわち、Ｖμ（Ｒ），Ｖσ（Ｒ），Ｖｃａｇの各ベクトルを構成する２０個の成分について、すべてチェックしたか否か判定し、ｍの値が２１と等しくないと判定された場合、ステップＳ１８４１に戻り、それ以降の処理を繰り返し実行する。
【０３９９】
ステップＳ１８４３において、ｍの値が２１と等しいと判定された場合、すなわち、Ｖμ（Ｒ），Ｖσ（Ｒ），Ｖｃａｇの各ベクトルを構成する２０個の成分について、全て、Ｖμ（Ｒ）ｍ−Ｖσ（Ｒ）ｍ≦Ｖｃａｇｍ≦Ｖμ（Ｒ）ｍ＋Ｖσ（Ｒ）ｍの条件を満たしていると判定された場合、学習部８９４は、ステップＳ１８４４に進み、ＶｃａｇはＲに対応する感情情報Ｅに属しているものと特定する。例えば、Ｒが１の場合、ベクトルＶμ３０およびＶσ３０を構成する２０個の成分について、すべてＶμ３０ｍ−Ｖσ３０ｍ≦Ｖｃａｇｍ≦Ｖμ３０ｍ＋Ｖσ３０ｍの条件を満たしているとき、特徴ベクトルＶｃａｇは、感情情報「活性・強」に属しているものと特定される。
【０４００】
ステップＳ１８３８において、全ての感情情報に関してデータを読み出したと判定された場合、学習部８９４は、ステップＳ１８４５に進み、特徴ベクトルＶｃａｇに対応する感情情報を特定不能として処理を終了する。すなわち、３６種類の感情情報に対応する３６個の中心ベクトルＶμ（Ｒ）と３６個の標準偏差ベクトルＶσ（Ｒ）のそれぞれについて、Ｖμ（Ｒ）ｍ−Ｖσ（Ｒ）ｍ≦Ｖｃａｇｍ≦Ｖμ（Ｒ）ｍ＋Ｖσ（Ｒ）ｍの条件を満たしているか否かがチェックされ、その結果、Ｖμ（Ｒ），Ｖσ（Ｒ），Ｖｃａｇの各ベクトルを構成する２０個の成分について、全て、Ｖμ（Ｒ）ｍ−Ｖσ（Ｒ）ｍ≦Ｖｃａｇｍ≦Ｖμ（Ｒ）ｍ＋Ｖσ（Ｒ）ｍの条件を満たしていると判定されたものがなかった場合、特徴ベクトルＶｃａｇに対応する感情情報は、特定不能と判定される。
【０４０１】
図１１７は、使用者ａの各感情情報に対応する振動情報の特徴量ベクトルを示した図である。この図は、Ａｃｃ＋（１）軸，Ａｃｃ＋（２）軸，Ａｃｃ＋（３）軸，Ｔａｃ＋（１）軸，Ｔａｃ＋（２）軸，Ｔａｃ＋（３）軸，Ａｃｃ−（１）軸，Ａｃｃ−（２）軸，Ａｃｃ−（３）軸，Ｔａｃ−（１）軸，Ｔａｃ−（２）軸，Ｔａｃ−（３）軸， Ｉｇｒ＿Ｒ（１）軸，Ｉｇｒ＿Ｒ（２）軸，Ｔｇｒ＿Ｒ（１）軸，Ｔｇｒ＿Ｒ（２）軸，Ｉｇｒ＿Ｌ（１）軸，Ｉｇｒ＿Ｌ（２）軸，Ｔｇｒ＿Ｌ（１）軸，およびＴｇｒ＿Ｌ（２）軸からなる２０次元空間として示されている。この空間には、使用者ａの感情情報「悲しみ・弱」に対応する特徴ベクトル郡Ｖ９の分布とその中心ベクトルＶμ９、使用者ａの感情情報「嫌悪・弱」に対応する特徴ベクトル郡Ｖ１５の分布とその中心ベクトルＶμ１５、使用者ａの感情情報「興味・中」に対応する特徴ベクトル郡Ｖ１７の分布とその中心ベクトルＶμ１７などが存在する。
【０４０２】
各感情情報に対応する中心ベクトルのうち、図１１４のステップＳ１７３５において生成された特徴ベクトルＶｃａｇは、感情情報「活性・強」に対応する特徴ベクトル群Ｖ３０の分布の中心ベクトルＶμ３０と近接しており、上述したＶｃａｇの感情情報特定処理の結果、「活性・強」を示す特徴ベクトルであると特定される。
【０４０３】
このようにして、特徴ベクトルＶｃａｇから、使用者ａの感情、状態、およびその強度が特定される。
【０４０４】
次に図１１８を参照して、特定結果出力再計算処理について説明する。この処理は、ゲーム機Ｂの学習部８９４において実行される。ステップＳ１８６１において、学習部８９４は、特定結果を出力制御部９１４に出力し、ステップＳ１８６２において使用者ａの感情情報Ｅに対応する加速度情報と握り圧情報の特徴ベクトルの分布ｆｖｃ、分布の中心ベクトルＶμ、分布の標準偏差ベクトルＶσを再計算し、蓄積する。すなわち、図１１４のステップＳ１７３５において生成された特徴ベクトルＶｃａｇは、蓄積部８９５に蓄積されている使用者ａの強い活性を示す加速度情報と握り圧情報の特徴ベクトル郡に加えられ、あらたに、ｆｖｃ、Ｖμ、およびＶσが計算され、蓄積部８９５に蓄積される。
【０４０５】
このようにして、加速度情報と握り圧情報から使用者の感情、状態、およびその強度が特定される。また、感情、状態、およびその強度が特定された特徴ベクトルの情報が、あらたに蓄積される。
【０４０６】
ここまで、ゲーム機Ｂが、ゲーム機Ａから送信された使用者ａに関する加速度情報と握り圧情報から特徴量ベクトルＶｃａｇを生成し、感情情報を特定する処理について説明したが、同様にゲーム機Ｂは、使用者ｂに関する加速度情報と握り圧情報から特徴ベクトルを生成し、感情情報を特定することもできる。
【０４０７】
また、ゲーム機Ａも同様にして、使用者ａと使用者ｂの感情情報を特定することができる。
【０４０８】
次に、図１１９と図１２０を参照して、情報出力処理について説明する。ステップＳ１８８１において、システム制御部８９７は、出力情報が選択されたか否かを判定し、選択されたと判定されるまで待機する。出力情報の選択は、例えば、ゲーム機に接続されたテレビまたはディスプレイ上に表示されたメニューを使用者が選択することによって行われる。使用者が選択できるメニューは、「特定結果」、「特徴量に基づく情報」、「波形情報」、および「蓄積情報」の４種類がある。
【０４０９】
ステップＳ１８８１において、出力情報が選択されたと判定された場合、システム制御部８９７は、ステップＳ１８８２に進み、特定結果が選択されたか否かを判定し、特定結果が選択された判定された場合、ステップＳ１８８３において、特定結果に対応する２ビットの選択情報００を出力制御部９１４に送信する。
【０４１０】
ステップＳ１８８４において、出力制御部９１４は、感情情報の特定結果に応じてキャラクタの表示を制御する。ゲーム機に接続されたテレビまたはディスプレイ上には、使用者が選択したキャラクタが表示されており、出力制御部９１４は、特定された感情情報にもとづいて、キャラクタの表情や動作を制御する。例えば、感情情報として「活性・強」が特定された場合、キャラクタの表情を元気にあふれた表情とし、また、キャラクタの手足を上下に動かし、元気な様子を表現する。
【０４１１】
ステップＳ１８８２において、特定結果が選択されていないと判定された場合、システム制御部８９７は、ステップＳ１８８５に進み、特徴量に基づく情報が選択されたか否かを判定し、特徴量に基づく情報が選択されたと判定された場合、ステップＳ１８８６に進み、特徴量に基づく情報に対応する２ビットの選択情報０１を出力制御部９１４に送信する。
【０４１２】
ステップＳ１８８７において、出力制御部９１４は、特徴量（Ａｃｃ＋（１），Ａｃｃ＋（２），Ａｃｃ＋（３），Ｔａｃ＋（１），Ｔａｃ＋（２），Ｔａｃ＋（３），Ａｃｃ−（１），Ａｃｃ−（２），Ａｃｃ−（３），Ｔａｃ−（１），Ｔａｃ−（２），Ｔａｃ−（３））を特徴抽出部９１２から取得し、ステップＳ１８８８に進み、振動呈示部駆動信号を生成する。すなわち、図１２２に示されるように、出力のレベルをＡｃｃ＋（１），Ａｃｃ＋（２），Ａｃｃ＋（３）とし、出力ＯＮ時間をＴａｃ＋（１），Ｔａｃ＋（２），Ｔａｃ＋（３）とした矩形波と、出力のレベルをＡｃｃ−（１），Ａｃｃ−（２），Ａｃｃ−（３）とし、出力ＯＮ時間をＴａｃ−（１），Ｔａｃ−（２），Ｔａｃ−（３）とした矩形波からなる駆動信号が生成される。そして、ステップＳ１８８９に進み、出力制御部９１４は、生成された駆動信号にもとづいて、振動提示部９６５Ｌと９６５Ｒを同時に駆動させる。
【０４１３】
そして、ステップＳ１８９０において、出力制御部９１４は、特徴量（Ｉｇｒ＿Ｒ（１），Ｉｇｒ＿Ｒ（２），Ｔｇｒ＿Ｒ（１），Ｔｇｒ＿Ｒ（２），Ｉｇｒ＿Ｌ（１），Ｉｇｒ＿Ｌ（２），Ｔｇｒ＿Ｌ（１），Ｔｇｒ＿Ｌ（２））を特徴抽出部９１２から取得し、ステップＳ１８９１に進み、光呈示部駆動信号を生成する。すなわち、図１２３に示されるように、出力の振幅をＩｇｒ＿Ｒ（１）とし、出力ＯＮ時間をＴｇｒ＿Ｒ（１）とした正弦波と、出力の振幅をＩｇｒ＿Ｒ（２）とし、出力ＯＮ時間をＴｇｒ＿Ｒ（２）とした正弦波からなる駆動信号が生成される。また、図１２４に示されるように、出力の振幅をＩｇｒ＿Ｌ（１）とし、出力ＯＮ時間をＴｇｒ＿Ｌ（１）とした正弦波と、出力の振幅をＩｇｒ＿Ｌ（２）とし、出力ＯＮ時間をＴｇｒ＿Ｌ（２）とした正弦波からなる駆動信号が生成される。
【０４１４】
ステップＳ１８９２において、出力制御部９１４は、図１２３に示される駆動信号に基づいて、光呈示部９６４Ｒを駆動し、図１２４に示される駆動信号に基づいて、光呈示部９６４Ｌを駆動する。
【０４１５】
ステップＳ１８８５において、特徴量に基づく情報が選択されていないと判定された場合、システム制御部８９７は、ステップＳ１８９３において、波形情報が選択されたか否かを判定し、波形情報が選択されたと判定された場合、ステップＳ１８９４において、波形情報に対応する２ビットの選択情報１０を出力制御部９１４に出力する。
【０４１６】
ステップＳ１８９５において、出力制御部９１４は、特徴抽出部９１２からサンプリングされた加速度情報を取得し、取得された加速度情報に基づいて、振動呈示部９６５Ｌと９６５Ｒを駆動する駆動信号を生成し、ステップＳ１８９６において、振動呈示部９６５Ｌと９６５Ｒを駆動信号に基づいて、同時に駆動する。ステップＳ１８９７において、出力制御部９１４は、特徴抽出部９１２からサンプリングされた握り圧情報を取得し、取得された右側の握り圧情報（握り圧センサ９６３Ｒにより、検出された握り圧情報）に基づいて、光呈示部９６４Ｒを駆動する駆動信号を生成し、取得された左側の握り圧情報（握り圧センサ９６３Ｌにより、検出された握り圧情報）に基づいて、光呈示部９６４Ｌを駆動する駆動信号を生成し、ステップＳ１８９８において、光呈示部９６４Ｒと９６４Ｌをそれぞれの駆動信号に基づいて駆動する。
【０４１７】
ステップＳ１８９３において、波形情報が選択されていないと判定された場合、システム制御部８９７は、ステップＳ１８９９に進み、蓄積情報が選択されたか否かを判定する。蓄積情報が選択されていないと判定された場合、ステップＳ１９０４でエラー処理が実行される。ステップＳ１８９９で、蓄積情報が選択されたと判定された場合、システム制御部８９７は、ステップＳ１９００において、蓄積情報に対応する２ビットの選択情報０１を出力制御部９１４に出力する。
【０４１８】
蓄積情報が選択された場合、ゲーム機に接続されたテレビまたはディスプレイ上に更にサブメニューが表示され、使用者は、どの蓄積情報をどのゲーム機に出力するかを選択することができる。すなわち、加速度情報または握り圧情報を示す情報の種類ｉｎｆ、個人を特定する情報ＰＩＤ、感情情報Ｅ、および出力先を示す情報Ｔｏが選択される。例えば、ｉｎｆとして加速度情報または握り圧情報、ＰＩＤとして使用者ａ、Ｅとして強い活性、出力先として使用者ｂなどが選択される。
【０４１９】
ステップＳ１９０１において、システム制御部８９７は、情報の種類ｉｎｆ、個人を特定する情報ＰＩＤ、感情情報Ｅ、出力先Ｔｏが選択されたか否かを判定し、選択されたと判定されるまで待機する。
【０４２０】
ステップＳ１９０２において、システム制御部８９７は、使用者に選択された情報に基づいて（ｉｎｆ，ＰＩＤ，Ｅ，Ｔｏ）の情報を生成し、出力制御部９１４に送信する。
【０４２１】
ステップＳ１９０３において、出力制御部９１４は、図１２１を参照して後述する蓄積情報出力処理を行う。これにより、選択された情報の種類ｉｎｆ、個人を特定する情報ＰＩＤ、感情情報Ｅに基づく信号が生成され、出力先Ｔｏに基づいて、生成された信号が送信される。
【０４２２】
ここで、図１２１を参照して、図１２０のステップＳ１９０３の蓄積情報出力処理について説明する。
【０４２３】
ステップＳ１９２１において出力制御部９１４は、選択された情報（ＰＩＤ，Ｅ）に基づいて、蓄積部８９５から加速度情報と握り圧情報の中心ベクトルを取得する。この例では、蓄積部８９５に蓄積されている使用者ａの「活性・強」に対応する加速度情報と握り圧情報の特徴ベクトルの分布の中心ベクトルＶμ３０（Ａｃｃ＋３０（１），Ａｃｃ＋３０（２），Ａｃｃ＋３０（３），Ｔａｃ＋３０（１），Ｔａｃ＋３０（２），Ｔａｃ＋３０（３），Ａｃｃ−３０（１），Ａｃｃ−３０（２），Ａｃｃ−３０（３），Ｔａｃ−３０（１），Ｔａｃ−３０（２），Ｔａｃ−３０（３），Ｉｇｒ＿Ｒ３０（１），Ｉｇｒ＿Ｒ３０（２），Ｔｇｒ＿Ｒ３０（１），Ｔｇｒ＿Ｒ３０（２），Ｉｇｒ＿Ｌ３０（１），Ｉｇｒ＿Ｌ３０（２），Ｔｇｒ＿Ｌ３０（１），Ｔｇｒ＿Ｌ３０（２））が取得される。
【０４２４】
ステップＳ１９２２において、出力制御部９１４は、情報の種類ｉｎｆとして加速度情報が選択されたか否かを判定し、加速度情報が選択されたと判定された場合、ステップＳ１９２３に進み、Ｖμ３０の第１番目乃至第１２番目の成分を抽出する。
【０４２５】
そして、ステップＳ１９２４に進み振動呈示部駆動信号を生成する。すなわち、図１２５に示されるように、出力のレベルをＡｃｃ＋３０（１），Ａｃｃ＋３０（２），Ａｃｃ＋３０（３）とし、出力ＯＮ時間をＴａｃ＋３０（１），Ｔａｃ＋３０（２），Ｔａｃ＋３０（３）とした矩形波と、出力のレベルをＡｃｃ−３０（１），Ａｃｃ−３０（２），Ａｃｃ−３０（３）とし、出力ＯＮ時間をＴａｃ−３０（１），Ｔａｃ−３０（２），Ｔａｃ−３０（３）とした矩形波からなる駆動信号が生成される。
【０４２６】
ステップＳ１９２５において、出力制御部９１４は、出力先Ｔｏが自端末（ゲーム機）の使用者か否かを判定し、自端末の使用者ではないと判定された場合、ステップＳ１９２７に進み、出力先の端末へ駆動信号を送信する。例えば、出力先Ｔｏとして使用者ｂが選択されている場合、使用者ｂの端末（ゲーム機Ｂ）に駆動信号が送信される。そして、ステップＳ１９２８において、ゲーム機Ｂでは、情報受信部９２２から駆動信号が受信され、情報弁別部９１１を介して、出力制御部９１４に駆動信号が供給される。ゲーム機Ｂの出力制御部９１４は、駆動信号に基づいて、ゲーム機Ｂの振動呈示部９６５Ｒと９６５Ｌを同時に駆動する。
【０４２７】
ステップＳ１９２５において、出力先Ｔｏが自端末（ゲーム機）の使用者であると判定された場合、ステップＳ１９２６に進み、出力制御部９１４は、駆動信号に基づいて、自端末（ゲーム機）の振動呈示部９６５Ｒと９６５Ｌを同時に駆動する。
【０４２８】
ステップＳ１９２２において、情報の種類ｉｎｆとして加速度情報が選択されていないと判定された場合（握り圧情報が選択された場合）、ステップＳ１９２９に進み、出力制御部９１４は、Ｖμ３０の第１３番目乃至第２０番目の成分を抽出する。
【０４２９】
そして、ステップＳ１９３０に進み、出力制御部９１４は、光呈示部駆動信号を生成する。すなわち、図１２６に示されるように、出力の振幅をＩｇｒ＿Ｒ３０（１）とし、出力ＯＮ時間をＴｇｒ＿Ｒ３０（１）とした正弦波と、出力の振幅をＩｇｒ＿Ｒ３０（２）とし、出力ＯＮ時間をＴｇｒ＿Ｒ３０（２）とした正弦波からなる駆動信号が生成される。また、図１２７に示されるように、出力の振幅をＩｇｒ＿Ｌ３０（１）とし、出力ＯＮ時間をＴｇｒ＿Ｌ３０（１）とした正弦波と、出力の振幅をＩｇｒ＿Ｌ３０（２）とし、出力ＯＮ時間をＴｇｒ＿Ｌ３０（２）とした正弦波からなる駆動信号が生成される。
【０４３０】
ステップＳ１９３１において、出力制御部９１４は、出力先Ｔｏが自端末（ゲーム機）の使用者か否かを判定し、自端末の使用者ではないと判定された場合、ステップＳ１９３３に進み、出力先の端末へ駆動信号を送信する。例えば、出力先Ｔｏとして使用者ｂが選択されている場合、使用者ｂの端末（ゲーム機Ｂ）に駆動信号が送信される。そして、ステップＳ１９３４において、ゲーム機Ｂでは、情報受信部９２２から駆動信号が受信され、情報弁別部９１１を介して、出力制御部９１４に駆動信号が供給される。ゲーム機Ｂの出力制御部９１４は、図１２６に示される駆動信号に基づいて、ゲーム機Ｂの光呈示部９６４Ｒを駆動し、図１２７に示される駆動信号に基づいて、ゲーム機Ｂの光呈示部９６４Ｌを駆動する。
【０４３１】
ステップＳ１９３１において、出力先Ｔｏが自端末（ゲーム機）の使用者であると判定された場合、ステップＳ１９３２に進み、出力制御部９１４は、図１２６に示される駆動信号に基づいて、自端末（ゲーム機）の光呈示部９６４Ｒを駆動し、図１２７に示される駆動信号に基づいて自端末（ゲーム機）の光呈示部９６４Ｌを駆動する。
【０４３２】
このようにして、使用者は、加速度情報と握り圧情報から特定された感情、状態、およびその強度を表示させ、認識することができる。ゲーム機のコントローラの振動により、加速度情報を体感することができ、ゲーム機のコントローラが発する光により、握り圧情報を体感することができる。また、使用者が所望する特定の個人の特定の感情情報に対応する加速度情報または握り圧情報を指定して、特定の相手に体感させることができる。
【０４３３】
さらに、オンラインゲームにおいて、通信する相手の感情、状態、およびその強度を体感させることにより、より臨場感のあるゲームを行うことができる。
【０４３４】
以上では、本発明の実施の形態を、実施の形態１、実施の形態２、実施の形態３、および実施の形態４に分けて説明してきたが、実施の形態１、実施の形態２、実施の形態３、および実施の形態４を組み合わせて１つの端末を構成してもよい。
【０４３５】
なお、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４３６】
【発明の効果】
以上の如く、本発明によれば、生体情報、キーボードの振動情報、マウスのクリック情報、握り圧情報、ゲーム機のコントローラの加速度情報および握り圧情報などの情報から、使用者の感情、状態、およびその強度を特定することができる。また、従来のように言語、音声、画像による通信だけでなく、生体情報、キーボードの振動情報、マウスのクリック情報、握り圧情報、ゲーム機のコントローラの加速度情報、握り圧情報などの情報を伝送し、様々な形で出力することができるので、より親密で感情が伝わるコミュニケーションを実現することができる。
【図面の簡単な説明】
【図１】本発明の情報処理装置の接続形態を示す図である。
【図２】本発明の情報処理装置おける入力される情報と蓄積される情報を示す図である。
【図３】感情・状態に対応する特徴量の分布を示す図である。
【図４】感情・状態に対応する特徴量ベクトルの分布を示す図である。
【図５】本発明の第１の情報処理装置の構成例を示すブロック図である。
【図６】図５の入力部の構成例を示す図でブロック図ある
【図７】図５の出力部の構成例を示すブロック図である。
【図８】図５の出力部の構成例を示すブロック図である。
【図９】端末Ａと端末Ｂの間で送受信される情報を示す図である。
【図１０】端末Ａと端末Ｂの間で送受信される情報を示す図である。
【図１１】送信設定情報と受信設定情報の内容を示す図である。
【図１２】生体情報蓄積処理を説明するフローチャートである。
【図１３】生体情報蓄積処理を説明するフローチャートである。
【図１４】特徴量ベクトルＶｃ１生成処理を説明するフローチャートである。
【図１５】特徴量ベクトルＶｃ１生成処理を説明するフローチャートである。
【図１６】極性判定処理を説明するフローチャートである。
【図１７】Ｔｖ出力処理を説明するフローチャートである。
【図１８】Ｖｍｉｎ，Ｖｍａｘ判定処理を説明するフローチャートである。
【図１９】波形情報のサンプリング方法を示す図である。
【図２０】Ｔｖ出力処理、Ｖｍｉｎ，Ｖｍａｘ判定処理の結果得られる情報を示す図である。
【図２１】特徴量ベクトルＶｃ２生成処理を説明するフローチャートである。
【図２２】特徴量ベクトルＶｃ２生成処理を説明するフローチャートである。
【図２３】感情・状態を表す語句を示す図である。
【図２４】感情・状態の強度を表す語句を示す図である。
【図２５】脈拍情報の波形を示す図である。
【図２６】体動情報の波形を示す図である。
【図２７】端末Ｂの蓄積部に蓄積される情報を示す図である。
【図２８】感情・状態特定処理を説明するフローチャートである。
【図２９】特徴量ベクトルＶｃ１生成処理を説明するフローチャートである。
【図３０】特徴量ベクトルＶｃ１生成処理を説明するフローチャートである。
【図３１】特徴量ベクトルＶｃ２生成処理を説明するフローチャートである。
【図３２】特徴量ベクトルＶｃ２生成処理を説明するフローチャートである。
【図３３】Ｖｃ１の感情、状態、およびその強度特定処理を説明するフローチャートである。
【図３４】Ｖｃ１と各ベクトルの内積値の計算結果データを示す図である。
【図３５】Ｖｃ１と各ベクトルの分布の関係を示す図である。
【図３６】Ｖｃ２の感情、状態、およびその強度特定処理を説明するフローチャートである。
【図３７】Ｖｃ２と各ベクトルの内積値の計算結果データを示す図である。
【図３８】Ｖｃ２と各ベクトルの分布の関係を示す図である。
【図３９】特定結果出力、再計算の処理を説明するフローチャートである。
【図４０】情報出力処理を説明するフローチャートである。
【図４１】情報出力処理を説明するフローチャートである。
【図４２】情報出力処理において出力される情報の波形を示す図である。
【図４３】情報出力処理において出力される情報の波形を示す図である。
【図４４】本発明の第２の情報処理装置の構成例を示すブロック図である。
【図４５】図４４の入力部の構成例を示す図でブロック図ある
【図４６】図４４の出力部の構成例を示すブロック図である。
【図４７】端末Ａと端末Ｂの間で送受信される情報を示す図である。
【図４８】端末Ａと端末Ｂの間で送受信される情報を示す図である。
【図４９】振動情報蓄積処理を説明するフローチャートである。
【図５０】振動情報蓄積処理を説明するフローチャートである。
【図５１】特徴量ベクトルＶｃ生成処理を説明するフローチャートである。
【図５２】特徴量ベクトルＶｃ生成処理を説明するフローチャートである。
【図５３】端末Ｂの蓄積部に蓄積される情報を示す図である。
【図５４】キーボード振動情報の波形を示す図である。
【図５５】キーボード振動情報から得られるデータを示す図である。
【図５６】感情・状態特定処理を説明するフローチャートである。
【図５７】特徴量ベクトルＶｃｈ生成処理を説明するフローチャートである。
【図５８】特徴量ベクトルＶｃｈ生成処理を説明するフローチャートである。
【図５９】Ｖｃｈの感情、状態、およびその強度特定処理を説明するフローチャートである。
【図６０】Ｖｃｈと各ベクトルの分布の関係を示す図である。
【図６１】特定結果出力、再計算の処理を説明するフローチャートである。
【図６２】情報出力処理を説明するフローチャートである。
【図６３】情報出力処理を説明するフローチャートである。
【図６４】情報出力処理において出力される情報の波形を示す図である。
【図６５】情報出力処理において出力される情報の波形を示す図である。
【図６６】本発明の第３の情報処理装置の構成例を示すブロック図である。
【図６７】図６６の入力部の構成例を示す図でブロック図ある
【図６８】図６６の出力部の構成例を示すブロック図である。
【図６９】端末Ａと端末Ｂの間で送受信される情報を示す図である。
【図７０】端末Ａと端末Ｂの間で送受信される情報を示す図である。
【図７１】クリック情報、握り圧情報蓄積処理を説明するフローチャートである。
【図７２】クリック情報、握り圧情報蓄積処理を説明するフローチャートである。
【図７３】特徴量ベクトルＶｃ生成処理を説明するフローチャートである。
【図７４】クリック特徴算出処理を説明するフローチャートである。
【図７５】握り圧特徴算出処理を説明するフローチャートである。
【図７６】感情・状態申告チャートの表示例を示す図である。
【図７７】感情・状態申告情報の構成例を示す図である。
【図７８】端末Ｂの蓄積部に蓄積される情報を示す図である。
【図７９】マウスのクリック情報の波形を示す図である。
【図８０】マウスの握り圧情報の波形を示す図である。
【図８１】感情・状態特定処理を説明するフローチャートである。
【図８２】特徴量ベクトルＶｃ生成処理を説明するフローチャートである。
【図８３】クリック特徴算出処理を説明するフローチャートである。
【図８４】握り圧特徴算出処理を説明するフローチャートである。
【図８５】Ｖｃの感情、状態、およびその強度特定処理を説明するフローチャートである。
【図８６】Ｖｃと各ベクトルの分布の関係を示す図である。
【図８７】特定結果出力、再計算の処理を説明するフローチャートである。
【図８８】情報出力処理を説明するフローチャートである。
【図８９】情報出力処理を説明するフローチャートである。
【図９０】情報出力処理において出力される情報の波形を示す図である。
【図９１】情報出力処理において出力される情報の波形を示す図である。
【図９２】本発明のゲーム機の接続形態を示す図である。
【図９３】本発明のゲーム機の構成例を示す図である。
【図９４】本発明のゲーム機のコントローラの構成例を示す図である。
【図９５】ゲーム機Ａ、ゲーム機Ｂ、およびサーバの間で送受信される情報を示す図である。
【図９６】ゲーム機Ａ、ゲーム機Ｂ、およびサーバの間で送受信される情報を示す図である。
【図９７】特徴情報蓄積処理を説明するフローチャートである。
【図９８】特徴情報蓄積処理を説明するフローチャートである。
【図９９】特徴ベクトルＶｃの生成処理を説明するフローチャートである。
【図１００】加速度情報の特徴量算出処理を説明するフローチャートである。
【図１０１】加速度情報の特徴量算出処理を説明するフローチャートである。
【図１０２】ゲーム機のコントローラの加速度情報の波形を示す図である。
【図１０３】ゲーム機のコントローラの加速度情報から得られるデータを示す図である。
【図１０４】握り圧情報の特徴量抽出処理を説明するフローチャートである。
【図１０５】握り圧情報の特徴量抽出処理を説明するフローチャートである。
【図１０６】ゲーム機のコントローラの右側の握り圧情報の波形を示す図である。
【図１０７】ゲーム機のコントローラの左側の握り圧情報の波形を示す図である。
【図１０８】ゲーム機のコントローラの右側の握り圧情報から得られるデータを示す図である。
【図１０９】ゲーム機のコントローラの左側の握り圧情報から得られるデータを示す図である。
【図１１０】ゲーム機のコントローラの加速度情報の波形を示す図である。
【図１１１】ゲーム機のコントローラの右側の握り圧情報の波形を示す図である。
【図１１２】ゲーム機のコントローラの左側の握り圧情報の波形を示す図である。
【図１１３】ゲーム機の蓄積部に蓄積される情報を示す図である。
【図１１４】感情状態特定処理を説明するフローチャートである。
【図１１５】特徴ベクトルＶｃａｇの生成処理を説明するフローチャートである。
【図１１６】Ｖｃａｇの感情情報特定処理を説明するフローチャートである。
【図１１７】Ｖｃａｇと各ベクトルの分布の関係を示す図である。
【図１１８】特定結果出力再計算処理を説明するフローチャートである。
【図１１９】情報出力処理を説明するフローチャートである。
【図１２０】情報出力処理を説明するフローチャートである。
【図１２１】蓄積情報出力処理を説明するフローチャートである。
【図１２２】情報出力処理において出力される振動呈示部駆動信号の波形を示す図である。
【図１２３】情報出力処理において出力される光呈示部駆動信号の波形を示す図である。
【図１２４】情報出力処理において出力される光呈示部駆動信号の波形を示す図である。
【図１２５】情報出力処理において出力される振動呈示部駆動信号の波形を示す図である。
【図１２６】情報出力処理において出力される光呈示部駆動信号の波形を示す図である。
【図１２７】情報出力処理において出力される光呈示部駆動信号の波形を示す図である。
【符号の説明】
１乃至３ 端末， １１ ネットワーク， ９１ 入力部， ９２ 出力部，９４ 学習部， ９５ 蓄積部， ９７ システム制御部， １３１ マイク， １３２ 脈波センサ， １３３ 測距センサ， １５２ 移動オブジェクト， １９２ 光呈示部， ３０１ 入力部， ３０２ 出力部， ３０４ 学習部， ３０５ 蓄積部， ３０７ システム制御部， ３４１ キーボード， ３４２ 振動センサ， ３６２ 振動呈示部， ６１１ 入力部， ６１２ 出力部， ６１４ 学習部， ６１５ 蓄積部， ６１７ システム制御部， ６５１ マウス， ６７１ 握り強度センサ， ６５３ 温度センサ， ６９２ 温度呈示部， ６９２ ペルチェ素子， ８７１乃至８７３ゲーム機， ８９１入力部， ８９２ 出力部， ８９４ 学習部， ８９５ 蓄積部， ８９７システム制御部， ９４１ コントローラ， ９６１ ３軸加速度センサ， ９６３Ｌ握り圧センサ， ９６３Ｒ握り圧センサ， ９６４Ｌ 光呈示部， ９６４Ｒ 光呈示部， ９６５Ｌ 振動呈示部， ９６５Ｒ 振動呈示部

Claims (15)

  1. 非言語的情報と言語的情報の入力を受け付ける入力受付手段と、
    入力された前記非言語的情報を前記言語的情報に関係付けて、使用者の感情を学習する学習手段と、
    前記学習手段による学習の結果得られた情報を蓄積する蓄積手段と、
    入力された前記非言語的情報、または蓄積された前記非言語的情報を所定の信号に変換し、出力する出力手段と
    を備えることを特徴とする情報処理装置。
  2. 前記学習手段は、使用者の感情を、その強度とともに学習する
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 前記学習手段は、新たに前記非言語的情報が入力されたとき、前記蓄積手段に蓄積された前記非言語的情報に基づいて、使用者の感情を特定し、
    前記出力手段は、前記学習手段が特定した結果を出力する
    ことを特徴とする請求項１に記載の情報処理装置。
  4. 前記蓄積手段は、前記学習手段により特定された感情に対応する前記非言語的情報を、前記蓄積手段に既に蓄積された非言語的情報に付加してさらに蓄積する
    ことを特徴とする請求項３に記載の情報処理装置。
  5. 前記非言語的情報の特徴を表す変数を生成する変数生成手段をさらに備え、
    前記学習手段は、生成された前記変数を統計的に処理し、前記変数を蓄積手段に蓄積する
    ことを特徴とする請求項１に記載の情報処理装置。
  6. 前記学習手段は、入力された前記非言語的情報から前記変数生成手段が生成した前記変数と、前記蓄積手段に蓄積された前記変数を比較して、使用者の感情を特定する
    ことを特徴とする請求項５に記載の情報処理装置。
  7. 前記入力手段は、前記非言語的情報として、使用者の脈拍情報、または体動情報の入力を受け付ける
    ことを特徴とする請求項１に記載の情報処理装置。
  8. 前記入力手段は、前記非言語的情報として、使用者の打鍵による振動情報の入力を受け付ける
    ことを特徴とする請求項１に記載の情報処理装置。
  9. 前記入力手段は、前記非言語的情報として、使用者のマウス握り圧情報、または環境温度情報の入力を受け付ける
    ことを特徴とする請求項１に記載の情報処理装置。
  10. 前記情報処理装置は、オンラインゲームを行うゲーム機である
    ことを特徴とする請求項１に記載の情報処理装置。
  11. 前記入力手段は、前記非言語的情報として前記ゲーム機のコントローラの加速度情報、または握り圧情報の入力を受け付ける
    ことを特徴とする請求項１０に記載の情報処理装置。
  12. 前記出力手段は、蓄積された前記非言語的情報のうち、使用者が指定した特定の前記非言語的情報を抽出し、抽出された前記非言語的情報を所定の信号に変換し、使用者が指定する他のゲーム機に出力する
    ことを特徴とする請求項１０に記載の情報処理装置。
  13. 非言語的情報と言語的情報の入力を受け付ける入力受付ステップと、
    入力された前記非言語的情報を前記前記言語的情報に関係付けて、使用者の感情を学習する学習ステップと、
    前記学習ステップの処理による学習の結果得られた情報を蓄積する蓄積ステップと、
    入力された前記非言語的情報または、蓄積された前記非言語的情報を所定の信号に変換し、出力する出力ステップと
    を含むことを特徴とする情報処理方法。
  14. 非言語的情報と言語的情報の入力を受け付けを制御する入力受付制御ステップと、
    入力された前記非言語的情報を前記前記言語的情報に関係付けて、使用者の感情の学習を制御する学習制御ステップと、
    前記学習制御ステップの処理による学習の結果得られた情報の蓄積を制御する蓄積制御ステップと、
    入力された前記非言語的情報または、蓄積された前記非言語的情報の所定の信号への変換、出力を制御する出力制御ステップと
    をコンピュータに実行させることを特徴とするプログラム。
  15. 請求項１４に記載されたプログラムが記録されたことを特徴とする記録媒体。
JP2003040993A 2002-12-11 2003-02-19 情報処理装置および方法、プログラム、並びに記録媒体 Pending JP2004237022A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2003040993A JP2004237022A (ja) 2002-12-11 2003-02-19 情報処理装置および方法、プログラム、並びに記録媒体
PCT/JP2003/012758 WO2004053702A1 (ja) 2002-12-11 2003-10-06 情報処理装置および方法、プログラム、並びに記録媒体
CN2003801002127A CN1692341B (zh) 2002-12-11 2003-10-06 信息处理设备和信息处理方法
KR1020047012342A KR100994906B1 (ko) 2002-12-11 2003-10-06 정보 처리 장치 및 방법, 컴퓨터 판독 가능 프로그램 기록 매체
EP03748712A EP1574961A4 (en) 2002-12-11 2003-10-06 INFORMATION PROCESSING DEVICE AND METHOD, PROGRAM AND RECORDING MEDIUM
US10/503,121 US7548891B2 (en) 2002-12-11 2003-10-06 Information processing device and method, program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002359823 2002-12-11
JP2003040993A JP2004237022A (ja) 2002-12-11 2003-02-19 情報処理装置および方法、プログラム、並びに記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007192929A Division JP4525712B2 (ja) 2002-12-11 2007-07-25 情報処理装置および方法、プログラム、並びに記録媒体

Publications (1)

Publication Number Publication Date
JP2004237022A true JP2004237022A (ja) 2004-08-26

Family

ID=32510652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003040993A Pending JP2004237022A (ja) 2002-12-11 2003-02-19 情報処理装置および方法、プログラム、並びに記録媒体

Country Status (6)

Country Link
US (1) US7548891B2 (ja)
EP (1) EP1574961A4 (ja)
JP (1) JP2004237022A (ja)
KR (1) KR100994906B1 (ja)
CN (1) CN1692341B (ja)
WO (1) WO2004053702A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015156229A (ja) * 2009-10-29 2015-08-27 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 音声−テキスト変換の触覚増強のためのシステム及び方法
WO2019087916A1 (ja) * 2017-11-01 2019-05-09 アルプスアルパイン株式会社 生体情報測定装置、情報処理装置、情報処理方法、プログラム
WO2021250971A1 (ja) * 2020-06-12 2021-12-16 株式会社村田製作所 グリップ判定装置、グリップ判定方法及びグリップ判定プログラム

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041988A (ja) * 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP2007280485A (ja) * 2006-04-05 2007-10-25 Sony Corp 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
EP3711828B1 (en) * 2006-05-04 2023-03-15 Sony Interactive Entertainment LLC Scheme for detecting and tracking user manipulation of a game controller body and for translating movements thereof into inputs and game commands
KR101131856B1 (ko) * 2006-11-03 2012-03-30 엘지전자 주식회사 방송 신호 송신 장치 및 이를 이용한 방송 신호 송수신방법
US20080215974A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Interactive user controlled avatar animations
JP2010533006A (ja) * 2007-03-01 2010-10-21 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー 仮想世界とコミュニケーションを取るためのシステムおよび方法
JP2008225550A (ja) * 2007-03-08 2008-09-25 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP4506795B2 (ja) 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
US8262474B2 (en) * 2009-04-21 2012-09-11 Mcmain Michael Parker Method and device for controlling player character dialog in a video game located on a computer-readable storage medium
KR101130761B1 (ko) * 2010-02-26 2012-03-28 대구가톨릭대학교산학협력단 비씨아이 기반 뇌파 측정장치
CN102905624A (zh) * 2010-11-11 2013-01-30 奥林巴斯医疗株式会社 超声波观测装置、超声波观测装置的动作方法以及超声波观测装置的动作程序
JP5054254B2 (ja) * 2010-11-11 2012-10-24 オリンパスメディカルシステムズ株式会社 超音波診断装置、超音波診断装置の作動方法および超音波診断装置の作動プログラム
JP5745265B2 (ja) * 2010-12-22 2015-07-08 株式会社ソニー・コンピュータエンタテインメント 信号処理装置、タッチパネルユニット、情報処理装置および信号処理方法
US20120311032A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Emotion-based user identification for online experiences
US20150065896A1 (en) * 2012-03-30 2015-03-05 Seiko Epson Corporation Pulsation detecting device, electronic apparatus, and program
US10175750B1 (en) * 2012-09-21 2019-01-08 Amazon Technologies, Inc. Projected workspace
CN108992052A (zh) * 2014-03-14 2018-12-14 上海万泽精密铸造有限公司 便于随身隐蔽携带的自闭症患者用随身佩戴装置
US10675532B2 (en) 2014-04-21 2020-06-09 Steelseries Aps Variable actuators of an accessory and methods thereof
US10022622B2 (en) 2014-04-21 2018-07-17 Steelseries Aps Programmable actuation inputs of an accessory and methods thereof
US20170105628A1 (en) * 2014-06-28 2017-04-20 Intel IP Corporation Pulse diagnosis
CN104462906A (zh) * 2014-12-19 2015-03-25 中国农业银行股份有限公司 一种具有信息采集功能的鼠标和身份识别方法及系统
CN104808990A (zh) * 2015-04-16 2015-07-29 深圳市金立通信设备有限公司 一种终端
CN104808989A (zh) * 2015-04-16 2015-07-29 深圳市金立通信设备有限公司 一种终端控制方法
CN105100435A (zh) * 2015-06-15 2015-11-25 百度在线网络技术（北京）有限公司 移动通讯应用方法和装置
CN105244023A (zh) * 2015-11-09 2016-01-13 上海语知义信息技术有限公司 课堂教学中教师情绪的提醒系统及方法
US10241583B2 (en) * 2016-08-30 2019-03-26 Intel Corporation User command determination based on a vibration pattern
CN106419936A (zh) * 2016-09-06 2017-02-22 深圳欧德蒙科技有限公司 一种基于脉搏波时间序列分析的情绪分类方法及装置
JP2019159707A (ja) * 2018-03-12 2019-09-19 富士ゼロックス株式会社 情報提示装置、情報提示方法及び情報提示プログラム
CN108577866A (zh) * 2018-04-03 2018-09-28 中国地质大学（武汉） 一种多维情感识别与缓解的系统及方法
US11243957B2 (en) * 2018-07-10 2022-02-08 Verizon Patent And Licensing Inc. Self-organizing maps for adaptive individualized user preference determination for recommendation systems
CN109697472B (zh) * 2018-12-28 2021-05-04 泰州市津达电子科技有限公司 一种子情绪划归方法
CN109460752B (zh) * 2019-01-10 2020-10-16 广东乐心医疗电子股份有限公司 一种情绪分析方法、装置、电子设备及存储介质
GB2618814A (en) * 2022-05-18 2023-11-22 Sony Interactive Entertainment Inc Player selection system and method

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0716349A (ja) 1993-07-02 1995-01-20 Pioneer Electron Corp ビデオゲーム装置
JPH08191952A (ja) 1995-01-18 1996-07-30 Yutaka Nakano 仮想現実体感方法及び装置
JPH0981632A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 情報公開装置
US5918222A (en) * 1995-03-17 1999-06-29 Kabushiki Kaisha Toshiba Information disclosing apparatus and multi-modal information input/output system
US6157913A (en) * 1996-11-25 2000-12-05 Bernstein; Jared C. Method and apparatus for estimating fitness to perform tasks based on linguistic and other aspects of spoken responses in constrained interactions
JP3159242B2 (ja) * 1997-03-13 2001-04-23 日本電気株式会社 感情生成装置およびその方法
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
JPH1147444A (ja) 1997-07-29 1999-02-23 Sony Corp 通信型ゲーム装置
JPH11119791A (ja) * 1997-10-20 1999-04-30 Hitachi Ltd 音声感情認識システムおよび方法
US6102846A (en) * 1998-02-26 2000-08-15 Eastman Kodak Company System and method of managing a psychological state of an individual using images
JPH11333139A (ja) 1998-05-26 1999-12-07 Fuji Electronics Co Ltd 動態画像のコントロール装置
JP3914636B2 (ja) 1998-06-12 2007-05-16 有限会社アンブレラ 音声入力式ヒューマンインタフェースに特徴を有するビデオゲーム機およびプログラム記録媒体
US6230111B1 (en) * 1998-08-06 2001-05-08 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object
US6249780B1 (en) * 1998-08-06 2001-06-19 Yamaha Hatsudoki Kabushiki Kaisha Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object
US7263489B2 (en) * 1998-12-01 2007-08-28 Nuance Communications, Inc. Detection of characteristics of human-machine interactions for dialog customization and analysis
US6466232B1 (en) * 1998-12-18 2002-10-15 Tangis Corporation Method and system for controlling presentation of information to a user based on the user's condition
US6513046B1 (en) * 1999-12-15 2003-01-28 Tangis Corporation Storing and recalling information to augment human memories
US7055101B2 (en) * 1998-12-18 2006-05-30 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
EP1112822A4 (en) * 1999-05-10 2005-07-20 Sony Corp ROBOTS AND CONTROL PROCESSES THEREOF
JP2001034410A (ja) * 1999-07-26 2001-02-09 Matsushita Electric Ind Co Ltd 感性入力装置および感性推定方法
US6418435B1 (en) * 1999-08-11 2002-07-09 Connotative Reference Corporation System for quantifying intensity of connotative meaning
US6480826B2 (en) * 1999-08-31 2002-11-12 Accenture Llp System and method for a telephonic emotion detection that provides operator feedback
JP2001160021A (ja) 1999-12-03 2001-06-12 Sony Corp 仮想空間による通信システム
JP2001215993A (ja) * 2000-01-31 2001-08-10 Sony Corp 対話処理装置および対話処理方法、並びに記録媒体
JP2001236162A (ja) * 2000-02-24 2001-08-31 Sony Computer Entertainment Inc エンタテインメント装置、記録媒体及びコンピュータプログラム
JP2001249945A (ja) * 2000-03-07 2001-09-14 Nec Corp 感情生成方法および感情生成装置
JP2002202943A (ja) * 2000-12-28 2002-07-19 Square Co Ltd ビデオゲーム装置およびその制御方法、ならびにビデオゲームのプログラムおよびそのプログラムを記録したコンピュータ読取り可能な記録媒体。
JP2002282543A (ja) * 2000-12-28 2002-10-02 Sony Computer Entertainment Inc オブジェクトの音声処理プログラム、オブジェクトの音声処理プログラムを記録したコンピュータ読み取り可能な記録媒体、プログラム実行装置、及びオブジェクトの音声処理方法
JP2002230011A (ja) 2001-02-05 2002-08-16 Seiko Epson Corp 感情認識システム
JP2002298155A (ja) 2001-03-29 2002-10-11 Hic:Kk 感情による３ｄコンピュータグラフィックス表情モデル形成システム
EP1298645A1 (en) * 2001-09-26 2003-04-02 Sony International (Europe) GmbH Method for detecting emotions in speech, involving linguistic correlation information
US7007001B2 (en) * 2002-06-26 2006-02-28 Microsoft Corporation Maximizing mutual information between observations and hidden states to minimize classification errors

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015156229A (ja) * 2009-10-29 2015-08-27 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 音声−テキスト変換の触覚増強のためのシステム及び方法
JP2017085625A (ja) * 2009-10-29 2017-05-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 音声／テキスト変換の触覚による拡張を目的とするシステムと方法
WO2019087916A1 (ja) * 2017-11-01 2019-05-09 アルプスアルパイン株式会社 生体情報測定装置、情報処理装置、情報処理方法、プログラム
JPWO2019087916A1 (ja) * 2017-11-01 2020-10-22 アルプスアルパイン株式会社 生体情報測定装置、情報処理装置、情報処理方法、プログラム
WO2021250971A1 (ja) * 2020-06-12 2021-12-16 株式会社村田製作所 グリップ判定装置、グリップ判定方法及びグリップ判定プログラム
JP7355242B2 (ja) 2020-06-12 2023-10-03 株式会社村田製作所 グリップ判定装置、グリップ判定方法及びグリップ判定プログラム

Also Published As

Publication number Publication date
CN1692341B (zh) 2010-12-08
CN1692341A (zh) 2005-11-02
EP1574961A4 (en) 2011-10-26
US20050149467A1 (en) 2005-07-07
EP1574961A1 (en) 2005-09-14
WO2004053702A1 (ja) 2004-06-24
KR100994906B1 (ko) 2010-11-16
US7548891B2 (en) 2009-06-16
KR20050084771A (ko) 2005-08-29

Similar Documents

Publication Publication Date Title
KR100994906B1 (ko) 정보 처리 장치 및 방법, 컴퓨터 판독 가능 프로그램 기록 매체
US11858118B2 (en) Robot, server, and human-machine interaction method
EP3624442A1 (en) Robot and method for operating the same
Pham et al. Speech-driven 3D facial animation with implicit emotional awareness: A deep learning approach
US20190172448A1 (en) Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
US11452941B2 (en) Emoji-based communications derived from facial features during game play
KR102242779B1 (ko) 로봇 및 그 동작 방법
JP4085926B2 (ja) 情報処理端末及び通信システム
CN107097234B (zh) 机器人控制系统
WO2017215297A1 (zh) 云端互动系统及其多感知型智能机器人和感知互动方法
US20180077095A1 (en) Augmentation of Communications with Emotional Data
JP2018014094A (ja) 仮想ロボットのインタラクション方法、システム及びロボット
KR102222911B1 (ko) 로봇 상호작용 시스템 및 그를 위한 프로그램
Hasegawa et al. Active agent oriented multimodal interface system
WO2022170848A1 (zh) 人机交互方法、装置、系统、电子设备以及计算机介质
KR101738142B1 (ko) 감성 기반의 대화가 가능한 디지털 생명체 생성 시스템 및 그 제어방법
Murray et al. Learning backchanneling behaviors for a social robot via data augmentation from human-human conversations
CN113703585A (zh) 交互方法、装置、电子设备及存储介质
JP4525712B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP3733075B2 (ja) インタラクション・メディアシステム
Rwelli et al. Gesture based Arabic sign language recognition for impaired people based on convolution neural network
CN110544287A (zh) 一种配图处理方法及电子设备
CN113205569A (zh) 图像绘制方法及装置、计算机可读介质和电子设备
JP7096626B2 (ja) 情報抽出装置
JP7423490B2 (ja) ユーザの感情に応じたキャラクタの傾聴感を表現する対話プログラム、装置及び方法

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20030314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20030328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070126

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070725

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070801

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20071019