JP2005046305A - Conversation assisting device, conversation assisting system, conversation assisting method, information transmitting device, information transmitting system, information transmitting method, controlling device, controlling system, and controlling method - Google Patents

Conversation assisting device, conversation assisting system, conversation assisting method, information transmitting device, information transmitting system, information transmitting method, controlling device, controlling system, and controlling method Download PDF

Info

Publication number
JP2005046305A
JP2005046305A JP2003280818A JP2003280818A JP2005046305A JP 2005046305 A JP2005046305 A JP 2005046305A JP 2003280818 A JP2003280818 A JP 2003280818A JP 2003280818 A JP2003280818 A JP 2003280818A JP 2005046305 A JP2005046305 A JP 2005046305A
Authority
JP
Japan
Prior art keywords
sensor
information processing
user
conversation
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003280818A
Other languages
Japanese (ja)
Other versions
JP4389512B2 (en
JP2005046305A5 (en
Inventor
Hiroki Watabe
祐己 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003280818A priority Critical patent/JP4389512B2/en
Publication of JP2005046305A publication Critical patent/JP2005046305A/en
Publication of JP2005046305A5 publication Critical patent/JP2005046305A5/ja
Application granted granted Critical
Publication of JP4389512B2 publication Critical patent/JP4389512B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a conversation assisting device having an excellent portability with which a user can talk to the others smoothly, a conversation assisting system and a conversation assisting method. <P>SOLUTION: The conversation assisting device or the conversation assisting system includes one or more sensors to detect biological information of the user, an information processing means which performs a predetermined information processing based on the biological information detected by the sensors and an output means to output a result of the information processing. The use is assisted to control the condition of himself/herself based on the output from the output means. The biological information is the important biological information including particularly the emotional information for the user to talk to the others smoothly. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

この発明は、会話補助装置、会話補助システム、会話補助方法、情報伝達装置、情報伝達システム、情報伝達方法、制御装置、制御システムおよび制御方法に関し、例えば、人間がより適切な会話を行うのに適用して好適なものである。   The present invention relates to a conversation assistance device, a conversation assistance system, a conversation assistance method, an information transmission device, an information transmission system, an information transmission method, a control device, a control system, and a control method. It is suitable for application.

現在の情報化社会では、通信による情報の伝送やストレージによる情報の保持に関する基盤は急速に整備されてきている。その基盤の上に立って最も求められている技術は、どういった有効な情報をどのように取り込むか、また、その情報をどのように人に伝達するか、という2点にあると考えられる。   In the current information-oriented society, the infrastructure for information transmission by communication and information retention by storage has been rapidly established. The most sought-after technology based on this foundation is thought to be in two ways: what kind of effective information is captured and how that information is communicated to people. .

情報を取り込むための手段としてのセンサの重要性は年々高まってきている。現在までに多くのセンサが開発されている(非特許文献1,2)。これらは、その測定原理によって、物理センサ、化学センサ、生物センサの3つに大きく分けられる。このうち、物理センサの例としては光センサや温度センサ、化学センサの例としてはイオンセンサやガスセンサ、生物センサの例としてはグルコースセンサや免疫センサなど、非常に多岐に亘るセンサが知られている。
高橋清 他:「センサの辞典」,(朝倉書店,1991) 腰谷欣司:「図解でわかるセンサーのはなし」,(日本実業出版社, 1995)
The importance of sensors as a means for capturing information is increasing year by year. Many sensors have been developed so far (Non-Patent Documents 1 and 2). These are broadly divided into three types, physical sensors, chemical sensors, and biological sensors, depending on the measurement principle. Among them, a wide variety of sensors are known, such as an optical sensor and a temperature sensor as examples of physical sensors, an ion sensor and a gas sensor as examples of chemical sensors, and a glucose sensor and an immune sensor as examples of biological sensors. .
Kiyoshi Takahashi et al .: “The Dictionary of Sensors” (Asakura Shoten, 1991) Koji Koshitani: “The story of a sensor that can be understood by illustration” (Nippon Jitsugyo Shuppansha, 1995)

その中でも、感情のような、脳に由来すると考えられる人の高次機能を非侵襲で計測することができるセンサとして、機能的磁気共鳴イメージング(fMRI)や脳磁計(MEG)などが知られており、心理学などの研究現場では重要な測定装置となっている(非特許文献3)。
宮田洋 監修:「新生理心理学1」,(北大路書房,1998)
Among them, functional magnetic resonance imaging (fMRI), magnetoencephalograph (MEG), and the like are known as sensors that can non-invasively measure higher-order functions of humans that are thought to be derived from the brain, such as emotions. Therefore, it is an important measuring device in research fields such as psychology (Non-patent Document 3).
Supervised by Hiroshi Miyata: “New Physiological Psychology 1” (Kitaoji Shobo, 1998)

最近、非侵襲的でかつ携帯性のある脳の測定装置として光トポグラフィー装置が利用されてきている(非特許文献4)。この光トポグラフィー装置は頭の一部に固定することができる程度の大きさであって被験者が自由に行動を取ることができるため、書字による言語野の活性などの研究で成果を上げている。
H.Koizumi,et.al.: "Higher-order brain function analysis by trans-cranial dynamic near-infrared spectroscopy imaging.", J.Biomedical Optics 4 403-413,1999
Recently, an optical topography device has been used as a noninvasive and portable brain measurement device (Non-patent Document 4). This optical topography device is large enough to be fixed to a part of the head, and the subject can freely take action. Yes.
H. Koizumi, et.al .: "Higher-order brain function analysis by trans-cranial dynamic near-infrared spectroscopy imaging.", J. Biomedical Optics 4 403-413, 1999

上記のセンサは脳の働きを直接測定するものであるが、もう1つ、脳で起こった感情の結果として現れる生理反応を測定することも考えられている。実際、ストレスの影響を計る指標として、唾液中の免疫グロブリンや血液中のコルチゾールなどを化学センサで計測することが行われている(非特許文献3)。   While the above sensor directly measures the function of the brain, it is also considered to measure physiological responses that appear as a result of emotions that have occurred in the brain. Actually, immunoglobulins in saliva, cortisol in blood, and the like are measured with a chemical sensor as an index for measuring the influence of stress (Non-patent Document 3).

また、ユーザの発声音を認識する音声認識方法において、マイクから受信する音声信号をバイオ信号を用いて修正し、感情状態の変化に起因するユーザの音声の変化を補償することが知られている(特許文献1)。また、脳波、体温、脈拍、発汗、呼吸数などの生体情報検出装置を用いて利用者の生体情報を取得し、取得した生体情報に応じて合成音声を生成する音声合成装置が知られている(特許文献2)。さらに、脈拍数によりユーザの感情状態を知る技術が知られている(特許文献3)。
特許第2798621号明細書 特開2002−169582号公報 特許第3159242号明細書
Further, in a speech recognition method for recognizing a user's uttered sound, it is known that a speech signal received from a microphone is corrected using a bio signal to compensate for a change in the user's speech due to a change in emotional state. (Patent Document 1). There is also known a speech synthesizer that obtains a user's biological information using a biological information detection device such as an electroencephalogram, body temperature, pulse, sweating, and respiratory rate, and generates synthesized speech according to the acquired biological information. (Patent Document 2). Furthermore, a technique for knowing the emotional state of the user from the pulse rate is known (Patent Document 3).
Japanese Patent No. 2798621 JP 2002-169582 A Japanese Patent No. 3159242

なお、リズムの揺らぎがリズムの周波数の逆数程度である場合に安静効果が大きいという研究もある(非特許文献5)。
武者利光 編:「ゆらぎの科学1〜10」,(森北出版)
There is a study that the resting effect is large when the fluctuation of the rhythm is about the reciprocal of the frequency of the rhythm (Non-Patent Document 5).
Toshimitsu Takeshi: “Science of Fluctuation 1-10” (Morita Kita Publishing)

また、精神性発汗についての解説がある(非特許文献6)。
小川徳雄:「汗の常識・非常識」,(講談社,1998)
There is also a commentary on mental sweating (Non-Patent Document 6).
Tokuo Ogawa: “Common sense and insane sense of sweat”, (Kodansha, 1998)

また、歩行時に加わる圧力による発電について知られている(非特許文献7,8)。また、体温と外気温との温度差を活かした発電機が知られている(非特許文献9)。
[平成15年4月30日検索]、インターネット〈URL:http://www.erg.s ri.com/automation/actuators.html〉 [平成15年4月30日検索]、インターネット〈URL:http://www.zdnet .co.jp/news/0011/10/shoes.html〉 [平成15年4月30日検索]、インターネット〈URL:http://pcweb.myc om.co.jp/news/2001/10/02/14.html〉
Moreover, it is known about the electric power generation by the pressure added at the time of a walk (nonpatent literature 7, 8). In addition, a generator that utilizes the temperature difference between the body temperature and the outside air temperature is known (Non-Patent Document 9).
[Search April 30, 2003] Internet <URL: http://www.erg.sri.com/automation/actuators.html> [Search April 30, 2003] Internet <URL: http://www.zdnet.co.jp/news/0011/10/shoes.html> [Search April 30, 2003] Internet <URL: http://pcweb.mycom.co.jp/news/2001/10/02/14.html>

また、マイクロ流体技術を用いたラボ・オンチップによる微量な血液採取の方法が知られている(非特許文献10)。
堀池靖浩 他:「極微量全血分離・分析を目指したヘルスケアチップの 創成」,医用電子と生体工学,第39巻,特別号2,(2001) また、分子刷り込みの手法に関し、ゲルの膨潤・収縮転移(膨潤で離し、収縮で結合)で分子認識が可能であることが知られている(非特許文献11)。 田中豊一:「ゲルと生命(田中豊一英文論文選集)」(東京大学出版会)、 p132-136、p158-161
In addition, a method for collecting a small amount of blood by a lab-on-chip using microfluidic technology is known (Non-Patent Document 10).
Akihiro Horiike et al .: “Creation of Healthcare Chip Aiming for Separation and Analysis of Trace Whole Blood”, Medical Electronics and Biotechnology, Vol. 39, Special Issue 2, (2001) It is known that molecular recognition is possible by swelling / shrinkage transition (released by swelling and bonded by shrinkage) (Non-patent Document 11). Toyoichi Tanaka: “Gel and Life (A Collection of English Papers by Toyoichi Tanaka)” (The University of Tokyo Press), p132-136, p158-161

ところで、会話においては、言語を通じて伝わる情報以外に、感情などの変化による雰囲気や仕草の変化も同時に伝わることで、実際の情報伝達が成立していると考えられている。そのため、冷静に考えているつもりの苦言が実は感情的であることが相手に伝わってしまうことなど、話者の自覚していない感情が相手に伝わってしまったため会話の目的が破綻するということが起こってしまう。こういったコミュニケーション不全を未然に防ぐことは重要である。   By the way, in the conversation, in addition to the information transmitted through the language, it is considered that the actual information transmission is realized by simultaneously transmitting changes in the atmosphere and gestures due to changes in emotions and the like. For this reason, the purpose of the conversation breaks down because emotions that the speaker is not aware of have been transmitted to the other party, such as the fact that the complaint that you are thinking calmly is actually sent to the other party Will happen. It is important to prevent such communication failures.

しかしながら、これまで、人のコミュニケーションを円滑化する目的でセンサを使用することについては、具体的な提案はなされていない。また、この目的に用いるセンサは、話者の感情をセンシングすることができることが必要であるが、感情のセンシングが可能なセンサとして挙げた上述のfMRIやMEGはいずれも巨大な装置が必要であって、会話の場面で常に使用するために必要な携帯性に欠ける。また、脳で起こった感情の結果として現れる生理反応を測定する化学センサでは、経時的に測定を続けることは難しいと考えられる。さらに、光トポグラフィー装置は非侵襲的でかつ携帯性のあるものであるが、装着部位が頭に限られてしまう難点がある。   However, until now, no specific proposal has been made for using sensors for the purpose of facilitating human communication. In addition, the sensor used for this purpose needs to be able to sense the emotion of the speaker, but the fMRI and MEG mentioned above as sensors capable of sensing the emotion both require huge devices. Therefore, it lacks the portability required to always use it in conversation situations. In addition, it is considered difficult to continue measurement over time with chemical sensors that measure physiological responses that appear as a result of emotions that occur in the brain. Furthermore, although the optical topography device is non-invasive and portable, there is a problem that the mounting site is limited to the head.

さらに、同じく感情の結果として現れるものとして、目の動きや仕草の変化が考えられる。これらはCCDなどを用いたイメージセンサを用いて捉えることができる。しかし、この方式では、少し離れた位置からの動きの変化を捉える必要があり、そのままでは携帯性が確保できない。   Furthermore, changes in eye movements and gestures can also be considered as manifestations of emotions. These can be captured using an image sensor using a CCD or the like. However, with this method, it is necessary to capture a change in movement from a slightly distant position, and portability cannot be secured as it is.

従って、この発明が解決しようとする課題は、使用者による他者との会話を円滑に行うことができ、しかも携帯性に優れた会話補助装置、会話補助システムおよび会話補助方法を提供することにある。
この発明が解決しようとする他の課題は、人間や犬、猫などの動物を含む各種の生物とのコミュニケーションを円滑に行うことができ、しかも携帯性に優れた情報伝達装置、情報伝達システムおよび情報伝達方法を提供することにある。
この発明が解決しようとする他の課題は、人間や犬、猫などの動物を含む各種の生物を制御することができる制御装置、制御システムおよび制御方法を提供することにある。
Therefore, the problem to be solved by the present invention is to provide a conversation assistance device, a conversation assistance system, and a conversation assistance method that enable a user to smoothly perform a conversation with another person and that are excellent in portability. is there.
Another problem to be solved by the present invention is that an information transmission device, an information transmission system, and an information transmission device that can smoothly communicate with various living organisms including animals such as humans, dogs, and cats and that are excellent in portability. It is to provide an information transmission method.
Another problem to be solved by the present invention is to provide a control device, a control system, and a control method that can control various organisms including animals such as humans, dogs, and cats.

上記課題を解決するために、この発明の第1の発明は、
使用者の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果を出力する出力手段とを有する
ことを特徴とする会話補助装置である。
In order to solve the above problems, the first invention of the present invention is:
One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
It is a conversation assistance device characterized by having an output means for outputting a result of information processing.

この発明の第2の発明は、
使用者の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果を出力する出力手段とを有する
ことを特徴とする会話補助システムである。
The second invention of this invention is:
One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
It is a conversation assistance system characterized by having an output means for outputting a result of information processing.

この発明の第3の発明は、
使用者の生体情報を1つまたは複数のセンサにより検出するステップと、
センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
情報処理の結果を出力するステップとを有する
ことを特徴とする会話補助方法である。
The third invention of the present invention is:
Detecting the user's biometric information with one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of outputting a result of information processing.

第1〜第3の発明においては、典型的には、出力手段の出力に基づいて使用者が自身の状態を制御することを補助する。生体情報は使用者が他者との会話を円滑に進めるために重要な生体情報であり、典型的には感情情報である。ここで、感情とは、精神の働きを知・情・意に分けたときの情的過程全般を指し、情動・気分・情操などが含まれるが、ここではストレスも含まれるものとする。感情は、例えば各種の外部刺激(例えば、視聴覚刺激)によって変化するが、その際に内分泌系・外分泌系による分泌量の変化を伴うため、その分泌量の変化から感情の変化を測定することが可能である。使用者の生体情報を検出するセンサは、使用者の感情を常時かつ経時的に測定するために、好適には、使用者が携帯可能であり、連続的に測定可能な1つまたは複数のセンサ(1つのセンサまたはセンサ群)である。好適には、会話補助装置全体を使用者が携帯可能とする。典型的な1つの例では、センサの1つとして、使用者の皮膚表面からの分泌物(例えば、汗など)を計測するセンサを用いる。この分泌物を計測するセンサとしては、好適には、表面プラズモン共鳴(Surface-Plasmon Resonance:SPR)型化学センサが用いられる。センサの1つとして、使用者の脳の血流を計測するセンサを用いてもよい。この血流を計測するセンサは好適には、非侵襲光トポグラフィー型センサである。出力手段は、好適には、測定した感情を使用者に伝える際に目的となる会話を妨げない1つまたは複数の効果器(エフェクタ)(1つの効果器または効果器群)である。効果器の1つとして、上記のセンサにより測定した感情を文字情報や振動情報などにより使用者に伝達する装置を用いることができる。センサにより測定した感情の制御を補助する効果器または効果器群を用いてもよい。このような効果器の1つとして、興奮状態を静めるために使用者の皮膚の表面にリズムを持った刺激を与える装置や、安心感を与えるために手を握り合った感触を再現するために柔らかい素材を使用した適度な大きさの装置を用いることができる。   In the first to third inventions, typically, the user is assisted in controlling his / her state based on the output of the output means. The biometric information is biometric information important for the user to smoothly communicate with others, and is typically emotion information. Here, emotion refers to the entire emotional process when the work of the spirit is divided into knowledge, emotion, and will, and includes emotions, moods, and emotions. Here, stress is also included. Emotion changes with, for example, various external stimuli (for example, audio-visual stimuli). At that time, changes in secretions due to the endocrine and exocrine systems are accompanied. Is possible. The sensor for detecting the biological information of the user is preferably one or a plurality of sensors that can be carried by the user continuously and can be continuously measured in order to constantly measure the user's emotions over time. (One sensor or sensor group). Preferably, the user can carry the entire conversation assistance device. In one typical example, a sensor that measures secretions (for example, sweat) from a user's skin surface is used as one of the sensors. As a sensor for measuring the secretion, a surface-plasmon resonance (SPR) chemical sensor is preferably used. As one of the sensors, a sensor that measures blood flow in the user's brain may be used. The sensor for measuring the blood flow is preferably a non-invasive optical topography type sensor. The output means is preferably one or more effectors (a single effector or a group of effectors) that do not interfere with the intended conversation when the measured emotion is conveyed to the user. As one of the effectors, a device that transmits the emotion measured by the above sensor to the user by text information or vibration information can be used. You may use the effector or effector group which assists control of the emotion measured by the sensor. One such effector is a device that gives a rhythmic stimulus to the surface of the user's skin to calm the arousal state, or to reproduce the feeling of holding hands to give a sense of security. A moderately sized device using a soft material can be used.

会話を円滑に進めるためには多くの条件が必要となる。例として、話す内容に適した環境、万全の体調、相応しい服装、話の構成、聞きやすい発声、心の安定を表す仕草、誠実な雰囲気などが考えられる。環境や体調など、話者の意思で変更できる部分が少ない要素もあれば、構成や発声など話者の意思により比較的変更し易い要素もある。中でも仕草・雰囲気・発声などは、感情をうまく制御することで良い状態に変化させることが可能であるといえる。そこで、この会話補助装置では、例えば、話者の感情を測定し、それを話者に伝えて顕在化させることで、話者が自身の感情を制御し、会話を円滑化する。このような会話補助装置は、例えば、使用者(話者)の生体情報を測定する1つまたは複数のセンサと、このセンサにより測定される生体情報に基づいて所定の情報処理を行う情報処理部と、この情報処理の結果を出力し、感情の状態を使用者に伝達する1つまたは複数の効果器とから構成される。   A number of conditions are necessary to facilitate the conversation. Examples include an environment suitable for the content being spoken, perfect physical condition, appropriate clothing, composition of the story, easy-to-listen utterance, gestures that express stability, and a sincere atmosphere. Some elements, such as the environment and physical condition, can be changed by the speaker's intention, while others are relatively easy to change depending on the speaker's intention, such as composition and utterance. Above all, it can be said that gestures, atmosphere, vocalization, etc. can be changed to good condition by controlling emotions well. Thus, in this conversation assisting device, for example, the emotion of the speaker is measured, and the emotion is conveyed to the speaker to make it appear, whereby the speaker controls his / her emotion and smoothes the conversation. Such a conversation assistance device includes, for example, one or a plurality of sensors that measure biological information of a user (speaker) and an information processing unit that performs predetermined information processing based on the biological information measured by the sensors. And one or a plurality of effectors for outputting the result of this information processing and transmitting the emotional state to the user.

ここで、センサとしては、感情を司ると考えられる脳の状態を測定する方式と、感情の結果の生理的・身体的変化を捉えるものとが考えられる。前者としては、fMRI、MEG、光トポグラフィーなどがある。また、後者としては、イメージセンサや分泌物の変化を捉える化学センサ、更には脳以外の部分の血流センサや脈拍センサなどが考えられる。「会話」という経時的な変化を常時捉える必要があることを考慮すると、好適には、携帯性があり連続測定が可能であるセンサ群(例えば、光トポグラフィー型センサ、皮膚表面の分泌物を捕らえる化学センサ、もしくはそれらの組み合わせなど)を採用する。光トポグラフィー型センサは、帽子など頭部に自然に接するものに組み込むことを想定する。分泌型センサは、腕時計や指輪、手で握る効果器に組み込むことを想定する。この装置により、使用者の感情の時間的な変化を、測定されるストレスなく自然に正確に逐一捉えることができる。   Here, as a sensor, a method of measuring the state of the brain that is thought to govern emotions and a sensor that captures physiological and physical changes in the results of emotions are considered. Examples of the former include fMRI, MEG, and optical topography. Further, as the latter, an image sensor, a chemical sensor that captures changes in secretions, a blood flow sensor other than the brain, a pulse sensor, and the like can be considered. Considering that it is necessary to constantly monitor the change over time of “conversation”, it is preferable to use a group of sensors that are portable and capable of continuous measurement (for example, optical topography sensors, secretions on the skin surface). Use chemical sensors to capture, or a combination of them. It is assumed that the optical topography type sensor is incorporated in a thing that naturally touches the head such as a hat. It is assumed that the secretory sensor is incorporated in a wristwatch, a ring, or an effector held by a hand. With this device, changes in the user's emotion over time can be captured naturally and accurately without any stress being measured.

上記の感情情報を用いた効果器としては、他者との会話を円滑に進めるという目的を考慮したものである必要がある。すなわち、例えば音声による情報伝達では、会話が妨げられるだけでなく、会話の相手に自分の伝えたくない感情が結局伝わってしまうという危険性もある。そこで、例えば、怒りを中心とした、会話を円滑に進める上で問題となる可能性の高い感情を測定した場合に、振動や圧力などの外から見えない手法により使用者に伝達する。また、より詳細な感情情報が必要なときに限って、文字情報でそれを伝達するようにすることもできる。ただし、その文字情報が相手に伝わらないようにすることが必要であり、例えば腕時計型のディスプレイを使用することが考えられる。これらにより、自らの感情を顕在化し知ることができ、感情を抑制することも容易になる。   The effector using the emotion information described above needs to take into consideration the purpose of smoothly promoting conversation with others. That is, for example, in voice information transmission, not only is conversation hampered, but there is also a risk that emotions that the user does not want to convey are eventually transmitted to the conversation partner. Therefore, for example, when an emotion that is likely to be a problem in smoothly proceeding with a conversation such as anger is measured, it is transmitted to the user by a technique that is not visible from the outside, such as vibration or pressure. Also, it is possible to transmit text information only when more detailed emotion information is required. However, it is necessary to prevent the character information from being transmitted to the other party. For example, it is conceivable to use a wristwatch type display. These make it possible to reveal and know one's own emotions and to easily suppress the emotions.

ここでは更に、感情の制御を補助するための効果器も考える。ここで制御すべき状態は怒りなどの興奮状態や不安感である。興奮を静めるためには、あるリズムで手などに振動を与える効果器を用いる。特に、リズムの揺らぎがリズムの周波数の逆数程度である場合に安静効果が大きいという研究もある(非特許文献5)。また、不安感を解消するためには、手を握り合った状態を再現するような適度な大きさ・柔らかさをもった効果器を用いる。これはまた、上記の感情情報のセンサおよび効果器と共通化することで、感情のような実体のない情報に実在感を与えて伝達することができるという効果も期待される。   Here, an effector for assisting emotion control is also considered. The states to be controlled here are excited states such as anger and anxiety. To calm the excitement, an effector that vibrates the hand with a certain rhythm is used. In particular, there is a study that the resting effect is large when the fluctuation of the rhythm is about the reciprocal of the frequency of the rhythm (Non-Patent Document 5). In addition, in order to eliminate anxiety, an effector having an appropriate size and softness that reproduces the state of holding hands is used. This is also expected to have an effect of giving a sense of reality to intangible information such as emotion by sharing it with the sensor and effector for emotion information described above.

感情の測定には、好適には、感情の変化に伴って生体から分泌される分泌物などの対象物が検出部に結合したときのこの検出部の性質の変化を測定することにより感情の変化を検出するセンサであって、検出部の空間的構造を用いて、対象物の存在・非存在または分布の情報を含む複数の情報を抽出するものを用いることもできる。この検出部の空間的構造は、典型的には、検出部の幾何学的構造である。この幾何学的構造は、例えば、結合部位の配置、形状、それらの統計的分布(例えば、結合部位を一定の形状で規則格子状に配置しようとする場合におけるその格子点からの位置ずれや形状の分布)などである。対象物と検出部との結合に関与する結合力としては、例えばファン・デル・ワールス力、静電引力(クーロン力)、水素結合などが挙げられ、これらの1つまたは2つ以上が結合に関与する。典型的には、検出部は複数の結合部位を有し、これらの結合部位に複数の対象物がそれぞれ選択的に結合する。これらの結合部位は対象物に応じて適切に配置されるが、その配置は周期的であっても非周期的であってもよく、周期的部分と非周期的部分とが混在してもよい。あるいは、配列情報を指定せずに、結合部位の存在分布の情報を与えるようにしてもよい。これらの結合部位は典型的には複数の対象物のサイズに合わせて配置され、これらの対象物のサイズの違いを利用して立体障害を作り出したりすることでこれらの対象物の存在量の時間的変化を検出する。これらの対象物のサイズの違いが小さく、結合部位の配置のみでは対象物の存在量の時間的変化の検出が困難であるような場合には、例えば検出部の検出面に段差を設け、この段差を利用して立体障害を作り出すことで対象物の存在量の時間的変化を検出するようにしてもよい。あるいは、1種の結合部位を金属微粒子上に作製することで立体障害を作り出すことも可能である。情報の抽出は、一般には、対象物の検出部への結合によるこの検出部の物理的性質または構造の変化を測定することにより行われる。ここで、物理的性質としては、測定を容易に行うことができる観点より、検出部の誘電率や重量が好適に用いられる。また、構造は例えばタンパク質などの分子のコンフォメーションであり、このコンフォメーション変化によって立体障害などが起こる。   For the measurement of emotion, preferably, the change in emotion is measured by measuring the change in the property of this detection unit when an object such as a secretion secreted from a living body is coupled to the detection unit along with the change in emotion It is also possible to use a sensor that detects a plurality of pieces of information including information on the presence / absence or distribution of an object using the spatial structure of the detection unit. The spatial structure of the detector is typically the geometric structure of the detector. This geometric structure includes, for example, the arrangement and shape of binding sites, and their statistical distribution (for example, when the binding sites are arranged in a regular grid pattern with a certain shape, the displacement and shape from the grid points) Distribution). Examples of the coupling force involved in the coupling between the object and the detection unit include van der Waals force, electrostatic attraction (Coulomb force), hydrogen bonding, and the like. concern. Typically, the detection unit has a plurality of binding sites, and a plurality of objects are selectively bound to these binding sites. These binding sites are appropriately arranged according to the object, but the arrangement may be periodic or aperiodic, and a periodic part and an aperiodic part may be mixed. . Or you may make it give the information of presence distribution of a binding site, without designating sequence information. These binding sites are typically arranged according to the size of multiple objects, and the abundance time of these objects is created by creating steric hindrance using the difference in size of these objects. Change is detected. When the difference in size of these objects is small and it is difficult to detect temporal changes in the amount of the object existing only by the arrangement of the binding sites, for example, a step is provided on the detection surface of the detection unit. You may make it detect the temporal change of the abundance of a target object by producing a three-dimensional obstacle using a level | step difference. Alternatively, it is also possible to create steric hindrance by creating one type of binding site on the metal fine particles. Information extraction is generally performed by measuring changes in the physical properties or structure of the detection part due to the binding of the object to the detection part. Here, as a physical property, the dielectric constant and weight of a detection part are used suitably from a viewpoint which can perform a measurement easily. In addition, the structure is a conformation of a molecule such as a protein, and steric hindrance or the like occurs due to this conformational change.

結合部位は、対象物に応じて適切なものが用いられる。例えば、対象物が免疫グロブリンの場合は結合部位として抗原を用いることができる。すなわち、対象物と結合部位とが抗体と対応する抗原との組み合わせの関係を有するようにし、抗原抗体反応により抗原と抗体とが結合することを利用する。対象物がタンパク質の場合、結合部位としては、適切なリンカーが結合した金属微粒子を用いることもできる。また、対象物が一般の分子の場合も、分子刷り込みの手法を用いることで特異的に結合可能な高分子を作製し、結合部位として用いることができる(非特許文献11)。   An appropriate binding site is used depending on the object. For example, when the object is an immunoglobulin, an antigen can be used as the binding site. That is, the object and the binding site have a relationship of a combination of the antibody and the corresponding antigen, and the fact that the antigen and the antibody are bound by the antigen-antibody reaction is utilized. When the object is a protein, metal fine particles to which an appropriate linker is bound can also be used as the binding site. In addition, even when the object is a general molecule, a polymer that can be specifically bound can be produced by using a molecular imprinting method and used as a binding site (Non-patent Document 11).

上記の対象物の結合による検出部の誘電率の変化は、表面プラズモン共鳴(SPR)の原理を用いて簡便に行うことができる。この表面プラズモン共鳴を用いたセンサ(SPRセンサ)は、こういった系の変化を敏感に計測することのできるセンサである。このSPRセンサの一例は、結合部位、基板、プリズムの三層からなる構造を持ち、対象物の結合による入射光の全反射臨界角の変化によって対象物の結合を測定する。この場合、対象物の結合による誘電率の変化が全反射臨界角の変化に寄与する。より詳細には次のとおりである。すなわち、屈折率の高いプリズム部と低い基板部との界面では、ある臨界角で入射光は全反射する。その際に、その界面に全反射の臨界角に応じたエバネッセント光が出現し、それが基板の伝導電子の疎密波である表面プラズモンと適切に結合した場合に表面プラズモン共鳴が起こる。結合部位に対象物が結合した場合には、エバネッセント光の届く範囲の有効な屈折率の変化に伴い表面プラズモンが変化し、表面プラズモン共鳴を起こす臨界角が変化する。これによって、対象物が検出部に結合することによる系の誘電率の変化を検出することができる。   The change in the dielectric constant of the detection unit due to the combination of the objects can be easily performed using the principle of surface plasmon resonance (SPR). This sensor using surface plasmon resonance (SPR sensor) is a sensor capable of sensitively measuring such changes in the system. An example of this SPR sensor has a structure composed of three layers of a binding site, a substrate, and a prism, and measures the binding of an object by a change in the total reflection critical angle of incident light due to the binding of the object. In this case, the change in dielectric constant due to the coupling of the objects contributes to the change in the total reflection critical angle. More details are as follows. That is, incident light is totally reflected at a certain critical angle at the interface between the prism portion having a high refractive index and the substrate portion having a low refractive index. At that time, evanescent light corresponding to the critical angle of total reflection appears at the interface, and surface plasmon resonance occurs when it is appropriately coupled with surface plasmons, which are dense waves of conduction electrons of the substrate. When an object binds to the binding site, the surface plasmon changes with a change in the effective refractive index in the range where the evanescent light reaches, and the critical angle causing surface plasmon resonance changes. This makes it possible to detect a change in the dielectric constant of the system due to the object being coupled to the detection unit.

また、対象物の結合による検出部の重量の変化は、発振回路と周波数測定装置とを用いて簡便に行うことができる。より具体的には、対象物が検出部に結合したときの検出部の重量変化を、基板に一定の振動を与え続けた際の振動数変化で測定する発振型センサを用いることができる。これは、結合の前後での系の誘電率の変化がそれほど大きくないときなどに有効な手法である。   Further, the change in the weight of the detection unit due to the combination of the objects can be easily performed using an oscillation circuit and a frequency measurement device. More specifically, it is possible to use an oscillation type sensor that measures a change in the weight of the detection unit when an object is coupled to the detection unit by a change in the frequency when a constant vibration is continuously applied to the substrate. This is an effective technique when the change in the dielectric constant of the system before and after the coupling is not so large.

掌や足の裏からの精神性発汗を利用して感情を測定することができる。精神性発汗は、掌・足の裏のエクリン腺およびアポクリン腺から行われる。全身の皮膚に存在するエクリン腺の中で、感情の変化などに応じた精神性発汗を担うものは、その多くが掌と足の裏に存在することが知られている(非特許文献6)。図1にエクリン腺およびアポクリン腺の構造を示す(非特許文献6のp.41の図2−1)。発汗成分にはイオン、有機化合物、タンパク質などがある。このうちイオンには、ナトリウム(30〜120mM/l)、塩素(10〜100mM/l)、カリウム(5〜35mM/l)、カルシウム(0.5〜10mM/l)、重炭酸(0〜>30mM/l)などのほか、微量のマグネシウム、マンガン、亜鉛、銅、鉛、銀、金、カドミウム、コバルトなどもある。有機化合物には、アンモニア(2〜8mM/l)、尿素(12〜27mM/l)、乳酸(8〜40mM/l)などのほか、微量のブドウ糖、ピルビン酸などがある。タンパク質には、微量のアルブミン、αグロブリン、γグロブリン、糖タンパク質、ペプチドタンパク質分解酵素(カリクレイン)などがある。以上のデータはエクリン腺からの発汗成分である(非特許文献6の第3章、p.64〜86)。アポクリン腺からの発汗成分は、タンパク質成分が多く、また、蛍光物質や色素成分も含有している。イオンセンサや免疫センサなどを用いることで汗の成分分布の変化を捉えることができる。   Emotions can be measured using mental sweating from palms and soles. Mental sweating occurs from the eccrine and apocrine glands on the palms and soles. Among the eccrine glands present in the whole body skin, it is known that most of the eccrine glands responsible for mental sweating according to emotional changes are present on the palms and soles of the feet (Non-patent Document 6). . Fig. 1 shows the structures of the eccrine and apocrine glands (Fig. 2-1 on page 41 of Non-Patent Document 6). Sweat components include ions, organic compounds, and proteins. Among these ions, sodium (30-120 mM / l), chlorine (10-100 mM / l), potassium (5-35 mM / l), calcium (0.5-10 mM / l), bicarbonate (0-> In addition to 30 mM / l), there are trace amounts of magnesium, manganese, zinc, copper, lead, silver, gold, cadmium, cobalt, and the like. Organic compounds include ammonia (2-8 mM / l), urea (12-27 mM / l), lactic acid (8-40 mM / l), etc., as well as trace amounts of glucose and pyruvic acid. Proteins include trace amounts of albumin, α globulin, γ globulin, glycoprotein, peptide proteolytic enzyme (kallikrein) and the like. The above data are perspiration components from the eccrine gland (Chapter 3, Non-Patent Document 6, p. 64-86). The sweating component from the apocrine gland has many protein components and also contains a fluorescent substance and a pigment component. Changes in the sweat component distribution can be captured by using an ion sensor, an immune sensor, or the like.

上記の精神性発汗を利用した感情の測定方法の一例として、足の裏からの精神性発汗を利用することを考える。測定した感情を使用者に伝える場合には、会話を妨げず、かつ、会話の相手に気付かれない方法を用いる必要がある。そのためには、簡単な注意は振動装置で、また、具体的な指示などを与える必要がある場合は文字情報で伝達することを考える。ただし、文字情報を伝える装置は靴に装着しては読むことができないので、例えば腕時計型装置などの別の装置と通信を行う必要が生じる。常時測定を行うためには常時通信を行うことが必要となり、その電力が問題となる。結果を表示するときだけ測定を行えば良い状況であったなら、電磁誘導などを用いた近接場通信でセンサに電力を与えることは可能であるが、常時測定を行うためには別の手段を用いることが望ましい。この場合、例えば、靴に発電機を埋め込み、歩行時の圧力により発電を行うことができる(非特許文献7,8)。また、体温と外気温との温度差を活かした発電機を利用することもできる(非特許文献9)。   As an example of the above emotional measurement method using mental sweating, consider using mental sweating from the sole of the foot. In order to convey the measured emotion to the user, it is necessary to use a method that does not disturb the conversation and is not noticed by the conversation partner. For that purpose, it is considered that simple attention is transmitted by a vibration device, and when it is necessary to give a specific instruction or the like, it is transmitted by character information. However, since a device that conveys character information cannot be read when worn on a shoe, it is necessary to communicate with another device such as a wristwatch-type device. In order to perform continuous measurement, it is necessary to perform continuous communication, and its power becomes a problem. If it is only necessary to make a measurement only when displaying the result, it is possible to supply power to the sensor through near-field communication using electromagnetic induction or the like. It is desirable to use it. In this case, for example, an electric generator can be embedded in the shoe, and electric power can be generated by pressure during walking (Non-Patent Documents 7 and 8). Moreover, the generator which utilized the temperature difference of body temperature and external temperature can also be utilized (nonpatent literature 9).

無痛針とラボ・オンチップとを用いて血中物質を計測することで感情を測定することもできる。ストレスなどの感情に関係する事柄による内分泌系・免疫系の変化は、唾液や尿と比べて血液中でより直接的に現れることが知られている(非特許文献3)。
内分泌系指標としては、唾液がコルチゾール1種類であるのに比べて、副腎皮質刺激ホルモン(ACTH)、コルチゾール、カテコールアミンなど多数のものが知られている。また、免疫指標としては、唾液では分泌型免疫グロブリンA、尿ではインターロイキン6のそれぞれ1種類のみが知られているのに対して、血液では白血球数、リンパ球数、ナチュラルキラー活性、免疫グロブリンなど多数のものが知られている。特に、血液中では、ACTHからコルチゾールへの流れや、白血球からリンパ球・免疫グロブリンへの流れなど、神経系に近いところから末端までの対象物の分布の時間的変化を測定することが可能となる。
Emotion can also be measured by measuring blood substances using a painless needle and a lab-on-chip. It is known that changes in the endocrine system and immune system due to matters related to emotions such as stress appear more directly in blood than saliva and urine (Non-patent Document 3).
As an endocrine system index, many things such as adrenocorticotropic hormone (ACTH), cortisol, catecholamine are known, compared to saliva having one kind of cortisol. As the immune index, only one type of secretory immunoglobulin A is known in saliva and interleukin 6 is known in urine, whereas in blood, white blood cell count, lymphocyte count, natural killer activity, immunoglobulin Many things are known. In particular, in blood, it is possible to measure temporal changes in the distribution of objects from the vicinity of the nervous system to the terminal, such as the flow from ACTH to cortisol and the flow from white blood cells to lymphocytes and immunoglobulins. Become.

問題は、通常の採血では使用者にかかる負担が大きすぎるということである。これに関しては、無痛針により採血時の痛みをなくすことと、マイクロ流体技術を用いたラボ・オンチップにより微量な血液採取で測定することにより、負荷を大幅に軽減することができる(非特許文献10)。これにより、感情を測る指標となる物質が豊富な血液を、使用者に多大な負荷を与えることなく常時計測することが可能となる。このセンサシステムは、例えば、腕時計に埋め込んで用いることなどが考えられる。そうすることで、測定した感情を使用者に伝達するための振動装置や表示装置も一体として組み込むことができる。   The problem is that the burden on the user is too great with normal blood collection. In this regard, the pain can be greatly reduced by eliminating pain during blood collection using a painless needle and measuring with a small amount of blood collected using a lab-on-chip using microfluidic technology (Non-Patent Document). 10). This makes it possible to always measure blood rich in substances serving as an index for measuring emotions without imposing a great load on the user. For example, the sensor system can be used by being embedded in a wristwatch. By doing so, a vibration device and a display device for transmitting the measured emotion to the user can also be integrated.

感情は、使用者の顔の表情や目の動きを捉えることにより測定することもできる。すなわち、感情を測定する指標としては、顔の表情や目の動きを捉えることも良く行われている。特に、眼球運動・瞬目は重要な指標として感情との関係が活発に研究されている(非特許文献4)。眼球運動と瞬目の測定では、大きく分けて、光学的な方法と電気的な方法とが存在する。光学的な方法としては、眼球運動ではアイカメラや赤外線を用いた光電子法があり、瞬目では小型カメラによる撮影がある。また、電気的な方法としては、眼電図(EOG)法がある。EOG法では、目を閉じた状態であっても、眼球運動や瞬目の測定が可能であるという利点がある。   Emotions can also be measured by capturing facial expressions and eye movements of the user. That is, as an index for measuring emotion, it is often performed to capture facial expressions and eye movements. In particular, eye movements and blinks are actively studied as an important index and the relationship with emotions (Non-Patent Document 4). In the measurement of eye movements and blinks, there are roughly divided optical methods and electrical methods. As an optical method, there are an eye camera and an optoelectronic method using infrared rays in eye movement, and there is photographing with a small camera in blinking. An electrical method is an electrooculogram (EOG) method. The EOG method has an advantage that it is possible to measure eye movements and blinks even when the eyes are closed.

上記のように使用者の顔の表情や目の動きを捉えることにより感情を測定する場合、携帯性があり、使用者に負荷をかけないセンシング方法として、眼鏡にセンサを埋め込むことが望ましい。例えば、眼鏡のレンズに近いフレーム部にカメラを埋め込むことで、瞬目を測定するとともに顔の表情も捉えることができる。また、アイカメラを眼鏡のレンズ上部のフレームに埋め込むことにより眼球運動を捉えることもできる。また、フレームのこめかみに当たる場所に電極を取り付けることで、EOG法により眼球運動・瞬目を捉えることもできる。こうして測定した感情を使用者に伝える手段としては、振動による注意喚起や文字情報による伝達が適している。そこで、振動を与える装置は眼鏡のフレームに埋め込む。また、文字情報を伝えるディスプレイは、透過型のものを用いて眼鏡のレンズの内面に映し出す。また、骨伝導を用いた音声伝達により、会話相手に知られることなく感情情報を伝えることもできる。   As described above, when emotion is measured by capturing facial expressions and eye movements of a user, it is desirable to embed a sensor in glasses as a sensing method that is portable and does not place a burden on the user. For example, by embedding a camera in a frame portion close to a lens of eyeglasses, it is possible to measure blinks and capture facial expressions. In addition, the eye movement can be captured by embedding the eye camera in the frame above the lens of the spectacles. In addition, by attaching an electrode to a place where it touches the temple of the frame, it is possible to capture eye movements and blinks by the EOG method. As means for transmitting the emotion measured in this way to the user, alerting by vibration and transmission by character information are suitable. Therefore, the device for applying vibration is embedded in the frame of the glasses. Moreover, the display which conveys character information is projected on the inner surface of the lens of the spectacles using a transmission type. In addition, it is also possible to convey emotion information without being known to the conversation partner by voice transmission using bone conduction.

この発明の第4の発明は、
使用者の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果に基づいて使用者の状態を制御する制御手段とを有する
ことを特徴とする会話補助装置である。
The fourth invention of the present invention is:
One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And a control unit that controls the state of the user based on the result of the information processing.

この発明の第5の発明は、
使用者の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果に基づいて使用者の状態を制御する制御手段とを有する
ことを特徴とする会話補助システムである。
The fifth invention of the present invention is:
One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And a control unit that controls a user's state based on a result of information processing.

この発明の第6の発明は、
使用者の生体情報を1つまたは複数のセンサにより検出するステップと、
センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
情報処理の結果に基づいて使用者の状態を制御するステップとを有する
ことを特徴とする会話補助方法である。
The sixth invention of the present invention is:
Detecting the user's biometric information with one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of controlling the state of the user based on the result of the information processing.

第4〜第6の発明において、使用者の状態を制御するとは、情報処理の結果を単に出力するのではなく、更に進んでその結果に基づいて積極的に使用者の状態を制御することを意味する。例えば、感情の測定の結果、使用者が会話の際に極度のストレス状態や激しい怒りの状態に陥っていることが分かった場合に、使用者がリラックスするような心地よい振動(一定のリズムを持った振動など(非特許文献5参照))を振動装置により使用者の体に加えたり、使用者がリラックスする香りを香り発生装置により発したりすることである。
第4〜第6の発明においては、その性質に反しない限り、第1の発明に関連して述べたことが成立する。
In the fourth to sixth aspects of the invention, controlling the user's state does not simply output the result of information processing, but means to go further and positively control the user's state based on the result. means. For example, if the measurement of emotions reveals that the user is experiencing extreme stress or intense anger during a conversation, the user can feel comfortable vibration (having a certain rhythm) Vibration (see Non-Patent Document 5)) is added to the user's body by the vibration device, or a scent is generated by the scent generating device.
In the fourth to sixth inventions, what has been described in relation to the first invention is valid as long as it is not contrary to the nature thereof.

この発明の第7の発明は、
生物の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果を出力する出力手段とを有する
ことを特徴とする情報伝達装置である。
The seventh invention of the present invention is:
One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And an output means for outputting information processing results.

この発明の第8の発明は、
生物の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果を出力する出力手段とを有する
ことを特徴とする情報伝達システムである。
The eighth invention of the present invention is:
One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
An information transmission system comprising output means for outputting information processing results.

この発明の第9の発明は、
生物の生体情報を1つまたは複数のセンサにより検出するステップと、
センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
情報処理の結果を出力するステップとを有する
ことを特徴とする情報伝達方法である。
The ninth aspect of the present invention is:
Detecting biological information of the organism by one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of outputting a result of information processing.

この発明の第10の発明は、
生物の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果に基づいて生物の状態を制御する制御手段とを有する
ことを特徴とする制御装置である。
The tenth aspect of the present invention is:
One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And a control unit that controls the state of the organism based on the result of the information processing.

この発明の第11の発明は、
生物の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果に基づいて生物の状態を制御する制御手段とを有する
ことを特徴とする制御システムである。
The eleventh aspect of the present invention is:
One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And a control unit that controls a state of the living organism based on the result of the information processing.

この発明の第12の発明は、
生物の生体情報を1つまたは複数のセンサにより検出するステップと、
センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
情報処理の結果に基づいて生物の状態を制御するステップとを有する
ことを特徴とする制御方法である。
The twelfth aspect of the present invention is
Detecting biological information of the organism by one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of controlling the state of the organism based on the result of the information processing.

第7〜第12の発明において、生物には、人間や、犬や猫などの動物が含まれる。
第7〜第12の発明においては、その性質に反しない限り、第1〜第6の発明に関連して述べたことが成立する。
In the seventh to twelfth inventions, organisms include humans and animals such as dogs and cats.
In the seventh to twelfth inventions, what has been described in relation to the first to sixth inventions is valid as long as it is not contrary to the nature thereof.

上述のように構成されたこの発明によれば、使用者、より一般的には生物の生体情報の検出にはSPRセンサなどの小型でしかも使用者にかかる負担が少ないセンサを使用することができ、情報処理手段としては小型のシングルチップマイクロコンピュータなどを使用することができ、出力手段としては小型のディスプレイや振動装置などを使用することができる。   According to the present invention configured as described above, it is possible to use a small sensor such as an SPR sensor and less burden on the user for detecting biological information of a user, more generally a living organism. A small single-chip microcomputer or the like can be used as the information processing means, and a small display or vibration device can be used as the output means.

この発明によれば、使用者が他者との会話を円滑に行うことができる。また、この発明による会話補助装置および会話補助システムは小型かつ軽量に構成することができ、携帯性に優れている。また、この発明による会話補助装置および会話補助システムは、常時使用しても使用者にほとんど負荷を与えないように構成することができる。
より一般的には、この発明によれば、人間や犬、猫などの動物を含む各種の生物とのコミュニケーションを円滑に行うことができる。また、この発明による情報伝達装置、情報伝達システム、制御装置および制御システムは小型かつ軽量に構成することができ、携帯性に優れている。また、この発明による情報伝達装置、情報伝達システム、制御装置および制御システムは、常時使用しても使用者にほとんど負荷を与えないように構成することができる。
According to the present invention, the user can smoothly carry out conversations with others. Moreover, the conversation assistance device and the conversation assistance system according to the present invention can be configured to be small and light, and are excellent in portability. Further, the conversation assistance device and the conversation assistance system according to the present invention can be configured so as to give little load to the user even when used constantly.
More generally, according to the present invention, it is possible to smoothly communicate with various organisms including animals such as humans, dogs, and cats. In addition, the information transmission device, information transmission system, control device, and control system according to the present invention can be configured to be small and light and have excellent portability. In addition, the information transmission device, information transmission system, control device, and control system according to the present invention can be configured so as to give little load to the user even if they are always used.

以下、この発明の実施形態について図面を参照しながら説明する。
まず、この発明の第1の実施形態による腕時計型会話補助装置について説明する。図2はこの腕時計型会話補助装置を示す。
図2に示すように、この腕時計型会話補助装置は、本体11とこの本体11に接続されたバンド12とを有する。本体11は、時刻を表示する時計13と状態表示部14とを有する。これらの時計13および状態表示部14は例えば液晶ディスプレイなどからなる。また、図示は省略するが、この本体11には、シングルチップマイクロコンピュータなどからなる情報処理部および振動装置が内蔵されている。バンド12の内側の面には、発汗センサ15、脈拍センサ16および血流センサ17が取り付けられている。これらの発汗センサ15、脈拍センサ16および血流センサ17による測定結果は電気信号として、バンド12に埋め込まれた配線(図示せず)を介して本体11内の情報処理部に送られて所定の情報処理が行われた後、その結果が状態表示部14に文字などで表示されるようになっている。なお、図2においては、発汗センサ15、脈拍センサ16および血流センサ17はそれぞれ1つ示されているが、これらの発汗センサ15、脈拍センサ16および血流センサ17の個数および配置はこれに限定されず、必要に応じて選ぶことができるものである。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, a wristwatch type conversation assisting apparatus according to a first embodiment of the present invention will be described. FIG. 2 shows this wristwatch type conversation assisting device.
As shown in FIG. 2, the wristwatch type conversation assisting device has a main body 11 and a band 12 connected to the main body 11. The main body 11 includes a clock 13 that displays time and a status display unit 14. The clock 13 and the status display unit 14 are composed of a liquid crystal display, for example. Although not shown, the main body 11 includes an information processing unit and a vibration device including a single chip microcomputer. A sweat sensor 15, a pulse sensor 16, and a blood flow sensor 17 are attached to the inner surface of the band 12. The measurement results obtained by the sweat sensor 15, the pulse sensor 16, and the blood flow sensor 17 are sent as electrical signals to an information processing unit in the main body 11 via a wiring (not shown) embedded in the band 12, and are transmitted in a predetermined manner. After the information processing is performed, the result is displayed on the status display unit 14 with characters or the like. In FIG. 2, one perspiration sensor 15, one pulse sensor 16, and one blood flow sensor 17 are shown. However, the number and arrangement of these perspiration sensor 15, pulse sensor 16, and blood flow sensor 17 are the same. It is not limited and can be selected as needed.

図3Aおよび図3Bは、使用者がこの腕時計型会話補助装置を手首に装着した状態を示し、図3Aは平面図、図3Bは断面図である。図3Aおよび図3Bに示すように、使用者がこの腕時計型会話補助装置を手首に装着した状態において、バンド12の内側の面に取り付けられた発汗センサ15、脈拍センサ16および血流センサ17が手首の手の平に連なる側の表面に接触あるいは近接しており、これらの発汗センサ15、脈拍センサ16および血流センサ17によりそれぞれ、発汗、脈拍および血流を測定し、それによって感情の変化を測定することができるようになっている。   3A and 3B show a state in which the user wears the wristwatch type conversation assistance device on the wrist, FIG. 3A is a plan view, and FIG. 3B is a cross-sectional view. As shown in FIGS. 3A and 3B, when the user wears this wristwatch-type conversation assistance device on the wrist, the sweat sensor 15, the pulse sensor 16 and the blood flow sensor 17 attached to the inner surface of the band 12 are provided. It is in contact with or close to the surface of the wrist on the side of the palm, and these sweat sensor 15, pulse sensor 16 and blood flow sensor 17 measure sweat, pulse and blood flow, respectively, thereby measuring emotional changes. Can be done.

状態表示部14には、この腕時計型会話補助装置を装着している使用者の感情を上記の発汗センサ15、脈拍センサ16および血流センサ17により測定し、その測定結果に基づいて情報処理部で処理した結果が文字などで表示される。例えば、発汗センサ15、脈拍センサ16および血流センサ17による測定の結果、使用者が怒り気味である場合は、例えば「怒り気味」と表示される。この状態表示部14には、これに加えて、使用者の状態に応じて、注意を促すメッセージが表示されるようになっている。例えば、使用者が怒り気味である場合は、「冷静な会話を」というメッセージが表示される(図3A参照)。発汗センサ15、脈拍センサ16および血流センサ17による測定結果に応じて、上記の状態表示部14における表示に代えて、または、状態表示部14における表示とともに、振動装置により振動を発生させ、これを使用者の手首に伝えることによっても使用者にその状態を伝えることができる。この場合、使用者はこの振動を感知することによって、自身が怒り気味であるなどの情報を入手することができる。   The state display unit 14 measures the emotion of the user wearing the wristwatch-type conversation assistance device by the sweat sensor 15, the pulse sensor 16, and the blood flow sensor 17, and based on the measurement result, the information processing unit The result of processing in is displayed in characters. For example, when the user is angry as a result of measurement by the sweat sensor 15, the pulse sensor 16, and the blood flow sensor 17, for example, “angry” is displayed. In addition to this, a message for calling attention is displayed on the status display unit 14 according to the status of the user. For example, when the user is angry, a message “Cold conversation” is displayed (see FIG. 3A). Depending on the measurement results of the perspiration sensor 15, the pulse sensor 16, and the blood flow sensor 17, instead of the display on the state display unit 14 or together with the display on the state display unit 14, vibration is generated by the vibration device. It is also possible to convey the state to the user by transmitting to the user's wrist. In this case, the user can obtain information such as feeling angry by sensing this vibration.

以上のように、この第1の実施形態によれば、使用者がこの腕時計型会話補助装置を手首に装着して他者と会話を行うことにより、使用者に負荷を与えることなく、感情を常時測定することができる。そして、会話中に好ましくない感情の変化があったとき、この腕時計型会話補助装置の表示部14に表示される内容や振動装置により手首に伝わる振動に応じて会話の仕方や内容を修正することができる。このため、他者との会話を円滑に行うことができる。また、この腕時計型会話補助装置は小型かつ軽量に構成することができ、携帯性に優れている。   As described above, according to the first embodiment, when the user wears the wristwatch type conversation assistance device on the wrist and has a conversation with the other person, the user can feel the emotion without giving a load to the user. It can be measured constantly. Then, when there is an undesired change in emotion during conversation, the manner and content of conversation are corrected according to the content displayed on the display unit 14 of the wristwatch type conversation assistance device and the vibration transmitted to the wrist by the vibration device. Can do. For this reason, a conversation with another person can be performed smoothly. Further, this wristwatch type conversation assisting device can be configured to be small and light, and is excellent in portability.

次に、この発明の第2の実施形態による会話補助システムについて説明する。
この会話補助システムは、図4に示す靴21と図5に示す腕時計型受信表示装置31とにより構成される。
図4に示すように、靴21の内側の底面には発汗センサ22が装着され、靴21の内側の先端部には血流センサ23が装着されている。また、靴21の前方上部には振動装置24が装着され、靴21の内側の後方底部には発電装置25が装着され、靴21の後端部には無線通信装置26が装着されている。発汗センサ22および血流センサ23による計測データは電気信号として、靴21に内蔵された配線(図示せず)を通して、無線通信装置26に送られるようになっている。また、発電装置25により、発汗センサ22、血流センサ23、振動装置24および無線通信装置26に電力が供給されるようになっている。この発電装置25としては、例えば、歩行時に足により加わる圧力による発電機(非特許文献7,8)や、体温と外気温との温度差を利用した発電機(非特許文献9)を用いることができる。
Next explained is a conversation assistance system according to the second embodiment of the invention.
This conversation assistance system is configured by a shoe 21 shown in FIG. 4 and a wristwatch-type reception display device 31 shown in FIG.
As shown in FIG. 4, a perspiration sensor 22 is attached to the bottom surface inside the shoe 21, and a blood flow sensor 23 is attached to the tip portion inside the shoe 21. In addition, a vibration device 24 is attached to the upper front portion of the shoe 21, a power generation device 25 is attached to the rear bottom inside the shoe 21, and a wireless communication device 26 is attached to the rear end portion of the shoe 21. Measurement data from the sweat sensor 22 and the blood flow sensor 23 is sent as an electrical signal to the wireless communication device 26 through a wiring (not shown) built in the shoe 21. In addition, power is supplied to the sweat sensor 22, blood flow sensor 23, vibration device 24, and wireless communication device 26 by the power generation device 25. As this power generation device 25, for example, a generator (Non-Patent Documents 7 and 8) based on pressure applied by a foot during walking or a generator (Non-Patent Document 9) using a temperature difference between body temperature and outside air temperature is used. Can do.

図5に示すように、腕時計型受信表示装置31は、本体32とこの本体32に接続されたバンド33とを有する。本体32は、時刻を表示する時計34と状態表示部35とを有する。これらの時計34および状態表示部35は例えば液晶ディスプレイなどからなる。また、図示は省略するが、この本体32には、シングルチップマイクロコンピュータなどからなる情報処理部および受信回路が内蔵されている。   As shown in FIG. 5, the wristwatch-type reception display device 31 includes a main body 32 and a band 33 connected to the main body 32. The main body 32 includes a clock 34 that displays time and a status display unit 35. The clock 34 and the status display unit 35 are composed of a liquid crystal display, for example. Although not shown, the main body 32 incorporates an information processing unit and a receiving circuit including a single chip microcomputer.

図6および図7は、使用者が靴21を履き、腕時計型受信表示装置31を手首に装着した状態を示す。図6に示すように、使用者が靴21を履いた状態において、発汗センサ22に足の裏が接触あるいは近接し、血流センサ23に足のつま先が接触あるいは近接しており、これらの発汗センサ22および血流センサ23によりそれぞれ、発汗および血流を測定し、それによって感情の変化を測定することができるようになっている。これらの発汗センサ22および血流センサ23による計測データは電気信号として無線通信装置26に送られ、この無線通信装置26から腕時計型受信表示装置31に送信される。この腕時計型受信表示装置31では、受信した信号に基づいて情報処理部で所定の情報処理が行われ、その結果が状態表示部35に文字などで表示される。例えば、第1の実施形態と同様に、発汗センサ22および血流センサ23による測定の結果、使用者が怒り気味である場合は、状態表示部35に例えば「怒り気味」と表示される。状態表示部35には、これに加えて、使用者の状態に応じて、注意を促すメッセージが表示されるようになっている。例えば、使用者が怒り気味である場合は、「冷静な会話を」というメッセージが表示される。また、発汗センサ22および血流センサ23による測定結果に応じて、上記の状態表示部35における表示に代えて、または、状態表示部35における表示とともに、振動装置24により振動を発生させ、これを使用者の足の甲に伝えることによっても使用者にその状態を伝えることができる。この場合、使用者はこの振動を感知することによって、自身が怒り気味であるなどの情報を入手することができる。   6 and 7 show a state in which the user wears shoes 21 and wears wristwatch-type reception display device 31 on the wrist. As shown in FIG. 6, when the user puts on the shoes 21, the sole of the foot is in contact with or close to the sweat sensor 22, and the toe of the foot is in contact with or close to the blood flow sensor 23. The sensor 22 and the blood flow sensor 23 can measure perspiration and blood flow, respectively, thereby measuring emotional changes. The measurement data obtained by the sweat sensor 22 and the blood flow sensor 23 is transmitted as an electrical signal to the wireless communication device 26, and is transmitted from the wireless communication device 26 to the wristwatch-type reception display device 31. In the wristwatch-type reception display device 31, predetermined information processing is performed by the information processing unit based on the received signal, and the result is displayed on the status display unit 35 by characters or the like. For example, as in the first embodiment, when the user is angry as a result of the measurement by the sweat sensor 22 and the blood flow sensor 23, for example, “angry” is displayed on the state display unit 35. In addition to this, a message for calling attention is displayed on the status display unit 35 according to the status of the user. For example, when the user is angry, a message “Cold conversation” is displayed. Further, according to the measurement results by the sweat sensor 22 and the blood flow sensor 23, vibration is generated by the vibration device 24 instead of the display on the state display unit 35 or together with the display on the state display unit 35. The state can also be transmitted to the user by transmitting it to the instep of the user. In this case, the user can obtain information such as feeling angry by sensing this vibration.

この第2の実施形態によれば、使用者が靴21を履き、腕時計型受信表示装置31を手首に装着して他者と会話を行うことにより、使用者に負荷を与えることなく、感情を常時測定することができる。そして、会話中に好ましくない感情の変化があったとき、この腕時計型受信表示装置31の表示部35に表示される内容や振動装置24により足の甲に伝わる振動に応じて会話の仕方や内容を修正することができる。このため、他者との会話を円滑に行うことができる。また、靴21と腕時計型受信表示装置31とからなるこの会話補助システムは小型かつ軽量に構成することができ、携帯性に優れている。   According to the second embodiment, the user puts on the shoes 21, wears the wristwatch-type reception display device 31 on the wrist, and has a conversation with another person. It can be measured constantly. Then, when there is an undesired change in emotion during conversation, the manner and contents of conversation according to the content displayed on the display unit 35 of the wristwatch-type reception display device 31 and the vibration transmitted to the back of the foot by the vibration device 24 Can be corrected. For this reason, a conversation with another person can be performed smoothly. In addition, the conversation assistance system including the shoes 21 and the wristwatch-type reception display device 31 can be configured to be small and light, and is excellent in portability.

次に、この発明の第3の実施形態による腕時計型会話補助装置について説明する。図8はこの腕時計型会話補助装置を示す。
図8に示すように、この腕時計型会話補助装置においては、バンド12の内側の面に、1本または複数本の無痛針41を有する血液センサ42が取り付けられている。この血液センサ42は、マイクロ流体技術を用いたラボ・オンチップ(非特許文献10)を内蔵している。この場合、使用者がこの腕時計型会話補助装置を手首に装着した状態において、無痛針41が手首の表面に刺さってその先端が手首の血管に到達し、その先端から血液を採取してその血中物質を上記のラボ・オンチップを用いて測定し、それによって感情の変化を測定することができるようになっている。
上記以外のことは第1の実施形態と同様であるので、説明を省略する。
この第3の実施形態によれば、第1の実施形態と同様の利点を得ることができる。
Next, a wristwatch type conversation assisting apparatus according to a third embodiment of the present invention will be described. FIG. 8 shows this wristwatch type conversation assisting device.
As shown in FIG. 8, in this wristwatch-type conversation assisting device, a blood sensor 42 having one or more painless needles 41 is attached to the inner surface of the band 12. This blood sensor 42 incorporates a lab-on-chip (Non-patent Document 10) using microfluidic technology. In this case, in a state where the user wears the wristwatch type conversation assist device on the wrist, the painless needle 41 is stuck in the surface of the wrist, the tip reaches the blood vessel of the wrist, blood is collected from the tip, and the blood is collected. Middle substances can be measured using the above-mentioned lab-on-a-chip so that emotional changes can be measured.
Since other than the above is the same as that of the first embodiment, the description is omitted.
According to the third embodiment, the same advantages as those of the first embodiment can be obtained.

次に、この発明の第4の実施形態による眼鏡型会話補助装置について説明する。図9、図10および図11はこの眼鏡型会話補助装置を示し、図9は正面図、図10は側面図、図11は斜視図である。
図9、図10および図11に示すように、この眼鏡型会話補助装置は、フレーム51とレンズ52とからなる通常の眼鏡の構成に加えて、フレーム51のレンズ52に近い両端部に小型カメラ53が埋め込まれているとともに、フレーム51のレンズ52の上の部分にアイカメラ54が埋め込まれている。そして、小型カメラ53によって、瞬目を測定するとともに、顔の表情も捉えることができ、アイカメラ54によって、眼球運動を捉えることができるようになっている。また、フレーム51のアーム部の側面には、頭のこめかみに当たる部分にEOGセンサ電極55が取り付けられている。このEOGセンサ電極55により、目を閉じた状態であっても、眼球運動や瞬目を測定することができるようになっている。フレーム51のアーム部の端部には振動装置56および骨伝導装置57が取り付けられている。更に、レンズ52の内面には透過型ディスプレイ(図示せず)が設けられており、この透過型ディスプレイによりレンズ52の内面に文字情報を映し出すことができるようになっている。フレーム51には、例えば超小型のシングルチップマイクロコンピュータなどからなる情報処理部(図示せず)が埋め込まれている。この情報処理部と、小型カメラ53、アイカメラ54、EOGセンサ電極55、振動装置56および骨伝導装置57とは、フレーム51に埋め込まれた所定の配線(図示せず)により接続されている。
Next explained is a spectacles-type conversation assistance device according to the fourth embodiment of the invention. 9, FIG. 10 and FIG. 11 show the glasses-type conversation assistance device, FIG. 9 is a front view, FIG. 10 is a side view, and FIG. 11 is a perspective view.
As shown in FIGS. 9, 10, and 11, this glasses-type conversation assisting device has a small camera at both ends of the frame 51 near the lens 52 in addition to the configuration of normal glasses including a frame 51 and a lens 52. 53 is embedded, and an eye camera 54 is embedded in a portion of the frame 51 above the lens 52. The small camera 53 can measure blinks and can also capture facial expressions, and the eye camera 54 can capture eye movements. Further, an EOG sensor electrode 55 is attached to the side of the arm portion of the frame 51 at a portion that contacts the temple of the head. The EOG sensor electrode 55 can measure eye movements and blinks even when the eyes are closed. A vibration device 56 and a bone conduction device 57 are attached to the end of the arm portion of the frame 51. Further, a transmissive display (not shown) is provided on the inner surface of the lens 52, and character information can be projected on the inner surface of the lens 52 by the transmissive display. In the frame 51, an information processing unit (not shown) made of, for example, an ultra-small single-chip microcomputer is embedded. The information processing unit, the small camera 53, the eye camera 54, the EOG sensor electrode 55, the vibration device 56, and the bone conduction device 57 are connected by a predetermined wiring (not shown) embedded in the frame 51.

図12および図13は使用者がこの眼鏡型会話補助装置を装着した状態を示し、図12は正面図、図13は側面図である。
図12および図13に示すように、使用者が眼鏡型会話補助装置を装着した状態において、フレーム51のアーム部の端部に取り付けられた振動装置56および骨伝導装置57が耳の骨に接触するようになっている。そして、この腕時計型会話補助装置を装着している使用者の感情を、小型カメラ53による瞬目や顔の表情の測定、アイカメラ54による眼球運動の測定およびEOGセンサ電極55による眼球運動や瞬目の測定により測定し、その測定結果に基づいて情報処理部で処理した結果を、レンズ52の内面の透過型ディスプレイに文字などで表示したり、振動装置56により振動を耳に伝えたり、骨伝導装置57による骨伝導により音声伝達を行うことなどにより、使用者に伝えることができるようになっている。例えば、小型カメラ53、アイカメラ54およびEOGセンサ電極55による測定の結果、使用者が怒り気味である場合は、例えばレンズ52の内面の透過型ディスプレイに「注意!」というメッセージが表示される(図11参照)。これによって、使用者は、自身が怒り気味であるなどの情報を入手することができる。
この第4の実施形態によれば、第1の実施形態と同様な利点を得ることができる。
12 and 13 show a state in which the user wears the glasses-type conversation assistance device, FIG. 12 is a front view, and FIG. 13 is a side view.
As shown in FIGS. 12 and 13, the vibration device 56 and the bone conduction device 57 attached to the end of the arm portion of the frame 51 are in contact with the ear bone when the user wears the glasses-type conversation assisting device. It is supposed to be. Then, the emotion of the user wearing this wristwatch-type conversation assist device is measured using the small camera 53 to measure blinks and facial expressions, the eye movement using the eye camera 54, and the eye movements and blinks using the EOG sensor electrode 55. The result measured by the eye and processed by the information processing unit based on the measurement result is displayed on the transmission display on the inner surface of the lens 52 with characters, the vibration is transmitted to the ear by the vibration device 56, the bone It can be transmitted to the user by performing voice transmission by bone conduction by the conduction device 57. For example, if the user is angry as a result of measurement by the small camera 53, the eye camera 54, and the EOG sensor electrode 55, for example, a message “CAUTION!” Is displayed on the transmissive display on the inner surface of the lens 52 ( (See FIG. 11). As a result, the user can obtain information that the user is angry.
According to the fourth embodiment, the same advantages as those of the first embodiment can be obtained.

次に、この発明の第5の実施形態について説明する。
この第5の実施形態においては、会話補助装置などにおいて、感情の測定に適用して有効なセンサについて説明する。
測定しようとする系に存在する複数の物質(対象物)の分布がその系の状態に伴って変化する場合に、その複数の物質の分布やその時間変化を測定するセンサは重要となる。ここでは、二種類の物質が存在する系で、その物質の分布の情報に加えて、その存在比が時間とともに変化するという情報を測定することのできるセンサの構造を与える。
Next explained is the fifth embodiment of the invention.
In the fifth embodiment, a sensor that is effective when applied to emotion measurement in a conversation assisting device or the like will be described.
When the distribution of a plurality of substances (objects) existing in the system to be measured changes with the state of the system, a sensor that measures the distribution of the plurality of substances and the change over time is important. Here, in the system in which two kinds of substances exist, in addition to information on the distribution of the substances, a sensor structure is provided that can measure information that the abundance ratio changes with time.

最も簡単な例として、図14に示すような形状を持った二種類の対象物a,bを測定する場合を考える。これらの対象物a,bのそれぞれのサイズをd(a),d(b)とし、これらは互いにほぼ等しいと仮定する。これに対し、d(a),d(b)と直交する方向のサイズは図14に示す比率を持ち、互いにかなり異なっている。   As the simplest example, consider the case of measuring two types of objects a and b having shapes as shown in FIG. Assume that the sizes of these objects a and b are d (a) and d (b), respectively, and they are almost equal to each other. On the other hand, the sizes in the direction orthogonal to d (a) and d (b) have the ratio shown in FIG. 14 and are quite different from each other.

図15に示すように、このセンサにおいては、基板61の一方の主面(表面)に対象物a,bのそれぞれが選択的に結合することのできる二種類の結合部位A,Bを適切な位置に交互に配置する。ここでは、これらの結合部位A,Bは、それぞれに着目した場合に面心平面格子をなすように周期的に配置する。また、最近接の結合部位A間の距離および最近接の結合部位B間の距離は、対象物a,bのそれぞれが独立に結合するとした場合に、全ての結合部位Aに対象物aが立体障害を受けることなく同時に結合することができ、かつ、全ての結合部位Bに対象物bが立体障害を受けることなく同時に結合することができるように選ばれている。具体的には、例えば、最近接の結合部位A間の距離および最近接の結合部位B間の距離はd(a),d(b)より少し大きく選ばれる。
対象物a,bと結合部位A,Bとの組み合わせは、対象物a,bに応じて適切なものが選ばれる。具体的には、例えば、対象物a,bが免疫グロブリンである場合は、抗原抗体反応により特異的に結合する抗原と抗体との組み合わせや適切なリンカーが結合した金属微粒子を用いるものを用いることができる。
As shown in FIG. 15, in this sensor, two types of binding sites A and B that can selectively bind each of the objects a and b to one main surface (surface) of the substrate 61 are appropriate. Alternating positions. Here, these binding sites A and B are periodically arranged so as to form a face-centered plane lattice when attention is paid to each. Further, the distance between the closest binding sites A and the distance between the closest binding sites B are determined so that the objects a are three-dimensional at all the binding sites A when each of the objects a and b is independently bonded. It is selected so that it can be simultaneously bonded without being obstructed, and the object b can be simultaneously bonded to all the binding sites B without being sterically hindered. Specifically, for example, the distance between the nearest binding sites A and the distance between the nearest binding sites B are selected to be slightly larger than d (a) and d (b).
An appropriate combination of the objects a and b and the binding sites A and B is selected according to the objects a and b. Specifically, for example, when the objects a and b are immunoglobulins, use a combination of an antigen and an antibody that specifically binds by an antigen-antibody reaction or a metal fine particle to which an appropriate linker is bound. Can do.

次に、上述のように構成されたセンサの使用方法について説明する。
まず、対象物a,bが存在する系(例えば、液相または気相)にセンサを設置する。
この設定で、始めに対象物aの存在比率が高く、後に対象物bの存在比率が増加した場合を考える。この場合、まず、図16に示すように、多数存在する対象物aが基板61の結合部位Aに結合し、その後対象物bも何ら立体障害を受けることなく結合部位Bに結合する。
Next, a method for using the sensor configured as described above will be described.
First, a sensor is installed in a system (for example, liquid phase or gas phase) where the objects a and b exist.
Consider a case where the existence ratio of the object a is high at this setting and the existence ratio of the object b is increased later. In this case, first, as shown in FIG. 16, a large number of objects a are bonded to the binding site A of the substrate 61, and then the object b is also bonded to the binding site B without any steric hindrance.

一方、始めに対象物bの存在比率が高く、後に対象物aの存在比率が増加するという上述と逆の状況を考えると、図17に示すように、始めに結合部位Bに対象物bが結合したことによる立体障害のため、その後増加した対象物aがほとんど結合部位Aに結合しないという状況が発生する。そこで、この違いを測定することにより、系の状態の時間的な変化、より詳しくは、始めに対象物aの存在比率が高く、後に対象物bの存在比率が増加したのか、それとも、始めに対象物bの存在比率が高く、後に対象物aの存在比率が増加したのかを特定することができる。   On the other hand, considering the situation opposite to the above in which the presence ratio of the target object b is high first and the presence ratio of the target object a later increases, as shown in FIG. Due to the steric hindrance due to the binding, a situation occurs in which the increased object a hardly binds to the binding site A. Therefore, by measuring this difference, the temporal change in the state of the system, more specifically, whether the existence ratio of the object a is high at the beginning and the existence ratio of the object b is increased at the beginning, It can be specified whether the existence ratio of the object b is high and the existence ratio of the object a is increased later.

実際に上記の2状態の違いを測定するためには、例えば、対象物a,bの誘電率が互いに異なる場合はSPRセンサを、対象物a,bの重量が互いに異なる場合は水晶発振型センサを用いて測定を行えばよい。
図18にSPRセンサを用いて測定を行う例を示す。このSPRセンサは、基板61の他方の主面(裏面)にプリズムを接触させることにより構成され、このプリズムに外部から例えばレーザ光のような単色光を入射させる。図18中左の図に示すように対象物a,bとも結合している場合には、基板61の他方の主面に入射光が臨界角に等しい入射角θ1 で入射したときにSPRが起きる。これに対して、図18中右図に示すように対象物bだけが結合している場合には、基板61の他方の主面に入射光が臨界角に等しい入射角θ2 で入射したときにSPRが起きる。このときθ1 ≠θ2 (この例の場合はθ1 >θ2 )であるから、この違いを測定することにより、基板61の一方の主面に対象物a,bとも結合した状態と、対象物bだけが結合した状態とを容易に識別することができる。
In order to actually measure the difference between the two states, for example, an SPR sensor is used when the dielectric constants of the objects a and b are different from each other, and a crystal oscillation type sensor is used when the weights of the objects a and b are different from each other. Measurement may be performed using.
FIG. 18 shows an example in which measurement is performed using an SPR sensor. This SPR sensor is configured by bringing a prism into contact with the other main surface (back surface) of the substrate 61, and allows the monochromatic light such as laser light to enter the prism from the outside. As shown in the left diagram of FIG. 18, when the objects a and b are also coupled, the SPR is obtained when incident light is incident on the other main surface of the substrate 61 at an incident angle θ 1 equal to the critical angle. Get up. On the other hand, when only the object b is coupled as shown in the right diagram of FIG. 18, when the incident light is incident on the other main surface of the substrate 61 at an incident angle θ 2 equal to the critical angle. SPR occurs. At this time, since θ 1 ≠ θ 21 > θ 2 in this example), by measuring this difference, the state in which the objects a and b are also coupled to one main surface of the substrate 61; A state in which only the object b is combined can be easily identified.

以上のように、この第5の実施形態によれば、検出部である基板61の一方の主面に、測定しようとする対象物a,bと選択的に結合する結合部位A,Bを適切な位置に適切な間隔で配置し、これらの結合部位A,Bへの対象物a,bの結合の様子を観測することにより、単一のセンサで、これらの対象物a,bの存在・非存在または分布の情報に加えて、これらの対象物a,bの存在比率の時間変化の情報も抽出することができる。すなわち、基板61の検出面の幾何学的構造の制御により、センサ内部で対象物a,bに関して幾何学的情報処理を行うことができ、多くの情報を必要な形に処理して外部に取り出すことができる。   As described above, according to the fifth embodiment, the binding sites A and B that selectively bind to the objects a and b to be measured are appropriately formed on one main surface of the substrate 61 that is the detection unit. By observing the state of the binding of the objects a and b to these binding sites A and B by arranging them at appropriate positions, the presence / absence of these objects a and b can be detected with a single sensor. In addition to information on non-existence or distribution, information on temporal changes in the existence ratios of these objects a and b can also be extracted. That is, by controlling the geometric structure of the detection surface of the substrate 61, geometric information processing can be performed on the objects a and b inside the sensor, and a large amount of information is processed into a necessary shape and taken out to the outside. be able to.

次に、この発明の第6の実施形態について説明する。
この第6の実施形態においては、第5の実施形態と同様に、会話補助装置などにおいて感情の測定に適用して有効なセンサについて説明する。このセンサは、測定しようとする対象物a,bの形状およびサイズが互いにそれほど異なるものではない場合に好適なものである。
この第6の実施形態においては、図19に示すような形状を持った二種類の対象物c,dを測定する場合を考える。これらの対象物c,dのそれぞれのサイズをd(c),d(d)とし、これらは互いにほぼ等しいと仮定する。この場合、d(c),d(d)と直交する方向のサイズも互いにほぼ等しい。
Next, a sixth embodiment of the present invention will be described.
In the sixth embodiment, as in the fifth embodiment, a sensor that is effective when applied to emotion measurement in a conversation assistance device or the like will be described. This sensor is suitable when the shapes and sizes of the objects a and b to be measured are not so different from each other.
In the sixth embodiment, a case is considered in which two types of objects c and d having shapes as shown in FIG. 19 are measured. Assume that the sizes of these objects c and d are d (c) and d (d), respectively, and they are almost equal to each other. In this case, the sizes in the direction orthogonal to d (c) and d (d) are substantially equal to each other.

図20に示すように、このセンサは、基板61の一方の主面に対象物c,dのそれぞれが選択的に結合することのできる二種類の結合部位C,Dが適切な位置に交互に配置されていることは第5の実施形態と同様であるが、この場合には、基板61の一方の主面上の結合部位Cに対応する部分に微細加工により矩形断面の凹部62が設けられており、結合部位Cはこの凹部62の底面に設けられ、結合部位Dはこの凹部62による段差上部に設けられていることが第5の実施形態と異なる。   As shown in FIG. 20, in this sensor, two types of binding sites C and D to which each of the objects c and d can selectively bind to one main surface of the substrate 61 are alternately arranged at appropriate positions. The arrangement is the same as in the fifth embodiment. In this case, a concave portion 62 having a rectangular cross section is provided by fine processing in a portion corresponding to the binding site C on one main surface of the substrate 61. Unlike the fifth embodiment, the coupling site C is provided on the bottom surface of the recess 62 and the coupling site D is provided on the upper portion of the step formed by the recess 62.

次に、上述のように構成されたセンサの使用方法について説明する。
まず、対象物c,dが存在する系にセンサを設置する。
この設定で、始めに対象物cの存在比率が高く、後に対象物dの存在比率が増加した場合を考える。この場合、まず、図20に示すように、多数存在する対象物cが基板61の結合部位Cに結合し、その後対象物dも何ら立体障害を受けることなく結合部位Dに結合する。
Next, a method for using the sensor configured as described above will be described.
First, a sensor is installed in a system where the objects c and d exist.
With this setting, consider the case where the existence ratio of the object c is high first and the existence ratio of the object d is increased later. In this case, first, as shown in FIG. 20, a large number of objects c are bonded to the binding site C of the substrate 61, and then the object d is also bonded to the binding site D without any steric hindrance.

一方、始めに対象物dの存在比率が高く、後に対象物cの存在比率が増加するという上述と逆の状況を考えると、図21に示すように、始めに結合部位Dに対象物dが結合したことによる立体障害のため、その後増加した対象物cがほとんど結合部位Cに結合しないという状況が発生する。そこで、この違いを測定することにより、系の状態の時間的な変化、より詳しくは、始めに対象物cの存在比率が高く、後に対象物dの存在比率が増加したのか、それとも、始めに対象物dの存在比率が高く、後に対象物cの存在比率が増加したのかを特定することができる。
上記以外のことは第5の実施形態と同様であるので、説明を省略する。
On the other hand, considering the situation opposite to the above in which the existence ratio of the object d is high at first and the existence ratio of the object c is increased later, as shown in FIG. Due to the steric hindrance due to the binding, a situation occurs in which the object c increased after that hardly binds to the binding site C. Therefore, by measuring this difference, the temporal change in the state of the system, more specifically, whether the existence ratio of the object c is high at the beginning and the existence ratio of the object d is increased later, It can be specified whether the existence ratio of the object d is high and the existence ratio of the object c is increased later.
Since the other than the above is the same as that of the fifth embodiment, the description is omitted.

図22に対象物c,dおよび結合部位C,Dの具体例を示す。この例では、対象物c,dがそれぞれx:血清アルブミン(Serum Albumin)、y:ストレプトアビジン(Streptavidin)であり、結合部位C,DがそれぞれX:HS−Cys、Y:ジスルフィドビオチンアナログ(disulfide-biotin analogue)であり、それぞれ図22に示すようなサイズを有している。また、基板61は金基板であり、X,Yはこの金基板とチオールなどを用いて結合される。さらに、図23に示すように、この場合、最近接の結合部位A間の距離および最近接の結合部位B間の距離は10nm程度である。図24は図20に対応する図であり、xがXと、yがYと結合している。
この第6の実施形態によれば、測定しようとする対象物c,dの形状およびサイズがほぼ等しい場合においても、第5の実施形態と同様な利点を得ることができる。
FIG. 22 shows specific examples of the objects c and d and the binding sites C and D. In this example, the objects c and d are x: serum albumin and y: streptavidin, and the binding sites C and D are X: HS-Cys and Y: disulfide biotin analog (disulfide), respectively. -biotin analogue), each having a size as shown in FIG. The substrate 61 is a gold substrate, and X and Y are bonded to the gold substrate using thiol or the like. Furthermore, as shown in FIG. 23, in this case, the distance between the nearest binding sites A and the distance between the nearest binding sites B are about 10 nm. FIG. 24 is a diagram corresponding to FIG. 20, where x is combined with X and y is combined with Y.
According to the sixth embodiment, even when the shapes and sizes of the objects c and d to be measured are substantially equal, the same advantages as those of the fifth embodiment can be obtained.

以上、この発明の実施形態につき具体的に説明したが、この発明は、上述の実施形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。
例えば、上述の実施形態において挙げた数値、構造、配置、形状、材料などはあくまでも例に過ぎず、必要に応じてこれらと異なる数値、構造、配置、形状、材料などを用いてもよい。
Although the embodiments of the present invention have been specifically described above, the present invention is not limited to the above-described embodiments, and various modifications based on the technical idea of the present invention are possible.
For example, the numerical values, structures, arrangements, shapes, materials, and the like given in the above-described embodiments are merely examples, and different numerical values, structures, arrangements, shapes, materials, and the like may be used as necessary.

アポクリン腺およびエクリン腺の構造を示す略腺図である。FIG. 3 is a schematic diagram showing the structures of apocrine and eccrine glands. この発明の第1の実施形態による腕時計型会話補助装置を示す斜視図である。1 is a perspective view showing a wristwatch type conversation assistance device according to a first embodiment of the present invention. この発明の第1の実施形態による腕時計型会話補助装置を使用者が腕に装着した状態を示す平面図である。It is a top view which shows the state with which the user mounted | worn the wristwatch type conversation assistance apparatus by 1st Embodiment of this invention to the arm. この発明の第1の実施形態による腕時計型会話補助装置を使用者が腕に装着した状態を示す断面図である。It is sectional drawing which shows the state with which the user mounted | worn the wristwatch-type conversation assistance apparatus by 1st Embodiment of this invention to the arm. この発明の第2の実施形態による会話補助システムを構成する腕時計型受信表示装置を示す斜視図である。It is a perspective view which shows the wristwatch type | mold reception display apparatus which comprises the conversation assistance system by 2nd Embodiment of this invention. この発明の第2の実施形態による会話補助システムを構成する靴を示す斜視図である。It is a perspective view which shows the shoes which comprise the conversation assistance system by 2nd Embodiment of this invention. この発明の第2の実施形態による会話補助システムを構成する腕時計型受信表示装置を使用者が腕に装着した状態を示す平面図である。It is a top view which shows the state with which the user mounted | worn with the wristwatch type | mold reception display apparatus which comprises the conversation assistance system by 2nd Embodiment of this invention. この発明の第2の実施形態による会話補助システムを構成する靴を使用者が履いた状態を示す平面図である。It is a top view which shows the state which the user put on the shoes which comprise the conversation assistance system by 2nd Embodiment of this invention. この発明の第3の実施形態による腕時計型会話補助装置を示す斜視図である。It is a perspective view which shows the wristwatch type conversation assistance apparatus by 3rd Embodiment of this invention. この発明の第4の実施形態による眼鏡型会話補助装置を示す正面図である。It is a front view which shows the spectacles type conversation assistance apparatus by 4th Embodiment of this invention. この発明の第4の実施形態による眼鏡型会話補助装置を示す側面図である。It is a side view which shows the spectacles type conversation assistance apparatus by 4th Embodiment of this invention. この発明の第4の実施形態による眼鏡型会話補助装置を示す斜視図である。It is a perspective view which shows the spectacles type conversation assistance apparatus by 4th Embodiment of this invention. この発明の第4の実施形態による眼鏡型会話補助装置を使用者が装着した状態を示す正面図である。It is a front view which shows the state which the user mounted | wore with the spectacles type conversation assistance apparatus by 4th Embodiment of this invention. この発明の第4の実施形態による眼鏡型会話補助装置を使用者が装着した状態を示す側面図である。It is a side view which shows the state with which the user mounted | wore with the spectacles type conversation assistance apparatus by 4th Embodiment of this invention. この発明の第5の実施形態によるセンサにより測定しようとする対象物の例を示す略線図である。It is a basic diagram which shows the example of the target object which is going to measure with the sensor by the 5th Embodiment of this invention. この発明の第5の実施形態によるセンサの結合部位が配置された基板を示す略線図である。It is a basic diagram which shows the board | substrate with which the coupling | bond part of the sensor by the 5th Embodiment of this invention is arrange | positioned. この発明の第5の実施形態によるセンサの使用方法を説明するための略線図である。It is a basic diagram for demonstrating the usage method of the sensor by 5th Embodiment of this invention. この発明の第5の実施形態によるセンサの使用方法を説明するための略線図である。It is a basic diagram for demonstrating the usage method of the sensor by 5th Embodiment of this invention. この発明の第5の実施形態によるセンサの使用方法を説明するための略線図である。It is a basic diagram for demonstrating the usage method of the sensor by 5th Embodiment of this invention. この発明の第6の実施形態によるセンサにより測定しようとする対象物の例を示す略線図である。It is a basic diagram which shows the example of the target object which is going to measure with the sensor by the 6th Embodiment of this invention. この発明の第6の実施形態によるセンサの使用方法を説明するための略線図である。It is a basic diagram for demonstrating the usage method of the sensor by 6th Embodiment of this invention. この発明の第6の実施形態によるセンサの使用方法を説明するための略線図である。It is a basic diagram for demonstrating the usage method of the sensor by 6th Embodiment of this invention. この発明の第6の実施形態によるセンサにおいて測定しようとする対象物の具体例を示す略線図である。It is a basic diagram which shows the specific example of the target object which it is going to measure in the sensor by 6th Embodiment of this invention. この発明の第6の実施形態によるセンサの結合部位が配置された基板の具体例を示す略線図である。It is a basic diagram which shows the specific example of the board | substrate with which the joint part of the sensor by 6th Embodiment of this invention is arrange | positioned. この発明の第6の実施形態によるセンサにおいて図9に示す対象物が図23に示す基板の結合部位に結合した状態を示す略線図である。FIG. 24 is a schematic diagram illustrating a state in which the object illustrated in FIG. 9 is coupled to the coupling site of the substrate illustrated in FIG. 23 in the sensor according to the sixth embodiment of the present invention.

符号の説明Explanation of symbols

11,32…本体部、12,33…バンド、14,35…状態表示部、15,22…発汗センサ、16…脈拍センサ、17,23…血流センサ、21…靴、24,56…振動装置、25…発電装置、26…無線通信装置、31…腕時計型受信表示装置、41…無痛針、42…血液センサ、51…フレーム、52…レンズ、53…小型カメラ、54…アイカメラ、55…EOGセンサ電極、57…骨伝導装置、a,b,c,d…対象物、A,B,C,D…結合部位、61…基板、62…凹部
DESCRIPTION OF SYMBOLS 11, 32 ... Main-body part, 12, 33 ... Band, 14, 35 ... Status display part, 15, 22 ... Sweat sensor, 16 ... Pulse sensor, 17, 23 ... Blood flow sensor, 21 ... Shoes, 24, 56 ... Vibration Device: 25 ... Power generation device, 26 ... Wireless communication device, 31 ... Wristwatch-type reception display device, 41 ... Painless needle, 42 ... Blood sensor, 51 ... Frame, 52 ... Lens, 53 ... Small camera, 54 ... Eye camera, 55 ... EOG sensor electrode, 57 ... Bone conduction device, a, b, c, d ... Object, A, B, C, D ... Binding site, 61 ... Substrate, 62 ... Recess

Claims (32)

使用者の生体情報を検出する1つまたは複数のセンサと、
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果を出力する出力手段とを有する
ことを特徴とする会話補助装置。
One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
An output means for outputting the result of the information processing.
上記出力手段の出力に基づいて上記使用者が自身の状態を制御することを補助することを特徴とする請求項1記載の会話補助装置。   2. The conversation assisting apparatus according to claim 1, wherein the user assists the user in controlling his / her state based on the output of the output means. 上記生体情報は使用者が他者との会話を円滑に進めるために重要な生体情報であることを特徴とする請求項1記載の会話補助装置。   The conversation assistance apparatus according to claim 1, wherein the biological information is biological information important for a user to smoothly advance a conversation with another person. 上記生体情報は感情情報であることを特徴とする請求項1記載の会話補助装置。   The conversation assistance apparatus according to claim 1, wherein the biological information is emotion information. 上記センサは使用者が携帯可能であることを特徴とする請求項1記載の会話補助装置。   The conversation assistance device according to claim 1, wherein the sensor is portable by a user. 上記センサの1つとして、使用者の皮膚表面からの分泌物を計測するセンサを用いることを特徴とする請求項1記載の会話補助装置。   The conversation assistance device according to claim 1, wherein a sensor for measuring secretions from a user's skin surface is used as one of the sensors. 上記分泌物を計測するセンサは表面プラズモン共鳴型化学センサであることを特徴とする請求項6記載の会話補助装置。   The conversation assisting apparatus according to claim 6, wherein the sensor for measuring the secretion is a surface plasmon resonance chemical sensor. 上記センサの1つとして、対象物が検出部に結合したときのこの検出部の性質の変化を測定するセンサであって、上記検出部の空間的構造を用いて、上記対象物の存在・非存在または分布の情報を含む複数の情報を抽出するものを用いることを特徴とする請求項1記載の会話補助装置。   One of the sensors is a sensor that measures a change in the property of the detection unit when the target object is coupled to the detection unit, and uses the spatial structure of the detection unit to determine whether the target object is present or not. The conversation assisting device according to claim 1, wherein a device that extracts a plurality of pieces of information including presence or distribution information is used. 上記空間的構造は上記検出部の幾何学的構造であることを特徴とする請求項8記載の会話補助装置。   9. The conversation assistance apparatus according to claim 8, wherein the spatial structure is a geometric structure of the detection unit. 上記検出部は複数の結合部位を有することを特徴とする請求項8記載の会話補助装置。   9. The conversation assisting apparatus according to claim 8, wherein the detection unit has a plurality of binding sites. 上記検出部は複数の対象物がそれぞれ選択的に結合する複数の結合部位を有することを特徴とする請求項8記載の会話補助装置。   9. The conversation assisting apparatus according to claim 8, wherein the detection unit has a plurality of binding sites to which a plurality of objects are selectively combined. 上記複数の結合部位は上記複数の対象物のサイズに合わせて配置され、上記複数の対象物の存在量の時間的変化を検出することを特徴とする請求項11記載の会話補助装置。   The conversation assistance device according to claim 11, wherein the plurality of binding sites are arranged according to a size of the plurality of objects, and a temporal change in the abundance of the plurality of objects is detected. 上記対象物の上記検出部への結合による上記検出部の物理的性質または構造の変化を測定することにより上記情報を抽出することを特徴とする請求項8記載の会話補助装置。   9. The conversation assistance apparatus according to claim 8, wherein the information is extracted by measuring a change in a physical property or a structure of the detection unit due to coupling of the object to the detection unit. 上記センサの1つとして、使用者の脳の血流を計測するセンサを用いることを特徴とする請求項1記載の会話補助装置。   The conversation assisting apparatus according to claim 1, wherein a sensor for measuring blood flow in a user's brain is used as one of the sensors. 上記血流を計測するセンサは非侵襲光トポグラフィー型センサであることを特徴とする請求項14記載の会話補助装置。   The conversation assistance device according to claim 14, wherein the sensor for measuring blood flow is a non-invasive optical topography type sensor. 上記出力手段は1つまたは複数の効果器であることを特徴とする請求項1記載の会話補助装置。   2. The conversation assisting apparatus according to claim 1, wherein the output means is one or a plurality of effectors. 上記効果器の1つとして、上記センサにより測定した感情を文字情報により使用者に伝達する装置を用いることを特徴とする請求項1記載の会話補助装置。   The conversation assisting device according to claim 1, wherein a device that transmits the emotion measured by the sensor to the user as text information is used as one of the effectors. 上記効果器の1つとして、上記センサにより測定した感情を振動情報により使用者に伝達する装置を用いることを特徴とする請求項1記載の会話補助装置。   The conversation assisting device according to claim 1, wherein a device for transmitting emotion measured by the sensor to a user by vibration information is used as one of the effectors. 上記センサにより測定した感情の制御を補助する1つまたは複数の効果器を有することを特徴とする請求項1記載の会話補助装置。   The conversation assistance device according to claim 1, further comprising one or more effectors for assisting in the control of emotion measured by the sensor. 上記効果器の1つとして、興奮状態を静めるために使用者の皮膚の表面にリズムを持った刺激を与える装置を用いることを特徴とする請求項19記載の会話補助装置。   20. The conversation assisting device according to claim 19, wherein as one of the effectors, a device for applying a rhythmic stimulus to the surface of the user's skin is used to calm the excited state. 上記効果器の1つとして、安心感を与えるために手を握り合った感触を再現するために柔らかい素材を使用した適度な大きさの装置を用いることを特徴とする請求項19記載の会話補助装置。   20. The conversation assisting device according to claim 19, wherein as one of the effectors, a moderately sized device using a soft material is used to reproduce a feeling of holding hands to give a sense of security. apparatus. 使用者の生体情報を検出する1つまたは複数のセンサと、
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果を出力する出力手段とを有する
ことを特徴とする会話補助システム。
One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
An output means for outputting the result of the information processing.
使用者の生体情報を1つまたは複数のセンサにより検出するステップと、
上記センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
上記情報処理の結果を出力するステップとを有する
ことを特徴とする会話補助方法。
Detecting the user's biometric information with one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of outputting the result of the information processing.
使用者の生体情報を検出する1つまたは複数のセンサと、
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果に基づいて上記使用者の状態を制御する制御手段とを有する
ことを特徴とする会話補助装置。
One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And a control means for controlling the state of the user based on the result of the information processing.
使用者の生体情報を検出する1つまたは複数のセンサと、
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果に基づいて上記使用者の状態を制御する制御手段とを有する
ことを特徴とする会話補助システム。
One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And a control unit that controls the state of the user based on the result of the information processing.
使用者の生体情報を1つまたは複数のセンサにより検出するステップと、
上記センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
上記情報処理の結果に基づいて上記使用者の状態を制御するステップとを有する
ことを特徴とする会話補助方法。
Detecting the user's biometric information with one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of controlling the state of the user based on the result of the information processing.
生物の生体情報を検出する1つまたは複数のセンサと、
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果を出力する出力手段とを有する
ことを特徴とする情報伝達装置。
One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And an output means for outputting the result of the information processing.
生物の生体情報を検出する1つまたは複数のセンサと、
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果を出力する出力手段とを有する
ことを特徴とする情報伝達システム。
One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And an output means for outputting the result of the information processing.
生物の生体情報を1つまたは複数のセンサにより検出するステップと、
上記センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
上記情報処理の結果を出力するステップとを有する
ことを特徴とする情報伝達方法。
Detecting biological information of the organism by one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of outputting a result of the information processing.
生物の生体情報を検出する1つまたは複数のセンサと、
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果に基づいて上記生物の状態を制御する制御手段とを有する
ことを特徴とする制御装置。
One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
Control means for controlling the state of the organism based on the result of the information processing.
生物の生体情報を検出する1つまたは複数のセンサと、
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果に基づいて上記生物の状態を制御する制御手段とを有する
ことを特徴とする制御システム。
One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And a control means for controlling the state of the organism based on the result of the information processing.
生物の生体情報を1つまたは複数のセンサにより検出するステップと、
上記センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
上記情報処理の結果に基づいて上記生物の状態を制御するステップとを有する
ことを特徴とする制御方法。
Detecting biological information of the organism by one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of controlling the state of the organism based on the result of the information processing.
JP2003280818A 2003-07-28 2003-07-28 Watch-type conversation assistance device, conversation assistance system, glasses-type conversation assistance device, and conversation assistance device Expired - Fee Related JP4389512B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003280818A JP4389512B2 (en) 2003-07-28 2003-07-28 Watch-type conversation assistance device, conversation assistance system, glasses-type conversation assistance device, and conversation assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003280818A JP4389512B2 (en) 2003-07-28 2003-07-28 Watch-type conversation assistance device, conversation assistance system, glasses-type conversation assistance device, and conversation assistance device

Publications (3)

Publication Number Publication Date
JP2005046305A true JP2005046305A (en) 2005-02-24
JP2005046305A5 JP2005046305A5 (en) 2006-06-15
JP4389512B2 JP4389512B2 (en) 2009-12-24

Family

ID=34266524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003280818A Expired - Fee Related JP4389512B2 (en) 2003-07-28 2003-07-28 Watch-type conversation assistance device, conversation assistance system, glasses-type conversation assistance device, and conversation assistance device

Country Status (1)

Country Link
JP (1) JP4389512B2 (en)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122154A (en) * 2005-10-25 2007-05-17 Kozo Nagata Solution system and solution method for supply chain
JP2008119198A (en) * 2006-11-10 2008-05-29 Tokai Rika Co Ltd Advice device for improving situation
JP2009187117A (en) * 2008-02-04 2009-08-20 Sony Corp Information processor and information processing method
GB2478034A (en) * 2010-02-18 2011-08-24 Bank Of America Systems for inducing change in a human physiological characteristic representative of an emotional state
GB2478035A (en) * 2010-02-18 2011-08-24 Bank Of America Systems for inducing change in a human physiological characteristic representative of an emotional state
GB2478036A (en) * 2010-02-18 2011-08-24 Bank Of America Systems for inducing change in a human physiological characteristic representative of an emotional state
JP2013120468A (en) * 2011-12-07 2013-06-17 Nikon Corp Electronic device, information processing method, and program
ITUD20120024A1 (en) * 2012-02-15 2013-08-16 Qbell Technology S P A EMOTIONAL VISUAL ELECTRONIC DEVICE
WO2014129212A1 (en) * 2013-02-22 2014-08-28 ソニー株式会社 Image display device, image display method, storage medium, and monitoring system
JP5632100B2 (en) * 2011-11-24 2014-11-26 株式会社Nttドコモ Facial expression output device and facial expression output method
JP2015515292A (en) * 2012-03-07 2015-05-28 ニューロスキー・インコーポレーテッドNeurosky Incorporated Modular user replaceable accessory for biosignal controlled mechanism
WO2016113968A1 (en) * 2015-01-14 2016-07-21 ソニー株式会社 Navigation system, client terminal device, control method, and storage medium
CN105814511A (en) * 2013-10-14 2016-07-27 诺基亚技术有限公司 Deviational plane wrist input
JP6301547B1 (en) * 2017-11-16 2018-03-28 朝美 鈴木 Tension-type headache prediction system
WO2019008977A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
WO2019008976A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
WO2019008979A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
WO2019008980A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
WO2019008996A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
WO2019008982A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
WO2019008978A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
WO2019008969A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
JP2021035499A (en) * 2020-10-14 2021-03-04 株式会社東芝 Eyewear, data collection system and data collection method
JP2021044001A (en) * 2015-05-07 2021-03-18 ソニー株式会社 Information processing system, control method, and program
JP2021089757A (en) * 2016-07-21 2021-06-10 マジック リープ, インコーポレイテッドMagic Leap,Inc. Technique for controlling virtual image generation system using emotional states of user
US11058362B2 (en) 2017-07-07 2021-07-13 Panasonic Intellectual Propertv Management Co., Ltd. Information provision method, information processing system, information terminal, and information processing method
US11058365B2 (en) 2017-07-07 2021-07-13 Panasonic Intellectual Propertv Management Co., Ltd. Information provision method, information processing system, information terminal, and information processing method
US11058364B2 (en) 2017-07-07 2021-07-13 Panasonic Intellectual Propertv Management Co., Ltd. Information provision method, information processing system, information terminal, and information processing method
US11484235B2 (en) 2017-07-07 2022-11-01 Panasonic Intellectual Property Management Co., Ltd. Method of determining a stress time period of a person

Cited By (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007122154A (en) * 2005-10-25 2007-05-17 Kozo Nagata Solution system and solution method for supply chain
JP2008119198A (en) * 2006-11-10 2008-05-29 Tokai Rika Co Ltd Advice device for improving situation
JP2009187117A (en) * 2008-02-04 2009-08-20 Sony Corp Information processor and information processing method
GB2478034B (en) * 2010-02-18 2015-09-16 Bank Of America System for inducing change in a human physiological characteristic
GB2478036B (en) * 2010-02-18 2015-06-10 Bank Of America Systems for inducing change in a human physiological characteristic
US9138186B2 (en) 2010-02-18 2015-09-22 Bank Of America Corporation Systems for inducing change in a performance characteristic
GB2478034A (en) * 2010-02-18 2011-08-24 Bank Of America Systems for inducing change in a human physiological characteristic representative of an emotional state
GB2478036A (en) * 2010-02-18 2011-08-24 Bank Of America Systems for inducing change in a human physiological characteristic representative of an emotional state
US8715179B2 (en) 2010-02-18 2014-05-06 Bank Of America Corporation Call center quality management tool
US8715178B2 (en) 2010-02-18 2014-05-06 Bank Of America Corporation Wearable badge with sensor
GB2478035B (en) * 2010-02-18 2015-09-16 Bank Of America Systems for inducing change in a human physiological characteristic
GB2478035A (en) * 2010-02-18 2011-08-24 Bank Of America Systems for inducing change in a human physiological characteristic representative of an emotional state
JP5632100B2 (en) * 2011-11-24 2014-11-26 株式会社Nttドコモ Facial expression output device and facial expression output method
JPWO2013077076A1 (en) * 2011-11-24 2015-04-27 株式会社Nttドコモ Facial expression output device and facial expression output method
JP2013120468A (en) * 2011-12-07 2013-06-17 Nikon Corp Electronic device, information processing method, and program
ITUD20120024A1 (en) * 2012-02-15 2013-08-16 Qbell Technology S P A EMOTIONAL VISUAL ELECTRONIC DEVICE
JP2015515292A (en) * 2012-03-07 2015-05-28 ニューロスキー・インコーポレーテッドNeurosky Incorporated Modular user replaceable accessory for biosignal controlled mechanism
WO2014129212A1 (en) * 2013-02-22 2014-08-28 ソニー株式会社 Image display device, image display method, storage medium, and monitoring system
CN105009197A (en) * 2013-02-22 2015-10-28 索尼公司 Image display device, image display method, storage medium, and monitoring system
JPWO2014129212A1 (en) * 2013-02-22 2017-02-02 ソニー株式会社 Image display device, image display method, storage medium, and monitoring system
US9870726B2 (en) 2013-02-22 2018-01-16 Sony Corporation Image display apparatus, image display method, storage medium, and monitoring system
JP2018116730A (en) * 2013-10-14 2018-07-26 ノキア テクノロジーズ オサケユイチア Deviational plane wrist input
CN105814511B (en) * 2013-10-14 2020-01-31 诺基亚技术有限公司 Offset plane wrist input device, method and computer readable medium
CN105814511A (en) * 2013-10-14 2016-07-27 诺基亚技术有限公司 Deviational plane wrist input
JP2016537710A (en) * 2013-10-14 2016-12-01 ノキア テクノロジーズ オサケユイチア Deviation plane wrist input
JPWO2016113968A1 (en) * 2015-01-14 2017-10-19 ソニー株式会社 Navigation system, client terminal device, control method, and storage medium
WO2016113968A1 (en) * 2015-01-14 2016-07-21 ソニー株式会社 Navigation system, client terminal device, control method, and storage medium
JP2020095045A (en) * 2015-01-14 2020-06-18 ソニー株式会社 Navigation system, client terminal device, control method, storage medium, and program
US10408629B2 (en) 2015-01-14 2019-09-10 Sony Corporation Navigation system, client terminal device, control method, and storage medium
JP6992870B2 (en) 2015-05-07 2022-01-13 ソニーグループ株式会社 Information processing systems, control methods, and programs
JP2021044001A (en) * 2015-05-07 2021-03-18 ソニー株式会社 Information processing system, control method, and program
JP7041763B2 (en) 2016-07-21 2022-03-24 マジック リープ, インコーポレイテッド Technology for controlling a virtual image generation system using the user's emotional state
JP2021089757A (en) * 2016-07-21 2021-06-10 マジック リープ, インコーポレイテッドMagic Leap,Inc. Technique for controlling virtual image generation system using emotional states of user
WO2019008980A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
WO2019008996A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
US11484235B2 (en) 2017-07-07 2022-11-01 Panasonic Intellectual Property Management Co., Ltd. Method of determining a stress time period of a person
WO2019008978A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
WO2019008982A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
KR20200024759A (en) 2017-07-07 2020-03-09 파나소닉 아이피 매니지먼트 가부시키가이샤 Information providing method, information processing system, information terminal, and information processing method
KR20200024760A (en) 2017-07-07 2020-03-09 파나소닉 아이피 매니지먼트 가부시키가이샤 Information providing method, information processing system, information terminal, and information processing method
KR20200024746A (en) 2017-07-07 2020-03-09 파나소닉 아이피 매니지먼트 가부시키가이샤 Information providing method, information processing system, information terminal, and information processing method
KR20200024748A (en) 2017-07-07 2020-03-09 파나소닉 아이피 매니지먼트 가부시키가이샤 Information providing method, information processing system, information terminal, and information processing method
KR20200024756A (en) 2017-07-07 2020-03-09 파나소닉 아이피 매니지먼트 가부시키가이샤 Information providing method, information processing system, information terminal, and information processing method
KR20200024755A (en) 2017-07-07 2020-03-09 파나소닉 아이피 매니지먼트 가부시키가이샤 Information providing method, information processing system, information terminal, and information processing method
KR20200024743A (en) 2017-07-07 2020-03-09 파나소닉 아이피 매니지먼트 가부시키가이샤 Information providing method, information processing system, information terminal, and information processing method
KR20200026794A (en) 2017-07-07 2020-03-11 파나소닉 아이피 매니지먼트 가부시키가이샤 Information providing method, information processing system, information terminal, and information processing method
WO2019008969A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
US10905367B2 (en) 2017-07-07 2021-02-02 Panasonic Intellectual Property Management Co., Ltd. Information provision method, information processing system, information terminal, and information processing method
WO2019008977A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
WO2019008979A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
US10973450B2 (en) 2017-07-07 2021-04-13 Panasonic Intellectual Property Management Co., Ltd. Information provision method, information processing system, information terminal, and information processing method
WO2019008976A1 (en) 2017-07-07 2019-01-10 パナソニックIpマネジメント株式会社 Information provision method, information processing system, information terminal, and information processing method
US11058362B2 (en) 2017-07-07 2021-07-13 Panasonic Intellectual Propertv Management Co., Ltd. Information provision method, information processing system, information terminal, and information processing method
US11058365B2 (en) 2017-07-07 2021-07-13 Panasonic Intellectual Propertv Management Co., Ltd. Information provision method, information processing system, information terminal, and information processing method
US11058364B2 (en) 2017-07-07 2021-07-13 Panasonic Intellectual Propertv Management Co., Ltd. Information provision method, information processing system, information terminal, and information processing method
US11090009B2 (en) 2017-07-07 2021-08-17 Panasonic Intellectual Property Management Co., Ltd. Information providing method, information processing system, information terminal, and information processing method
US11114201B2 (en) 2017-07-07 2021-09-07 Panasonic Intellectual Property Management Co., Ltd. Information provision method, information processing system, information terminal, and information processing method
US11114202B2 (en) 2017-07-07 2021-09-07 Panasonic Intellectual Propertv Management Co., Ltd. Information provision method, information processing system, information terminal, and information processing method
JP6301547B1 (en) * 2017-11-16 2018-03-28 朝美 鈴木 Tension-type headache prediction system
JP2019088671A (en) * 2017-11-16 2019-06-13 朝美 鈴木 Tension-type headache prediction system
JP2021035499A (en) * 2020-10-14 2021-03-04 株式会社東芝 Eyewear, data collection system and data collection method

Also Published As

Publication number Publication date
JP4389512B2 (en) 2009-12-24

Similar Documents

Publication Publication Date Title
JP4389512B2 (en) Watch-type conversation assistance device, conversation assistance system, glasses-type conversation assistance device, and conversation assistance device
US11504067B2 (en) Biometric, physiological or environmental monitoring using a closed chamber
US20210174778A1 (en) Biometric, physiological or environmental monitoring using a closed chamber
Pham et al. Delivering home healthcare through a cloud-based smart home environment (CoSHE)
Angelov et al. Healthcare sensing and monitoring
Rodgers et al. Recent advances in wearable sensors for health monitoring
US9814425B2 (en) Health monitoring appliance
AU2014225626B2 (en) Form factors for the multi-modal physiological assessment of brain health
US20180220905A1 (en) Wearable apparatus for multiple types of physiological and/or environmental monitoring
US8968195B2 (en) Health monitoring appliance
US8647268B2 (en) Patient monitoring apparatus
US8108036B2 (en) Mesh network stroke monitoring appliance
JP6803299B2 (en) System and method
Li et al. Recent progress of skin-integrated electronics for intelligent sensing
Sun et al. A review of recent advances in vital signals monitoring of sports and health via flexible wearable sensors
Uniyal et al. Pervasive healthcare-a comprehensive survey of tools and techniques
Bansal Real-Time Data Acquisition in Human Physiology: Real-Time Acquisition, Processing, and Interpretation—A MATLAB-Based Approach
JP7048709B2 (en) System and method
He et al. Toward Wearable Sensors: Advances, Trends, and Challenges
Tsiourti Artificial agents as social companions: design guidelines for emotional interactions
Lin et al. Biosensors and Human Behavior Measurement
Mishra et al. Uninterrupted real‐time cerebral stress level monitoring using wearable biosensors: A review
Bächlin et al. Experiences in developing a wearable gait assistant for parkinson’s disease patients
Greene IoT development for healthy independent living
Ramasamy et al. Wearable nanosensor systems and their applications in healthcare

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060428

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090915

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090928

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4389512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees