JP2005046305A - Conversation assisting device, conversation assisting system, conversation assisting method, information transmitting device, information transmitting system, information transmitting method, controlling device, controlling system, and controlling method - Google Patents
Conversation assisting device, conversation assisting system, conversation assisting method, information transmitting device, information transmitting system, information transmitting method, controlling device, controlling system, and controlling method Download PDFInfo
- Publication number
- JP2005046305A JP2005046305A JP2003280818A JP2003280818A JP2005046305A JP 2005046305 A JP2005046305 A JP 2005046305A JP 2003280818 A JP2003280818 A JP 2003280818A JP 2003280818 A JP2003280818 A JP 2003280818A JP 2005046305 A JP2005046305 A JP 2005046305A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- information processing
- user
- conversation
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
この発明は、会話補助装置、会話補助システム、会話補助方法、情報伝達装置、情報伝達システム、情報伝達方法、制御装置、制御システムおよび制御方法に関し、例えば、人間がより適切な会話を行うのに適用して好適なものである。 The present invention relates to a conversation assistance device, a conversation assistance system, a conversation assistance method, an information transmission device, an information transmission system, an information transmission method, a control device, a control system, and a control method. It is suitable for application.
現在の情報化社会では、通信による情報の伝送やストレージによる情報の保持に関する基盤は急速に整備されてきている。その基盤の上に立って最も求められている技術は、どういった有効な情報をどのように取り込むか、また、その情報をどのように人に伝達するか、という2点にあると考えられる。 In the current information-oriented society, the infrastructure for information transmission by communication and information retention by storage has been rapidly established. The most sought-after technology based on this foundation is thought to be in two ways: what kind of effective information is captured and how that information is communicated to people. .
情報を取り込むための手段としてのセンサの重要性は年々高まってきている。現在までに多くのセンサが開発されている(非特許文献1,2)。これらは、その測定原理によって、物理センサ、化学センサ、生物センサの3つに大きく分けられる。このうち、物理センサの例としては光センサや温度センサ、化学センサの例としてはイオンセンサやガスセンサ、生物センサの例としてはグルコースセンサや免疫センサなど、非常に多岐に亘るセンサが知られている。
その中でも、感情のような、脳に由来すると考えられる人の高次機能を非侵襲で計測することができるセンサとして、機能的磁気共鳴イメージング(fMRI)や脳磁計(MEG)などが知られており、心理学などの研究現場では重要な測定装置となっている(非特許文献3)。
最近、非侵襲的でかつ携帯性のある脳の測定装置として光トポグラフィー装置が利用されてきている(非特許文献4)。この光トポグラフィー装置は頭の一部に固定することができる程度の大きさであって被験者が自由に行動を取ることができるため、書字による言語野の活性などの研究で成果を上げている。
上記のセンサは脳の働きを直接測定するものであるが、もう1つ、脳で起こった感情の結果として現れる生理反応を測定することも考えられている。実際、ストレスの影響を計る指標として、唾液中の免疫グロブリンや血液中のコルチゾールなどを化学センサで計測することが行われている(非特許文献3)。 While the above sensor directly measures the function of the brain, it is also considered to measure physiological responses that appear as a result of emotions that have occurred in the brain. Actually, immunoglobulins in saliva, cortisol in blood, and the like are measured with a chemical sensor as an index for measuring the influence of stress (Non-patent Document 3).
また、ユーザの発声音を認識する音声認識方法において、マイクから受信する音声信号をバイオ信号を用いて修正し、感情状態の変化に起因するユーザの音声の変化を補償することが知られている(特許文献1)。また、脳波、体温、脈拍、発汗、呼吸数などの生体情報検出装置を用いて利用者の生体情報を取得し、取得した生体情報に応じて合成音声を生成する音声合成装置が知られている(特許文献2)。さらに、脈拍数によりユーザの感情状態を知る技術が知られている(特許文献3)。
なお、リズムの揺らぎがリズムの周波数の逆数程度である場合に安静効果が大きいという研究もある(非特許文献5)。
また、精神性発汗についての解説がある(非特許文献6)。
また、歩行時に加わる圧力による発電について知られている(非特許文献7,8)。また、体温と外気温との温度差を活かした発電機が知られている(非特許文献9)。
また、マイクロ流体技術を用いたラボ・オンチップによる微量な血液採取の方法が知られている(非特許文献10)。
ところで、会話においては、言語を通じて伝わる情報以外に、感情などの変化による雰囲気や仕草の変化も同時に伝わることで、実際の情報伝達が成立していると考えられている。そのため、冷静に考えているつもりの苦言が実は感情的であることが相手に伝わってしまうことなど、話者の自覚していない感情が相手に伝わってしまったため会話の目的が破綻するということが起こってしまう。こういったコミュニケーション不全を未然に防ぐことは重要である。 By the way, in the conversation, in addition to the information transmitted through the language, it is considered that the actual information transmission is realized by simultaneously transmitting changes in the atmosphere and gestures due to changes in emotions and the like. For this reason, the purpose of the conversation breaks down because emotions that the speaker is not aware of have been transmitted to the other party, such as the fact that the complaint that you are thinking calmly is actually sent to the other party Will happen. It is important to prevent such communication failures.
しかしながら、これまで、人のコミュニケーションを円滑化する目的でセンサを使用することについては、具体的な提案はなされていない。また、この目的に用いるセンサは、話者の感情をセンシングすることができることが必要であるが、感情のセンシングが可能なセンサとして挙げた上述のfMRIやMEGはいずれも巨大な装置が必要であって、会話の場面で常に使用するために必要な携帯性に欠ける。また、脳で起こった感情の結果として現れる生理反応を測定する化学センサでは、経時的に測定を続けることは難しいと考えられる。さらに、光トポグラフィー装置は非侵襲的でかつ携帯性のあるものであるが、装着部位が頭に限られてしまう難点がある。 However, until now, no specific proposal has been made for using sensors for the purpose of facilitating human communication. In addition, the sensor used for this purpose needs to be able to sense the emotion of the speaker, but the fMRI and MEG mentioned above as sensors capable of sensing the emotion both require huge devices. Therefore, it lacks the portability required to always use it in conversation situations. In addition, it is considered difficult to continue measurement over time with chemical sensors that measure physiological responses that appear as a result of emotions that occur in the brain. Furthermore, although the optical topography device is non-invasive and portable, there is a problem that the mounting site is limited to the head.
さらに、同じく感情の結果として現れるものとして、目の動きや仕草の変化が考えられる。これらはCCDなどを用いたイメージセンサを用いて捉えることができる。しかし、この方式では、少し離れた位置からの動きの変化を捉える必要があり、そのままでは携帯性が確保できない。 Furthermore, changes in eye movements and gestures can also be considered as manifestations of emotions. These can be captured using an image sensor using a CCD or the like. However, with this method, it is necessary to capture a change in movement from a slightly distant position, and portability cannot be secured as it is.
従って、この発明が解決しようとする課題は、使用者による他者との会話を円滑に行うことができ、しかも携帯性に優れた会話補助装置、会話補助システムおよび会話補助方法を提供することにある。
この発明が解決しようとする他の課題は、人間や犬、猫などの動物を含む各種の生物とのコミュニケーションを円滑に行うことができ、しかも携帯性に優れた情報伝達装置、情報伝達システムおよび情報伝達方法を提供することにある。
この発明が解決しようとする他の課題は、人間や犬、猫などの動物を含む各種の生物を制御することができる制御装置、制御システムおよび制御方法を提供することにある。
Therefore, the problem to be solved by the present invention is to provide a conversation assistance device, a conversation assistance system, and a conversation assistance method that enable a user to smoothly perform a conversation with another person and that are excellent in portability. is there.
Another problem to be solved by the present invention is that an information transmission device, an information transmission system, and an information transmission device that can smoothly communicate with various living organisms including animals such as humans, dogs, and cats and that are excellent in portability. It is to provide an information transmission method.
Another problem to be solved by the present invention is to provide a control device, a control system, and a control method that can control various organisms including animals such as humans, dogs, and cats.
上記課題を解決するために、この発明の第1の発明は、
使用者の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果を出力する出力手段とを有する
ことを特徴とする会話補助装置である。
In order to solve the above problems, the first invention of the present invention is:
One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
It is a conversation assistance device characterized by having an output means for outputting a result of information processing.
この発明の第2の発明は、
使用者の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果を出力する出力手段とを有する
ことを特徴とする会話補助システムである。
The second invention of this invention is:
One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
It is a conversation assistance system characterized by having an output means for outputting a result of information processing.
この発明の第3の発明は、
使用者の生体情報を1つまたは複数のセンサにより検出するステップと、
センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
情報処理の結果を出力するステップとを有する
ことを特徴とする会話補助方法である。
The third invention of the present invention is:
Detecting the user's biometric information with one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of outputting a result of information processing.
第1〜第3の発明においては、典型的には、出力手段の出力に基づいて使用者が自身の状態を制御することを補助する。生体情報は使用者が他者との会話を円滑に進めるために重要な生体情報であり、典型的には感情情報である。ここで、感情とは、精神の働きを知・情・意に分けたときの情的過程全般を指し、情動・気分・情操などが含まれるが、ここではストレスも含まれるものとする。感情は、例えば各種の外部刺激(例えば、視聴覚刺激)によって変化するが、その際に内分泌系・外分泌系による分泌量の変化を伴うため、その分泌量の変化から感情の変化を測定することが可能である。使用者の生体情報を検出するセンサは、使用者の感情を常時かつ経時的に測定するために、好適には、使用者が携帯可能であり、連続的に測定可能な1つまたは複数のセンサ(1つのセンサまたはセンサ群)である。好適には、会話補助装置全体を使用者が携帯可能とする。典型的な1つの例では、センサの1つとして、使用者の皮膚表面からの分泌物(例えば、汗など)を計測するセンサを用いる。この分泌物を計測するセンサとしては、好適には、表面プラズモン共鳴(Surface-Plasmon Resonance:SPR)型化学センサが用いられる。センサの1つとして、使用者の脳の血流を計測するセンサを用いてもよい。この血流を計測するセンサは好適には、非侵襲光トポグラフィー型センサである。出力手段は、好適には、測定した感情を使用者に伝える際に目的となる会話を妨げない1つまたは複数の効果器(エフェクタ)(1つの効果器または効果器群)である。効果器の1つとして、上記のセンサにより測定した感情を文字情報や振動情報などにより使用者に伝達する装置を用いることができる。センサにより測定した感情の制御を補助する効果器または効果器群を用いてもよい。このような効果器の1つとして、興奮状態を静めるために使用者の皮膚の表面にリズムを持った刺激を与える装置や、安心感を与えるために手を握り合った感触を再現するために柔らかい素材を使用した適度な大きさの装置を用いることができる。 In the first to third inventions, typically, the user is assisted in controlling his / her state based on the output of the output means. The biometric information is biometric information important for the user to smoothly communicate with others, and is typically emotion information. Here, emotion refers to the entire emotional process when the work of the spirit is divided into knowledge, emotion, and will, and includes emotions, moods, and emotions. Here, stress is also included. Emotion changes with, for example, various external stimuli (for example, audio-visual stimuli). At that time, changes in secretions due to the endocrine and exocrine systems are accompanied. Is possible. The sensor for detecting the biological information of the user is preferably one or a plurality of sensors that can be carried by the user continuously and can be continuously measured in order to constantly measure the user's emotions over time. (One sensor or sensor group). Preferably, the user can carry the entire conversation assistance device. In one typical example, a sensor that measures secretions (for example, sweat) from a user's skin surface is used as one of the sensors. As a sensor for measuring the secretion, a surface-plasmon resonance (SPR) chemical sensor is preferably used. As one of the sensors, a sensor that measures blood flow in the user's brain may be used. The sensor for measuring the blood flow is preferably a non-invasive optical topography type sensor. The output means is preferably one or more effectors (a single effector or a group of effectors) that do not interfere with the intended conversation when the measured emotion is conveyed to the user. As one of the effectors, a device that transmits the emotion measured by the above sensor to the user by text information or vibration information can be used. You may use the effector or effector group which assists control of the emotion measured by the sensor. One such effector is a device that gives a rhythmic stimulus to the surface of the user's skin to calm the arousal state, or to reproduce the feeling of holding hands to give a sense of security. A moderately sized device using a soft material can be used.
会話を円滑に進めるためには多くの条件が必要となる。例として、話す内容に適した環境、万全の体調、相応しい服装、話の構成、聞きやすい発声、心の安定を表す仕草、誠実な雰囲気などが考えられる。環境や体調など、話者の意思で変更できる部分が少ない要素もあれば、構成や発声など話者の意思により比較的変更し易い要素もある。中でも仕草・雰囲気・発声などは、感情をうまく制御することで良い状態に変化させることが可能であるといえる。そこで、この会話補助装置では、例えば、話者の感情を測定し、それを話者に伝えて顕在化させることで、話者が自身の感情を制御し、会話を円滑化する。このような会話補助装置は、例えば、使用者(話者)の生体情報を測定する1つまたは複数のセンサと、このセンサにより測定される生体情報に基づいて所定の情報処理を行う情報処理部と、この情報処理の結果を出力し、感情の状態を使用者に伝達する1つまたは複数の効果器とから構成される。 A number of conditions are necessary to facilitate the conversation. Examples include an environment suitable for the content being spoken, perfect physical condition, appropriate clothing, composition of the story, easy-to-listen utterance, gestures that express stability, and a sincere atmosphere. Some elements, such as the environment and physical condition, can be changed by the speaker's intention, while others are relatively easy to change depending on the speaker's intention, such as composition and utterance. Above all, it can be said that gestures, atmosphere, vocalization, etc. can be changed to good condition by controlling emotions well. Thus, in this conversation assisting device, for example, the emotion of the speaker is measured, and the emotion is conveyed to the speaker to make it appear, whereby the speaker controls his / her emotion and smoothes the conversation. Such a conversation assistance device includes, for example, one or a plurality of sensors that measure biological information of a user (speaker) and an information processing unit that performs predetermined information processing based on the biological information measured by the sensors. And one or a plurality of effectors for outputting the result of this information processing and transmitting the emotional state to the user.
ここで、センサとしては、感情を司ると考えられる脳の状態を測定する方式と、感情の結果の生理的・身体的変化を捉えるものとが考えられる。前者としては、fMRI、MEG、光トポグラフィーなどがある。また、後者としては、イメージセンサや分泌物の変化を捉える化学センサ、更には脳以外の部分の血流センサや脈拍センサなどが考えられる。「会話」という経時的な変化を常時捉える必要があることを考慮すると、好適には、携帯性があり連続測定が可能であるセンサ群(例えば、光トポグラフィー型センサ、皮膚表面の分泌物を捕らえる化学センサ、もしくはそれらの組み合わせなど)を採用する。光トポグラフィー型センサは、帽子など頭部に自然に接するものに組み込むことを想定する。分泌型センサは、腕時計や指輪、手で握る効果器に組み込むことを想定する。この装置により、使用者の感情の時間的な変化を、測定されるストレスなく自然に正確に逐一捉えることができる。 Here, as a sensor, a method of measuring the state of the brain that is thought to govern emotions and a sensor that captures physiological and physical changes in the results of emotions are considered. Examples of the former include fMRI, MEG, and optical topography. Further, as the latter, an image sensor, a chemical sensor that captures changes in secretions, a blood flow sensor other than the brain, a pulse sensor, and the like can be considered. Considering that it is necessary to constantly monitor the change over time of “conversation”, it is preferable to use a group of sensors that are portable and capable of continuous measurement (for example, optical topography sensors, secretions on the skin surface). Use chemical sensors to capture, or a combination of them. It is assumed that the optical topography type sensor is incorporated in a thing that naturally touches the head such as a hat. It is assumed that the secretory sensor is incorporated in a wristwatch, a ring, or an effector held by a hand. With this device, changes in the user's emotion over time can be captured naturally and accurately without any stress being measured.
上記の感情情報を用いた効果器としては、他者との会話を円滑に進めるという目的を考慮したものである必要がある。すなわち、例えば音声による情報伝達では、会話が妨げられるだけでなく、会話の相手に自分の伝えたくない感情が結局伝わってしまうという危険性もある。そこで、例えば、怒りを中心とした、会話を円滑に進める上で問題となる可能性の高い感情を測定した場合に、振動や圧力などの外から見えない手法により使用者に伝達する。また、より詳細な感情情報が必要なときに限って、文字情報でそれを伝達するようにすることもできる。ただし、その文字情報が相手に伝わらないようにすることが必要であり、例えば腕時計型のディスプレイを使用することが考えられる。これらにより、自らの感情を顕在化し知ることができ、感情を抑制することも容易になる。 The effector using the emotion information described above needs to take into consideration the purpose of smoothly promoting conversation with others. That is, for example, in voice information transmission, not only is conversation hampered, but there is also a risk that emotions that the user does not want to convey are eventually transmitted to the conversation partner. Therefore, for example, when an emotion that is likely to be a problem in smoothly proceeding with a conversation such as anger is measured, it is transmitted to the user by a technique that is not visible from the outside, such as vibration or pressure. Also, it is possible to transmit text information only when more detailed emotion information is required. However, it is necessary to prevent the character information from being transmitted to the other party. For example, it is conceivable to use a wristwatch type display. These make it possible to reveal and know one's own emotions and to easily suppress the emotions.
ここでは更に、感情の制御を補助するための効果器も考える。ここで制御すべき状態は怒りなどの興奮状態や不安感である。興奮を静めるためには、あるリズムで手などに振動を与える効果器を用いる。特に、リズムの揺らぎがリズムの周波数の逆数程度である場合に安静効果が大きいという研究もある(非特許文献5)。また、不安感を解消するためには、手を握り合った状態を再現するような適度な大きさ・柔らかさをもった効果器を用いる。これはまた、上記の感情情報のセンサおよび効果器と共通化することで、感情のような実体のない情報に実在感を与えて伝達することができるという効果も期待される。 Here, an effector for assisting emotion control is also considered. The states to be controlled here are excited states such as anger and anxiety. To calm the excitement, an effector that vibrates the hand with a certain rhythm is used. In particular, there is a study that the resting effect is large when the fluctuation of the rhythm is about the reciprocal of the frequency of the rhythm (Non-Patent Document 5). In addition, in order to eliminate anxiety, an effector having an appropriate size and softness that reproduces the state of holding hands is used. This is also expected to have an effect of giving a sense of reality to intangible information such as emotion by sharing it with the sensor and effector for emotion information described above.
感情の測定には、好適には、感情の変化に伴って生体から分泌される分泌物などの対象物が検出部に結合したときのこの検出部の性質の変化を測定することにより感情の変化を検出するセンサであって、検出部の空間的構造を用いて、対象物の存在・非存在または分布の情報を含む複数の情報を抽出するものを用いることもできる。この検出部の空間的構造は、典型的には、検出部の幾何学的構造である。この幾何学的構造は、例えば、結合部位の配置、形状、それらの統計的分布(例えば、結合部位を一定の形状で規則格子状に配置しようとする場合におけるその格子点からの位置ずれや形状の分布)などである。対象物と検出部との結合に関与する結合力としては、例えばファン・デル・ワールス力、静電引力(クーロン力)、水素結合などが挙げられ、これらの1つまたは2つ以上が結合に関与する。典型的には、検出部は複数の結合部位を有し、これらの結合部位に複数の対象物がそれぞれ選択的に結合する。これらの結合部位は対象物に応じて適切に配置されるが、その配置は周期的であっても非周期的であってもよく、周期的部分と非周期的部分とが混在してもよい。あるいは、配列情報を指定せずに、結合部位の存在分布の情報を与えるようにしてもよい。これらの結合部位は典型的には複数の対象物のサイズに合わせて配置され、これらの対象物のサイズの違いを利用して立体障害を作り出したりすることでこれらの対象物の存在量の時間的変化を検出する。これらの対象物のサイズの違いが小さく、結合部位の配置のみでは対象物の存在量の時間的変化の検出が困難であるような場合には、例えば検出部の検出面に段差を設け、この段差を利用して立体障害を作り出すことで対象物の存在量の時間的変化を検出するようにしてもよい。あるいは、1種の結合部位を金属微粒子上に作製することで立体障害を作り出すことも可能である。情報の抽出は、一般には、対象物の検出部への結合によるこの検出部の物理的性質または構造の変化を測定することにより行われる。ここで、物理的性質としては、測定を容易に行うことができる観点より、検出部の誘電率や重量が好適に用いられる。また、構造は例えばタンパク質などの分子のコンフォメーションであり、このコンフォメーション変化によって立体障害などが起こる。 For the measurement of emotion, preferably, the change in emotion is measured by measuring the change in the property of this detection unit when an object such as a secretion secreted from a living body is coupled to the detection unit along with the change in emotion It is also possible to use a sensor that detects a plurality of pieces of information including information on the presence / absence or distribution of an object using the spatial structure of the detection unit. The spatial structure of the detector is typically the geometric structure of the detector. This geometric structure includes, for example, the arrangement and shape of binding sites, and their statistical distribution (for example, when the binding sites are arranged in a regular grid pattern with a certain shape, the displacement and shape from the grid points) Distribution). Examples of the coupling force involved in the coupling between the object and the detection unit include van der Waals force, electrostatic attraction (Coulomb force), hydrogen bonding, and the like. concern. Typically, the detection unit has a plurality of binding sites, and a plurality of objects are selectively bound to these binding sites. These binding sites are appropriately arranged according to the object, but the arrangement may be periodic or aperiodic, and a periodic part and an aperiodic part may be mixed. . Or you may make it give the information of presence distribution of a binding site, without designating sequence information. These binding sites are typically arranged according to the size of multiple objects, and the abundance time of these objects is created by creating steric hindrance using the difference in size of these objects. Change is detected. When the difference in size of these objects is small and it is difficult to detect temporal changes in the amount of the object existing only by the arrangement of the binding sites, for example, a step is provided on the detection surface of the detection unit. You may make it detect the temporal change of the abundance of a target object by producing a three-dimensional obstacle using a level | step difference. Alternatively, it is also possible to create steric hindrance by creating one type of binding site on the metal fine particles. Information extraction is generally performed by measuring changes in the physical properties or structure of the detection part due to the binding of the object to the detection part. Here, as a physical property, the dielectric constant and weight of a detection part are used suitably from a viewpoint which can perform a measurement easily. In addition, the structure is a conformation of a molecule such as a protein, and steric hindrance or the like occurs due to this conformational change.
結合部位は、対象物に応じて適切なものが用いられる。例えば、対象物が免疫グロブリンの場合は結合部位として抗原を用いることができる。すなわち、対象物と結合部位とが抗体と対応する抗原との組み合わせの関係を有するようにし、抗原抗体反応により抗原と抗体とが結合することを利用する。対象物がタンパク質の場合、結合部位としては、適切なリンカーが結合した金属微粒子を用いることもできる。また、対象物が一般の分子の場合も、分子刷り込みの手法を用いることで特異的に結合可能な高分子を作製し、結合部位として用いることができる(非特許文献11)。 An appropriate binding site is used depending on the object. For example, when the object is an immunoglobulin, an antigen can be used as the binding site. That is, the object and the binding site have a relationship of a combination of the antibody and the corresponding antigen, and the fact that the antigen and the antibody are bound by the antigen-antibody reaction is utilized. When the object is a protein, metal fine particles to which an appropriate linker is bound can also be used as the binding site. In addition, even when the object is a general molecule, a polymer that can be specifically bound can be produced by using a molecular imprinting method and used as a binding site (Non-patent Document 11).
上記の対象物の結合による検出部の誘電率の変化は、表面プラズモン共鳴(SPR)の原理を用いて簡便に行うことができる。この表面プラズモン共鳴を用いたセンサ(SPRセンサ)は、こういった系の変化を敏感に計測することのできるセンサである。このSPRセンサの一例は、結合部位、基板、プリズムの三層からなる構造を持ち、対象物の結合による入射光の全反射臨界角の変化によって対象物の結合を測定する。この場合、対象物の結合による誘電率の変化が全反射臨界角の変化に寄与する。より詳細には次のとおりである。すなわち、屈折率の高いプリズム部と低い基板部との界面では、ある臨界角で入射光は全反射する。その際に、その界面に全反射の臨界角に応じたエバネッセント光が出現し、それが基板の伝導電子の疎密波である表面プラズモンと適切に結合した場合に表面プラズモン共鳴が起こる。結合部位に対象物が結合した場合には、エバネッセント光の届く範囲の有効な屈折率の変化に伴い表面プラズモンが変化し、表面プラズモン共鳴を起こす臨界角が変化する。これによって、対象物が検出部に結合することによる系の誘電率の変化を検出することができる。 The change in the dielectric constant of the detection unit due to the combination of the objects can be easily performed using the principle of surface plasmon resonance (SPR). This sensor using surface plasmon resonance (SPR sensor) is a sensor capable of sensitively measuring such changes in the system. An example of this SPR sensor has a structure composed of three layers of a binding site, a substrate, and a prism, and measures the binding of an object by a change in the total reflection critical angle of incident light due to the binding of the object. In this case, the change in dielectric constant due to the coupling of the objects contributes to the change in the total reflection critical angle. More details are as follows. That is, incident light is totally reflected at a certain critical angle at the interface between the prism portion having a high refractive index and the substrate portion having a low refractive index. At that time, evanescent light corresponding to the critical angle of total reflection appears at the interface, and surface plasmon resonance occurs when it is appropriately coupled with surface plasmons, which are dense waves of conduction electrons of the substrate. When an object binds to the binding site, the surface plasmon changes with a change in the effective refractive index in the range where the evanescent light reaches, and the critical angle causing surface plasmon resonance changes. This makes it possible to detect a change in the dielectric constant of the system due to the object being coupled to the detection unit.
また、対象物の結合による検出部の重量の変化は、発振回路と周波数測定装置とを用いて簡便に行うことができる。より具体的には、対象物が検出部に結合したときの検出部の重量変化を、基板に一定の振動を与え続けた際の振動数変化で測定する発振型センサを用いることができる。これは、結合の前後での系の誘電率の変化がそれほど大きくないときなどに有効な手法である。 Further, the change in the weight of the detection unit due to the combination of the objects can be easily performed using an oscillation circuit and a frequency measurement device. More specifically, it is possible to use an oscillation type sensor that measures a change in the weight of the detection unit when an object is coupled to the detection unit by a change in the frequency when a constant vibration is continuously applied to the substrate. This is an effective technique when the change in the dielectric constant of the system before and after the coupling is not so large.
掌や足の裏からの精神性発汗を利用して感情を測定することができる。精神性発汗は、掌・足の裏のエクリン腺およびアポクリン腺から行われる。全身の皮膚に存在するエクリン腺の中で、感情の変化などに応じた精神性発汗を担うものは、その多くが掌と足の裏に存在することが知られている(非特許文献6)。図1にエクリン腺およびアポクリン腺の構造を示す(非特許文献6のp.41の図2−1)。発汗成分にはイオン、有機化合物、タンパク質などがある。このうちイオンには、ナトリウム(30〜120mM/l)、塩素(10〜100mM/l)、カリウム(5〜35mM/l)、カルシウム(0.5〜10mM/l)、重炭酸(0〜>30mM/l)などのほか、微量のマグネシウム、マンガン、亜鉛、銅、鉛、銀、金、カドミウム、コバルトなどもある。有機化合物には、アンモニア(2〜8mM/l)、尿素(12〜27mM/l)、乳酸(8〜40mM/l)などのほか、微量のブドウ糖、ピルビン酸などがある。タンパク質には、微量のアルブミン、αグロブリン、γグロブリン、糖タンパク質、ペプチドタンパク質分解酵素(カリクレイン)などがある。以上のデータはエクリン腺からの発汗成分である(非特許文献6の第3章、p.64〜86)。アポクリン腺からの発汗成分は、タンパク質成分が多く、また、蛍光物質や色素成分も含有している。イオンセンサや免疫センサなどを用いることで汗の成分分布の変化を捉えることができる。
Emotions can be measured using mental sweating from palms and soles. Mental sweating occurs from the eccrine and apocrine glands on the palms and soles. Among the eccrine glands present in the whole body skin, it is known that most of the eccrine glands responsible for mental sweating according to emotional changes are present on the palms and soles of the feet (Non-patent Document 6). . Fig. 1 shows the structures of the eccrine and apocrine glands (Fig. 2-1 on
上記の精神性発汗を利用した感情の測定方法の一例として、足の裏からの精神性発汗を利用することを考える。測定した感情を使用者に伝える場合には、会話を妨げず、かつ、会話の相手に気付かれない方法を用いる必要がある。そのためには、簡単な注意は振動装置で、また、具体的な指示などを与える必要がある場合は文字情報で伝達することを考える。ただし、文字情報を伝える装置は靴に装着しては読むことができないので、例えば腕時計型装置などの別の装置と通信を行う必要が生じる。常時測定を行うためには常時通信を行うことが必要となり、その電力が問題となる。結果を表示するときだけ測定を行えば良い状況であったなら、電磁誘導などを用いた近接場通信でセンサに電力を与えることは可能であるが、常時測定を行うためには別の手段を用いることが望ましい。この場合、例えば、靴に発電機を埋め込み、歩行時の圧力により発電を行うことができる(非特許文献7,8)。また、体温と外気温との温度差を活かした発電機を利用することもできる(非特許文献9)。 As an example of the above emotional measurement method using mental sweating, consider using mental sweating from the sole of the foot. In order to convey the measured emotion to the user, it is necessary to use a method that does not disturb the conversation and is not noticed by the conversation partner. For that purpose, it is considered that simple attention is transmitted by a vibration device, and when it is necessary to give a specific instruction or the like, it is transmitted by character information. However, since a device that conveys character information cannot be read when worn on a shoe, it is necessary to communicate with another device such as a wristwatch-type device. In order to perform continuous measurement, it is necessary to perform continuous communication, and its power becomes a problem. If it is only necessary to make a measurement only when displaying the result, it is possible to supply power to the sensor through near-field communication using electromagnetic induction or the like. It is desirable to use it. In this case, for example, an electric generator can be embedded in the shoe, and electric power can be generated by pressure during walking (Non-Patent Documents 7 and 8). Moreover, the generator which utilized the temperature difference of body temperature and external temperature can also be utilized (nonpatent literature 9).
無痛針とラボ・オンチップとを用いて血中物質を計測することで感情を測定することもできる。ストレスなどの感情に関係する事柄による内分泌系・免疫系の変化は、唾液や尿と比べて血液中でより直接的に現れることが知られている(非特許文献3)。
内分泌系指標としては、唾液がコルチゾール1種類であるのに比べて、副腎皮質刺激ホルモン(ACTH)、コルチゾール、カテコールアミンなど多数のものが知られている。また、免疫指標としては、唾液では分泌型免疫グロブリンA、尿ではインターロイキン6のそれぞれ1種類のみが知られているのに対して、血液では白血球数、リンパ球数、ナチュラルキラー活性、免疫グロブリンなど多数のものが知られている。特に、血液中では、ACTHからコルチゾールへの流れや、白血球からリンパ球・免疫グロブリンへの流れなど、神経系に近いところから末端までの対象物の分布の時間的変化を測定することが可能となる。
Emotion can also be measured by measuring blood substances using a painless needle and a lab-on-chip. It is known that changes in the endocrine system and immune system due to matters related to emotions such as stress appear more directly in blood than saliva and urine (Non-patent Document 3).
As an endocrine system index, many things such as adrenocorticotropic hormone (ACTH), cortisol, catecholamine are known, compared to saliva having one kind of cortisol. As the immune index, only one type of secretory immunoglobulin A is known in saliva and interleukin 6 is known in urine, whereas in blood, white blood cell count, lymphocyte count, natural killer activity, immunoglobulin Many things are known. In particular, in blood, it is possible to measure temporal changes in the distribution of objects from the vicinity of the nervous system to the terminal, such as the flow from ACTH to cortisol and the flow from white blood cells to lymphocytes and immunoglobulins. Become.
問題は、通常の採血では使用者にかかる負担が大きすぎるということである。これに関しては、無痛針により採血時の痛みをなくすことと、マイクロ流体技術を用いたラボ・オンチップにより微量な血液採取で測定することにより、負荷を大幅に軽減することができる(非特許文献10)。これにより、感情を測る指標となる物質が豊富な血液を、使用者に多大な負荷を与えることなく常時計測することが可能となる。このセンサシステムは、例えば、腕時計に埋め込んで用いることなどが考えられる。そうすることで、測定した感情を使用者に伝達するための振動装置や表示装置も一体として組み込むことができる。 The problem is that the burden on the user is too great with normal blood collection. In this regard, the pain can be greatly reduced by eliminating pain during blood collection using a painless needle and measuring with a small amount of blood collected using a lab-on-chip using microfluidic technology (Non-Patent Document). 10). This makes it possible to always measure blood rich in substances serving as an index for measuring emotions without imposing a great load on the user. For example, the sensor system can be used by being embedded in a wristwatch. By doing so, a vibration device and a display device for transmitting the measured emotion to the user can also be integrated.
感情は、使用者の顔の表情や目の動きを捉えることにより測定することもできる。すなわち、感情を測定する指標としては、顔の表情や目の動きを捉えることも良く行われている。特に、眼球運動・瞬目は重要な指標として感情との関係が活発に研究されている(非特許文献4)。眼球運動と瞬目の測定では、大きく分けて、光学的な方法と電気的な方法とが存在する。光学的な方法としては、眼球運動ではアイカメラや赤外線を用いた光電子法があり、瞬目では小型カメラによる撮影がある。また、電気的な方法としては、眼電図(EOG)法がある。EOG法では、目を閉じた状態であっても、眼球運動や瞬目の測定が可能であるという利点がある。 Emotions can also be measured by capturing facial expressions and eye movements of the user. That is, as an index for measuring emotion, it is often performed to capture facial expressions and eye movements. In particular, eye movements and blinks are actively studied as an important index and the relationship with emotions (Non-Patent Document 4). In the measurement of eye movements and blinks, there are roughly divided optical methods and electrical methods. As an optical method, there are an eye camera and an optoelectronic method using infrared rays in eye movement, and there is photographing with a small camera in blinking. An electrical method is an electrooculogram (EOG) method. The EOG method has an advantage that it is possible to measure eye movements and blinks even when the eyes are closed.
上記のように使用者の顔の表情や目の動きを捉えることにより感情を測定する場合、携帯性があり、使用者に負荷をかけないセンシング方法として、眼鏡にセンサを埋め込むことが望ましい。例えば、眼鏡のレンズに近いフレーム部にカメラを埋め込むことで、瞬目を測定するとともに顔の表情も捉えることができる。また、アイカメラを眼鏡のレンズ上部のフレームに埋め込むことにより眼球運動を捉えることもできる。また、フレームのこめかみに当たる場所に電極を取り付けることで、EOG法により眼球運動・瞬目を捉えることもできる。こうして測定した感情を使用者に伝える手段としては、振動による注意喚起や文字情報による伝達が適している。そこで、振動を与える装置は眼鏡のフレームに埋め込む。また、文字情報を伝えるディスプレイは、透過型のものを用いて眼鏡のレンズの内面に映し出す。また、骨伝導を用いた音声伝達により、会話相手に知られることなく感情情報を伝えることもできる。 As described above, when emotion is measured by capturing facial expressions and eye movements of a user, it is desirable to embed a sensor in glasses as a sensing method that is portable and does not place a burden on the user. For example, by embedding a camera in a frame portion close to a lens of eyeglasses, it is possible to measure blinks and capture facial expressions. In addition, the eye movement can be captured by embedding the eye camera in the frame above the lens of the spectacles. In addition, by attaching an electrode to a place where it touches the temple of the frame, it is possible to capture eye movements and blinks by the EOG method. As means for transmitting the emotion measured in this way to the user, alerting by vibration and transmission by character information are suitable. Therefore, the device for applying vibration is embedded in the frame of the glasses. Moreover, the display which conveys character information is projected on the inner surface of the lens of the spectacles using a transmission type. In addition, it is also possible to convey emotion information without being known to the conversation partner by voice transmission using bone conduction.
この発明の第4の発明は、
使用者の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果に基づいて使用者の状態を制御する制御手段とを有する
ことを特徴とする会話補助装置である。
The fourth invention of the present invention is:
One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And a control unit that controls the state of the user based on the result of the information processing.
この発明の第5の発明は、
使用者の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果に基づいて使用者の状態を制御する制御手段とを有する
ことを特徴とする会話補助システムである。
The fifth invention of the present invention is:
One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And a control unit that controls a user's state based on a result of information processing.
この発明の第6の発明は、
使用者の生体情報を1つまたは複数のセンサにより検出するステップと、
センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
情報処理の結果に基づいて使用者の状態を制御するステップとを有する
ことを特徴とする会話補助方法である。
The sixth invention of the present invention is:
Detecting the user's biometric information with one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of controlling the state of the user based on the result of the information processing.
第4〜第6の発明において、使用者の状態を制御するとは、情報処理の結果を単に出力するのではなく、更に進んでその結果に基づいて積極的に使用者の状態を制御することを意味する。例えば、感情の測定の結果、使用者が会話の際に極度のストレス状態や激しい怒りの状態に陥っていることが分かった場合に、使用者がリラックスするような心地よい振動(一定のリズムを持った振動など(非特許文献5参照))を振動装置により使用者の体に加えたり、使用者がリラックスする香りを香り発生装置により発したりすることである。
第4〜第6の発明においては、その性質に反しない限り、第1の発明に関連して述べたことが成立する。
In the fourth to sixth aspects of the invention, controlling the user's state does not simply output the result of information processing, but means to go further and positively control the user's state based on the result. means. For example, if the measurement of emotions reveals that the user is experiencing extreme stress or intense anger during a conversation, the user can feel comfortable vibration (having a certain rhythm) Vibration (see Non-Patent Document 5)) is added to the user's body by the vibration device, or a scent is generated by the scent generating device.
In the fourth to sixth inventions, what has been described in relation to the first invention is valid as long as it is not contrary to the nature thereof.
この発明の第7の発明は、
生物の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果を出力する出力手段とを有する
ことを特徴とする情報伝達装置である。
The seventh invention of the present invention is:
One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And an output means for outputting information processing results.
この発明の第8の発明は、
生物の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果を出力する出力手段とを有する
ことを特徴とする情報伝達システムである。
The eighth invention of the present invention is:
One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
An information transmission system comprising output means for outputting information processing results.
この発明の第9の発明は、
生物の生体情報を1つまたは複数のセンサにより検出するステップと、
センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
情報処理の結果を出力するステップとを有する
ことを特徴とする情報伝達方法である。
The ninth aspect of the present invention is:
Detecting biological information of the organism by one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of outputting a result of information processing.
この発明の第10の発明は、
生物の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果に基づいて生物の状態を制御する制御手段とを有する
ことを特徴とする制御装置である。
The tenth aspect of the present invention is:
One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And a control unit that controls the state of the organism based on the result of the information processing.
この発明の第11の発明は、
生物の生体情報を検出する1つまたは複数のセンサと、
センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
情報処理の結果に基づいて生物の状態を制御する制御手段とを有する
ことを特徴とする制御システムである。
The eleventh aspect of the present invention is:
One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And a control unit that controls a state of the living organism based on the result of the information processing.
この発明の第12の発明は、
生物の生体情報を1つまたは複数のセンサにより検出するステップと、
センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
情報処理の結果に基づいて生物の状態を制御するステップとを有する
ことを特徴とする制御方法である。
The twelfth aspect of the present invention is
Detecting biological information of the organism by one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of controlling the state of the organism based on the result of the information processing.
第7〜第12の発明において、生物には、人間や、犬や猫などの動物が含まれる。
第7〜第12の発明においては、その性質に反しない限り、第1〜第6の発明に関連して述べたことが成立する。
In the seventh to twelfth inventions, organisms include humans and animals such as dogs and cats.
In the seventh to twelfth inventions, what has been described in relation to the first to sixth inventions is valid as long as it is not contrary to the nature thereof.
上述のように構成されたこの発明によれば、使用者、より一般的には生物の生体情報の検出にはSPRセンサなどの小型でしかも使用者にかかる負担が少ないセンサを使用することができ、情報処理手段としては小型のシングルチップマイクロコンピュータなどを使用することができ、出力手段としては小型のディスプレイや振動装置などを使用することができる。 According to the present invention configured as described above, it is possible to use a small sensor such as an SPR sensor and less burden on the user for detecting biological information of a user, more generally a living organism. A small single-chip microcomputer or the like can be used as the information processing means, and a small display or vibration device can be used as the output means.
この発明によれば、使用者が他者との会話を円滑に行うことができる。また、この発明による会話補助装置および会話補助システムは小型かつ軽量に構成することができ、携帯性に優れている。また、この発明による会話補助装置および会話補助システムは、常時使用しても使用者にほとんど負荷を与えないように構成することができる。
より一般的には、この発明によれば、人間や犬、猫などの動物を含む各種の生物とのコミュニケーションを円滑に行うことができる。また、この発明による情報伝達装置、情報伝達システム、制御装置および制御システムは小型かつ軽量に構成することができ、携帯性に優れている。また、この発明による情報伝達装置、情報伝達システム、制御装置および制御システムは、常時使用しても使用者にほとんど負荷を与えないように構成することができる。
According to the present invention, the user can smoothly carry out conversations with others. Moreover, the conversation assistance device and the conversation assistance system according to the present invention can be configured to be small and light, and are excellent in portability. Further, the conversation assistance device and the conversation assistance system according to the present invention can be configured so as to give little load to the user even when used constantly.
More generally, according to the present invention, it is possible to smoothly communicate with various organisms including animals such as humans, dogs, and cats. In addition, the information transmission device, information transmission system, control device, and control system according to the present invention can be configured to be small and light and have excellent portability. In addition, the information transmission device, information transmission system, control device, and control system according to the present invention can be configured so as to give little load to the user even if they are always used.
以下、この発明の実施形態について図面を参照しながら説明する。
まず、この発明の第1の実施形態による腕時計型会話補助装置について説明する。図2はこの腕時計型会話補助装置を示す。
図2に示すように、この腕時計型会話補助装置は、本体11とこの本体11に接続されたバンド12とを有する。本体11は、時刻を表示する時計13と状態表示部14とを有する。これらの時計13および状態表示部14は例えば液晶ディスプレイなどからなる。また、図示は省略するが、この本体11には、シングルチップマイクロコンピュータなどからなる情報処理部および振動装置が内蔵されている。バンド12の内側の面には、発汗センサ15、脈拍センサ16および血流センサ17が取り付けられている。これらの発汗センサ15、脈拍センサ16および血流センサ17による測定結果は電気信号として、バンド12に埋め込まれた配線(図示せず)を介して本体11内の情報処理部に送られて所定の情報処理が行われた後、その結果が状態表示部14に文字などで表示されるようになっている。なお、図2においては、発汗センサ15、脈拍センサ16および血流センサ17はそれぞれ1つ示されているが、これらの発汗センサ15、脈拍センサ16および血流センサ17の個数および配置はこれに限定されず、必要に応じて選ぶことができるものである。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, a wristwatch type conversation assisting apparatus according to a first embodiment of the present invention will be described. FIG. 2 shows this wristwatch type conversation assisting device.
As shown in FIG. 2, the wristwatch type conversation assisting device has a
図3Aおよび図3Bは、使用者がこの腕時計型会話補助装置を手首に装着した状態を示し、図3Aは平面図、図3Bは断面図である。図3Aおよび図3Bに示すように、使用者がこの腕時計型会話補助装置を手首に装着した状態において、バンド12の内側の面に取り付けられた発汗センサ15、脈拍センサ16および血流センサ17が手首の手の平に連なる側の表面に接触あるいは近接しており、これらの発汗センサ15、脈拍センサ16および血流センサ17によりそれぞれ、発汗、脈拍および血流を測定し、それによって感情の変化を測定することができるようになっている。
3A and 3B show a state in which the user wears the wristwatch type conversation assistance device on the wrist, FIG. 3A is a plan view, and FIG. 3B is a cross-sectional view. As shown in FIGS. 3A and 3B, when the user wears this wristwatch-type conversation assistance device on the wrist, the
状態表示部14には、この腕時計型会話補助装置を装着している使用者の感情を上記の発汗センサ15、脈拍センサ16および血流センサ17により測定し、その測定結果に基づいて情報処理部で処理した結果が文字などで表示される。例えば、発汗センサ15、脈拍センサ16および血流センサ17による測定の結果、使用者が怒り気味である場合は、例えば「怒り気味」と表示される。この状態表示部14には、これに加えて、使用者の状態に応じて、注意を促すメッセージが表示されるようになっている。例えば、使用者が怒り気味である場合は、「冷静な会話を」というメッセージが表示される(図3A参照)。発汗センサ15、脈拍センサ16および血流センサ17による測定結果に応じて、上記の状態表示部14における表示に代えて、または、状態表示部14における表示とともに、振動装置により振動を発生させ、これを使用者の手首に伝えることによっても使用者にその状態を伝えることができる。この場合、使用者はこの振動を感知することによって、自身が怒り気味であるなどの情報を入手することができる。
The
以上のように、この第1の実施形態によれば、使用者がこの腕時計型会話補助装置を手首に装着して他者と会話を行うことにより、使用者に負荷を与えることなく、感情を常時測定することができる。そして、会話中に好ましくない感情の変化があったとき、この腕時計型会話補助装置の表示部14に表示される内容や振動装置により手首に伝わる振動に応じて会話の仕方や内容を修正することができる。このため、他者との会話を円滑に行うことができる。また、この腕時計型会話補助装置は小型かつ軽量に構成することができ、携帯性に優れている。
As described above, according to the first embodiment, when the user wears the wristwatch type conversation assistance device on the wrist and has a conversation with the other person, the user can feel the emotion without giving a load to the user. It can be measured constantly. Then, when there is an undesired change in emotion during conversation, the manner and content of conversation are corrected according to the content displayed on the
次に、この発明の第2の実施形態による会話補助システムについて説明する。
この会話補助システムは、図4に示す靴21と図5に示す腕時計型受信表示装置31とにより構成される。
図4に示すように、靴21の内側の底面には発汗センサ22が装着され、靴21の内側の先端部には血流センサ23が装着されている。また、靴21の前方上部には振動装置24が装着され、靴21の内側の後方底部には発電装置25が装着され、靴21の後端部には無線通信装置26が装着されている。発汗センサ22および血流センサ23による計測データは電気信号として、靴21に内蔵された配線(図示せず)を通して、無線通信装置26に送られるようになっている。また、発電装置25により、発汗センサ22、血流センサ23、振動装置24および無線通信装置26に電力が供給されるようになっている。この発電装置25としては、例えば、歩行時に足により加わる圧力による発電機(非特許文献7,8)や、体温と外気温との温度差を利用した発電機(非特許文献9)を用いることができる。
Next explained is a conversation assistance system according to the second embodiment of the invention.
This conversation assistance system is configured by a
As shown in FIG. 4, a
図5に示すように、腕時計型受信表示装置31は、本体32とこの本体32に接続されたバンド33とを有する。本体32は、時刻を表示する時計34と状態表示部35とを有する。これらの時計34および状態表示部35は例えば液晶ディスプレイなどからなる。また、図示は省略するが、この本体32には、シングルチップマイクロコンピュータなどからなる情報処理部および受信回路が内蔵されている。
As shown in FIG. 5, the wristwatch-type
図6および図7は、使用者が靴21を履き、腕時計型受信表示装置31を手首に装着した状態を示す。図6に示すように、使用者が靴21を履いた状態において、発汗センサ22に足の裏が接触あるいは近接し、血流センサ23に足のつま先が接触あるいは近接しており、これらの発汗センサ22および血流センサ23によりそれぞれ、発汗および血流を測定し、それによって感情の変化を測定することができるようになっている。これらの発汗センサ22および血流センサ23による計測データは電気信号として無線通信装置26に送られ、この無線通信装置26から腕時計型受信表示装置31に送信される。この腕時計型受信表示装置31では、受信した信号に基づいて情報処理部で所定の情報処理が行われ、その結果が状態表示部35に文字などで表示される。例えば、第1の実施形態と同様に、発汗センサ22および血流センサ23による測定の結果、使用者が怒り気味である場合は、状態表示部35に例えば「怒り気味」と表示される。状態表示部35には、これに加えて、使用者の状態に応じて、注意を促すメッセージが表示されるようになっている。例えば、使用者が怒り気味である場合は、「冷静な会話を」というメッセージが表示される。また、発汗センサ22および血流センサ23による測定結果に応じて、上記の状態表示部35における表示に代えて、または、状態表示部35における表示とともに、振動装置24により振動を発生させ、これを使用者の足の甲に伝えることによっても使用者にその状態を伝えることができる。この場合、使用者はこの振動を感知することによって、自身が怒り気味であるなどの情報を入手することができる。
6 and 7 show a state in which the user wears
この第2の実施形態によれば、使用者が靴21を履き、腕時計型受信表示装置31を手首に装着して他者と会話を行うことにより、使用者に負荷を与えることなく、感情を常時測定することができる。そして、会話中に好ましくない感情の変化があったとき、この腕時計型受信表示装置31の表示部35に表示される内容や振動装置24により足の甲に伝わる振動に応じて会話の仕方や内容を修正することができる。このため、他者との会話を円滑に行うことができる。また、靴21と腕時計型受信表示装置31とからなるこの会話補助システムは小型かつ軽量に構成することができ、携帯性に優れている。
According to the second embodiment, the user puts on the
次に、この発明の第3の実施形態による腕時計型会話補助装置について説明する。図8はこの腕時計型会話補助装置を示す。
図8に示すように、この腕時計型会話補助装置においては、バンド12の内側の面に、1本または複数本の無痛針41を有する血液センサ42が取り付けられている。この血液センサ42は、マイクロ流体技術を用いたラボ・オンチップ(非特許文献10)を内蔵している。この場合、使用者がこの腕時計型会話補助装置を手首に装着した状態において、無痛針41が手首の表面に刺さってその先端が手首の血管に到達し、その先端から血液を採取してその血中物質を上記のラボ・オンチップを用いて測定し、それによって感情の変化を測定することができるようになっている。
上記以外のことは第1の実施形態と同様であるので、説明を省略する。
この第3の実施形態によれば、第1の実施形態と同様の利点を得ることができる。
Next, a wristwatch type conversation assisting apparatus according to a third embodiment of the present invention will be described. FIG. 8 shows this wristwatch type conversation assisting device.
As shown in FIG. 8, in this wristwatch-type conversation assisting device, a
Since other than the above is the same as that of the first embodiment, the description is omitted.
According to the third embodiment, the same advantages as those of the first embodiment can be obtained.
次に、この発明の第4の実施形態による眼鏡型会話補助装置について説明する。図9、図10および図11はこの眼鏡型会話補助装置を示し、図9は正面図、図10は側面図、図11は斜視図である。
図9、図10および図11に示すように、この眼鏡型会話補助装置は、フレーム51とレンズ52とからなる通常の眼鏡の構成に加えて、フレーム51のレンズ52に近い両端部に小型カメラ53が埋め込まれているとともに、フレーム51のレンズ52の上の部分にアイカメラ54が埋め込まれている。そして、小型カメラ53によって、瞬目を測定するとともに、顔の表情も捉えることができ、アイカメラ54によって、眼球運動を捉えることができるようになっている。また、フレーム51のアーム部の側面には、頭のこめかみに当たる部分にEOGセンサ電極55が取り付けられている。このEOGセンサ電極55により、目を閉じた状態であっても、眼球運動や瞬目を測定することができるようになっている。フレーム51のアーム部の端部には振動装置56および骨伝導装置57が取り付けられている。更に、レンズ52の内面には透過型ディスプレイ(図示せず)が設けられており、この透過型ディスプレイによりレンズ52の内面に文字情報を映し出すことができるようになっている。フレーム51には、例えば超小型のシングルチップマイクロコンピュータなどからなる情報処理部(図示せず)が埋め込まれている。この情報処理部と、小型カメラ53、アイカメラ54、EOGセンサ電極55、振動装置56および骨伝導装置57とは、フレーム51に埋め込まれた所定の配線(図示せず)により接続されている。
Next explained is a spectacles-type conversation assistance device according to the fourth embodiment of the invention. 9, FIG. 10 and FIG. 11 show the glasses-type conversation assistance device, FIG. 9 is a front view, FIG. 10 is a side view, and FIG. 11 is a perspective view.
As shown in FIGS. 9, 10, and 11, this glasses-type conversation assisting device has a small camera at both ends of the
図12および図13は使用者がこの眼鏡型会話補助装置を装着した状態を示し、図12は正面図、図13は側面図である。
図12および図13に示すように、使用者が眼鏡型会話補助装置を装着した状態において、フレーム51のアーム部の端部に取り付けられた振動装置56および骨伝導装置57が耳の骨に接触するようになっている。そして、この腕時計型会話補助装置を装着している使用者の感情を、小型カメラ53による瞬目や顔の表情の測定、アイカメラ54による眼球運動の測定およびEOGセンサ電極55による眼球運動や瞬目の測定により測定し、その測定結果に基づいて情報処理部で処理した結果を、レンズ52の内面の透過型ディスプレイに文字などで表示したり、振動装置56により振動を耳に伝えたり、骨伝導装置57による骨伝導により音声伝達を行うことなどにより、使用者に伝えることができるようになっている。例えば、小型カメラ53、アイカメラ54およびEOGセンサ電極55による測定の結果、使用者が怒り気味である場合は、例えばレンズ52の内面の透過型ディスプレイに「注意!」というメッセージが表示される(図11参照)。これによって、使用者は、自身が怒り気味であるなどの情報を入手することができる。
この第4の実施形態によれば、第1の実施形態と同様な利点を得ることができる。
12 and 13 show a state in which the user wears the glasses-type conversation assistance device, FIG. 12 is a front view, and FIG. 13 is a side view.
As shown in FIGS. 12 and 13, the
According to the fourth embodiment, the same advantages as those of the first embodiment can be obtained.
次に、この発明の第5の実施形態について説明する。
この第5の実施形態においては、会話補助装置などにおいて、感情の測定に適用して有効なセンサについて説明する。
測定しようとする系に存在する複数の物質(対象物)の分布がその系の状態に伴って変化する場合に、その複数の物質の分布やその時間変化を測定するセンサは重要となる。ここでは、二種類の物質が存在する系で、その物質の分布の情報に加えて、その存在比が時間とともに変化するという情報を測定することのできるセンサの構造を与える。
Next explained is the fifth embodiment of the invention.
In the fifth embodiment, a sensor that is effective when applied to emotion measurement in a conversation assisting device or the like will be described.
When the distribution of a plurality of substances (objects) existing in the system to be measured changes with the state of the system, a sensor that measures the distribution of the plurality of substances and the change over time is important. Here, in the system in which two kinds of substances exist, in addition to information on the distribution of the substances, a sensor structure is provided that can measure information that the abundance ratio changes with time.
最も簡単な例として、図14に示すような形状を持った二種類の対象物a,bを測定する場合を考える。これらの対象物a,bのそれぞれのサイズをd(a),d(b)とし、これらは互いにほぼ等しいと仮定する。これに対し、d(a),d(b)と直交する方向のサイズは図14に示す比率を持ち、互いにかなり異なっている。 As the simplest example, consider the case of measuring two types of objects a and b having shapes as shown in FIG. Assume that the sizes of these objects a and b are d (a) and d (b), respectively, and they are almost equal to each other. On the other hand, the sizes in the direction orthogonal to d (a) and d (b) have the ratio shown in FIG. 14 and are quite different from each other.
図15に示すように、このセンサにおいては、基板61の一方の主面(表面)に対象物a,bのそれぞれが選択的に結合することのできる二種類の結合部位A,Bを適切な位置に交互に配置する。ここでは、これらの結合部位A,Bは、それぞれに着目した場合に面心平面格子をなすように周期的に配置する。また、最近接の結合部位A間の距離および最近接の結合部位B間の距離は、対象物a,bのそれぞれが独立に結合するとした場合に、全ての結合部位Aに対象物aが立体障害を受けることなく同時に結合することができ、かつ、全ての結合部位Bに対象物bが立体障害を受けることなく同時に結合することができるように選ばれている。具体的には、例えば、最近接の結合部位A間の距離および最近接の結合部位B間の距離はd(a),d(b)より少し大きく選ばれる。
対象物a,bと結合部位A,Bとの組み合わせは、対象物a,bに応じて適切なものが選ばれる。具体的には、例えば、対象物a,bが免疫グロブリンである場合は、抗原抗体反応により特異的に結合する抗原と抗体との組み合わせや適切なリンカーが結合した金属微粒子を用いるものを用いることができる。
As shown in FIG. 15, in this sensor, two types of binding sites A and B that can selectively bind each of the objects a and b to one main surface (surface) of the
An appropriate combination of the objects a and b and the binding sites A and B is selected according to the objects a and b. Specifically, for example, when the objects a and b are immunoglobulins, use a combination of an antigen and an antibody that specifically binds by an antigen-antibody reaction or a metal fine particle to which an appropriate linker is bound. Can do.
次に、上述のように構成されたセンサの使用方法について説明する。
まず、対象物a,bが存在する系(例えば、液相または気相)にセンサを設置する。
この設定で、始めに対象物aの存在比率が高く、後に対象物bの存在比率が増加した場合を考える。この場合、まず、図16に示すように、多数存在する対象物aが基板61の結合部位Aに結合し、その後対象物bも何ら立体障害を受けることなく結合部位Bに結合する。
Next, a method for using the sensor configured as described above will be described.
First, a sensor is installed in a system (for example, liquid phase or gas phase) where the objects a and b exist.
Consider a case where the existence ratio of the object a is high at this setting and the existence ratio of the object b is increased later. In this case, first, as shown in FIG. 16, a large number of objects a are bonded to the binding site A of the
一方、始めに対象物bの存在比率が高く、後に対象物aの存在比率が増加するという上述と逆の状況を考えると、図17に示すように、始めに結合部位Bに対象物bが結合したことによる立体障害のため、その後増加した対象物aがほとんど結合部位Aに結合しないという状況が発生する。そこで、この違いを測定することにより、系の状態の時間的な変化、より詳しくは、始めに対象物aの存在比率が高く、後に対象物bの存在比率が増加したのか、それとも、始めに対象物bの存在比率が高く、後に対象物aの存在比率が増加したのかを特定することができる。 On the other hand, considering the situation opposite to the above in which the presence ratio of the target object b is high first and the presence ratio of the target object a later increases, as shown in FIG. Due to the steric hindrance due to the binding, a situation occurs in which the increased object a hardly binds to the binding site A. Therefore, by measuring this difference, the temporal change in the state of the system, more specifically, whether the existence ratio of the object a is high at the beginning and the existence ratio of the object b is increased at the beginning, It can be specified whether the existence ratio of the object b is high and the existence ratio of the object a is increased later.
実際に上記の2状態の違いを測定するためには、例えば、対象物a,bの誘電率が互いに異なる場合はSPRセンサを、対象物a,bの重量が互いに異なる場合は水晶発振型センサを用いて測定を行えばよい。
図18にSPRセンサを用いて測定を行う例を示す。このSPRセンサは、基板61の他方の主面(裏面)にプリズムを接触させることにより構成され、このプリズムに外部から例えばレーザ光のような単色光を入射させる。図18中左の図に示すように対象物a,bとも結合している場合には、基板61の他方の主面に入射光が臨界角に等しい入射角θ1 で入射したときにSPRが起きる。これに対して、図18中右図に示すように対象物bだけが結合している場合には、基板61の他方の主面に入射光が臨界角に等しい入射角θ2 で入射したときにSPRが起きる。このときθ1 ≠θ2 (この例の場合はθ1 >θ2 )であるから、この違いを測定することにより、基板61の一方の主面に対象物a,bとも結合した状態と、対象物bだけが結合した状態とを容易に識別することができる。
In order to actually measure the difference between the two states, for example, an SPR sensor is used when the dielectric constants of the objects a and b are different from each other, and a crystal oscillation type sensor is used when the weights of the objects a and b are different from each other. Measurement may be performed using.
FIG. 18 shows an example in which measurement is performed using an SPR sensor. This SPR sensor is configured by bringing a prism into contact with the other main surface (back surface) of the
以上のように、この第5の実施形態によれば、検出部である基板61の一方の主面に、測定しようとする対象物a,bと選択的に結合する結合部位A,Bを適切な位置に適切な間隔で配置し、これらの結合部位A,Bへの対象物a,bの結合の様子を観測することにより、単一のセンサで、これらの対象物a,bの存在・非存在または分布の情報に加えて、これらの対象物a,bの存在比率の時間変化の情報も抽出することができる。すなわち、基板61の検出面の幾何学的構造の制御により、センサ内部で対象物a,bに関して幾何学的情報処理を行うことができ、多くの情報を必要な形に処理して外部に取り出すことができる。
As described above, according to the fifth embodiment, the binding sites A and B that selectively bind to the objects a and b to be measured are appropriately formed on one main surface of the
次に、この発明の第6の実施形態について説明する。
この第6の実施形態においては、第5の実施形態と同様に、会話補助装置などにおいて感情の測定に適用して有効なセンサについて説明する。このセンサは、測定しようとする対象物a,bの形状およびサイズが互いにそれほど異なるものではない場合に好適なものである。
この第6の実施形態においては、図19に示すような形状を持った二種類の対象物c,dを測定する場合を考える。これらの対象物c,dのそれぞれのサイズをd(c),d(d)とし、これらは互いにほぼ等しいと仮定する。この場合、d(c),d(d)と直交する方向のサイズも互いにほぼ等しい。
Next, a sixth embodiment of the present invention will be described.
In the sixth embodiment, as in the fifth embodiment, a sensor that is effective when applied to emotion measurement in a conversation assistance device or the like will be described. This sensor is suitable when the shapes and sizes of the objects a and b to be measured are not so different from each other.
In the sixth embodiment, a case is considered in which two types of objects c and d having shapes as shown in FIG. 19 are measured. Assume that the sizes of these objects c and d are d (c) and d (d), respectively, and they are almost equal to each other. In this case, the sizes in the direction orthogonal to d (c) and d (d) are substantially equal to each other.
図20に示すように、このセンサは、基板61の一方の主面に対象物c,dのそれぞれが選択的に結合することのできる二種類の結合部位C,Dが適切な位置に交互に配置されていることは第5の実施形態と同様であるが、この場合には、基板61の一方の主面上の結合部位Cに対応する部分に微細加工により矩形断面の凹部62が設けられており、結合部位Cはこの凹部62の底面に設けられ、結合部位Dはこの凹部62による段差上部に設けられていることが第5の実施形態と異なる。
As shown in FIG. 20, in this sensor, two types of binding sites C and D to which each of the objects c and d can selectively bind to one main surface of the
次に、上述のように構成されたセンサの使用方法について説明する。
まず、対象物c,dが存在する系にセンサを設置する。
この設定で、始めに対象物cの存在比率が高く、後に対象物dの存在比率が増加した場合を考える。この場合、まず、図20に示すように、多数存在する対象物cが基板61の結合部位Cに結合し、その後対象物dも何ら立体障害を受けることなく結合部位Dに結合する。
Next, a method for using the sensor configured as described above will be described.
First, a sensor is installed in a system where the objects c and d exist.
With this setting, consider the case where the existence ratio of the object c is high first and the existence ratio of the object d is increased later. In this case, first, as shown in FIG. 20, a large number of objects c are bonded to the binding site C of the
一方、始めに対象物dの存在比率が高く、後に対象物cの存在比率が増加するという上述と逆の状況を考えると、図21に示すように、始めに結合部位Dに対象物dが結合したことによる立体障害のため、その後増加した対象物cがほとんど結合部位Cに結合しないという状況が発生する。そこで、この違いを測定することにより、系の状態の時間的な変化、より詳しくは、始めに対象物cの存在比率が高く、後に対象物dの存在比率が増加したのか、それとも、始めに対象物dの存在比率が高く、後に対象物cの存在比率が増加したのかを特定することができる。
上記以外のことは第5の実施形態と同様であるので、説明を省略する。
On the other hand, considering the situation opposite to the above in which the existence ratio of the object d is high at first and the existence ratio of the object c is increased later, as shown in FIG. Due to the steric hindrance due to the binding, a situation occurs in which the object c increased after that hardly binds to the binding site C. Therefore, by measuring this difference, the temporal change in the state of the system, more specifically, whether the existence ratio of the object c is high at the beginning and the existence ratio of the object d is increased later, It can be specified whether the existence ratio of the object d is high and the existence ratio of the object c is increased later.
Since the other than the above is the same as that of the fifth embodiment, the description is omitted.
図22に対象物c,dおよび結合部位C,Dの具体例を示す。この例では、対象物c,dがそれぞれx:血清アルブミン(Serum Albumin)、y:ストレプトアビジン(Streptavidin)であり、結合部位C,DがそれぞれX:HS−Cys、Y:ジスルフィドビオチンアナログ(disulfide-biotin analogue)であり、それぞれ図22に示すようなサイズを有している。また、基板61は金基板であり、X,Yはこの金基板とチオールなどを用いて結合される。さらに、図23に示すように、この場合、最近接の結合部位A間の距離および最近接の結合部位B間の距離は10nm程度である。図24は図20に対応する図であり、xがXと、yがYと結合している。
この第6の実施形態によれば、測定しようとする対象物c,dの形状およびサイズがほぼ等しい場合においても、第5の実施形態と同様な利点を得ることができる。
FIG. 22 shows specific examples of the objects c and d and the binding sites C and D. In this example, the objects c and d are x: serum albumin and y: streptavidin, and the binding sites C and D are X: HS-Cys and Y: disulfide biotin analog (disulfide), respectively. -biotin analogue), each having a size as shown in FIG. The
According to the sixth embodiment, even when the shapes and sizes of the objects c and d to be measured are substantially equal, the same advantages as those of the fifth embodiment can be obtained.
以上、この発明の実施形態につき具体的に説明したが、この発明は、上述の実施形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。
例えば、上述の実施形態において挙げた数値、構造、配置、形状、材料などはあくまでも例に過ぎず、必要に応じてこれらと異なる数値、構造、配置、形状、材料などを用いてもよい。
Although the embodiments of the present invention have been specifically described above, the present invention is not limited to the above-described embodiments, and various modifications based on the technical idea of the present invention are possible.
For example, the numerical values, structures, arrangements, shapes, materials, and the like given in the above-described embodiments are merely examples, and different numerical values, structures, arrangements, shapes, materials, and the like may be used as necessary.
11,32…本体部、12,33…バンド、14,35…状態表示部、15,22…発汗センサ、16…脈拍センサ、17,23…血流センサ、21…靴、24,56…振動装置、25…発電装置、26…無線通信装置、31…腕時計型受信表示装置、41…無痛針、42…血液センサ、51…フレーム、52…レンズ、53…小型カメラ、54…アイカメラ、55…EOGセンサ電極、57…骨伝導装置、a,b,c,d…対象物、A,B,C,D…結合部位、61…基板、62…凹部
DESCRIPTION OF
Claims (32)
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果を出力する出力手段とを有する
ことを特徴とする会話補助装置。 One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
An output means for outputting the result of the information processing.
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果を出力する出力手段とを有する
ことを特徴とする会話補助システム。 One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
An output means for outputting the result of the information processing.
上記センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
上記情報処理の結果を出力するステップとを有する
ことを特徴とする会話補助方法。 Detecting the user's biometric information with one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of outputting the result of the information processing.
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果に基づいて上記使用者の状態を制御する制御手段とを有する
ことを特徴とする会話補助装置。 One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And a control means for controlling the state of the user based on the result of the information processing.
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果に基づいて上記使用者の状態を制御する制御手段とを有する
ことを特徴とする会話補助システム。 One or more sensors for detecting the biological information of the user;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And a control unit that controls the state of the user based on the result of the information processing.
上記センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
上記情報処理の結果に基づいて上記使用者の状態を制御するステップとを有する
ことを特徴とする会話補助方法。 Detecting the user's biometric information with one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of controlling the state of the user based on the result of the information processing.
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果を出力する出力手段とを有する
ことを特徴とする情報伝達装置。 One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And an output means for outputting the result of the information processing.
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果を出力する出力手段とを有する
ことを特徴とする情報伝達システム。 One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And an output means for outputting the result of the information processing.
上記センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
上記情報処理の結果を出力するステップとを有する
ことを特徴とする情報伝達方法。 Detecting biological information of the organism by one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of outputting a result of the information processing.
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果に基づいて上記生物の状態を制御する制御手段とを有する
ことを特徴とする制御装置。 One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
Control means for controlling the state of the organism based on the result of the information processing.
上記センサにより検出される生体情報に基づいて所定の情報処理を行う情報処理手段と、
上記情報処理の結果に基づいて上記生物の状態を制御する制御手段とを有する
ことを特徴とする制御システム。 One or more sensors for detecting biological information of the organism;
Information processing means for performing predetermined information processing based on biological information detected by the sensor;
And a control means for controlling the state of the organism based on the result of the information processing.
上記センサにより検出される生体情報に基づいて所定の情報処理を行うステップと、
上記情報処理の結果に基づいて上記生物の状態を制御するステップとを有する
ことを特徴とする制御方法。
Detecting biological information of the organism by one or more sensors;
Performing predetermined information processing based on biological information detected by the sensor;
And a step of controlling the state of the organism based on the result of the information processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003280818A JP4389512B2 (en) | 2003-07-28 | 2003-07-28 | Watch-type conversation assistance device, conversation assistance system, glasses-type conversation assistance device, and conversation assistance device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003280818A JP4389512B2 (en) | 2003-07-28 | 2003-07-28 | Watch-type conversation assistance device, conversation assistance system, glasses-type conversation assistance device, and conversation assistance device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005046305A true JP2005046305A (en) | 2005-02-24 |
JP2005046305A5 JP2005046305A5 (en) | 2006-06-15 |
JP4389512B2 JP4389512B2 (en) | 2009-12-24 |
Family
ID=34266524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003280818A Expired - Fee Related JP4389512B2 (en) | 2003-07-28 | 2003-07-28 | Watch-type conversation assistance device, conversation assistance system, glasses-type conversation assistance device, and conversation assistance device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4389512B2 (en) |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007122154A (en) * | 2005-10-25 | 2007-05-17 | Kozo Nagata | Solution system and solution method for supply chain |
JP2008119198A (en) * | 2006-11-10 | 2008-05-29 | Tokai Rika Co Ltd | Advice device for improving situation |
JP2009187117A (en) * | 2008-02-04 | 2009-08-20 | Sony Corp | Information processor and information processing method |
GB2478034A (en) * | 2010-02-18 | 2011-08-24 | Bank Of America | Systems for inducing change in a human physiological characteristic representative of an emotional state |
GB2478035A (en) * | 2010-02-18 | 2011-08-24 | Bank Of America | Systems for inducing change in a human physiological characteristic representative of an emotional state |
GB2478036A (en) * | 2010-02-18 | 2011-08-24 | Bank Of America | Systems for inducing change in a human physiological characteristic representative of an emotional state |
JP2013120468A (en) * | 2011-12-07 | 2013-06-17 | Nikon Corp | Electronic device, information processing method, and program |
ITUD20120024A1 (en) * | 2012-02-15 | 2013-08-16 | Qbell Technology S P A | EMOTIONAL VISUAL ELECTRONIC DEVICE |
WO2014129212A1 (en) * | 2013-02-22 | 2014-08-28 | ソニー株式会社 | Image display device, image display method, storage medium, and monitoring system |
JP5632100B2 (en) * | 2011-11-24 | 2014-11-26 | 株式会社Nttドコモ | Facial expression output device and facial expression output method |
JP2015515292A (en) * | 2012-03-07 | 2015-05-28 | ニューロスキー・インコーポレーテッドNeurosky Incorporated | Modular user replaceable accessory for biosignal controlled mechanism |
WO2016113968A1 (en) * | 2015-01-14 | 2016-07-21 | ソニー株式会社 | Navigation system, client terminal device, control method, and storage medium |
CN105814511A (en) * | 2013-10-14 | 2016-07-27 | 诺基亚技术有限公司 | Deviational plane wrist input |
JP6301547B1 (en) * | 2017-11-16 | 2018-03-28 | 朝美 鈴木 | Tension-type headache prediction system |
WO2019008977A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
WO2019008976A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
WO2019008979A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
WO2019008980A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
WO2019008996A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
WO2019008982A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
WO2019008978A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
WO2019008969A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
JP2021035499A (en) * | 2020-10-14 | 2021-03-04 | 株式会社東芝 | Eyewear, data collection system and data collection method |
JP2021044001A (en) * | 2015-05-07 | 2021-03-18 | ソニー株式会社 | Information processing system, control method, and program |
JP2021089757A (en) * | 2016-07-21 | 2021-06-10 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | Technique for controlling virtual image generation system using emotional states of user |
US11058362B2 (en) | 2017-07-07 | 2021-07-13 | Panasonic Intellectual Propertv Management Co., Ltd. | Information provision method, information processing system, information terminal, and information processing method |
US11058365B2 (en) | 2017-07-07 | 2021-07-13 | Panasonic Intellectual Propertv Management Co., Ltd. | Information provision method, information processing system, information terminal, and information processing method |
US11058364B2 (en) | 2017-07-07 | 2021-07-13 | Panasonic Intellectual Propertv Management Co., Ltd. | Information provision method, information processing system, information terminal, and information processing method |
US11484235B2 (en) | 2017-07-07 | 2022-11-01 | Panasonic Intellectual Property Management Co., Ltd. | Method of determining a stress time period of a person |
-
2003
- 2003-07-28 JP JP2003280818A patent/JP4389512B2/en not_active Expired - Fee Related
Cited By (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007122154A (en) * | 2005-10-25 | 2007-05-17 | Kozo Nagata | Solution system and solution method for supply chain |
JP2008119198A (en) * | 2006-11-10 | 2008-05-29 | Tokai Rika Co Ltd | Advice device for improving situation |
JP2009187117A (en) * | 2008-02-04 | 2009-08-20 | Sony Corp | Information processor and information processing method |
GB2478034B (en) * | 2010-02-18 | 2015-09-16 | Bank Of America | System for inducing change in a human physiological characteristic |
GB2478036B (en) * | 2010-02-18 | 2015-06-10 | Bank Of America | Systems for inducing change in a human physiological characteristic |
US9138186B2 (en) | 2010-02-18 | 2015-09-22 | Bank Of America Corporation | Systems for inducing change in a performance characteristic |
GB2478034A (en) * | 2010-02-18 | 2011-08-24 | Bank Of America | Systems for inducing change in a human physiological characteristic representative of an emotional state |
GB2478036A (en) * | 2010-02-18 | 2011-08-24 | Bank Of America | Systems for inducing change in a human physiological characteristic representative of an emotional state |
US8715179B2 (en) | 2010-02-18 | 2014-05-06 | Bank Of America Corporation | Call center quality management tool |
US8715178B2 (en) | 2010-02-18 | 2014-05-06 | Bank Of America Corporation | Wearable badge with sensor |
GB2478035B (en) * | 2010-02-18 | 2015-09-16 | Bank Of America | Systems for inducing change in a human physiological characteristic |
GB2478035A (en) * | 2010-02-18 | 2011-08-24 | Bank Of America | Systems for inducing change in a human physiological characteristic representative of an emotional state |
JP5632100B2 (en) * | 2011-11-24 | 2014-11-26 | 株式会社Nttドコモ | Facial expression output device and facial expression output method |
JPWO2013077076A1 (en) * | 2011-11-24 | 2015-04-27 | 株式会社Nttドコモ | Facial expression output device and facial expression output method |
JP2013120468A (en) * | 2011-12-07 | 2013-06-17 | Nikon Corp | Electronic device, information processing method, and program |
ITUD20120024A1 (en) * | 2012-02-15 | 2013-08-16 | Qbell Technology S P A | EMOTIONAL VISUAL ELECTRONIC DEVICE |
JP2015515292A (en) * | 2012-03-07 | 2015-05-28 | ニューロスキー・インコーポレーテッドNeurosky Incorporated | Modular user replaceable accessory for biosignal controlled mechanism |
WO2014129212A1 (en) * | 2013-02-22 | 2014-08-28 | ソニー株式会社 | Image display device, image display method, storage medium, and monitoring system |
CN105009197A (en) * | 2013-02-22 | 2015-10-28 | 索尼公司 | Image display device, image display method, storage medium, and monitoring system |
JPWO2014129212A1 (en) * | 2013-02-22 | 2017-02-02 | ソニー株式会社 | Image display device, image display method, storage medium, and monitoring system |
US9870726B2 (en) | 2013-02-22 | 2018-01-16 | Sony Corporation | Image display apparatus, image display method, storage medium, and monitoring system |
JP2018116730A (en) * | 2013-10-14 | 2018-07-26 | ノキア テクノロジーズ オサケユイチア | Deviational plane wrist input |
CN105814511B (en) * | 2013-10-14 | 2020-01-31 | 诺基亚技术有限公司 | Offset plane wrist input device, method and computer readable medium |
CN105814511A (en) * | 2013-10-14 | 2016-07-27 | 诺基亚技术有限公司 | Deviational plane wrist input |
JP2016537710A (en) * | 2013-10-14 | 2016-12-01 | ノキア テクノロジーズ オサケユイチア | Deviation plane wrist input |
JPWO2016113968A1 (en) * | 2015-01-14 | 2017-10-19 | ソニー株式会社 | Navigation system, client terminal device, control method, and storage medium |
WO2016113968A1 (en) * | 2015-01-14 | 2016-07-21 | ソニー株式会社 | Navigation system, client terminal device, control method, and storage medium |
JP2020095045A (en) * | 2015-01-14 | 2020-06-18 | ソニー株式会社 | Navigation system, client terminal device, control method, storage medium, and program |
US10408629B2 (en) | 2015-01-14 | 2019-09-10 | Sony Corporation | Navigation system, client terminal device, control method, and storage medium |
JP6992870B2 (en) | 2015-05-07 | 2022-01-13 | ソニーグループ株式会社 | Information processing systems, control methods, and programs |
JP2021044001A (en) * | 2015-05-07 | 2021-03-18 | ソニー株式会社 | Information processing system, control method, and program |
JP7041763B2 (en) | 2016-07-21 | 2022-03-24 | マジック リープ, インコーポレイテッド | Technology for controlling a virtual image generation system using the user's emotional state |
JP2021089757A (en) * | 2016-07-21 | 2021-06-10 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | Technique for controlling virtual image generation system using emotional states of user |
WO2019008980A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
WO2019008996A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
US11484235B2 (en) | 2017-07-07 | 2022-11-01 | Panasonic Intellectual Property Management Co., Ltd. | Method of determining a stress time period of a person |
WO2019008978A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
WO2019008982A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
KR20200024759A (en) | 2017-07-07 | 2020-03-09 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | Information providing method, information processing system, information terminal, and information processing method |
KR20200024760A (en) | 2017-07-07 | 2020-03-09 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | Information providing method, information processing system, information terminal, and information processing method |
KR20200024746A (en) | 2017-07-07 | 2020-03-09 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | Information providing method, information processing system, information terminal, and information processing method |
KR20200024748A (en) | 2017-07-07 | 2020-03-09 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | Information providing method, information processing system, information terminal, and information processing method |
KR20200024756A (en) | 2017-07-07 | 2020-03-09 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | Information providing method, information processing system, information terminal, and information processing method |
KR20200024755A (en) | 2017-07-07 | 2020-03-09 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | Information providing method, information processing system, information terminal, and information processing method |
KR20200024743A (en) | 2017-07-07 | 2020-03-09 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | Information providing method, information processing system, information terminal, and information processing method |
KR20200026794A (en) | 2017-07-07 | 2020-03-11 | 파나소닉 아이피 매니지먼트 가부시키가이샤 | Information providing method, information processing system, information terminal, and information processing method |
WO2019008969A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
US10905367B2 (en) | 2017-07-07 | 2021-02-02 | Panasonic Intellectual Property Management Co., Ltd. | Information provision method, information processing system, information terminal, and information processing method |
WO2019008977A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
WO2019008979A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
US10973450B2 (en) | 2017-07-07 | 2021-04-13 | Panasonic Intellectual Property Management Co., Ltd. | Information provision method, information processing system, information terminal, and information processing method |
WO2019008976A1 (en) | 2017-07-07 | 2019-01-10 | パナソニックIpマネジメント株式会社 | Information provision method, information processing system, information terminal, and information processing method |
US11058362B2 (en) | 2017-07-07 | 2021-07-13 | Panasonic Intellectual Propertv Management Co., Ltd. | Information provision method, information processing system, information terminal, and information processing method |
US11058365B2 (en) | 2017-07-07 | 2021-07-13 | Panasonic Intellectual Propertv Management Co., Ltd. | Information provision method, information processing system, information terminal, and information processing method |
US11058364B2 (en) | 2017-07-07 | 2021-07-13 | Panasonic Intellectual Propertv Management Co., Ltd. | Information provision method, information processing system, information terminal, and information processing method |
US11090009B2 (en) | 2017-07-07 | 2021-08-17 | Panasonic Intellectual Property Management Co., Ltd. | Information providing method, information processing system, information terminal, and information processing method |
US11114201B2 (en) | 2017-07-07 | 2021-09-07 | Panasonic Intellectual Property Management Co., Ltd. | Information provision method, information processing system, information terminal, and information processing method |
US11114202B2 (en) | 2017-07-07 | 2021-09-07 | Panasonic Intellectual Propertv Management Co., Ltd. | Information provision method, information processing system, information terminal, and information processing method |
JP6301547B1 (en) * | 2017-11-16 | 2018-03-28 | 朝美 鈴木 | Tension-type headache prediction system |
JP2019088671A (en) * | 2017-11-16 | 2019-06-13 | 朝美 鈴木 | Tension-type headache prediction system |
JP2021035499A (en) * | 2020-10-14 | 2021-03-04 | 株式会社東芝 | Eyewear, data collection system and data collection method |
Also Published As
Publication number | Publication date |
---|---|
JP4389512B2 (en) | 2009-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4389512B2 (en) | Watch-type conversation assistance device, conversation assistance system, glasses-type conversation assistance device, and conversation assistance device | |
US11504067B2 (en) | Biometric, physiological or environmental monitoring using a closed chamber | |
US20210174778A1 (en) | Biometric, physiological or environmental monitoring using a closed chamber | |
Pham et al. | Delivering home healthcare through a cloud-based smart home environment (CoSHE) | |
Angelov et al. | Healthcare sensing and monitoring | |
Rodgers et al. | Recent advances in wearable sensors for health monitoring | |
US9814425B2 (en) | Health monitoring appliance | |
AU2014225626B2 (en) | Form factors for the multi-modal physiological assessment of brain health | |
US20180220905A1 (en) | Wearable apparatus for multiple types of physiological and/or environmental monitoring | |
US8968195B2 (en) | Health monitoring appliance | |
US8647268B2 (en) | Patient monitoring apparatus | |
US8108036B2 (en) | Mesh network stroke monitoring appliance | |
JP6803299B2 (en) | System and method | |
Li et al. | Recent progress of skin-integrated electronics for intelligent sensing | |
Sun et al. | A review of recent advances in vital signals monitoring of sports and health via flexible wearable sensors | |
Uniyal et al. | Pervasive healthcare-a comprehensive survey of tools and techniques | |
Bansal | Real-Time Data Acquisition in Human Physiology: Real-Time Acquisition, Processing, and Interpretation—A MATLAB-Based Approach | |
JP7048709B2 (en) | System and method | |
He et al. | Toward Wearable Sensors: Advances, Trends, and Challenges | |
Tsiourti | Artificial agents as social companions: design guidelines for emotional interactions | |
Lin et al. | Biosensors and Human Behavior Measurement | |
Mishra et al. | Uninterrupted real‐time cerebral stress level monitoring using wearable biosensors: A review | |
Bächlin et al. | Experiences in developing a wearable gait assistant for parkinson’s disease patients | |
Greene | IoT development for healthy independent living | |
Ramasamy et al. | Wearable nanosensor systems and their applications in healthcare |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041224 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060428 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060428 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090401 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090428 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090915 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090928 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4389512 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121016 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131016 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |