JP2011120824A - Sensibility evaluation device, sensibility evaluation method, and sensibility evaluation program - Google Patents

Sensibility evaluation device, sensibility evaluation method, and sensibility evaluation program Download PDF

Info

Publication number
JP2011120824A
JP2011120824A JP2009282884A JP2009282884A JP2011120824A JP 2011120824 A JP2011120824 A JP 2011120824A JP 2009282884 A JP2009282884 A JP 2009282884A JP 2009282884 A JP2009282884 A JP 2009282884A JP 2011120824 A JP2011120824 A JP 2011120824A
Authority
JP
Japan
Prior art keywords
biological information
subject
integrated data
sensitivity
principal component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009282884A
Other languages
Japanese (ja)
Other versions
JP5322179B2 (en
Inventor
Mamiko Koshiba
満美子 小柴
Takashi Nakamura
俊 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo University of Agriculture and Technology NUC
Tokyo University of Agriculture
Original Assignee
Tokyo University of Agriculture and Technology NUC
Tokyo University of Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo University of Agriculture and Technology NUC, Tokyo University of Agriculture filed Critical Tokyo University of Agriculture and Technology NUC
Priority to JP2009282884A priority Critical patent/JP5322179B2/en
Publication of JP2011120824A publication Critical patent/JP2011120824A/en
Application granted granted Critical
Publication of JP5322179B2 publication Critical patent/JP5322179B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To enable sensibility to be quantitatively and accurately evaluated. <P>SOLUTION: When different stimulations corresponding to sensibility are given to a subject 50, biological information influencing on the sensibility is detected from a plurality of locations of the subject 50, each of the detected biological information is acquired as learning biological information, main component analysis is carried out based on the correlation matrix for the learning biological information, each of the learning biological information is integrated into one integrated data, the integrated data is plotted in a main component space, and regions corresponding to each of a plurality of sensibilities in main component space are set based on sensibility corresponding to stimulation given to the subject 50 when each of the distribution of the integrated data in the main component space and the biological information for learning being the bases of the integrated data is detected. Each of biological information for evaluating sensibility of the subject is acquired as target biological information and the integrated data obtained by similarly carrying out main component analysis for each of target biological information is plotted in the main component space in which the region is set in each sensibility to evaluate the sensibility of the subject 50. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、感性評価装置、感性評価方法、及び感性評価プログラムに係り、特に、被検者の生体情報に基づいて感性を評価する感性評価装置、感性評価方法、及び感性評価プログラムに関する。   The present invention relates to a sensitivity evaluation apparatus, a sensitivity evaluation method, and a sensitivity evaluation program, and particularly relates to a sensitivity evaluation apparatus, a sensitivity evaluation method, and a sensitivity evaluation program for evaluating sensitivity based on biological information of a subject.

従来、被検者から取得した生体情報を用いて、被検者の感性を評価することが行われている。   Conventionally, the sensitivity of a subject has been evaluated using biological information acquired from the subject.

例えば、赤外線カメラと、この赤外線カメラからの熱画像をデジタル変換する赤外線装置と、この赤外線装置からのデータに基づいて、顔面放射熱量を計測するパーソナルコンピュータとを備えた装置で、人の顔面放射熱量を連続的に測定し、これを平均値と比較することにより、人の心理的変化を推定する装置が提案されている(例えば、特許文献1参照)。   For example, an apparatus comprising an infrared camera, an infrared device that digitally converts a thermal image from the infrared camera, and a personal computer that measures the amount of facial radiant heat based on data from the infrared device. There has been proposed an apparatus for estimating a person's psychological change by continuously measuring the amount of heat and comparing it with an average value (see, for example, Patent Document 1).

また、被検者の画像情報を取得して、被検者の心理状態を分類し、被検者の生理的情報を取得して、生理的情報と心理状態分類結果とに基づいて、被検者の心理状態のレベルを算出する心理状態計測装置が提案されている(例えば、特許文献2参照)。   In addition, the subject's image information is obtained, the subject's psychological state is classified, the subject's physiological information is obtained, and the subject is examined based on the physiological information and the psychological state classification result. There has been proposed a psychological state measuring device that calculates the level of the mental state of a person (see, for example, Patent Document 2).

また、複数の生体情報の入力を受け付けて、これらの複数の生体情報を元に解析処理を行ない、感情データとして、例えば2軸モデル、3軸モデル、6軸モデル等の感情モデルで定義される複数の感情パラメータ値を出力する感情の可視化装置が提案されている(例えば、特許文献3参照)。特許文献3記載の技術では、例えば、学習済み、あるいは、ユーザ個別に再学習を行った3層バックプロパゲーション、自己組織化マップ(SOM:Self Organizing Map)等のニューラルネットワークの手法を利用して、入力として受け付けた複数種類の生体情報から、その生体情報の発信元である人の感情の解析処理を行って、その解析結果として求められた感情を表わす感情データとしての感情パラメータ値を求めている。   In addition, it receives input of a plurality of biological information, performs analysis processing based on the plurality of biological information, and is defined as emotion data such as a 2-axis model, a 3-axis model, a 6-axis model, or the like. An emotion visualization device that outputs a plurality of emotion parameter values has been proposed (see, for example, Patent Document 3). In the technique described in Patent Document 3, for example, a neural network method such as three-layer backpropagation that has been learned or re-learned individually for each user, or a self-organizing map (SOM) is used. Analyzing the emotions of the person who is the source of the biometric information from multiple types of biometric information received as input, and obtaining emotion parameter values as emotion data representing the emotions obtained as a result of the analysis Yes.

特開平6-54836号公報JP-A-6-54836 特開2007−68620号公報JP 2007-68620 A 特開2005−58449号公報JP 2005-58449 A

しかしながら、特許文献1及び2の技術では、体表温度を用いて被検者の心理状態やそのレベルを評価しているが、評価の基準として、被検者の体表温度の平均値や測定開始時の温度を用いているため、精度良く感性を評価することができない、という問題がある。   However, in the techniques of Patent Documents 1 and 2, the body surface temperature is used to evaluate the psychological state of the subject and its level, but as an evaluation standard, the average value or measurement of the body surface temperature of the subject. Since the temperature at the start is used, there is a problem that the sensitivity cannot be accurately evaluated.

また、特許文献3の技術も、感性を定量的に評価するには十分な精度を有しているとはいえない。   In addition, the technique of Patent Document 3 cannot be said to have sufficient accuracy for quantitatively evaluating sensitivity.

本発明は上記問題点を解決するためになされたもので、感性を定量的に精度良く評価することができる感性評価装置、感性評価方法、及び感性評価プログラムを提供することを目的とする。   The present invention has been made to solve the above-described problems, and an object thereof is to provide a sensitivity evaluation apparatus, a sensitivity evaluation method, and a sensitivity evaluation program capable of quantitatively and accurately evaluating sensitivity.

上記目的を達成するために、本発明者等は鋭意検討を重ねた結果、感性評価は、従来のように個々のパラメータ間の比較だけでは得られなかった、相互に連関性を持つ非常に多くの生体情報を統合することにより初めて得られる新たな数値動態によって可視化することが可能となることを見出し、本発明を完成するに至った。   In order to achieve the above object, the present inventors have conducted intensive studies, and as a result, Kansei evaluation has not been obtained only by comparison between individual parameters as in the prior art, and there are a large number of mutually related factors. It has been found that it can be visualized by new numerical dynamics obtained for the first time by integrating the biometric information of each other, and the present invention has been completed.

即ち、本発明の感性評価装置は、被検者の複数の部位の各々から、前記被検者の感性に影響する生体情報を検出する複数の検出手段と、被検者に複数の感性の各々に対応した異なる刺激の各々を与えたときに前記検出手段で検出された生体情報の各々を学習用生体情報として、該学習用生体情報に対して相関行列に基づく主成分分析を行って、前記学習用生体情報の各々を1つの統合データに統合し、該統合データを前記主成分分析に応じた主成分空間に投影する投影手段と、前記投影手段により投影された統合データの前記主成分空間上の分布、及び前記統合データの基になった学習用生体情報の各々が検出されたときに前記被検者に与えられていた刺激に対応する感性に基づいて、前記主成分空間に前記複数の感性の各々に対応した領域を設定する設定手段と、前記検出手段で検出された前記被検者の感性を評価するための生体情報の各々を対象生体情報として、該対象生体情報の各々に対して相関行列に基づく主成分分析を行って、前記対象生体情報の各々を1つの統合データに統合し、該統合データを前記設定手段により領域が設定された主成分空間に投影し、投影された前記統合データ、及び設定された前記領域に基づいて、前記被検者の感性を評価する評価手段と、を含んで構成されている。   That is, the sensitivity evaluation apparatus of the present invention includes a plurality of detection means for detecting biological information that affects the sensitivity of the subject from each of a plurality of portions of the subject, and a plurality of sensitivity to the subject. The biometric information detected by the detection means when each of the different stimuli corresponding to each is applied as biometric information for learning, and principal component analysis based on a correlation matrix is performed on the biometric information for learning, Projecting means for integrating each of the learning biometric information into one integrated data and projecting the integrated data onto a principal component space according to the principal component analysis, and the principal component space of the integrated data projected by the projection means Based on the above distribution and the sensibility corresponding to the stimulus given to the subject when each of the learning biometric information based on the integrated data is detected, the plurality of components in the principal component space Areas corresponding to each sensibility A principal component analysis based on a correlation matrix for each of the target biological information, with each of the biological information for setting the setting means for setting and the biological information for evaluating the sensitivity of the subject detected by the detection means as the target biological information And integrating each of the target biological information into one integrated data, projecting the integrated data onto the principal component space in which the area is set by the setting means, and the projected integrated data and the set Evaluation means for evaluating the sensitivity of the subject based on the region.

本発明の感性評価装置によれば、複数の検出手段が、被検者の複数の部位の各々から、被検者の感性に影響する生体情報を検出する。感性に影響する生体情報としては、脳波、眼筋電位、心拍、体表温度等がある。これらの生体情報を検出する検出手段としては、脳波測定器、眼筋電位測定器、心拍測定器、デジタル体温計、サーモグラフィ装置等がある。   According to the sensitivity evaluation apparatus of the present invention, the plurality of detection means detect biological information that affects the sensitivity of the subject from each of the plurality of portions of the subject. Examples of biological information that affects sensitivity include an electroencephalogram, an ocular potential, a heart rate, and a body surface temperature. Examples of detection means for detecting such biological information include an electroencephalogram measuring device, an eye myoelectric potential measuring device, a heart rate measuring device, a digital thermometer, and a thermography device.

そして、投影手段が、被検者に複数の感性の各々に対応した異なる刺激の各々を与えたときに検出手段で検出された生体情報の各々を学習用生体情報として、学習用生体情報に対して相関行列に基づく主成分分析を行って、学習用生体情報の各々を1つの統合データに統合し、統合データを主成分分析に応じた主成分空間に投影する。これにより個々に検出された生体情報の各々を、1つの指標である統合データに再合成する。   Then, when the projection means gives each of the different stimuli corresponding to each of the plurality of sensitivities to the subject, each of the biological information detected by the detection means is used as learning biological information, and the learning biological information The principal component analysis based on the correlation matrix is performed to integrate each of the learning biological information into one integrated data, and the integrated data is projected onto the principal component space corresponding to the principal component analysis. Thereby, each of the biometric information detected individually is re-synthesized into integrated data which is one index.

そして、設定手段が、投影手段により投影された統合データの主成分空間上の分布、及び統合データの基になった学習用生体情報の各々が検出されたときに被検者に与えられていた刺激に対応する感性に基づいて、主成分空間に複数の感性の各々に対応した領域を設定する。主成分分析を行った統合データの分布は、感性毎に明瞭に分類された領域となる。このように複数の感性の各々に対応した領域が設定された主成分空間を学習モデルとして、感性の評価に用いる。   And the setting means was given to the subject when the distribution of the integrated data projected by the projecting means on the principal component space and each of the learning biometric information based on the integrated data were detected. Based on the sensitivity corresponding to the stimulus, a region corresponding to each of the plurality of sensitivity is set in the principal component space. The distribution of the integrated data subjected to the principal component analysis is a region clearly classified for each sensitivity. A principal component space in which regions corresponding to each of a plurality of sensibilities are set as described above is used as a learning model for kansei evaluation.

感性を評価する際には、評価手段が、検出手段で検出された被検者の感性を評価するための生体情報の各々を対象生体情報として、対象生体情報の各々に対して相関行列に基づく主成分分析を行って、対象生体情報の各々を1つの統合データに統合し、統合データを設定手段により領域が設定された主成分空間に投影し、投影された統合データ、及び設定された領域に基づいて、被検者の感性を評価する。   When evaluating the sensibility, the evaluation unit uses each piece of biological information for evaluating the sensibility of the subject detected by the detection unit as target biological information, and is based on a correlation matrix for each target biological information. Performs principal component analysis, integrates each target biological information into one integrated data, projects the integrated data onto the principal component space in which the area is set by the setting means, the projected integrated data, and the set area Based on the above, the sensitivity of the subject is evaluated.

このように、生体情報の各々を相関行列に基づく主成分分析によって統合した統合データを主成分空間に投影することにより、主成分空間上に感性毎に明瞭に分類された領域を設定することができるため、感性を定量的に精度良く評価することができる。   In this way, by projecting integrated data obtained by integrating each piece of biological information by principal component analysis based on a correlation matrix onto the principal component space, it is possible to set a clearly classified region for each sensitivity on the principal component space. Therefore, sensitivity can be evaluated quantitatively with high accuracy.

また、前記設定手段は、分散楕円近似法により、前記複数の感性の各々に対応した楕円形状の領域を設定するようにすることができる。   The setting means can set an elliptical region corresponding to each of the plurality of sensibilities by a distributed ellipse approximation method.

また、前記複数の検出手段は、前記生体情報として前記被検者の複数の部位から体表温度を検出するサーモグラフィ装置を含んで構成され、前記評価手段は、前記サーモグラフィ装置により検出された体表温度を用いて前記感性の種類を評価するようにすることができる。生体情報の主成分分析により、感性毎に設定された領域を分離する方向に伸びる因子負荷量ベクトルが、体表温度によるものであることが解析結果から判明したため、感性の種類の評価にサーモグラフィ装置により検出された体表温度を用いるものである。これにより、被検者に対してストレスフリーで感性の種類を評価することができる。   The plurality of detection means include a thermography device that detects body surface temperature from the plurality of parts of the subject as the biological information, and the evaluation means includes the body surface detected by the thermography device. The type of sensitivity can be evaluated using temperature. The principal component analysis of biological information revealed that the factor loading vector that extends in the direction separating the region set for each sensibility is due to the body surface temperature. The body surface temperature detected by is used. Thereby, it is possible to evaluate the type of sensitivity in a stress-free manner for the subject.

また、通常モードと、該通常モードより詳細に前記感性の評価を行う詳細モードとを選択するための選択手段を含み、前記複数の検出手段は、前記生体情報として前記被検者の複数の部位から脳波を検出する脳波検出器をさらに含んで構成され、前記評価手段は、前記選択手段により通常モードが選択された場合には、前記サーモグラフィ装置により検出された体表温度を用いて前記感性の種類を評価し、前記詳細モードが選択された場合には、前記脳波検出器により検出された脳波、及び前記サーモグラフィ装置により検出された体表温度を用いて前記感性の種類、及び該感性の微細な変動を評価するようにすることができる。   And a selection unit for selecting a normal mode and a detailed mode for evaluating the sensitivity in more detail than the normal mode, wherein the plurality of detection units include a plurality of parts of the subject as the biological information. An electroencephalogram detector that detects an electroencephalogram from the evaluation means, and when the normal mode is selected by the selection means, the evaluation means uses the body surface temperature detected by the thermography device to When the type is evaluated and the detailed mode is selected, the type of sensibility using the brain wave detected by the electroencephalogram detector and the body surface temperature detected by the thermography device, and the sensitivity It is possible to evaluate such fluctuations.

生体情報の主成分分析により、体表温度の因子負荷量ベクトルと直交する方向であり、感性の微細な変動方向に伸びる因子負荷量ベクトルが、脳波の因子負荷量ベクトルであることが解析結果から判明したため、詳細モードが選択された場合には、脳波検出器により検出された脳波を用いて、感性の微細な変動も評価するものである。通常モードでは、上記と同様に、サーモグラフィ装置により検出された体表温度を用いて、ストレスフリーな感性の種類を評価することができる。このように、通常モードか詳細モードかを選択することにより、必要に応じた柔軟な評価結果を得ることができる。   From the analysis results, the principal component analysis of biological information shows that the factor load vector that is orthogonal to the factor load vector of body surface temperature and that extends in the direction of minute fluctuations in sensitivity is the factor load vector of EEG As a result, when the detailed mode is selected, a minute change in sensitivity is evaluated using the brain wave detected by the brain wave detector. In the normal mode, similarly to the above, it is possible to evaluate the type of sensibility without stress using the body surface temperature detected by the thermographic device. In this way, by selecting the normal mode or the detailed mode, a flexible evaluation result can be obtained as necessary.

また、前記異なる複数の感性を、快、不快、及び矛盾とすることができる。快でもなく不快でもない、または快でもあり不快でもあるというような「矛盾」の感性についても、主成分空間上で、「快」の領域、及び「不快」の領域とは明瞭に分類された領域として設定することができる。   The plurality of different sensitivities can be pleasant, uncomfortable, and contradictory. The sensitivity of “contradiction”, which is neither pleasant nor uncomfortable, or pleasant and uncomfortable, is clearly classified as “pleasant” and “unpleasant” in the principal component space. It can be set as an area.

また、本発明の感性評価方法は、感性に影響する生体情報を、前記被検者の複数の部位の各々から複数の検出手段により検出し、被検者に異なる複数の感性の各々に対応した刺激を与えたときに前記検出手段で検出された生体情報の各々を学習用生体情報として、該学習用生体情報に対して相関行列に基づく主成分分析を行って、前記生体情報の各々を1つの統合データに統合し、該統合データを前記主成分分析に応じた主成分空間に投影し、投影された統合データの前記主成分空間上の分布、及び前記統合データの基になった学習用生体情報の各々が検出されたときに前記被検者に与えられていた刺激に対応する感性に基づいて、前記主成分空間に前記異なる複数の感性の各々に対応した領域を設定し、前記検出手段で検出された前記被検者の感性を評価するための生体情報の各々を対象生体情報として、該対象生体情報の各々に対して相関行列に基づく主成分分析を行って、前記対象生体情報の各々を1つの統合データに統合し、該統合データを前記設定手段により領域が設定された主成分空間に投影し、投影された前記統合データ、及び設定された前記領域に基づいて、前記被検者の感性を評価する方法である。   In addition, the sensitivity evaluation method of the present invention detects biological information that affects sensitivity by detecting a plurality of detection means from each of the plurality of portions of the subject, and corresponds to each of a plurality of sensitivities different to the subject. Each piece of biological information detected by the detecting means when a stimulus is applied is used as learning biological information, and a principal component analysis based on a correlation matrix is performed on the learning biological information, and each piece of biological information is set to 1 The integrated data is projected onto the principal component space corresponding to the principal component analysis, the distribution of the projected integrated data on the principal component space, and the learning based on the integrated data An area corresponding to each of the plurality of different sensibilities is set in the principal component space based on the sensibility corresponding to the stimulus given to the subject when each of the biological information is detected, and the detection Said test detected by means Each piece of biological information for evaluating the sensibility of the subject is set as target biological information, and a principal component analysis based on a correlation matrix is performed on each piece of the target biological information, and each piece of the target biological information is integrated into one integrated data. Then, the integrated data is projected onto the principal component space in which the area is set by the setting means, and the sensitivity of the subject is evaluated based on the projected integrated data and the set area. is there.

また、本発明の感性評価プログラムは、コンピュータを、感性に影響する生体情報を、前記被検者の複数の部位の各々から検出する複数の検出手段で検出された前記生体情報を取得する取得手段、被検者に異なる複数の感性の各々に対応した刺激を与えたときに前記検出手段で検出された生体情報の各々を学習用生体情報として、該学習用生体情報に対して相関行列に基づく主成分分析を行って、前記生体情報の各々を1つの統合データに統合し、該統合データを前記主成分分析に応じた主成分空間に投影する投影手段、前記投影手段により投影された統合データの前記主成分空間上の分布、及び前記統合データの基になった学習用生体情報の各々が検出されたときに前記被検者に与えられていた刺激に対応する感性に基づいて、前記主成分空間に前記異なる複数の感性の各々に対応した領域を設定する設定手段、及び前記検出手段で検出された前記被検者の感性を評価するための生体情報の各々を対象生体情報として、該対象生体情報の各々に対して相関行列に基づく主成分分析を行って、前記対象生体情報の各々を1つの統合データに統合し、該統合データを前記設定手段により領域が設定された主成分空間に投影し、投影された前記統合データ、及び設定された前記領域に基づいて、前記被検者の感性を評価する評価手段として機能させるためのプログラムである。   Further, the sensitivity evaluation program of the present invention obtains the biological information detected by a plurality of detection means for detecting biological information affecting the sensitivity from each of the plurality of parts of the subject. Based on a correlation matrix with respect to the learning biological information, each of the biological information detected by the detecting means when giving a stimulus corresponding to each of a plurality of different sensibilities to the subject as learning biological information Performing principal component analysis, integrating each of the biological information into one integrated data, projecting the integrated data onto a principal component space according to the principal component analysis, integrated data projected by the projection unit Based on the sensitivity corresponding to the stimulus given to the subject when each of the learning biometric information based on the distribution of the principal component space and the integrated data is detected. component A setting means for setting a region corresponding to each of the plurality of different sensibilities in between, and each of the biological information for evaluating the sensitivity of the subject detected by the detection means as the target biological information, the target A principal component analysis based on a correlation matrix is performed on each piece of biological information, and each of the target biological information is integrated into one integrated data, and the integrated data is converted into a principal component space in which a region is set by the setting unit. This is a program for projecting and functioning as an evaluation unit for evaluating the sensitivity of the subject based on the projected integrated data and the set area.

以上説明したように、本発明の感性評価装置、感性評価方法、及び感性評価プログラムによれば、生体情報の各々を相関行列に基づく主成分分析によって統合した統合データを主成分空間に投影することにより、主成分空間上に感性毎に明瞭に分類された領域を設定することができるため、感性を定量的に精度良く評価することができる、という効果が得られる。   As described above, according to the sensitivity evaluation apparatus, sensitivity evaluation method, and sensitivity evaluation program of the present invention, integrated data obtained by integrating biological information by principal component analysis based on a correlation matrix is projected onto the principal component space. Thus, since an area clearly classified for each sensitivity can be set on the principal component space, it is possible to obtain an effect that the sensitivity can be quantitatively and accurately evaluated.

本実施の形態の感性評価装置の構成を示すブロック図である。It is a block diagram which shows the structure of the sensitivity evaluation apparatus of this Embodiment. 本実施の形態の感性評価装置における学習処理ルーチンの内容を示すフローチャートとである。It is a flowchart which shows the content of the learning process routine in the sensitivity evaluation apparatus of this Embodiment. 学習用生体情報の検出を説明するための図である。It is a figure for demonstrating the detection of the biometric information for learning. 学習用生体情報を検出する際に、被検者に与えられる感性に対応した刺激を示す図である。It is a figure which shows the stimulus corresponding to the sensitivity given to a subject, when detecting biometric information for learning. 複数の生体情報を主成分分析した結果を示すグラフである。It is a graph which shows the result of carrying out the principal component analysis of several biological information. 第1の実施の形態の感性評価装置における感性評価処理ルーチンの内容を示すフローチャートとである。It is a flowchart which shows the content of the sensitivity evaluation process routine in the sensitivity evaluation apparatus of 1st Embodiment. 第2の実施の形態の感性評価装置における感性評価処理ルーチンの内容を示すフローチャートとである。It is a flowchart which shows the content of the sensitivity evaluation process routine in the sensitivity evaluation apparatus of 2nd Embodiment.

以下、図面を参照して、本発明の感性評価装置の実施の形態を詳細に説明する。   Hereinafter, embodiments of a sensitivity evaluation apparatus according to the present invention will be described in detail with reference to the drawings.

図1に示すように、第1の実施の形態の感性評価装置10は、被検者から生体情報を検出する検出部12、キーボードやマウス等で構成された、各種情報を入力操作するための操作部13、感性の評価結果を表示するための表示部14、及び感性の評価処理を実行するコンピュータ16を備えている。   As shown in FIG. 1, the sensitivity evaluation apparatus 10 according to the first embodiment is configured to input various information including a detection unit 12 that detects biological information from a subject, a keyboard, a mouse, and the like. An operation unit 13, a display unit 14 for displaying a sensitivity evaluation result, and a computer 16 for executing sensitivity evaluation processing are provided.

コンピュータ16は、感性評価装置10全体の制御を司るCPU20、後述する学習処理及び感性評価処理等の各種プログラムを記憶した記憶媒体としてのROM22、ワークエリアとしてデータを一時的に格納するRAM24、各種情報が記憶された記憶手段としてのハードディスク(HDD)26、入出力ポート(I/Oポート)28、ネットワークインターフェース(ネットワークI/F)30、及びこれらを接続するバスを含んで構成されている。I/Oポート28には、検出部12、操作部13、及び表示部14が接続されている。   The computer 16 includes a CPU 20 that controls the sensitivity evaluation apparatus 10 as a whole, a ROM 22 as a storage medium that stores various programs such as learning processing and sensitivity evaluation processing described later, a RAM 24 that temporarily stores data as a work area, and various information Includes a hard disk (HDD) 26, an input / output port (I / O port) 28, a network interface (network I / F) 30, and a bus connecting them. A detection unit 12, an operation unit 13, and a display unit 14 are connected to the I / O port 28.

検出部12は、被検者の頭皮の複数の部位に装着された電極から脳波を検出する脳波検出器、被検者の右眉毛上及び眼下部位に装着された電極から眼筋電位を検出する眼筋電位検出器、心拍を検出する心拍検出器、被検者の所定部位に装着された熱電対から体表温度を検出するデジタル体温計、並びに、サーモグラフィカメラ及びサーモグラフィカメラで撮影された画像を解析するコンピュータで構成され、被検者の体表温度を検出するサーモグラフィ装置を含んで構成されている。検出部12で検出されたデータは、各々デジタルデータとしてコンピュータ16に入力される。   The detecting unit 12 detects an electroencephalogram detector that detects an electroencephalogram from electrodes attached to a plurality of parts of the subject's scalp, and detects an ocular myoelectric potential from electrodes attached to the subject's right eyebrow and under the eye. Analyzes ocular myoelectric potential detector, heart rate detector that detects heart rate, digital thermometer that detects body surface temperature from thermocouple attached to a predetermined part of the subject, and images taken by thermography camera and thermography camera And a thermographic device that detects the body surface temperature of the subject. Data detected by the detection unit 12 is input to the computer 16 as digital data.

ここでは、脳波は、国際標準脳波電極配置10−20法に従い、19極を被検者の頭皮上に配置する。また、デジタル体温計は、被検者の手首、及び鎖骨上部に配置する。   Here, according to the international standard electroencephalogram electrode arrangement 10-20 method, 19 poles are arranged on the scalp of the subject. The digital thermometer is placed on the subject's wrist and the upper part of the clavicle.

なお、脳波検出器、眼筋電位検出器、心拍検出器、及びデジタル体温計は、被検者に電極等を装着して生体情報を検出するものであり、これらを接触式検出器という。一方、サーモグラフィ装置は、被検者に電極等を装着する必要がないものであり、これを非接触式検出器という。   An electroencephalogram detector, an ocular potential detector, a heart rate detector, and a digital thermometer detect biological information by attaching electrodes or the like to a subject, and these are referred to as contact-type detectors. On the other hand, the thermography device does not require an electrode or the like to be attached to the subject, and this is called a non-contact detector.

次に、図2を参照して、第1の実施の形態の感性評価装置10における学習処理ルーチンについて説明する。本実施の形態では、感性の種類を「快」、「不快」及び「矛盾」とした場合について説明する。   Next, with reference to FIG. 2, a learning processing routine in the sensitivity evaluation apparatus 10 according to the first embodiment will be described. In the present embodiment, a case where the types of sensibility are “pleasant”, “uncomfortable”, and “contradiction” will be described.

ステップ100で、被検者に「快」、「不快」及び「矛盾」の各々に対応した刺激として各種の映像及び音声を与えたときに検出された生体情報を、学習用生体情報として取得する。具体的には、図3に示すように、被検者50に対して映像を提示するスクリーン52、及び音声を提示するスピーカ54の前に、被検者50を配置する。被検者50から事前に提供された被検者50本人が嗜好及び忌避する静止画、映像、音楽、環境音等の情報や、他の感性誘導が期待される情報を用いて編集した約30分の映像及び音声を、スクリーン52及びスピーカ54から被検者50に提示する。提示される映像及び音声は、「快」に対応した刺激、「不快」に対応した刺激、及び「矛盾」に対応した刺激が、十数秒〜数十秒単位で切り替わるように編集されている。   In step 100, biometric information detected when various images and sounds are given to the subject as stimuli corresponding to each of “pleasant”, “unpleasant”, and “contradiction” is acquired as biometric information for learning. . Specifically, as shown in FIG. 3, the subject 50 is placed in front of a screen 52 that presents an image to the subject 50 and a speaker 54 that presents sound. About 30 edited by using information such as still images, images, music, environmental sounds, and the like that are expected and avoided by the subject 50 provided in advance by the subject 50 and other information that is expected to induce sensibility. Minute video and audio are presented to the subject 50 from the screen 52 and the speaker 54. The presented video and audio are edited so that the stimulus corresponding to “Pleasure”, the stimulus corresponding to “Uncomfortable”, and the stimulus corresponding to “Contradiction” are switched in units of several tens of seconds to several tens of seconds.

図4に示すように、「快」に対応した刺激は、スクリーン52から嗜好する映像、及びスピーカ54から嗜好する音声を提示するものである。また、「不快」に対応した刺激は、スクリーン52から忌避する映像、及びスピーカ54から忌避する音声を提示するものである。また、「矛盾」に対応した刺激は、スクリーン52から嗜好する映像、及びスピーカ54から忌避する音声を提示するか、またはスクリーン52から忌避する映像、及びスピーカ54から嗜好する音声を提示するものである。   As shown in FIG. 4, the stimulus corresponding to “pleasant” presents a video that is preferred from the screen 52 and a voice that is preferred from the speaker 54. The stimulus corresponding to “discomfort” presents a video to be avoided from the screen 52 and a voice to be avoided from the speaker 54. The stimulus corresponding to the “contradiction” presents a video that is preferred from the screen 52 and a voice to be avoided from the speaker 54 or a video that is to be avoided from the screen 52 and a voice that is preferred from the speaker 54. is there.

また、図3に示すように、被検者50の頭皮には、脳波検出器12aの複数の電極を装着する。また、被検者50を撮影可能な位置にサーモグラフィ装置12bのサーモグラフィカメラを設置して、被検者50を撮影する。さらに、図示は省略するが、被検者50には、眼筋電位検出器、心拍検出器、及びデジタル体温計が装着されている。そして、上記に示すような刺激が被検者50に与えられているときに、検出部12で被検者50の生体情報を30分計測する。各々の生体情報の検出間隔は、生体情報の特性やその検出器の特性等によって、適切な時間間隔を設定する。例えば、脳波は2m秒毎、体表温度は10秒毎等の時間間隔を設定することができる。このように検出された生体情報の各々を取得する。   As shown in FIG. 3, the scalp of the subject 50 is attached with a plurality of electrodes of the electroencephalogram detector 12a. Further, a thermography camera of the thermography device 12b is installed at a position where the subject 50 can be photographed, and the subject 50 is photographed. Furthermore, although illustration is omitted, the subject 50 is equipped with an ocular potential detector, a heart rate detector, and a digital thermometer. When the stimulus as described above is given to the subject 50, the biological information of the subject 50 is measured for 30 minutes by the detection unit 12. The detection interval of each biological information is set to an appropriate time interval depending on the characteristics of the biological information and the characteristics of the detector. For example, time intervals such as every 2 milliseconds for brain waves and every 10 seconds for body surface temperature can be set. Each piece of biological information detected in this way is acquired.

次に、ステップ102で、取得した生体情報を処理する。脳波は、500Hzデジタル信号として取得して、50Hzローパスフィルター処理後、4.096秒毎に高速フーリエ変換(FFT)し、そのパワースペクトルを周波数成分(δ波:1−4、θ波:4−8、α波:8−13、β波:13−40[Hz])毎に解析処理する。眼筋電位は、500Hzデジタル信号として取得して、4秒毎にパワースペクトラム解析を行う。心拍は、R−R間隔(ピーク値間隔)変動のスペクトル解析により、高周波成分(HF:0.15Hz以上)、及び低周波成分(LF:0.04〜0.15Hz)のパワースペクトル解析により、HFとLF/HFを導出する。また、体表温度は、例えば10秒間隔の検出値の間を線形補完により計算して、脳波等の処理の時間幅(4秒)と整合させる。   Next, in step 102, the acquired biological information is processed. The brain wave is acquired as a 500 Hz digital signal, subjected to a 50 Hz low-pass filter process, and subjected to a fast Fourier transform (FFT) every 4.096 seconds, and the power spectrum is converted into frequency components (δ wave: 1-4, θ wave: 4- 8, α wave: 8-13, β wave: 13-40 [Hz]). The ocular myoelectric potential is acquired as a 500 Hz digital signal, and a power spectrum analysis is performed every 4 seconds. The heart rate is analyzed by power spectrum analysis of a high frequency component (HF: 0.15 Hz or more) and a low frequency component (LF: 0.04 to 0.15 Hz) by spectral analysis of RR interval (peak value interval) fluctuation. Deriving HF and LF / HF. The body surface temperature is calculated by linear interpolation between detection values at intervals of 10 seconds, for example, and matched with the time width (4 seconds) of processing such as brain waves.

次に、ステップ104で、生体情報を検出した30分のうち、事後に被検者50本人のアンケート回答により、「快」、「不快」及び「矛盾」のいずれかの感性が認められた代表的な各1分間の生体情報を抽出し、抽出された生体情報に対して、相関行列に基づく主成分分析を行って、生体情報の各々を1つの統合データに統合し、統合データを図5に示すような主成分分析の第1、第2主成分空間にプロット(投影)する。   Next, in step 104, among the 30 minutes in which the biometric information is detected, a representative who has a sensibility of “pleasant”, “unpleasant” or “contradiction” is confirmed by a questionnaire response of 50 subjects after the fact. Each one minute of biological information is extracted, a principal component analysis based on a correlation matrix is performed on the extracted biological information, and each piece of biological information is integrated into one integrated data. And plot (project) them in the first and second principal component spaces of the principal component analysis as shown in FIG.

なお、生体情報の代表的な部分を抽出することなく、取得した全ての時間の生体情報を用いるようにしてもよい。また、生体情報を検出中の被検者50の様子、すなわち刺激を与えられているときの被検者50の様子をカメラ等を用いて記録しておき、代表的な各1分間を抽出する際に、被検者50本人のアンケート回答のみでなく、記録された被検者50の様子を確認して、感性表現が認められた時間の生体情報を抽出するようにしてもよい。   In addition, you may make it use the biometric information of all the acquired time, without extracting the representative part of biometric information. Further, the state of the subject 50 who is detecting the biological information, that is, the state of the subject 50 when the stimulus is applied is recorded using a camera or the like, and each representative one minute is extracted. At this time, not only the questionnaire responses of 50 subjects but also the recorded state of the subject 50 may be confirmed, and the biological information of the time when the emotional expression is recognized may be extracted.

次に、ステップ106で、分散楕円近似法により、主成分空間に感性毎の楕円形状の領域を設定する。具体的には、プロットされた統合データの主成分空間上の分散を分散楕円で近似する。すなわち、感性毎の統合データのプロットについて分散共分散行列による主成分分析を行い、統合データの分布の平均を中心に、第1主成分固有値の1/2乗値を乗じた第1固有ベクトル正負方向の両端を長軸とし、第2主成分固有値の1/2乗値を乗じた第2固有ベクトル正負方向の両端を短軸とする分散楕円を得て、分散楕円で分散の空間位置と広がりを近似する。このように近似された分散楕円が、感性毎の領域として主成分空間に設定されて、処理を終了する。なお、この感性毎に楕円形状の領域が設定された主成分空間を感性評価用学習モデルという。   Next, in step 106, an elliptical region for each sensitivity is set in the principal component space by the distributed ellipse approximation method. Specifically, the variance of the plotted integrated data on the principal component space is approximated by a variance ellipse. That is, a principal component analysis is performed using a variance-covariance matrix on the integrated data plot for each sensitivity, and the first eigenvector positive / negative direction obtained by multiplying the average of the distribution of the integrated data by the 1/2 power value of the first principal component eigenvalue. To obtain a dispersion ellipse whose major axis is both ends of the second principal component eigenvalue and the minor axis of both ends of the second eigenvector positive / negative direction multiplied by the ½ power value of the second principal component eigenvalue. To do. The dispersion ellipse approximated in this way is set in the principal component space as an area for each sensitivity, and the process ends. The principal component space in which an elliptical region is set for each sensitivity is called a sensitivity evaluation learning model.

図5は、上記ルーチンに従った処理で、主成分空間に設定された感性毎の楕円領域の一例である。主成分空間上に「快」、「不快」及び「矛盾」の各々の楕円領域が明瞭に分類されているのがわかる。なお、図5に示す因子負荷量と主成分空間との関係については後述する。   FIG. 5 is an example of an elliptical area for each sensitivity set in the principal component space by the processing according to the above routine. It can be seen that the elliptical areas of “pleasant”, “unpleasant” and “contradiction” are clearly classified on the principal component space. The relationship between the factor loading shown in FIG. 5 and the principal component space will be described later.

次に、図6を参照して、第1の実施の形態の感性評価装置10における感性評価処理ルーチンについて説明する。   Next, with reference to FIG. 6, a sensitivity evaluation processing routine in the sensitivity evaluation device 10 of the first exemplary embodiment will be described.

ステップ120で、被検者50から検出された複数の生体情報を、対象生体情報として取得する。生体情報は、被検者50に対して既知の刺激が与えられていないことを除いて、上記学習処理のステップ100と同様の処理により検出される。検出部12は、学習処理で用いた脳波検出器、眼筋電位検出器、心拍検出器、デジタル体温計、及びサーモグラフィ装置の全てを用いてもよいし、この中からいくつかを選択して用いてもよい。特に、脳波検出器、デジタル体温計、及びサーモグラフィ装置は、各々1つで被検者50の複数の部位の生体情報を検出可能であるため、各々1つを用いるようにしてもよい。なお、詳細は後述するが、脳波検出器、及びデジタル体温計またはサーモグラフィ装置を組み合わせて用いることが好ましい。   In step 120, a plurality of pieces of biological information detected from the subject 50 are acquired as target biological information. The biological information is detected by the same process as step 100 of the learning process except that no known stimulus is given to the subject 50. The detection unit 12 may use all of the electroencephalogram detector, the ocular potential detector, the heart rate detector, the digital thermometer, and the thermography device used in the learning process, or select and use some of them. Also good. Particularly, since one electroencephalogram detector, one digital thermometer, and one thermography device can detect biological information of a plurality of parts of the subject 50, one each may be used. In addition, although mentioned later for details, it is preferable to use combining an electroencephalogram detector and a digital thermometer or a thermography apparatus.

次に、ステップ122で、上記学習処理のステップ102と同様に、取得した生体情報を処理する。   Next, in step 122, the acquired biological information is processed as in step 102 of the learning process.

次に、ステップ124で、上記学習処理のステップ104と同様に、取得及び処理した生体情報に対して、相関行列に基づく主成分分析を行って、生体情報の各々を1つの統合データに統合し、統合データを、上記学習処理で生成した感性評価用学習モデル(例えば、図5)にプロットする。   Next, in step 124, as in step 104 of the learning process, the biometric information obtained and processed is subjected to principal component analysis based on the correlation matrix, and each piece of biometric information is integrated into one integrated data. The integrated data is plotted on a sensitivity evaluation learning model (for example, FIG. 5) generated by the learning process.

次に、ステップ126で、プロットされた統合データ、及び感性評価用学習モデルが示す主成分空間に設定された領域に基づいて、被検者50の感性を評価し、評価結果を表示部14に表示する。例えば、図5に示すようなグラフを評価結果として出力したり、プロットされた統合データがどの感性の楕円領域に含まれるか、または近いかにより、「快」、「不快」及び「矛盾」のいずれかを出力したりすることができる。また、逐次検出される生体情報に基づく統合データを、図5に示すグラフに時々刻々と表示して、感性の変化を評価するようにしてもよい。   Next, in step 126, the sensitivity of the subject 50 is evaluated based on the plotted integrated data and the region set in the principal component space indicated by the sensitivity evaluation learning model, and the evaluation result is displayed on the display unit 14. indicate. For example, a graph as shown in FIG. 5 is output as an evaluation result, or “pleasant”, “unpleasant”, and “contradiction” are determined depending on which sensibility ellipse area the plotted integrated data is included in or close to. Either of them can be output. Further, the integrated data based on the biological information detected sequentially may be displayed on the graph shown in FIG. 5 every moment to evaluate the change in sensitivity.

以上説明したように、第1の実施の形態の感性評価装置10によれば、生体情報の各々を相関行列に基づく主成分分析によって統合した統合データを主成分空間にプロットすることにより、主成分空間上に感性毎に明瞭に分類された領域を設定することができるため、感性を定量的に精度良く評価することができる。   As described above, according to the sensibility evaluation apparatus 10 of the first embodiment, by plotting integrated data obtained by integrating each piece of biological information by principal component analysis based on a correlation matrix in a principal component space, Since an area clearly classified for each sensitivity can be set on the space, the sensitivity can be quantitatively evaluated with high accuracy.

次に、第2の実施の形態の感性評価装置210について説明する。第2の実施の形態は、通常モードと、通常モードより詳細に感性の評価を行う詳細モードとを選択可能に構成されている点が第1の実施の形態と異なる。なお、第2の実施の形態の感性評価装置210の構成は、第1の実施の形態の感性評価装置10の構成と同一であるため、同一の符号を付して説明を省略する。   Next, a sensitivity evaluation apparatus 210 according to the second embodiment will be described. The second embodiment is different from the first embodiment in that a normal mode and a detailed mode in which sensitivity evaluation is performed in more detail than the normal mode can be selected. In addition, since the structure of the sensitivity evaluation apparatus 210 of 2nd Embodiment is the same as the structure of the sensitivity evaluation apparatus 10 of 1st Embodiment, it attaches | subjects the same code | symbol and abbreviate | omits description.

まず、第2の実施の形態の感性評価装置210における感性評価処理の原理について説明する。   First, the principle of the sensitivity evaluation process in the sensitivity evaluation device 210 of the second embodiment will be described.

図5に示すように、主成分空間に寄与する各パラメータの因子負荷量を、平均中心から伸びるベクトルとして表示した因子負荷量のグラフと照らし合わせて、主成分空間にプロットされた統合データ及び設定された感性毎の領域を考察すると、感性毎の領域を分離する方向に伸びる因子負荷量ベクトルが、サーモグラフィ装置12bで検出された体表温度によるものであることがわかる。一方、体表温度の因子負荷量ベクトルと直交する方向に伸びる因子負荷量ベクトルが、脳波の因子負荷量ベクトルであることがわかる。これは、「快」、「不快」及び「矛盾」の分離表出のように分オーダーの感性(感性の種類)の評価には、生体情報として体表温度を用いることが有効であり、秒オーダーのきめ細かい感性(感性の微細な変動)の評価には、生体情報として脳波を用いることが有効であることを示している。   As shown in FIG. 5, the integrated data and settings plotted in the principal component space are compared with the factor loading amounts of each parameter contributing to the principal component space against the factor loading graph displayed as a vector extending from the average center. When the region for each sensitivity is considered, it can be seen that the factor load vector that extends in the direction of separating the region for each sensitivity is due to the body surface temperature detected by the thermography device 12b. On the other hand, it can be seen that the factor load vector extending in the direction orthogonal to the factor load vector of the body surface temperature is the factor load vector of the electroencephalogram. This is because it is effective to use body surface temperature as biometric information for the evaluation of sensibility (type of sensibility) in the order of minutes, such as separation expression of “pleasant”, “unpleasant” and “contradiction”. It is shown that it is effective to use an electroencephalogram as biological information for evaluation of fine sensibility (fine fluctuations in sensibility).

そこで、第2の実施形態の感性評価装置210では、分オーダーの感性の評価を通常モード、秒オーダーの感性の評価を詳細モードとして、通常モードと詳細モードとを選択可能にしたものである。   Therefore, in the sensitivity evaluation apparatus 210 of the second embodiment, the normal mode and the detailed mode can be selected by setting the sensitivity evaluation of the minute order as the normal mode and the evaluation of the sensitivity as the second order as the detailed mode.

次に、図7を参照して、第2の実施の形態の感性評価装置210における感性評価処理ルーチンについて説明する。なお、第2の実施形態の学習処理は、第1の実施の形態の学習処理(図2)と同様であるため、説明を省略する。   Next, a sensitivity evaluation processing routine in the sensitivity evaluation apparatus 210 according to the second embodiment will be described with reference to FIG. Note that the learning process of the second embodiment is the same as the learning process of the first embodiment (FIG. 2), and thus the description thereof is omitted.

ステップ200で、感性評価のモードとして、通常モードが選択されているか、詳細モードが選択されているかを判定する。この判定は、操作部13により通常モードと詳細モードとのいずれかを選択して設定可能に構成しておき、この設定を読み込んで行う。通常モードが選択されている場合には、ステップ202へ移行し、詳細モードが選択されている場合には、ステップ212へ移行する。   In step 200, it is determined whether the normal mode or the detailed mode is selected as the sensitivity evaluation mode. This determination is made by selecting either the normal mode or the detailed mode by the operation unit 13 and setting it, and reading this setting. If the normal mode is selected, the process proceeds to step 202. If the detailed mode is selected, the process proceeds to step 212.

ステップ202では、サーモグラフィ装置12bにより被検者50の複数の部位から検出された体表温度を、対象生体情報として取得する。サーモグラフィ装置12bは、非接触式検出器であるため、被検者50に対してストレスフリーな検出を行うことができる。   In step 202, body surface temperatures detected from a plurality of parts of the subject 50 by the thermography device 12b are acquired as target biological information. Since the thermography device 12b is a non-contact detector, it can perform stress-free detection on the subject 50.

次に、ステップ204で、取得した生体情報に対して、相関行列に基づく主成分分析を行って、生体情報の各々を1つの統合データに統合し、統合データを、上記学習処理で生成した感性評価用学習モデルにプロットする。   Next, in step 204, principal component analysis based on a correlation matrix is performed on the acquired biological information, each of the biological information is integrated into one integrated data, and the integrated data is generated by the learning process. Plot to the learning model for evaluation.

次に、ステップ206で、プロットされた統合データ、及び感性評価用学習モデルが示す主成分空間に設定された領域に基づいて、プロットした統合データが「快」、「不快」及び「矛盾」のいずれの領域に属するか、または、いずれの領域に最も近いかを判定することにより、被検者50の感性の種類を評価し、ステップ210へ移行して、評価結果を表示部14に出力する。   Next, in step 206, based on the plotted integrated data and the region set in the principal component space indicated by the sensitivity evaluation learning model, the plotted integrated data is “pleasant”, “unpleasant”, and “contradiction”. By determining which region belongs to or closest to which region, the type of sensitivity of the subject 50 is evaluated, the process proceeds to step 210, and the evaluation result is output to the display unit 14. .

一方、詳細モードが選択されていると判定されて、ステップ212へ移行した場合には、サーモグラフィ装置12bにより被検者50の複数の部位から検出された体表温度、及び脳波検出器により被検者50の複数の部位から検出された脳波を、対象生体情報として取得する。   On the other hand, if it is determined that the detailed mode is selected and the process proceeds to step 212, the body surface temperature detected from the plurality of parts of the subject 50 by the thermography device 12b and the brain wave detector Brain waves detected from a plurality of parts of the person 50 are acquired as target biological information.

次に、ステップ214で、取得した生体情報に対して、相関行列に基づく主成分分析を行って、生体情報の各々を1つの統合データに統合し、統合データを、上記学習処理で生成した感性評価用学習モデルにプロットする。   Next, in step 214, the acquired biological information is subjected to principal component analysis based on a correlation matrix, and each piece of biological information is integrated into one integrated data, and the integrated data is generated by the learning process. Plot to the learning model for evaluation.

次に、ステップ216で、プロットされた統合データ、及び感性評価用学習モデルが示す主成分空間に設定された領域に基づいて、プロットした統合データが「快」、「不快」及び「矛盾」のいずれの領域に属するか、または、いずれの領域に最も近いかを判定することにより、被検者50の感性の種類を評価すると共に、被検者50の感性の微細な変動を評価する。感性の微細な変動とは、感性毎の楕円領域内またはその近傍領域における、脳波の因子負荷量ベクトルの伸びる方向への変化を見るものである。例えば、感性「快」の楕円領域内における脳波の因子負荷量ベクトル方向への変化は、「快」の度合い(レベル)を表している可能性もあるが、単純に「快」の度合いの強弱や高低を表しているとは限られない。従って、ここでは、脳波の因子負荷量ベクトルの伸びる方向の感性の変化を、ある感性の中の更に微細な感性の揺らぎを表すものとして取り扱う。そして、ステップ210へ移行して、評価結果を表示部14に出力する。   Next, in step 216, based on the plotted integrated data and the region set in the principal component space indicated by the sensitivity evaluation learning model, the plotted integrated data is “pleasant”, “unpleasant”, and “contradiction”. By determining which region belongs to or closest to which region, the type of sensitivity of the subject 50 is evaluated, and minute variations in the sensitivity of the subject 50 are evaluated. The minute fluctuation of sensitivity is a change in the direction in which the factor loading vector of the electroencephalogram extends in the elliptical region for each sensitivity or in the vicinity thereof. For example, a change in the factor load vector direction of the EEG within the elliptical area of the sensitivity “pleasant” may indicate the degree (level) of “pleasant”, but simply the intensity of the “pleasant” degree It does not necessarily represent high or low. Therefore, here, the change in sensitivity in the direction in which the factor load vector of the electroencephalogram is extended is treated as representing a finer sensitivity fluctuation in a certain sensitivity. And it transfers to step 210 and outputs an evaluation result to the display part 14. FIG.

以上説明したように、第2の実施の形態の感性評価装置210によれば、分オーダーの感性の評価に有効な体表温度による感性の評価を通常モードとし、秒オーダーの感性の評価に有効な脳波による感性の評価を詳細モードとして、通常モードが選択された場合には、ストレスフリーな状態で感性の種類を評価することができ、また、詳細モードが選択された場合には、微細な感性の変化を評価することができるため、必要に応じて柔軟な評価結果を得ることができる。   As described above, according to the sensitivity evaluation apparatus 210 of the second embodiment, the sensitivity evaluation based on the body surface temperature that is effective for evaluating the sensitivity of the minute order is set to the normal mode, and effective for the evaluation of the sensitivity of the second order. When the normal mode is selected as the detailed mode, the sensitivity type can be evaluated in a stress-free state. When the detailed mode is selected, a fine mode is selected. Since the change in sensitivity can be evaluated, a flexible evaluation result can be obtained as necessary.

なお、第2の実施の形態では、通常モードと詳細モードとを選択可能な場合について説明したが、いずれか一方のモードのみを行うように構成してもよい。   In the second embodiment, the case where the normal mode and the detailed mode can be selected has been described. However, only one of the modes may be configured.

また、第2の実施の形態では、詳細モードにおいて、サーモグラフィ装置12bで検出した体表温度、及び脳波検出器12aで検出した脳波の両方を用いる場合について説明したが、脳波のみを用いるようにしてもよい。   In the second embodiment, the case where both the body surface temperature detected by the thermographic device 12b and the electroencephalogram detected by the electroencephalogram detector 12a are used in the detailed mode is described. However, only the electroencephalogram is used. Also good.

また、第1及び第2の実施の形態では、学習用生体情報として、脳波、眼筋電位、心拍、及び体表温度を用いる場合について説明したが、これら全ての生体情報を用いる必要はない。また、これらの生体情報に限定されず、感性に影響する他の生体情報を用いてもよい。ただし、主成分分析の因子負荷量ベクトルの方向が、感性の種類毎に分離する方向となる生体情報と、それに直交する方向で、感性の微細な変化方向となる生体情報とを組み合わせて用いることが好ましい。   In the first and second embodiments, the case where brain waves, eye muscle potentials, heartbeats, and body surface temperature are used as the biological information for learning has been described. However, it is not necessary to use all the biological information. Moreover, it is not limited to these biological information, You may use the other biological information which affects a sensitivity. However, the direction of the factor loading vector in the principal component analysis is used in combination with the biological information in which the direction is separated for each type of sensibility and the biological information in which the direction of sensibility is in the direction perpendicular to the direction Is preferred.

また、第1及び第2の実施の形態では、評価結果を出力して表示部に表示する場合について説明したが、ネットワークI/F30を介して接続された外部装置に評価結果を出力するようにしてもよい。例えば、エアコンディショナーや照明機器の制御装置等の外部装置へ評価結果を出力して、評価結果に基づいて、被検者50の感性に応じた温度制御や調光制御等を行うようにしてもよい。   In the first and second embodiments, the case where the evaluation result is output and displayed on the display unit has been described. However, the evaluation result is output to an external device connected via the network I / F 30. May be. For example, an evaluation result may be output to an external device such as an air conditioner or a lighting device control device, and temperature control or dimming control may be performed according to the sensitivity of the subject 50 based on the evaluation result. Good.

また、第1及び第2の実施の形態では、分散楕円近似法を用いて、感性毎の領域を設定する場合について説明したが、これに限定されない。例えば、主成分空間が感性毎に分類されるような境界線を設定するような方法でもよい。   In the first and second embodiments, the case where the region for each sensitivity is set using the distributed ellipse approximation method has been described. However, the present invention is not limited to this. For example, a method of setting a boundary line in which the principal component space is classified for each sensitivity may be used.

10、210 感性評価装置
12 検出部
12a 脳波検出器
12b サーモグラフィ装置
13 操作部
14 表示部
16 コンピュータ
DESCRIPTION OF SYMBOLS 10,210 Sensitivity evaluation apparatus 12 Detection part 12a EEG detector 12b Thermography apparatus 13 Operation part 14 Display part 16 Computer

Claims (7)

被検者の複数の部位の各々から、前記被検者の感性に影響する生体情報を検出する複数の検出手段と、
被検者に複数の感性の各々に対応した異なる刺激の各々を与えたときに前記検出手段で検出された生体情報の各々を学習用生体情報として、該学習用生体情報に対して相関行列に基づく主成分分析を行って、前記学習用生体情報の各々を1つの統合データに統合し、該統合データを前記主成分分析に応じた主成分空間に投影する投影手段と、
前記投影手段により投影された統合データの前記主成分空間上の分布、及び前記統合データの基になった学習用生体情報の各々が検出されたときに前記被検者に与えられていた刺激に対応する感性に基づいて、前記主成分空間に前記複数の感性の各々に対応した領域を設定する設定手段と、
前記検出手段で検出された前記被検者の感性を評価するための生体情報の各々を対象生体情報として、該対象生体情報の各々に対して相関行列に基づく主成分分析を行って、前記対象生体情報の各々を1つの統合データに統合し、該統合データを前記設定手段により領域が設定された主成分空間に投影し、投影された前記統合データ、及び設定された前記領域に基づいて、前記被検者の感性を評価する評価手段と、
を含む感性評価装置。
A plurality of detection means for detecting biological information that affects the sensitivity of the subject from each of the plurality of portions of the subject;
Each of the biometric information detected by the detection means when giving each of different stimuli corresponding to each of a plurality of sensibilities to the subject as biometric information for learning is used as a correlation matrix for the biometric information for learning. Performing projection based on the principal component analysis, integrating each of the learning biometric information into one integrated data, and projecting the integrated data onto a principal component space according to the principal component analysis;
The stimulus given to the subject when the distribution of the integrated data projected by the projection means on the principal component space and each of the learning biometric information based on the integrated data are detected. Setting means for setting a region corresponding to each of the plurality of sensibilities in the principal component space based on the corresponding sensibilities;
Using each of the biological information for evaluating the sensitivity of the subject detected by the detection means as target biological information, principal component analysis based on a correlation matrix is performed on each of the target biological information, and the target Each of the biological information is integrated into one integrated data, the integrated data is projected onto the principal component space in which the area is set by the setting unit, and based on the projected integrated data and the set area, An evaluation means for evaluating the sensitivity of the subject;
Kansei evaluation device.
前記設定手段は、分散楕円近似法により、前記複数の感性の各々に対応した楕円形状の領域を設定する請求項1記載の感性評価装置。   The sensitivity evaluation apparatus according to claim 1, wherein the setting means sets an elliptical region corresponding to each of the plurality of sensitivities by a distributed ellipse approximation method. 前記複数の検出手段は、前記生体情報として前記被検者の複数の部位から体表温度を検出するサーモグラフィ装置を含んで構成され、
前記評価手段は、前記サーモグラフィ装置により検出された体表温度を用いて前記感性の種類を評価する
請求項1または請求項2記載の感性評価装置。
The plurality of detection means include a thermography device that detects body surface temperature from a plurality of parts of the subject as the biological information,
The sensitivity evaluation apparatus according to claim 1, wherein the evaluation unit evaluates the type of sensitivity using a body surface temperature detected by the thermography apparatus.
通常モードと、該通常モードより詳細に前記感性の評価を行う詳細モードとを選択するための選択手段を含み、
前記複数の検出手段は、前記生体情報として前記被検者の複数の部位から脳波を検出する脳波検出器をさらに含んで構成され、
前記評価手段は、前記選択手段により通常モードが選択された場合には、前記サーモグラフィ装置により検出された体表温度を用いて前記感性の種類を評価し、前記詳細モードが選択された場合には、前記脳波検出器により検出された脳波、及び前記サーモグラフィ装置により検出された体表温度を用いて前記感性の種類、及び該感性の微細な変動を評価する
請求項3記載の感性評価装置。
Selecting means for selecting a normal mode and a detailed mode for evaluating the sensitivity in more detail than the normal mode;
The plurality of detection means further includes an electroencephalogram detector that detects electroencephalograms from a plurality of parts of the subject as the biological information,
When the normal mode is selected by the selection unit, the evaluation unit evaluates the type of sensitivity using the body surface temperature detected by the thermographic device, and when the detailed mode is selected. The sensibility evaluation apparatus according to claim 3, wherein the type of sensibility and minute fluctuations of the sensibility are evaluated using the electroencephalogram detected by the electroencephalogram detector and the body surface temperature detected by the thermography device.
前記異なる複数の感性を、快、不快、及び矛盾とした請求項1〜請求項4のいずれか1項記載の感性評価装置。   The sensitivity evaluation apparatus according to claim 1, wherein the plurality of different sensitivities are defined as pleasant, unpleasant, and contradiction. 感性に影響する生体情報を、前記被検者の複数の部位の各々から複数の検出手段により検出し、
被検者に異なる複数の感性の各々に対応した刺激を与えたときに前記検出手段で検出された生体情報の各々を学習用生体情報として、該学習用生体情報に対して相関行列に基づく主成分分析を行って、前記生体情報の各々を1つの統合データに統合し、該統合データを前記主成分分析に応じた主成分空間に投影し、
投影された統合データの前記主成分空間上の分布、及び前記統合データの基になった学習用生体情報の各々が検出されたときに前記被検者に与えられていた刺激に対応する感性に基づいて、前記主成分空間に前記異なる複数の感性の各々に対応した領域を設定し、
前記検出手段で検出された前記被検者の感性を評価するための生体情報の各々を対象生体情報として、該対象生体情報の各々に対して相関行列に基づく主成分分析を行って、前記対象生体情報の各々を1つの統合データに統合し、該統合データを前記設定手段により領域が設定された主成分空間に投影し、投影された前記統合データ、及び設定された前記領域に基づいて、前記被検者の感性を評価する
感性評価方法。
Detecting biological information affecting sensibility from each of a plurality of parts of the subject by a plurality of detection means,
Each of the biological information detected by the detection means when a stimulus corresponding to each of a plurality of different sensibilities is given to the subject is used as learning biological information. Perform component analysis, integrate each of the biological information into one integrated data, project the integrated data onto the principal component space according to the principal component analysis,
The sensitivity corresponding to the stimulus given to the subject when the distribution of the projected integrated data in the principal component space and each of the learning biometric information based on the integrated data are detected Based on the principal component space, a region corresponding to each of the plurality of different sensibilities,
Using each of the biological information for evaluating the sensitivity of the subject detected by the detection means as target biological information, principal component analysis based on a correlation matrix is performed on each of the target biological information, and the target Each of the biological information is integrated into one integrated data, the integrated data is projected onto the principal component space in which the area is set by the setting unit, and based on the projected integrated data and the set area, A sensitivity evaluation method for evaluating the sensitivity of the subject.
コンピュータを、
感性に影響する生体情報を、前記被検者の複数の部位の各々から検出する複数の検出手段で検出された前記生体情報を取得する取得手段、
被検者に異なる複数の感性の各々に対応した刺激を与えたときに前記検出手段で検出された生体情報の各々を学習用生体情報として、該学習用生体情報に対して相関行列に基づく主成分分析を行って、前記生体情報の各々を1つの統合データに統合し、該統合データを前記主成分分析に応じた主成分空間に投影する投影手段、
前記投影手段により投影された統合データの前記主成分空間上の分布、及び前記統合データの基になった学習用生体情報の各々が検出されたときに前記被検者に与えられていた刺激に対応する感性に基づいて、前記主成分空間に前記異なる複数の感性の各々に対応した領域を設定する設定手段、及び
前記検出手段で検出された前記被検者の感性を評価するための生体情報の各々を対象生体情報として、該対象生体情報の各々に対して相関行列に基づく主成分分析を行って、前記対象生体情報の各々を1つの統合データに統合し、該統合データを前記設定手段により領域が設定された主成分空間に投影し、投影された前記統合データ、及び設定された前記領域に基づいて、前記被検者の感性を評価する評価手段
として機能させるための感性評価プログラム。
Computer
Obtaining means for obtaining the biological information detected by a plurality of detecting means for detecting biological information affecting sensibility from each of the plurality of parts of the subject;
Each of the biological information detected by the detection means when a stimulus corresponding to each of a plurality of different sensibilities is given to the subject is used as learning biological information. Projecting means for performing component analysis, integrating each of the biological information into one integrated data, and projecting the integrated data onto a principal component space according to the principal component analysis;
The stimulus given to the subject when the distribution of the integrated data projected by the projection means on the principal component space and each of the learning biometric information based on the integrated data are detected. Setting means for setting regions corresponding to each of the plurality of different sensitivities in the principal component space based on the corresponding sensibilities, and biological information for evaluating the sensibility of the subject detected by the detection means Each of the target biometric information is subjected to principal component analysis based on a correlation matrix for each of the target biometric information, each of the target biometric information is integrated into one integrated data, and the integrated data is set as the setting means A sensitivity evaluation for functioning as an evaluation means for evaluating the sensitivity of the subject based on the integrated data thus projected and the set area. Program.
JP2009282884A 2009-12-14 2009-12-14 KANSEI evaluation device, KANSEI evaluation method, and KANSEI evaluation program Active JP5322179B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009282884A JP5322179B2 (en) 2009-12-14 2009-12-14 KANSEI evaluation device, KANSEI evaluation method, and KANSEI evaluation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009282884A JP5322179B2 (en) 2009-12-14 2009-12-14 KANSEI evaluation device, KANSEI evaluation method, and KANSEI evaluation program

Publications (2)

Publication Number Publication Date
JP2011120824A true JP2011120824A (en) 2011-06-23
JP5322179B2 JP5322179B2 (en) 2013-10-23

Family

ID=44285363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009282884A Active JP5322179B2 (en) 2009-12-14 2009-12-14 KANSEI evaluation device, KANSEI evaluation method, and KANSEI evaluation program

Country Status (1)

Country Link
JP (1) JP5322179B2 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013255742A (en) * 2012-06-14 2013-12-26 Tokyo Univ Of Agriculture & Technology Sensibility evaluation device, method and program
JP2014159916A (en) * 2013-02-20 2014-09-04 Tokyo Univ Of Agriculture & Technology Environment control apparatus, method, and program
JP2015177403A (en) * 2014-03-17 2015-10-05 セイコーエプソン株式会社 Head-mounted display device and method of controlling head-mounted display device
KR101564933B1 (en) 2014-04-03 2015-11-02 강호일 Apparatus and method for inferring user's emotion based on network
JP2016182504A (en) * 2016-07-28 2016-10-20 ダイキン工業株式会社 Brain activity estimation device
JPWO2015182077A1 (en) * 2014-05-27 2017-04-27 日本電気株式会社 Emotion estimation apparatus, emotion estimation method, and recording medium for storing emotion estimation program
US9798796B2 (en) 2012-02-28 2017-10-24 National Institute Of Advanced Industrial Science And Technology Ranking device, ranking method, and program
JP2018023586A (en) * 2016-08-10 2018-02-15 国立大学法人広島大学 Brain's insular cortex activity extraction method
JP2018042712A (en) * 2016-09-14 2018-03-22 いすゞ自動車株式会社 Biological state determination device and biological state determination program
WO2018088187A1 (en) * 2016-11-08 2018-05-17 ソニー株式会社 Information processing device, information processing method, and program
JP2018187287A (en) * 2017-05-11 2018-11-29 学校法人 芝浦工業大学 Sensitivity estimation device, sensitivity estimation system, sensitivity estimation method and program
US10302944B2 (en) 2013-06-28 2019-05-28 Seiko Epson Corporation Head-mount type display device and method of controlling head-mount type display device
WO2022054349A1 (en) * 2020-09-10 2022-03-17 株式会社島津製作所 Sensibility measuring method and sensibility measuring system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0928678A (en) * 1995-07-20 1997-02-04 Agency Of Ind Science & Technol Apparatus for determining stress
JP2003290179A (en) * 2002-04-02 2003-10-14 Japan Tobacco Inc Sensation sensitivity evaluation system
JP2005128884A (en) * 2003-10-24 2005-05-19 Sony Corp Device and method for editing information content
JP2006247055A (en) * 2005-03-09 2006-09-21 Toyota Motor Corp Vigilance-determining device
JP2007034664A (en) * 2005-07-27 2007-02-08 Sony Corp Emotion estimation device and method, recording medium and program
JP2007097615A (en) * 2005-09-30 2007-04-19 Matsushita Electric Works Ltd Cardiovascular function measuring system
JP2008076905A (en) * 2006-09-22 2008-04-03 Univ Of Tokyo Feeling discrimination method
JP2009508553A (en) * 2005-09-16 2009-03-05 アイモーションズ−エモーション テクノロジー エー/エス System and method for determining human emotion by analyzing eyeball properties

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0928678A (en) * 1995-07-20 1997-02-04 Agency Of Ind Science & Technol Apparatus for determining stress
JP2003290179A (en) * 2002-04-02 2003-10-14 Japan Tobacco Inc Sensation sensitivity evaluation system
JP2005128884A (en) * 2003-10-24 2005-05-19 Sony Corp Device and method for editing information content
JP2006247055A (en) * 2005-03-09 2006-09-21 Toyota Motor Corp Vigilance-determining device
JP2007034664A (en) * 2005-07-27 2007-02-08 Sony Corp Emotion estimation device and method, recording medium and program
JP2009508553A (en) * 2005-09-16 2009-03-05 アイモーションズ−エモーション テクノロジー エー/エス System and method for determining human emotion by analyzing eyeball properties
JP2007097615A (en) * 2005-09-30 2007-04-19 Matsushita Electric Works Ltd Cardiovascular function measuring system
JP2008076905A (en) * 2006-09-22 2008-04-03 Univ Of Tokyo Feeling discrimination method

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9798796B2 (en) 2012-02-28 2017-10-24 National Institute Of Advanced Industrial Science And Technology Ranking device, ranking method, and program
JP2013255742A (en) * 2012-06-14 2013-12-26 Tokyo Univ Of Agriculture & Technology Sensibility evaluation device, method and program
JP2014159916A (en) * 2013-02-20 2014-09-04 Tokyo Univ Of Agriculture & Technology Environment control apparatus, method, and program
US10302944B2 (en) 2013-06-28 2019-05-28 Seiko Epson Corporation Head-mount type display device and method of controlling head-mount type display device
JP2015177403A (en) * 2014-03-17 2015-10-05 セイコーエプソン株式会社 Head-mounted display device and method of controlling head-mounted display device
KR101564933B1 (en) 2014-04-03 2015-11-02 강호일 Apparatus and method for inferring user's emotion based on network
JPWO2015182077A1 (en) * 2014-05-27 2017-04-27 日本電気株式会社 Emotion estimation apparatus, emotion estimation method, and recording medium for storing emotion estimation program
JP2016182504A (en) * 2016-07-28 2016-10-20 ダイキン工業株式会社 Brain activity estimation device
JP2018023586A (en) * 2016-08-10 2018-02-15 国立大学法人広島大学 Brain's insular cortex activity extraction method
US10959656B2 (en) 2016-08-10 2021-03-30 Hiroshima University Method for sampling cerebral insular cortex activity
JP2018042712A (en) * 2016-09-14 2018-03-22 いすゞ自動車株式会社 Biological state determination device and biological state determination program
US10817057B2 (en) 2016-11-08 2020-10-27 Sony Corporation Information processing device, information processing method, and program
WO2018088187A1 (en) * 2016-11-08 2018-05-17 ソニー株式会社 Information processing device, information processing method, and program
JP2018187287A (en) * 2017-05-11 2018-11-29 学校法人 芝浦工業大学 Sensitivity estimation device, sensitivity estimation system, sensitivity estimation method and program
JP7097012B2 (en) 2017-05-11 2022-07-07 学校法人 芝浦工業大学 Kansei estimation device, Kansei estimation system, Kansei estimation method and program
WO2022054349A1 (en) * 2020-09-10 2022-03-17 株式会社島津製作所 Sensibility measuring method and sensibility measuring system
JP7485059B2 (en) 2020-09-10 2024-05-16 株式会社島津製作所 Sensitivity measurement method and sensitivity measurement system

Also Published As

Publication number Publication date
JP5322179B2 (en) 2013-10-23

Similar Documents

Publication Publication Date Title
JP5322179B2 (en) KANSEI evaluation device, KANSEI evaluation method, and KANSEI evaluation program
Kleckner et al. Simple, transparent, and flexible automated quality assessment procedures for ambulatory electrodermal activity data
US10959656B2 (en) Method for sampling cerebral insular cortex activity
JP2593625B2 (en) Biological information automatic identification device
JP2018521830A (en) Method and system for monitoring and improving attention deficits
KR20150031361A (en) Contents valuation system and contents valuating method using the system
Krzywicki et al. A non-contact technique for measuring eccrine sweat gland activity using passive thermal imaging
KR101718293B1 (en) PTSD diagnostic System through the brain network analysis
JP2008539977A (en) Neurophysiological central auditory processing evaluation system and method
TW201538127A (en) Method and device of sleep detection
KR20150028661A (en) Analysis method of user intention recognition for brain computer interface
Altini et al. Combining wearable accelerometer and physiological data for activity and energy expenditure estimation
Zou et al. Integrating biometric sensors, VR, and machine learning to classify EEG signals in alternative architecture designs
Kim et al. Comparison of physiological responses to affect eliciting pictures and music
JP2013255742A (en) Sensibility evaluation device, method and program
CN116269392B (en) Multi-parameter coupling stress level assessment method and system
EP3182892B1 (en) Method and system for eeg signal processing
Nambu et al. Transient increase in systemic interferences in the superficial layer and its influence on event-related motor tasks: a functional near-infrared spectroscopy study
JP2007202619A (en) Brain activity analysis method and apparatus
Safta et al. Emotion detection using psycho-physiological signal processing
KR20220126041A (en) Method for Emotion Evaluation using heart dynamics, and system adopting the method
Dourou et al. IoT-enabled analysis of subjective sound quality perception based on out-of-lab physiological measurements
JP6226288B2 (en) Impression evaluation apparatus and impression evaluation method
CN113993449A (en) Mental health assessment system and method using physiological signal input
Nedvědová et al. Comparing EEG signals and emotions provoked by images with different aesthetic variables using emotive insight and neurosky mindwave

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121114

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130627

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130710

R150 Certificate of patent or registration of utility model

Ref document number: 5322179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250