JP2015131069A - Impression estimation device, method thereof, and program - Google Patents

Impression estimation device, method thereof, and program Download PDF

Info

Publication number
JP2015131069A
JP2015131069A JP2014005529A JP2014005529A JP2015131069A JP 2015131069 A JP2015131069 A JP 2015131069A JP 2014005529 A JP2014005529 A JP 2014005529A JP 2014005529 A JP2014005529 A JP 2014005529A JP 2015131069 A JP2015131069 A JP 2015131069A
Authority
JP
Japan
Prior art keywords
music
impression
time interval
feature
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014005529A
Other languages
Japanese (ja)
Other versions
JP5718494B1 (en
Inventor
惇 米家
Makoto Yoneya
惇 米家
シンイ リャオ
Hsin-I Liao
シンイ リャオ
茂人 古川
Shigehito Furukawa
茂人 古川
牧夫 柏野
Makio Kayano
牧夫 柏野
俊介 木谷
Shunsuke Kidani
俊介 木谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2014005529A priority Critical patent/JP5718494B1/en
Application granted granted Critical
Publication of JP5718494B1 publication Critical patent/JP5718494B1/en
Publication of JP2015131069A publication Critical patent/JP2015131069A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technology capable of estimating preference of music in real time.SOLUTION: Impression estimation devices 10 and 20 include: feature amount extraction parts 13 and 23 for extracting a first feature amount corresponding to a feature of a micro saccade that appears in a movement of a person's eyeball in a first time section, and a second feature amount corresponding to a feature of a micro saccade that appears in a movement of a person's eyeball in a second time section, the first time section being a time section in which first music is presented to the person so as to be listened to, and the second time section being a time section in which second music different from the first music is presented to the person so as to be listened to; and preference estimation parts 14 and 24 for estimating the impression of the first music and the second music based on the extent of differences between the first feature amount and the second feature amount.

Description

本発明は、音楽に対する印象(好き/嫌い)を推定する技術に関する。   The present invention relates to a technique for estimating an impression (like / dislike) of music.

非特許文献1では、好きな音楽を聴いているとき、さらには、聴く前の聴くことを期待しているときに、線条体でドーパミンが放出される傾向があることが確認された。   In Non-Patent Document 1, it was confirmed that dopamine tends to be released in the striatum when listening to favorite music and further expecting to listen before listening.

V. N. Salimpoor, M. Benovoy, K. Larcher, A. Dagher & R. J. Zatorre, "Anatomically distinct dopamine release during anticipation and experience of peak emotion to music", Nature Neuroscience 14(2), 2011, pp.257-262.V. N. Salimpoor, M. Benovoy, K. Larcher, A. Dagher & R. J. Zatorre, "Anatomically distinct dopamine release during anticipation and experience of peak emotion to music", Nature Neuroscience 14 (2), 2011, pp.257-262.

非特許文献1によれば、ある音楽を好きか否かや、ある音楽に対する期待に応じて、ドーパミンの放出量が変化する傾向があることを利用して、楽曲への時々刻々の印象(好きか否か)や期待が推定できる可能性がある。しかし、ドーパミンの放出量の測定に用いる装置(PET:positron emission tomography)は時間分解能が低く、解析にも時間がかかるため、非特許文献1ではリアルタイムに音楽の好みを推定することはできない。   According to Non-Patent Document 1, using the fact that the amount of dopamine released tends to change depending on whether or not you like a certain music and the expectation for a certain music, Or expectation). However, since a device (PET: positron emission tomography) used for measuring the amount of released dopamine has a low temporal resolution and takes a long time to analyze, Non-Patent Document 1 cannot estimate music preferences in real time.

本発明は、音楽の好みをリアルタイムで推定することができる技術を提供することを目的とする。   An object of this invention is to provide the technique which can estimate a music preference in real time.

上記の課題を解決するために、本発明の第一の態様によれば、印象推定装置は、第1時間区間を第1の音楽を受聴可能なようにヒトに呈示する時間区間とし、第2時間区間を第1の音楽と異なる第2の音楽を受聴可能なようにヒトに呈示する時間区間とし、第1時間区間におけるヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量と、第2時間区間におけるヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第2特徴量と、を抽出する特徴量抽出部と、第1特徴量と第2特徴量との相違の度合いに基づいて、第1の音楽と第2の音楽に対する印象を推定する嗜好推定部とを含む。   In order to solve the above-described problem, according to the first aspect of the present invention, the impression estimation device sets the first time interval as a time interval to be presented to a human so that the first music can be received, and the second time interval. The time interval is a time interval that is presented to a human so that a second music different from the first music can be received, and the first feature corresponds to a microsaccade feature that appears in the movement of the human eyeball in the first time interval. Difference between the first feature amount and the second feature amount, and a feature amount extraction unit that extracts the second feature amount corresponding to the feature of the microsaccade appearing in the movement of the human eyeball in the second time interval A preference estimation unit that estimates impressions of the first music and the second music based on the degree of the music.

上記の課題を解決するために、本発明の第二の態様によれば、印象推定方法は、第1時間区間を第1の音楽を受聴可能なようにヒトに呈示する時間区間とし、第2時間区間を第1の音楽と異なる第2の音楽を受聴可能なようにヒトに呈示する時間区間とし、第1時間区間におけるヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量と、第2時間区間におけるヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第2特徴量と、を抽出する特徴量抽出ステップと、第1特徴量と第2特徴量との相違の度合いに基づいて、第1の音楽と第2の音楽に対する印象を推定する嗜好推定ステップとを含む。   In order to solve the above problem, according to a second aspect of the present invention, an impression estimation method uses a first time interval as a time interval to be presented to a human so that the first music can be received, The time interval is a time interval that is presented to a human so that a second music different from the first music can be received, and the first feature corresponds to a microsaccade feature that appears in the movement of the human eyeball in the first time interval. The feature amount extraction step of extracting the amount and the second feature amount corresponding to the feature of the microsaccade appearing in the movement of the human eyeball in the second time interval, and the difference between the first feature amount and the second feature amount A preference estimation step of estimating an impression of the first music and the second music based on the degree of the first music.

上記の課題を解決するために、本発明の第三の態様によれば、印象推定方法は、モデル記憶部には、ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する特徴量と音楽に対する印象との相関性を記述したモデルである嗜好推定モデルが記憶されているものとして、印象推定対象の音楽が受聴可能なようにヒトに呈示されている時間区間におけるヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する特徴量を抽出する特徴量抽出ステップと、嗜好推定ステップは、特徴量抽出ステップで抽出した特徴量を入力として、嗜好推定モデルを参照することにより、印象推定対象の音楽に対する印象を推定する。   In order to solve the above problem, according to a third aspect of the present invention, an impression estimation method includes a feature amount and music corresponding to a feature of a microsaccade appearing in a movement of a human eyeball in a model storage unit. As a model that stores the preference estimation model that describes the correlation with the impression of a person's impression, it appears in the movement of the human eyeball during the time interval that is presented to the person so that the music of the impression estimation target can be heard The feature amount extraction step for extracting the feature amount corresponding to the feature of the microsaccade and the preference estimation step input the feature amount extracted in the feature amount extraction step and refer to the preference estimation model, thereby Estimate the impression of music.

本発明によれば、個人毎の音楽の好みをリアルタイムで推定することができるという効果を奏する。   According to the present invention, there is an effect that music preference for each individual can be estimated in real time.

マイクロサッカードを表す図。The figure showing a microsaccade. 印象推定装置の機能ブロック図。The functional block diagram of an impression estimation apparatus. 印象推定装置の処理フローの例を示す図。The figure which shows the example of the processing flow of an impression estimation apparatus. 基準振幅A、オーバーシュートの振幅Ao及び立ち上がり時間Tp、最大速度Vmax及びオーバーシュートの速度Voを説明するための図。Diagram for explaining a reference amplitude A, of the overshoot amplitude A o and the rise time T p, the maximum velocity V max and velocity V o of the overshoot. 図5Aは実験において聴取対象となる音楽の波形を示す図、図5Bは図5Aの音楽に対して被験者が評価した評価結果を示す図。FIG. 5A is a diagram illustrating a waveform of music to be listened to in the experiment, and FIG. 5B is a diagram illustrating an evaluation result evaluated by the subject with respect to the music of FIG. 5A. 実験結果を示す図。The figure which shows an experimental result. ドリフトの速度Vdを説明するための図。Diagram for explaining the velocity V d of the drift.

以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。   Hereinafter, embodiments of the present invention will be described. In the drawings used for the following description, constituent parts having the same function and steps for performing the same process are denoted by the same reference numerals, and redundant description is omitted.

<第一実施形態>
本実施形態では、人の眼球の動きの表れる微細な跳躍性眼球運動(以下、マイクロサッカード(microsaccade)ともいう)に基づいて、その人がその音楽を好んでいるか否かを推定する。まず、マイクロサッカードについて説明する。人がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動(ドリフト(drift,trendといってもよい)、トレマ、マイクロサッカード(フリックといってもよい))を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。図1はマイクロサッカードを表す図であり、横軸は時間(秒)を、縦軸は視野角を表す。詳しく説明すると、マイクロサッカードとは、ある一点を注視している状態において、1〜2秒の間に1回程度、対象者の意思とは関係なく(非随意的に)表れる眼球の動きであって、小さな跳ぶような動きのことである(図1の太線部分)。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。ただし、マイクロサッカードが水平方向に偏向する性質に基づき、本実施形態では、簡単のため水平方向の成分のみを用いる。なお、「水平方向」とは、地面と完全に平行な方向に限定する意味ではなく、顔に対しての水平方向(眼球の配列方向であり、横方向、幅方向といってもよい)や後述する眼球運動取得部12において水平方向と定義付られた方向を含む概念である。
<First embodiment>
In the present embodiment, it is estimated whether or not the person likes the music based on minute jumping eye movements (hereinafter also referred to as microsaccade) in which the movement of the person's eyeball appears. First, microsaccade will be described. When a person is gazing at a certain point, the eyeball does not stop moving completely, but three types of eye movements (also known as drift and trend), trema, and micro Saccade (may be called flick)). Drift is a small smooth movement, trema is a very small high-frequency vibration, and microsaccade is a small jumping movement. FIG. 1 is a diagram showing a microsaccade, where the horizontal axis represents time (seconds) and the vertical axis represents the viewing angle. In detail, a microsaccade is a movement of an eyeball that appears (non-voluntarily) regardless of the intention of the subject about once in 1 to 2 seconds in a state of gazing at a certain point. It is a small jumping movement (the bold line portion in FIG. 1). Microsaccades can be obtained from either the horizontal or vertical component of motion. However, based on the property that the microsaccade is deflected in the horizontal direction, in this embodiment, only the component in the horizontal direction is used for simplicity. The “horizontal direction” does not mean that the direction is completely parallel to the ground, but the horizontal direction with respect to the face (the direction of eyeball arrangement, which may be referred to as the horizontal direction or the width direction) This is a concept including a direction defined as a horizontal direction in an eye movement acquisition unit 12 to be described later.

図2は第一実施形態に係る印象推定装置10の機能ブロック図、図3はその処理フローの例を示す図である。
印象推定装置10は、音呈示部11、眼球運動取得部12、特徴量抽出部13及び嗜好推定部14を含む。
FIG. 2 is a functional block diagram of the impression estimation apparatus 10 according to the first embodiment, and FIG. 3 is a diagram showing an example of the processing flow.
The impression estimation device 10 includes a sound presentation unit 11, an eye movement acquisition unit 12, a feature amount extraction unit 13, and a preference estimation unit 14.

<音呈示部11>
音呈示部11は、2つの異なる音楽をそれぞれ別の時間区間において受聴可能なように人(以下、対象者ともいう)に呈示する(s11)。例えば、ヘッドホンやスピーカなどにより、受聴可能な音量でそれぞれの音楽を呈示する。2つの異なる音楽は、同じ楽曲の中の異なる時間区間のものであってもよいし、異なる楽曲の一部または全部であってもよい。一方の音楽を受聴可能なように人に呈示する時間区間を第1時間区間、他方の音楽を受聴可能なように人に呈示する時間区間を第2時間区間とする。なお、第1時間区間と第2時間区間の長さは異なっていても良い。
<Sound presentation unit 11>
The sound presentation unit 11 presents two different pieces of music to a person (hereinafter also referred to as a target person) so that they can be heard in different time intervals (s11). For example, each music is presented at a volume that can be heard through headphones or speakers. The two different music may be in different time intervals in the same music, or may be part or all of different music. A time interval that is presented to a person so that one music can be listened to is a first time interval, and a time period that is presented to a person so that the other music can be heard is a second time interval. Note that the lengths of the first time interval and the second time interval may be different.

<眼球運動取得部12>
眼球運動取得部12は、第1時間区間と第2時間区間のそれぞれにおいて、対象者の眼球の位置情報を取得し(s12)、特徴量抽出部13へ出力する。例えば、対象者には、各音楽を呈示している間(第1時間区間と第2時間区間において)は、ある1点を注視してもらうようにし、その時の眼球の動きを赤外線カメラを用いて撮像する。そして、撮像した結果を画像処理することで、時間毎(例えば、1000Hz)の眼球の位置の時系列を眼球の位置情報として取得する。なお、左右両方の眼球の位置情報を取得してもよいし、何れか一方の眼球の位置情報のみを取得してもよい。本実施形態では、一方の眼球の位置情報のみを取得するものとする。
<Eye Movement Acquisition Unit 12>
The eye movement acquisition unit 12 acquires the position information of the eyeball of the subject in each of the first time interval and the second time interval (s12), and outputs it to the feature amount extraction unit 13. For example, while the subject is presenting each piece of music (in the first time interval and the second time interval), the subject is asked to pay attention to a certain point, and the movement of the eyeball at that time is detected using an infrared camera. Take an image. And the time series of the position of the eyeball for every time (for example, 1000 Hz) is acquired as position information of the eyeball by performing image processing on the captured result. Note that the position information of both the left and right eyeballs may be acquired, or only the position information of one of the eyeballs may be acquired. In the present embodiment, only the position information of one eyeball is acquired.

<特徴量抽出部13>
特徴量抽出部13は、第1時間区間と第2時間区間のそれぞれについての眼球の位置情報を受け取り、眼球の位置情報の時系列から、第1時間区間と第2時間区間のそれぞれについてのマイクロサッカードの特徴に対応する特徴量を抽出し(s13)、嗜好推定部14に出力する。
<Feature Extraction Unit 13>
The feature quantity extraction unit 13 receives the position information of the eyeballs for each of the first time interval and the second time interval, and from the time series of the position information of the eyeballs, A feature amount corresponding to the saccade feature is extracted (s13) and output to the preference estimation unit 14.

例えば、眼球の位置情報の時系列について1次階差系列を計算し、階差系列の絶対値が所定の閾値を上回る時間区間をマイクロサッカードが起きている区間として検出する。取得された眼球の位置情報にノイズが多く含まれると判断される場合などには、1次階差系列の計算にあたって適当な範囲での移動平均値を用いても良い。検出に用いる閾値には、階差系列の標準偏差の6倍程度の値を用いることが好ましい。   For example, a first-order difference series is calculated for a time series of eyeball position information, and a time section in which the absolute value of the difference series exceeds a predetermined threshold is detected as a section where microsaccade is occurring. For example, when it is determined that the acquired position information of the eyeball includes a lot of noise, a moving average value in an appropriate range may be used in calculating the first-order difference series. The threshold used for detection is preferably a value about 6 times the standard deviation of the difference series.

特徴量は、音楽に対する印象を推定するための指標ともいえる。言い換えれば、眼球の位置情報の時系列のうち、眼球の位置が大きく変化する区間(マイクロサッカードが起きている区間)における眼球運動を表す特徴量である。特徴量は、具体的には、マイクロサッカードが起きているときの眼球位置の時系列を位置制御系のステップ応答としてモデル化したときの減衰率λ、もしくは、減衰係数ζ、または、マイクロサッカードの発生頻度Pの少なくともいずれか1つ以上を含む特徴量である。位置制御系のステップ応答は、固有角振動数をωとして、 The feature amount can be said to be an index for estimating an impression of music. In other words, in the time series of the position information of the eyeball, the feature amount represents the eye movement in a section where the position of the eyeball changes greatly (section where microsaccade occurs). Specifically, the feature amount is an attenuation rate λ, an attenuation coefficient ζ, or a microsoccer when a time series of eyeball positions when microsaccade is occurring is modeled as a step response of the position control system. This is a feature amount including at least one of the occurrence frequency P. The step response of the position control system is the natural angular frequency ω n

Figure 2015131069

と表される。ここでG(s)は伝達係数,y(t)は位置, y'(t)は速度を表し、
Figure 2015131069

It is expressed. Where G (s) is the transfer coefficient, y (t) is the position, y '(t) is the velocity,

Figure 2015131069
Figure 2015131069

と表される。ただし、tは時刻を表すインデックスであり、sはラプラス変換によるパラメタ(複素数)である。固有角振動数ωはマイクロサッカードの応答の速さを表す指標に相当し、減衰係数ζはマイクロサッカードの応答の正確性に対応する指標に相当する。また、A, Vmax, Ao, Vo, Tpはそれぞれ以下を表す(図4参照)。 It is expressed. Here, t is an index representing time, and s is a parameter (complex number) by Laplace transform. The natural angular frequency ω n corresponds to an index representing the response speed of the microsaccade, and the damping coefficient ζ corresponds to an index corresponding to the accuracy of the microsaccade response. A, V max , A o , V o , and T p represent the following (see FIG. 4).

(1)基準振幅A:マイクロサッカードによる眼球の動きが収束したときの移動量である。
(2)最大速度Vmax:基準振幅A+オーバーシュートの振幅Aoに達するまでの最大の速度である。
(3)オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した(行き過ぎた)部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
(4)オーバーシュートの速度Vo:基準振幅A+オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
(5)立ち上がり時間Tp:基準振幅A+オーバーシュートの振幅Aoに達する(立ち上がる)までにかかる時間である。なお、基準振幅A+オーバーシュートの振幅Aoに達するまでにかかる時間は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
(1) Reference amplitude A: A movement amount when the movement of the eyeball by the microsaccade converges.
(2) Maximum speed V max : Maximum speed until reaching the reference amplitude A + overshoot amplitude A o .
(3) Overshoot amplitude A o : The amount of the portion that exceeds (overshoots) the reference amplitude A by the microsaccade. The overshoot is a phenomenon in which the waveform protrudes beyond the reference amplitude A at the rising portion of the waveform, or the protruding waveform. In other words, the overshoot amplitude is the amount of the protruding portion.
(4) Overshoot speed V o : This is the maximum speed when attempting to converge to reference amplitude A from reference amplitude A + overshoot amplitude A o .
(5) Rise time T p : Time required to reach (rise) the reference amplitude A + the overshoot amplitude A o . The reference amplitude A + overshoot amplitude A o time to reach of the same value as the time it takes from the maximum velocity V max reach speeds V o overshoot.

なお、減衰率λと減衰係数ζについては、第1時間区間内で複数回のマイクロサッカードが発生している場合には、各マイクロサッカードについて位置制御系のステップ応答としてモデル化することで求めた減衰率λもしくは減衰係数ζの、第1時間区間内全てについての代表値(例えば平均値)を、第1時間区間における特徴量とする。第2時間区間における特徴量も同様である。代表値としては、平均値のほかにも、最大値、最小値、時間区間内で最初のマイクロサッカードに対応する値などでもよい。   Note that the attenuation rate λ and the attenuation coefficient ζ are modeled as step responses of the position control system for each microsaccade when multiple microsaccades are generated in the first time interval. A representative value (for example, an average value) of all the calculated attenuation rates λ or attenuation coefficients ζ within the first time interval is used as a feature amount in the first time interval. The same applies to the feature amount in the second time interval. As the representative value, in addition to the average value, a maximum value, a minimum value, a value corresponding to the first microsaccade in the time interval, and the like may be used.

<嗜好推定部14>
嗜好推定部14は、特徴量抽出部13が抽出した第1時間区間と第2時間区間のそれぞれについての特徴量の相違の度合いに基づいて、音呈示部で呈示した2つの異なる音楽のうちの少なくともいずれかについての印象を推定する(s14)。ここで、印象とは、好んでいるか否かに関するものであり、印象が良いとは好んでいることを、印象が悪いとは好んでいないことを意味する。例えば、嗜好推定部14は、対象者が2つの異なる音楽のうちの一方の音楽を他方の音楽と比較して好んでいるか否かを推定する。あるいは、嗜好推定部14は、対象者が2つの異なる音楽のうちのどちらの音楽をより好んでいるかを推定する。
<Preference estimation unit 14>
The preference estimation unit 14 is based on the difference between the feature amounts of the first time interval and the second time interval extracted by the feature amount extraction unit 13, and is selected from the two different music presented by the sound presentation unit. The impression about at least one is estimated (s14). Here, the impression is related to whether or not it likes, and means that “good” means that it is preferable, and “not good” means that it does not like it. For example, the preference estimation unit 14 estimates whether or not the target person likes one of two different music compared to the other music. Alternatively, the preference estimation unit 14 estimates which of the two different music the subject person prefers.

具体的には、特徴量が減衰率λや発生頻度Pである場合には、特徴量が大きいほうの時間区間に呈示した音楽の方が、他方の時間区間に呈示した音楽よりも印象が良い(好んでいる度合いが大きい)と推定する。   Specifically, when the feature quantity is the attenuation rate λ or the occurrence frequency P, the music presented in the time section with the larger feature quantity has a better impression than the music presented in the other time section. (The degree of preference is large).

あるいは、特徴量が減衰係数ζである場合には、特徴量が小さいほうの時間区間に呈示した音楽の方が、他方の時間区間に呈示した音楽よりも印象が良い(好んでいる度合いが大きい)と推定する。   Alternatively, when the feature amount is the attenuation coefficient ζ, the music presented in the time interval with the smaller feature amount has a better impression than the music presented in the other time interval (the degree of preference is greater) ).

これは、減衰係数ζや減衰率λ、発生頻度Pと音楽に対する印象との間に、以下のような相関関係があることが、実験により明らかになったことに基づく。
(1)印象が良いとき(良くなるとき)には、減衰係数ζが減少する傾向がある。
(2)印象が良いとき(良くなるとき)には、減衰率λが増加する傾向がある。なお、減衰係数と減衰率は負の相関関係にある。
(3) 印象が良いとき(良くなるとき)には、マイクロサッカードの発生頻度Pが増加する傾向がある。
This is based on the fact that the following correlation exists among the attenuation coefficient ζ, the attenuation rate λ, the occurrence frequency P, and the impression of music.
(1) When the impression is good (when it gets better), the damping coefficient ζ tends to decrease.
(2) When the impression is good (when it gets better), the attenuation factor λ tends to increase. Note that the attenuation coefficient and the attenuation rate have a negative correlation.
(3) When the impression is good (when it gets better), the microsaccade frequency P tends to increase.

なお、減衰係数ζ、減衰率λ、発生頻度Pのいずれか1つを単独で用いてもよいし、組み合わせて用いてもよい。例えば、何れか二つを満たせばよい、三つ全てを満たせばよい、等と設定してもよい。すなわち、減衰係数ζ、減衰率λ、発生頻度Pのいずれか1つ以上の特徴量の各々に基づき、音楽の印象を推定してもよい。   Note that any one of the attenuation coefficient ζ, the attenuation rate λ, and the occurrence frequency P may be used alone or in combination. For example, any two may be satisfied, all three may be satisfied, and the like may be set. That is, the impression of music may be estimated based on each of one or more feature amounts of the attenuation coefficient ζ, the attenuation rate λ, and the occurrence frequency P.

なお、減衰係数ζは、マイクロサッカードを位置制御系(二次遅れ系)のステップ応答としてみたときの、応答の正確性に対応する指標である。自分の好きな音楽を聴いているときは、音楽に意識が向けられることで、マイクロサッカードの制御に関わる脳の中枢あるいは外眼筋にも一時的な影響があらわれ、応答の正確性(減衰係数)の変化として観測できると考えられる。   The attenuation coefficient ζ is an index corresponding to the accuracy of the response when the microsaccade is viewed as a step response of the position control system (secondary delay system). When listening to your favorite music, being focused on the music can temporarily affect the brain's central or extraocular muscles involved in microsaccade control, resulting in accurate response (attenuation). It can be observed as a change in the coefficient.

以下に、図5を用いて実験の一例について説明する。図5Aの波形で表される音楽を被験者に呈示する。被験者は音楽を聴きながら、0〜10の11段階のツマミを回し、音楽に対する「好き嫌いの度合い(rating)」を時々刻々評価する。図5Bは評価結果を示す。なお、ratingは、5を中立(好きでも嫌いでもない状態)とし、大きい値ほど(10に近いほど)、その音楽が好きであることを表す。なお、曲の合間には、評価が0になるように設定した。このときの被験者のマイクロサッカードから上述の特徴量を測定した。「好き」と判断されている時間帯(この実験ではrating≧7となる時間帯とした)と「嫌い」と判断されている時間帯(この実験ではrating≦4となる時間帯とした)とにおけるマイクロサッカードの発生頻度及び減衰係数をそれぞれ図6A及び図6Bに表す。発生頻度は、rating≧7またはrating≦4となる時間帯に発生したマイクロサッカードの回数をその時間(秒)で割ることで求めた。減衰係数は、rating≧7またはrating≦4となる時間帯に発生したマイクロサッカードの減衰係数の平均を用いた。なお、各値の中央の線分は各値の標準偏差を表す。   Hereinafter, an example of the experiment will be described with reference to FIG. The music represented by the waveform of FIG. 5A is presented to the subject. While listening to music, the subject turns eleven steps from 0 to 10 to evaluate the “rating” of the music from time to time. FIG. 5B shows the evaluation results. Note that rating indicates that 5 is neutral (a state that is neither favorite nor disliked), and a larger value (closer to 10) indicates that the user likes the music. In addition, it set so that evaluation might be set to 0 between music. The above feature amount was measured from the microsaccade of the subject at this time. The time zone judged as “Like” (in this experiment, the time zone where rating ≧ 7) and the time zone judged as “dislike” (in this experiment, the time zone where rating ≦ 4) FIG. 6A and FIG. 6B show the occurrence frequency and attenuation coefficient of microsaccades in FIG. The frequency of occurrence was determined by dividing the number of microsaccades occurring in the time zone where rating ≧ 7 or rating ≦ 4 by the time (seconds). As the attenuation coefficient, an average of attenuation coefficients of microsaccades generated in a time zone where rating ≧ 7 or rating ≦ 4 was used. In addition, the center line segment of each value represents the standard deviation of each value.

結果、「好き」と判断されている時間帯には、「嫌い」と判断されている時間帯よりもマイクロサッカードの発生頻度及び減衰率が増加し、減衰係数が減少する傾向にあることが確認された。すなわち、「好き」と判断されている時間帯におけるマイクロサッカードの発生頻度及び減衰率と、「嫌い」と判断されている時間帯におけるマイクロサッカードの発生頻度及び減衰率とをそれぞれ比較すると、「好き」と判断されている時間帯におけるマイクロサッカードの発生頻度及び減衰率のほうが、「嫌い」と判断されている時間帯におけるマイクロサッカードの発生頻度及び減衰率よりも大きい傾向にある。また、「好き」と判断されている時間帯におけるマイクロサッカードの減衰係数と、「嫌い」と判断されている時間帯におけるマイクロサッカードの減衰係数とを比較すると、「好き」と判断されている時間帯におけるマイクロサッカードの減衰係数のほうが、「嫌い」と判断されている時間帯におけるマイクロサッカードの減衰係数よりも小さい傾向にある。   As a result, the occurrence frequency and attenuation rate of microsaccades tend to increase and the attenuation coefficient tend to decrease during the time period determined as “like” compared to the time period determined as “dislike”. confirmed. That is, when the occurrence frequency and attenuation rate of microsaccades in the time zone determined as “like” and the occurrence frequency and attenuation rate of microsaccades in the time zone determined as “dislike” are respectively compared, The occurrence frequency and attenuation rate of the microsaccade in the time zone determined as “like” tend to be larger than the occurrence frequency and attenuation rate of the microsaccade in the time zone determined as “dislike”. In addition, when the attenuation coefficient of the microsaccade in the time zone determined as “like” is compared with the attenuation coefficient of the microsaccade in the time zone determined as “dislike”, it is determined as “like”. The attenuation coefficient of a microsaccade in a certain time zone tends to be smaller than the attenuation coefficient of a microsaccade in a time zone determined to be “dislike”.

上述の嗜好推定部14の処理は、この知見に基づいて、第1時間区間と第2時間区間に呈示された音楽に対する印象を推定するものである。   Based on this knowledge, the process of the preference estimation unit 14 described above estimates an impression on music presented in the first time interval and the second time interval.

<効果>
マイクロサッカードは、ドーパミン放出量と比較して、個人ごとのデータの評価にも適した指標である。また、マイクロサッカードは、取得した眼球位置の情報から高速に解析可能であるため、リアルタイムで測定結果を得ることができる。ゆえに、このような構成により、音楽に対する印象を個人毎にリアルタイムで推定することができる。本実施形態の印象推定装置を利用することで、オンラインで音楽に対する印象を推定することもできるようになる。また、マイクロサッカードはドーパミンの放出量の測定のような軽い被爆による侵襲性がなく、非侵襲で測定が可能であり、安価な装置で簡単に(対象者を拘束することなく)計測することができるので、低コストで音楽の好みを推定することができる。
<Effect>
Microsaccade is an index suitable for evaluating data for each individual as compared with the amount of released dopamine. Moreover, since the microsaccade can be analyzed at high speed from the acquired information on the eyeball position, the measurement result can be obtained in real time. Therefore, with such a configuration, an impression of music can be estimated in real time for each individual. By using the impression estimation apparatus of the present embodiment, it is possible to estimate an impression of music online. Microsaccades are not invasive due to light exposure like the measurement of the amount of released dopamine, can be measured non-invasively, and can be measured easily (without restraining the subject) with an inexpensive device. Therefore, music preference can be estimated at low cost.

また、ドーパミンの放出量の測定に用いる装置(PET)は時間分解能が低いため粗い時間間隔での特徴量しか得ることができず、時々刻々と変動する音楽に対する印象を高精度に推定することができない。これに対し、マイクロサッカードは時間分解能が高い特徴量であるため、時々刻々と変動する音楽に対する印象を高精度に推定することができるという利点もある。   In addition, since the device used to measure the amount of released dopamine (PET) has low time resolution, it can only obtain feature values at coarse time intervals, and can accurately estimate impressions of music that changes from moment to moment. Can not. On the other hand, since microsaccades are feature quantities with high temporal resolution, there is an advantage that impressions of music that changes every moment can be estimated with high accuracy.

<変形例1>
印象推定装置10は、音呈示部11及び眼球運動取得部12を含まなくともよい。すなわち、音呈示部11及び眼球運動取得部12の少なくとも1つを別装置として構成し、別装置から各時間区間ごとの音楽及び眼球の位置情報の少なくとも1つを受け取る構成とすればよい。
<Modification 1>
The impression estimation device 10 may not include the sound presenting unit 11 and the eye movement acquisition unit 12. In other words, at least one of the sound presentation unit 11 and the eye movement acquisition unit 12 may be configured as a separate device, and at least one of music for each time interval and position information of the eyeball may be received from the separate device.

<第二実施形態>
第一実施形態と異なる部分を中心に説明する。
第一実施形態の印象推定装置10は、2つの異なる音楽のうちどちらの音楽をより好んでいるかを推定するという相対比較形式であった。第二実施形態の印象推定装置20は、ある1つの音楽を用いて、その音楽に対する印象を推定するものである。第二実施形態の印象推定装置20は、第一実施形態の特徴量抽出部13と嗜好推定部14の代わりに、特徴量抽出部23と嗜好推定部24を含み、さらに、モデル記憶部25を含む(図2参照)。本実施形態では、モデル記憶部25を参照することにより、対象者にとっての音楽の印象を推定する。なお、第二実施形態では1つの音楽(印象を推定する対象となる音楽)のみを呈示すればよいため、音呈示部11と眼球運動取得部12において第2時間区間を用いない点が第一実施形態とは異なる。
<Second embodiment>
A description will be given centering on differences from the first embodiment.
The impression estimation device 10 according to the first embodiment has a relative comparison format in which which of two different music is preferred is estimated. The impression estimation apparatus 20 according to the second embodiment uses a certain piece of music to estimate an impression of the music. The impression estimation device 20 of the second embodiment includes a feature amount extraction unit 23 and a preference estimation unit 24 instead of the feature amount extraction unit 13 and the preference estimation unit 14 of the first embodiment, and further includes a model storage unit 25. Included (see FIG. 2). In the present embodiment, the impression of music for the target person is estimated by referring to the model storage unit 25. In the second embodiment, since only one piece of music (music for which an impression is to be estimated) needs to be presented, the sound presentation unit 11 and the eye movement acquisition unit 12 do not use the second time interval. Different from the embodiment.

<特徴量抽出部23>
特徴量抽出部23は、眼球の位置情報を受け取り、眼球の位置情報の時系列から、マイクロサッカードの特徴に対応する特徴量を抽出し(s23)、嗜好推定部24に出力する。
<Feature Extraction Unit 23>
The feature amount extraction unit 23 receives the position information of the eyeball, extracts the feature amount corresponding to the feature of the microsaccade from the time series of the position information of the eyeball (s23), and outputs it to the preference estimation unit 24.

このとき、第一実施形態と同様にマイクロサッカードの減衰係数ζ、減衰率λ、発生頻度Pの少なくとも何れか1つ以上を含む特徴量を抽出する。なお、本実施形態では上述の値の少なくとも何れか1つ以上を要素として含むベクトル(以下、「特徴量ベクトル」ともいう)を特徴量として抽出する。あるいは、マイクロサッカードの減衰係数ζ、減衰率λ、発生頻度Pの少なくとも何れか1つに加えて、以下の値を要素として含む特徴量ベクトルを特徴量として抽出しても良い(図4及び7参照)。   At this time, as in the first embodiment, feature quantities including at least one of the attenuation coefficient ζ, the attenuation rate λ, and the occurrence frequency P of the microsaccade are extracted. In the present embodiment, a vector (hereinafter also referred to as “feature quantity vector”) including at least one of the above values as an element is extracted as a feature quantity. Alternatively, in addition to at least one of the attenuation coefficient ζ, attenuation rate λ, and occurrence frequency P of the microsaccade, a feature amount vector including the following values as elements may be extracted as the feature amount (see FIG. 4 and FIG. 4). 7).

(1)基準振幅A:マイクロサッカードによる眼球の動きが収束したときの移動量。
(2)最大速度Vmax:基準振幅A+オーバーシュートの振幅Aoに達するまでの最大の速度。
(3)立ち上がり時間Tp:基準振幅A+オーバーシュートの振幅Aoに達する(立ち上がる)までにかかる時間である。なお、基準振幅A+オーバーシュートの振幅Aoの値は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
(4)オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した(行き過ぎた)部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
(5)オーバーシュートの速度Vo:基準振幅A+オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
(6)マイクロサッカードの前後のドリフトの速度Vd:ドリフトとは、前述の通り、固視微動の一つであり、人がある一点を注視しているときの眼球の小さな滑らかな動きのことである(図7参照)。
(1) Reference amplitude A: A movement amount when the movement of the eyeball by the microsaccade converges.
(2) Maximum speed V max : Maximum speed until the reference amplitude A + overshoot amplitude A o is reached.
(3) Rise time T p : time required to reach (rise) the reference amplitude A + the overshoot amplitude A o . The value of the reference amplitude A + overshoot amplitude A o is the same value as the time it takes from the maximum velocity V max reach speeds V o overshoot.
(4) Overshoot amplitude A o : The amount of the portion that exceeds (overshoots) the reference amplitude A by the microsaccade. The overshoot is a phenomenon in which the waveform protrudes beyond the reference amplitude A at the rising portion of the waveform, or the protruding waveform. In other words, the overshoot amplitude is the amount of the protruding portion.
(5) Overshoot speed V o : The maximum speed when attempting to converge to the reference amplitude A from the reference amplitude A + the overshoot amplitude A o .
(6) Velocity of drift before and after microsaccade V d : Drift is one of fixed eye movements as described above, and is the small smooth movement of the eyeball when a person is gazing at a certain point. (Refer to FIG. 7).

<嗜好推定部24>
嗜好推定部24は、特徴量を受け取り、その特徴量に基づいて、音楽に対する印象を推定する(s24)。本実施形態では、抽出された特徴量から嗜好推定モデルを用いて(参照することにより)、印象を推定し、出力する。言い換えれば、嗜好推定部24は、特徴量抽出部23で抽出した特徴量を、モデル記憶部25に記憶された嗜好推定モデル(特徴量から印象を推定するためのモデル)にあてはめることにより、印象を推定する。
<Preference estimation unit 24>
The preference estimation unit 24 receives the feature amount, and estimates an impression of music based on the feature amount (s24). In the present embodiment, an impression is estimated and output from the extracted feature amount using a preference estimation model (by reference). In other words, the preference estimation unit 24 applies the feature amount extracted by the feature amount extraction unit 23 to a preference estimation model (a model for estimating an impression from the feature amount) stored in the model storage unit 25, thereby obtaining an impression. Is estimated.

<モデル記憶部25>
モデル記憶部25は、特徴量を入力として、印象を出力するような嗜好推定モデルが予め記録されている。嗜好推定モデルは、予め1人以上の人について取得した特徴量と印象との関係性を機械学習法により学習することで、作成される。つまり、嗜好推定モデルは、特徴量と印象との相関性を記述したモデルである。
<Model storage unit 25>
In the model storage unit 25, a preference estimation model that outputs an impression with a feature amount as an input is recorded in advance. The preference estimation model is created by learning the relationship between the feature amount and impression acquired for one or more people in advance by a machine learning method. That is, the preference estimation model is a model that describes the correlation between the feature amount and the impression.

例えば、学習用に用意した音楽を対象者に呈示し(図6A参照)ている間の対象者の眼球の位置の時系列情報を取得し、取得した眼球の位置の時系列情報から、特徴量を抽出する。ここで抽出する特徴量は、特徴量抽出部23で抽出する特徴量と同じとする。また、その音楽に対する好き嫌いの度合い(rating)を対象者から取得し、抽出した特徴量と好き嫌いの度合いを組とするデータセットを用意する。   For example, the time series information of the position of the eyeball of the subject person is acquired while the music prepared for learning is presented to the subject person (see FIG. 6A), and the feature amount is obtained from the time series information of the obtained eyeball position. To extract. The feature amount extracted here is the same as the feature amount extracted by the feature amount extraction unit 23. Further, a degree of rating for the music is obtained from the target person, and a data set is prepared in which the extracted feature quantity and the degree of likes and dislikes are paired.

同様の特徴量抽出を複数の異なる音楽について行い、それぞれの音楽についての好き嫌いの度合い(rating)と抽出した特徴量を組とするデータセットを学習用データとして取得する。   Similar feature amount extraction is performed for a plurality of different music, and a data set including a combination of the degree of likes and dislikes for each music and the extracted feature amount is acquired as learning data.

この学習用データを入力データとし、機械学習法により、印象と特徴量との関係を学習する。   Using this learning data as input data, the machine learning method is used to learn the relationship between impressions and feature quantities.

例えば、機械学習法としてサポートベクターマシン(Support vector machine、以下SVMともいう)等がある。この場合は、音楽に付与する好き嫌いの度合い(rating)を、好き(1)または嫌い(0)の2値として、特徴量ベクトルの次元に対応する空間において、好きな(印象が良い)ときの特徴量ベクトルに対応する点群と、嫌いな(印象が悪い)ときの特徴量ベクトルに対応する点群とを分離する超平面を求めることができる。これにより、得られる嗜好推定モデルに、好き嫌いが未知の特徴量(特徴量抽出部23で得られた特徴量)を入力すると、その特徴量が「好き」に対応するか、「嫌い」に対応するかを推定することができる。   For example, there is a support vector machine (hereinafter also referred to as SVM) as a machine learning method. In this case, the degree of likes and dislikes given to music is set as a binary value of likes (1) or dislikes (0), and in the space corresponding to the dimension of the feature vector, when the user likes (good impression) It is possible to obtain a hyperplane that separates the point group corresponding to the feature amount vector and the point group corresponding to the feature amount vector when disliked (bad impression). As a result, when a feature amount whose likes and dislikes are unknown (a feature amount obtained by the feature amount extraction unit 23) is input to the obtained preference estimation model, the feature amount corresponds to “like” or corresponds to “dislike” You can estimate what to do.

例えば、減衰係数(ζ),減衰率(λ),発生頻度(P)を単独で、または、それらの組合せを、要素として含む特徴量ベクトルを用いて、SVMにより学習を行う。   For example, learning is performed by SVM using a feature quantity vector that includes an attenuation coefficient (ζ), an attenuation rate (λ), and an occurrence frequency (P) alone or a combination thereof as elements.

また、減衰係数(ζ),減衰率(λ),発生頻度(P)、ドリフトの速度(Vd)、基準振幅(A),オーバーシュートの振幅(Ao), 最大速度(Vmax),オーバーシュートの速度(Vo)を要素として含む特徴量ベクトルを用いて、SVMにより学習を行う。この特徴量ベクトルに、さらに、立ち上がり時間(Tp)を要素として加えても良い。 Also, damping coefficient (ζ), damping rate (λ), frequency of occurrence (P), drift speed (V d ), reference amplitude (A), overshoot amplitude (A o ), maximum speed (V max ), Learning is performed by SVM using a feature vector including the overshoot speed (V o ) as an element. In addition, a rise time (T p ) may be added as an element to this feature quantity vector.

要素の数を増やすことで、推定の精度を高めることができる。   By increasing the number of elements, the accuracy of estimation can be increased.

印象が好き/嫌い、の2値分類に限らず、複数クラス(好き嫌いの度合いに対応するクラス)に分類するようにSVMを構成することも可能である。あるいは、複数クラス(好き嫌いの度合いに対応するクラス)識別分類するような機械学習法であれば、SVMに限らず他の機械学習法を用いてもよい。   The SVM can be configured to be classified into a plurality of classes (classes corresponding to degrees of likes and dislikes), not limited to the binary classification of likes / dislikes impressions. Alternatively, as long as it is a machine learning method that identifies and classifies a plurality of classes (classes corresponding to the degree of likes and dislikes), other machine learning methods are not limited to SVM.

なお、学習用データを取得する対象である対象者は、実際に印象を推定する人と同一人物である必要はない。また、複数の人について得られた学習データを基に嗜好推定モデルを学習すると、より精度の高い推定を行うことができる。また、対象者毎に、印象に対応して表れる特徴量が異なる場合があるので、学習データを取得する対象者を印象の推定を行う人と同一人物として対象者毎に、嗜好推定モデルを作成すれば、個人の特性に合わせたより精度の高い推定を行うことができる。   It should be noted that the target person from whom the learning data is acquired need not be the same person as the person who actually estimates the impression. Further, when a preference estimation model is learned based on learning data obtained for a plurality of people, more accurate estimation can be performed. In addition, since the feature quantity that appears in response to the impression may differ for each target person, create a preference estimation model for each target person as the same person as the person who performs the impression estimation for the target person who acquires learning data By doing so, it is possible to perform estimation with higher accuracy in accordance with individual characteristics.

<効果>
このような構成により、第一実施形態と同様の効果を得ることができる。
<Effect>
With such a configuration, the same effect as that of the first embodiment can be obtained.

<その他の変形例>
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
<Other variations>
The present invention is not limited to the above-described embodiments and modifications. For example, the various processes described above are not only executed in time series according to the description, but may also be executed in parallel or individually as required by the processing capability of the apparatus that executes the processes. In addition, it can change suitably in the range which does not deviate from the meaning of this invention.

<プログラム及び記録媒体>
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
<Program and recording medium>
In addition, various processing functions in each device described in the above embodiments and modifications may be realized by a computer. In that case, the processing contents of the functions that each device should have are described by a program. Then, by executing this program on a computer, various processing functions in each of the above devices are realized on the computer.

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。   The program describing the processing contents can be recorded on a computer-readable recording medium. As the computer-readable recording medium, for example, any recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory may be used.

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。   The program is distributed by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Further, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。   A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its storage unit. When executing the process, this computer reads the program stored in its own storage unit and executes the process according to the read program. As another embodiment of this program, a computer may read a program directly from a portable recording medium and execute processing according to the program. Further, each time a program is transferred from the server computer to the computer, processing according to the received program may be executed sequentially. Also, the program is not transferred from the server computer to the computer, and the above-described processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition. It is good. Note that the program includes information provided for processing by the electronic computer and equivalent to the program (data that is not a direct command to the computer but has a property that defines the processing of the computer).

また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。   In addition, although each device is configured by executing a predetermined program on a computer, at least a part of these processing contents may be realized by hardware.

Claims (6)

第1時間区間を第1の音楽を受聴可能なようにヒトに呈示する時間区間とし、第2時間区間を前記第1の音楽と異なる第2の音楽を受聴可能なようにヒトに呈示する時間区間とし、前記第1時間区間における前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量と、前記第2時間区間における前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第2特徴量と、を抽出する特徴量抽出部と、
前記第1特徴量と前記第2特徴量との相違の度合いに基づいて、前記第1の音楽と前記第2の音楽に対する印象を推定する嗜好推定部とを含む、
印象推定装置。
The first time interval is a time interval that is presented to a person so that the first music can be heard, and the second time interval is a time that is presented to the human so that a second music different from the first music can be heard. A first feature amount corresponding to a feature of the microsaccade appearing in the movement of the human eyeball in the first time interval, and a feature of the microsaccade appearing in the motion of the human eyeball in the second time interval A feature quantity extraction unit that extracts a second feature quantity corresponding to
A preference estimation unit that estimates an impression of the first music and the second music based on a degree of difference between the first feature quantity and the second feature quantity;
Impression estimation device.
第1時間区間を第1の音楽を受聴可能なようにヒトに呈示する時間区間とし、第2時間区間を前記第1の音楽と異なる第2の音楽を受聴可能なようにヒトに呈示する時間区間とし、前記第1時間区間における前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第1特徴量と、前記第2時間区間における前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する第2特徴量と、を抽出する特徴量抽出ステップと、
前記第1特徴量と前記第2特徴量との相違の度合いに基づいて、前記第1の音楽と前記第2の音楽に対する印象を推定する嗜好推定ステップとを含む、
印象推定方法。
The first time interval is a time interval that is presented to a person so that the first music can be heard, and the second time interval is a time that is presented to the human so that a second music different from the first music can be heard. A first feature amount corresponding to a feature of the microsaccade appearing in the movement of the human eyeball in the first time interval, and a feature of the microsaccade appearing in the motion of the human eyeball in the second time interval A feature amount extracting step for extracting a second feature amount corresponding to
A preference estimation step of estimating an impression of the first music and the second music based on a degree of difference between the first feature value and the second feature value;
Impression estimation method.
請求項2の印象推定方法であって、
前記マイクロサッカードの特徴は、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰率を少なくとも含み、
前記嗜好推定ステップは、
前記特徴量に含まれる減衰率が大きい時間区間に呈示された音楽の方が、他方の時間区間に呈示された音楽よりも印象がよいと推定する、および/または、
前記特徴量に含まれる減衰率が小さい時間区間に呈示された音楽の方が、他方の時間区間に呈示された音楽よりも印象が悪いと推定する、
印象推定方法。
An impression estimation method according to claim 2,
The feature of the microsaccade includes at least an attenuation rate when the microsaccade is modeled as a step response of a position control system,
The preference estimation step includes:
Estimating that the music presented in the time interval with a large attenuation rate included in the feature amount has a better impression than the music presented in the other time interval, and / or
Estimating that the music presented in the time interval with a small attenuation rate included in the feature amount has a worse impression than the music presented in the other time interval,
Impression estimation method.
請求項2の印象推定方法であって、
前記マイクロサッカードの特徴は、マイクロサッカードを位置制御系のステップ応答としてモデル化したときの減衰係数を少なくとも含み、
前記嗜好推定ステップは、
前記特徴量に含まれる減衰係数が小さい時間区間に呈示された音楽の方が、他方の時間区間に呈示された音楽よりも印象がよいと推定する、および/または、
前記特徴量に含まれる減衰係数が大きい時間区間に呈示された音楽の方が、他方の時間区間に呈示された音楽よりも印象が悪いと推定する、
印象推定方法。
An impression estimation method according to claim 2,
The feature of the microsaccade includes at least an attenuation coefficient when the microsaccade is modeled as a step response of a position control system,
The preference estimation step includes:
Presuming that the music presented in the time interval with a small attenuation coefficient included in the feature amount has a better impression than the music presented in the other time interval, and / or
Estimating that the music presented in the time interval with a large attenuation coefficient included in the feature amount has a worse impression than the music presented in the other time interval,
Impression estimation method.
モデル記憶部には、ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する特徴量と音楽に対する印象との相関性を記述したモデルである嗜好推定モデルが記憶されているものとして、
印象推定対象の音楽が受聴可能なようにヒトに呈示されている時間区間における前記ヒトの眼球の動きに表れるマイクロサッカードの特徴に対応する特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで抽出した特徴量を入力として、前記嗜好推定モデルを参照することにより、前記印象推定対象の音楽に対する印象を推定する嗜好推定ステップとを含む、
印象推定方法。
The model storage unit stores a preference estimation model that is a model describing the correlation between the feature amount corresponding to the feature of the microsaccade appearing in the movement of the human eyeball and the impression of music,
A feature amount extraction step for extracting a feature amount corresponding to a feature of the microsaccade appearing in the movement of the human eyeball in a time interval presented to the human so that the music of the impression estimation target can be heard;
A preference estimation step of estimating an impression of the impression estimation target music by referring to the preference estimation model with the feature amount extracted in the feature amount extraction step as an input,
Impression estimation method.
請求項2から5の何れかの印象推定方法をコンピュータに実行させるためのプログラム。   A program for causing a computer to execute the impression estimation method according to claim 2.
JP2014005529A 2014-01-16 2014-01-16 Impression estimation device, method thereof, and program Active JP5718494B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014005529A JP5718494B1 (en) 2014-01-16 2014-01-16 Impression estimation device, method thereof, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014005529A JP5718494B1 (en) 2014-01-16 2014-01-16 Impression estimation device, method thereof, and program

Publications (2)

Publication Number Publication Date
JP5718494B1 JP5718494B1 (en) 2015-05-13
JP2015131069A true JP2015131069A (en) 2015-07-23

Family

ID=53277425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014005529A Active JP5718494B1 (en) 2014-01-16 2014-01-16 Impression estimation device, method thereof, and program

Country Status (1)

Country Link
JP (1) JP5718494B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017086530A (en) * 2015-11-11 2017-05-25 日本電信電話株式会社 Impression estimation device, impression estimation method, and program
JP2017202047A (en) * 2016-05-10 2017-11-16 日本電信電話株式会社 Feature amount extraction device, estimation device, method for the same and program
CN110353626A (en) * 2018-04-10 2019-10-22 浜松光子学株式会社 Eye movement characteristic quantity computing system, eye movement characteristic quantity calculating method and eye movement characteristic quantity calculation procedure
JP2020124590A (en) * 2016-05-30 2020-08-20 日本電信電話株式会社 Attention range estimation device, and method and program therefor

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101753102B1 (en) * 2016-12-15 2017-07-19 계명대학교 산학협력단 Comfort system for infants and young children through artificial intelligence and micro vibration and its control method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4179968B2 (en) * 2003-11-13 2008-11-12 花王株式会社 Pupil-to-light response measuring instrument for relaxation evaluation
JP2009508553A (en) * 2005-09-16 2009-03-05 アイモーションズ−エモーション テクノロジー エー/エス System and method for determining human emotion by analyzing eyeball properties

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017086530A (en) * 2015-11-11 2017-05-25 日本電信電話株式会社 Impression estimation device, impression estimation method, and program
JP2017202047A (en) * 2016-05-10 2017-11-16 日本電信電話株式会社 Feature amount extraction device, estimation device, method for the same and program
JP2020124590A (en) * 2016-05-30 2020-08-20 日本電信電話株式会社 Attention range estimation device, and method and program therefor
JP7070605B2 (en) 2016-05-30 2022-05-18 日本電信電話株式会社 Focus range estimator, its method and program
CN110353626A (en) * 2018-04-10 2019-10-22 浜松光子学株式会社 Eye movement characteristic quantity computing system, eye movement characteristic quantity calculating method and eye movement characteristic quantity calculation procedure
JP2019180831A (en) * 2018-04-10 2019-10-24 浜松ホトニクス株式会社 Eye movement feature amount calculation system, eye movement feature amount calculation method, and eye movement feature amount calculation program
JP7107725B2 (en) 2018-04-10 2022-07-27 浜松ホトニクス株式会社 Eye Movement Feature Quantity Calculation System, Eye Movement Feature Quantity Calculation Method, and Eye Movement Feature Quantity Calculation Program
CN110353626B (en) * 2018-04-10 2024-04-05 浜松光子学株式会社 Eyeball motion feature calculation system, eyeball motion feature calculation method, and eyeball motion feature calculation program

Also Published As

Publication number Publication date
JP5718494B1 (en) 2015-05-13

Similar Documents

Publication Publication Date Title
JP5718494B1 (en) Impression estimation device, method thereof, and program
RU2611260C2 (en) Method and device to provide recommendations of multimedia resources
JP7070605B2 (en) Focus range estimator, its method and program
JP2015132783A (en) Remarkableness estimation device for sound, and method and program thereof
JP6755839B2 (en) Exercise performance estimator, method, and program
Chambers et al. Pose estimates from online videos show that side-by-side walkers synchronize movement under naturalistic conditions
JP6479708B2 (en) Feature amount extraction apparatus, estimation apparatus, method thereof, and program
US10296786B2 (en) Detecting hand-eye coordination in real time by combining camera eye tracking and wearable sensing
US10643485B2 (en) Gaze based classroom notes generator
JP5718495B1 (en) Impression estimation device, method thereof, and program
JP5718492B1 (en) Sound saliency estimating apparatus, method and program thereof
WO2020003804A1 (en) Reflexivity determination device, reflexivity determination method, and program
JP6377545B2 (en) Personal identification method, personal identification device, program
JP2017086529A (en) Impression estimation device and program
JP6377566B2 (en) Line-of-sight measurement device, line-of-sight measurement method, and program
JP6318451B2 (en) Saliency image generating apparatus, method, and program
KR102452100B1 (en) Method, device and system for providing learning service base on brain wave and blinking eyes
US20200174559A1 (en) Real-time alteration of standard video and immersive video for virtual reality
JP6687940B2 (en) Material evaluation method and material evaluation apparatus
JP6445418B2 (en) Impression estimation device, impression estimation method, and program
JP2019162207A (en) Information processing device and information processing program
KR20190067069A (en) Method for Enhancing Reliability of BCI System
Mendonça Psychophysical models of sound localisation with audiovisual interactions
JP2017202048A (en) Feature amount extraction device, estimation device, method for the same and program
US10986087B2 (en) Motion based authentication

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150318

R150 Certificate of patent or registration of utility model

Ref document number: 5718494

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150