JP2017021737A - Program, terminal and system for giving emotional identifier to application by using myoelectrical signal - Google Patents
Program, terminal and system for giving emotional identifier to application by using myoelectrical signal Download PDFInfo
- Publication number
- JP2017021737A JP2017021737A JP2015141060A JP2015141060A JP2017021737A JP 2017021737 A JP2017021737 A JP 2017021737A JP 2015141060 A JP2015141060 A JP 2015141060A JP 2015141060 A JP2015141060 A JP 2015141060A JP 2017021737 A JP2017021737 A JP 2017021737A
- Authority
- JP
- Japan
- Prior art keywords
- identifier
- emotion
- application
- user
- myoelectric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003183 myoelectrical effect Effects 0.000 title claims abstract description 95
- 230000002996 emotional effect Effects 0.000 title abstract description 9
- 230000008451 emotion Effects 0.000 claims description 93
- 230000006870 function Effects 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 abstract description 4
- 230000008921 facial expression Effects 0.000 description 35
- 210000003205 muscle Anatomy 0.000 description 14
- 238000001514 detection method Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000000467 autonomic pathway Anatomy 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- GTKRFUAGOKINCA-UHFFFAOYSA-M chlorosilver;silver Chemical compound [Ag].[Ag]Cl GTKRFUAGOKINCA-UHFFFAOYSA-M 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000499 gel Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000018984 mastication Effects 0.000 description 1
- 238000010077 mastication Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 230000008035 nerve activity Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、人の生体信号を検知する技術に関する。 The present invention relates to a technique for detecting a human biological signal.
近年、センサによって人の活動に基づく様々な生体信号を検知し、信号処理したデータをユーザに提示する技術がある。センサとしては、具体的には、腕時計型脈拍センサや、イヤホン型脈拍センサ、ヘッドバンド型脳波センサのようなウェアラブルデバイスがある。そして、それら生体信号は、ユーザに常時携帯されるスマートフォンや携帯端末によって信号処理され、加工されたデータがユーザに提示される。 2. Description of the Related Art In recent years, there is a technique for detecting various biological signals based on human activities using a sensor and presenting signal processed data to a user. Specific examples of the sensor include wearable devices such as a wristwatch type pulse sensor, an earphone type pulse sensor, and a headband type electroencephalogram sensor. And these biomedical signals are signal-processed by the smart phone and portable terminal which are always carried by the user, and the processed data is presented to the user.
従来、センサ付きイヤホンによって生体信号（脳波、体温、動き加速度、脈拍）を検知するシステムがある（例えば特許文献１参照）。イヤホンに装着されたセンサによって耳付近の生体信号を検知し、その生体信号を、ユーザ所持の携帯電話機を介して外部装置へ伝送する。この技術によれば、外部装置によって、様々な観点から生体信号を解析することができる。 Conventionally, there is a system that detects a biological signal (electroencephalogram, body temperature, motion acceleration, pulse) using an earphone with a sensor (see, for example, Patent Document 1). A biological signal in the vicinity of the ear is detected by a sensor attached to the earphone, and the biological signal is transmitted to an external device via a mobile phone possessed by the user. According to this technique, a biological signal can be analyzed from various viewpoints by an external device.
また、筋電センサ付のイヤホンやヘッドバンドによって検知した筋電信号から、表情を検出する筋活動診断装置の技術がある（例えば特許文献２及び３参照）。この技術によれば、筋電センサによって検知した耳付近の筋電信号から、人の笑顔、咀嚼、無表情を分別することができる。 In addition, there is a technique of a muscle activity diagnosis device that detects facial expressions from myoelectric signals detected by an earphone with a myoelectric sensor or a headband (see, for example, Patent Documents 2 and 3). According to this technique, a person's smile, mastication, and expressionlessness can be distinguished from the myoelectric signal near the ear detected by the myoelectric sensor.
更に、生体情報（脳波、心拍、瞳孔、視線）及び行動情報（動作、表情、ため息等）から、ユーザの嗜好を判断するシステムの技術もある（例えば特許文献４参照）。この技術によれば、行動情報はビデオカメラ及びマイクによって検出した映像信号及び音声信号から推定している。 Furthermore, there is a system technology that determines user preferences from biological information (electroencephalogram, heart rate, pupil, line of sight) and behavior information (motion, facial expression, sigh, etc.) (see, for example, Patent Document 4). According to this technique, the behavior information is estimated from a video signal and an audio signal detected by a video camera and a microphone.
更に、顔表情の中でも「笑顔」のみに着目して自動的に検出する技術もある。例えば、周知技術として、顔画像解析に基づく「スマイルスキャン（登録商標）」（オムロン社）がある。但し、常にカメラで顔画像を撮影すること要する顔画像解析は、プライバシの側面から、ユーザにとって利用の心理的ハードルが高いとされる。また、顔画像を撮影するカメラを配置する、構造的の問題も多い。 Furthermore, there is a technology that automatically detects only the “smile” among facial expressions. For example, as a well-known technique, there is “Smile Scan (registered trademark)” (OMRON) based on face image analysis. However, face image analysis that always needs to take a face image with a camera is considered to have a high psychological hurdle for the user in terms of privacy. In addition, there are many structural problems in arranging a camera for photographing a face image.
更に、顔画像分析以外の技術として、ヘッドフォン形状の皮膚電位センサを用いて、頭皮耳介及び耳介周囲の頭皮電位の変化から、目の動きと顔の表情を抽出する顔面情報検出装置の技術もある（例えば特許文献５参照）。この技術によれば、喜怒哀楽の表情及び目の動きを検出することができる。 Further, as a technique other than facial image analysis, a face information detection apparatus that extracts head movements and facial expressions from changes in scalp potential around the scalp and pinna using a headphone-shaped skin potential sensor. (For example, refer to Patent Document 5). According to this technique, emotional expressions and eye movements can be detected.
更に、客観的に笑いを測定するシステムとして、喉（音）で測定する「爆笑計」（大阪電気通信大学）や「アッハ・メーター（登録商標）」（プロジェクトaH）、喉（音）と表情筋電と横隔膜筋電との３つを同時に計測する「横隔膜式笑い測定システム」（関西大学、プロジェクトaH）もある。 Furthermore, as a system for objectively measuring laughter, the “Loom” (Osaka Electro-Communication University) and “Ach Meter (registered trademark)” (Project aH), throat (sound) and facial expressions are measured using the throat (sound). There is also a “diaphragm laughter measurement system” (Kansai University, Project aH) that measures both myoelectric and diaphragm myoelectrics simultaneously.
前述した技術は、人の生体信号をセンサによって検知し、人の顔の表情を分別することのみに着目したものである。しかしながら、人の顔の表情を分別できたとしても、ユーザが、その時に体験している何れの状況によって、その表情が生じているのかを対応付けることまではできない。 The above-described technology focuses only on detecting a human biological signal by a sensor and classifying the facial expression of the person. However, even if the facial expression of a person can be classified, it cannot be associated with which situation the user is experiencing at that time, depending on which situation the facial expression is occurring.
これに対し、本願の発明者らは、様々なセンサによって検知された人の表情を、スマートフォンのような端末によって実行中のアプリケーション（又はコンテンツ）による使用体験（ユーザエクスペリエンス）として対応付けることはできないか？と考えた。即ち、ユーザの表情は、そのアプリケーションに関連したものではないか？と考えた。 On the other hand, can the inventors of the present application associate the facial expression of a person detected by various sensors as a use experience (user experience) by an application (or content) being executed by a terminal such as a smartphone? ? I thought. That is, is the user's facial expression related to the application? I thought.
アプリケーションの使用体験があった時に発現する「笑み」に着目すると、例えば、ユーザが視聴した映像や音楽、電子書籍、ウェブコンテンツ、ゲーム等のどの箇所がどれくらい好まれたか、を捉えることもできる。また例えば、いつ誰と行ったコミュニケーションがどれくらい好まれたか、を捉えることもできる。更に例えば、いつどこで誰とのアプリケーションの体験が好ましかったか、を捉えることもできる。更に例えば、コンテンツ配信サービスにおける大量の映像や音楽の中から、ユーザの好む映像や音楽に対応付けられた表情情報を、ユーザの利用履歴とすることもできる。
逆に、アプリケーションの使用体験があった時に発現する「噛み締め」に着目すると、例えばユーザの不満として捉えることもできる。
Focusing on the “smile” that appears when the application is used, for example, it is possible to grasp how much the user has watched, such as video, music, electronic book, web content, and game. For example, it is possible to grasp how much the communication with whom and when was liked. Further, for example, it is possible to grasp when and where the application experience with the person was preferred. Furthermore, for example, facial expression information associated with video and music preferred by the user from a large amount of video and music in the content distribution service can be used as the user's usage history.
On the other hand, when attention is paid to “biting” that occurs when an application is used, it can be regarded as, for example, user dissatisfaction.
そこで、本発明は、端末で実行中のアプリケーションによるユーザエクスペリエンスに対し、ウェアラブルデバイスを用いて表情情報を付与することができるプログラム、端末及びシステムを提供することを目的とする。 Therefore, an object of the present invention is to provide a program, a terminal, and a system that can add facial expression information to a user experience by an application being executed on a terminal using a wearable device.
本発明によれば、ユーザに対してアプリケーションを実行すると共に、少なくとも１チャネルの筋電信号を入力可能な端末に搭載されたコンピュータを機能させるプログラムであって、
入力された前記筋電信号が、予め規定された所定周波数帯で所定パワー閾値以上となるか否かを判定する筋電信号判定手段と、
実行中のアプリケーションに対して、前記筋電信号判定手段によって真と判定された前記感情識別子を付与する感情識別子付与手段と
してコンピュータを機能させることを特徴とする。
According to the present invention, a program for executing an application for a user and causing a computer mounted on a terminal capable of inputting a myoelectric signal of at least one channel to function,
Myoelectric signal determination means for determining whether the input myoelectric signal is equal to or higher than a predetermined power threshold in a predetermined frequency band defined in advance;
A computer is caused to function as an emotion identifier assigning unit that assigns the emotion identifier determined to be true by the myoelectric signal determination unit to an application being executed.
本発明のプログラムにおける他の実施形態によれば、
前記感情情報記憶手段は、前記感情識別子に対して更に操作識別子を対応付けており、
アプリケーションに感情識別子が付与された際に、当該感情識別子に対応する前記操作識別子に基づく操作を実行する操作実行手段と
してコンピュータを更に機能させることも好ましい。
According to another embodiment of the program of the present invention,
The emotion information storage means further associates an operation identifier with the emotion identifier,
When an emotion identifier is assigned to the application, it is also preferable to further cause the computer to function as an operation execution unit that executes an operation based on the operation identifier corresponding to the emotion identifier.
本発明のプログラムにおける他の実施形態によれば、
前記操作識別子は、「お気に入り(favorite)」登録操作に基づくものであり、
前記操作実行手段は、前記感情識別子が付与されたアプリケーションの識別子を、当該ユーザの「お気に入り」へ登録する
ようにコンピュータを更に機能させることも好ましい。
According to another embodiment of the program of the present invention,
The operation identifier is based on a “favorite” registration operation,
The operation execution means preferably further causes the computer to function so as to register the identifier of the application to which the emotion identifier is assigned to the “favorite” of the user.
本発明のプログラムにおける他の実施形態によれば、
前記操作識別子は、「スキップ(Skip)」操作に基づくものであり、
前記操作実行手段は、前記感情識別子が付与されたアプリケーションの識別子を、当該ユーザの「お気に入らず」へ登録する
ようにコンピュータを更に機能させることも好ましい。
According to another embodiment of the program of the present invention,
The operation identifier is based on a “Skip” operation,
Preferably, the operation execution means further causes the computer to function so as to register the identifier of the application to which the emotion identifier is assigned to the user's “do not like”.
本発明のプログラムにおける他の実施形態によれば、
前記感情識別子付与手段は、実行中のアプリケーションの実行時間が所定時間以上である場合にのみ、前記感情識別子を付与する
ようにコンピュータを更に機能させることも好ましい。
According to another embodiment of the program of the present invention,
It is preferable that the emotion identifier assigning unit further causes the computer to function so as to assign the emotion identifier only when the execution time of the application being executed is a predetermined time or more.
本発明のプログラムにおける他の実施形態によれば、
前記感情識別子付与手段は、所定周波数帯におけるパワーの積分値、最大値及び／又は平均値を「感情度」として、実行中のアプリケーションに更に付与する
ようにコンピュータを更に機能させることも好ましい。
According to another embodiment of the program of the present invention,
It is also preferable that the emotion identifier assigning unit further causes the computer to function such that an integrated value, maximum value, and / or average value of power in a predetermined frequency band is further given to the application being executed as an “emotion level”.
本発明のプログラムにおける他の実施形態によれば、
前記感情識別子付与手段は、実行中のアプリケーションに対して前記感情識別子が付与された時間位置を更に付与する
ようにコンピュータを更に機能させることも好ましい。
According to another embodiment of the program of the present invention,
It is also preferable that the emotion identifier assigning unit further causes the computer to function so as to further give a time position where the emotion identifier is assigned to a running application.
本発明のプログラムにおける他の実施形態によれば、
アプリケーションの識別子と、前記感情識別子との組を、ネットワークを介して外部装置へ送信する感情識別子送信手段と
してコンピュータを更に機能させることも好ましい。
According to another embodiment of the program of the present invention,
It is also preferable that the computer further function as emotion identifier transmission means for transmitting a set of an application identifier and the emotion identifier to an external device via a network.
本発明によれば、ユーザに対してアプリケーションを実行すると共に、筋電信号を入力可能な端末であって、
筋電信号における所定周波数帯及び所定パワーの組に、感情識別子を対応付けて記憶した感情情報記憶手段と、
入力された前記筋電信号が、前記感情情報記憶手段に記憶された所定周波数帯及び所定パワーに該当するか否かを判定する筋電信号判定手段と、
前記筋電信号判定手段によって真と判定された際に、ユーザに対して実行中のアプリケーションに対して、真と判定された所定周波数帯及び所定パワーに対応する前記感情識別子を付与する感情識別子付与手段と
を有することを特徴とする。
According to the present invention, a terminal capable of executing an application for a user and inputting a myoelectric signal,
Emotion information storage means for storing an emotion identifier in association with a set of a predetermined frequency band and a predetermined power in the myoelectric signal;
Myoelectric signal determination means for determining whether or not the input myoelectric signal corresponds to a predetermined frequency band and a predetermined power stored in the emotion information storage means;
Giving an emotion identifier that gives the emotion identifier corresponding to a predetermined frequency band and a predetermined power determined to be true to an application being executed for a user when determined to be true by the myoelectric signal determination means Means.
本発明によれば、前述した端末と、前記筋電信号を検知する筋電センサを搭載し且つ検知した当該筋電信号を前記端末へ出力するヘッドマウントデバイスとを有するシステムであって、
前記デバイスは、前記筋電センサの電極をユーザの耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置し、
前記端末の前記感情情報記憶手段に記憶された、筋電信号における所定周波数帯及び所定パワーの組は当該ユーザの「笑み」及び／又は「噛み締め」に基づくものであって、それに対応する前記感情識別子も「笑み」及び／又は「噛み締め」に基づくものである
ことを特徴とする。
According to the present invention, there is provided a system including the above-described terminal and a head-mounted device that includes the myoelectric sensor that detects the myoelectric signal and outputs the detected myoelectric signal to the terminal,
The device is arranged so that the electrode of the myoelectric sensor is in contact with the skin surface at one point near the cheek from the periphery of the user's pinna,
The set of the predetermined frequency band and the predetermined power in the myoelectric signal stored in the emotion information storage means of the terminal is based on the user's “smile” and / or “biting”, and the emotion corresponding thereto The identifier is also based on “smile” and / or “biting”.
本発明のシステムにおける他の実施形態によれば、
前記デバイスは、ヘッドマウント型であり、
前記デバイスは、ユーザの頭に装着された際に、前記筋電センサのリファレンス用電極が、左（又は右）の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、右（又は左）の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置されることも好ましい。
According to another embodiment of the system of the present invention,
The device is a head mounted type,
When the device is worn on the user's head, the reference electrode of the myoelectric sensor is located on the skin surface at one point near the cheek from the left (or right) pinna, It is also preferable to arrange it so that it touches the skin surface at some point near the cheek from around the right (or left) pinna.
本発明のシステムにおける他の実施形態によれば、
前記デバイスの左右のイヤパッド（スピーカ）それぞれに、前記筋電センサが配置されていることも好ましい。
According to another embodiment of the system of the present invention,
It is also preferable that the myoelectric sensor is disposed on each of the left and right ear pads (speakers) of the device.
本発明のプログラム、端末及びシステムによれば、端末で実行中のアプリケーションに、ウェアラブルデバイスを用いて表情情報を付与することができる。 According to the program, the terminal, and the system of the present invention, facial expression information can be given to an application being executed on the terminal using a wearable device.
以下、本発明の実施の形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
スマートフォンに連携するウェアラブルデバイスとしては、一般的に、メガネ型や腕時計型の情報機器がある。頭部に装着するデバイスとしては、メガネ型やヘッドセットのような顔面の一部にかかるものがあるが、デバイスが顔面にかかる場合は見た目が不自然で、ユーザにとって利用の心理的ハードルが高い。一方で、耳に装着されるヘッドフォンは、スマートフォンと共に使用されていて、街中で装着している人も多く、極めて一般的なものである。 As a wearable device linked to a smartphone, there are generally glasses-type and watch-type information devices. Some devices worn on the head cover a part of the face, such as glasses or headsets, but when the device touches the face, it looks unnatural and the psychological hurdle for users is high . On the other hand, headphones worn on ears are very common because they are used with smartphones and many people wear them around town.
その耳付近の位置からは、体温、発汗、脈波、脈拍、脳波に加えて、頭部にある筋肉による筋電を、生体信号として検出することができる。顔表情の変化から得られる筋電信号は、ユーザの意識的反応及び無意識的反応の両方を、同じように検出する。意識的反応は、ユーザインタフェースとして利用することができる。また、無意識的反応は、ユーザの感情変化として検出することができる。 From the position near the ear, in addition to body temperature, sweating, pulse wave, pulse, brain wave, myoelectricity by muscles in the head can be detected as a biological signal. The myoelectric signal obtained from the change in facial expression detects both the user's conscious response and unconscious response in the same way. The conscious response can be used as a user interface. Moreover, an unconscious reaction can be detected as a user's emotional change.
耳付近から得られる筋電信号には、様々な顔表情（笑み、噛み締め）を作る筋肉活動から得られる信号だけでなく、口の開閉動作や眼球運動等の筋肉活動や、脳波のような信号や、口の開閉や歩行等の体の動きによる筋電センサの電極と皮膚表面との間のズレ等に起因する接触抵抗変化によって生じるノイズも重なっている。
例えば顔表情「笑み」は、人のポジティブな感情を生じさせる体験から表れるもので、口角が上に引き上げる大頬骨筋等の筋肉活動による表情のことをいう。
このような顔表情は、特に予期していない好ましい体験をした際に、より顕著に表れる。
尚、例えば「笑み」に対して、声を出して笑う「笑い」や、酷いストレスを受けた場合におけるストレス発散のための「笑い」もあるが、「笑み」の表情が生じれば「笑み」を生じさせる筋肉活動の信号が発生する。
逆に、顔表情「噛み締め」は、悪いストレス等から生じるものであり、人のネガティブな感情を生じさせる体験から表れるもので、奥歯部分の頬が膨らむ筋肉活動による表情のことをいう。
The myoelectric signal obtained from the vicinity of the ear is not only a signal obtained from muscle activity that creates various facial expressions (smiling, biting), but also a muscle activity such as opening and closing of the mouth and eye movement, and a signal such as an electroencephalogram In addition, noise generated by contact resistance change due to a shift between the electrode of the myoelectric sensor and the skin surface due to body movement such as opening / closing of the mouth and walking is also overlapped.
For example, the facial expression “smile” appears from an experience that generates positive emotions of a person, and refers to an expression caused by muscle activity such as the great zygomatic muscle with the mouth corner raised upward.
Such facial expressions appear more prominently when an unexpected and favorable experience is given.
In addition, for example, there is “laughter” for laughing out loud in response to “smile”, and “laughter” for dissipating stress in the event of severe stress. Signal of muscular activity is generated.
On the other hand, the facial expression “biting” is caused by bad stress or the like and appears from an experience that causes negative human emotion, and refers to a facial expression caused by muscle activity that causes the cheeks of the back teeth to swell.
ヘッドフォンは、スマートフォンが音声を利用するアプリケーションの実行中（例えば映像・音声のコンテンツの再生等のユーザ体験を提供中）に、ユーザに装着される。ヘッドフォンの装着／未装着自体も、ヘッドフォンの筋電信号から検知することができる。即ち、本発明は、ユーザがヘッドフォンを装着することによって、スマートフォンで実行中のアプリケーションに対するユーザ体験が好ましいものであったかを検知するための方法としての顔表情を検知しようとするものである。 The headphones are worn by the user while the smartphone is executing an application that uses audio (for example, providing a user experience such as reproduction of video / audio content). Whether the headphones are attached or not can be detected from the myoelectric signal of the headphones. That is, the present invention intends to detect a facial expression as a method for detecting whether a user experience with respect to an application being executed on a smartphone is preferable by wearing headphones.
図１は、本発明におけるシステム構成図である。 FIG. 1 is a system configuration diagram according to the present invention.
図１によれば、ヘッドマウントデバイスとしてのヘッドフォン２は、ユーザの頭に装着される。端末としてのスマートフォン１と、ヘッドフォン２との間は、音声信号を伝送するケーブル又は無線のいずれかによって接続されている。ケーブルは、例えばスマートフォン１のヘッドフォン・マイクロフォン用アナログ音声入出力端子（ジャック）に接続されるものであってもよいし、ＵＳＢ(Universal Serial Bus)で接続されるものであってもよい。無線は、例えばBluetooth（登録商標）であってもよい。尚、以下では、端末は、代表的なスマートフォンとして説明するが、勿論、携帯電話機、ＰＤＡ(Personal Digital Assistant)又はパーソナルコンピュータであってもよい。 According to FIG. 1, a headphone 2 as a head mounted device is worn on a user's head. The smartphone 1 as a terminal and the headphones 2 are connected by either a cable for transmitting an audio signal or wirelessly. For example, the cable may be connected to an analog audio input / output terminal (jack) for headphones / microphones of the smartphone 1 or may be connected via USB (Universal Serial Bus). The radio may be, for example, Bluetooth (registered trademark). In the following, the terminal will be described as a typical smartphone, but of course, it may be a mobile phone, a PDA (Personal Digital Assistant), or a personal computer.
スマートフォン１からヘッドフォン２へ、コンテンツの音声信号が伝送されると共に、ヘッドフォン２からスマートフォン１へ、筋電センサによって検知された筋電信号が伝送される。ヘッドフォン２は、筋電センサの電極をユーザの耳介周辺から頬近傍のある一点に皮膚表面に接するように配置する。顔表情「笑み」は、大頬骨筋の活動が大きいためである。尚、本発明の筋電センサは、筋肉に対する非侵襲の表面筋電に基づくものである。尚、ヘッドフォンのイヤカップの形状は、密閉型、オープンエア型、又は、セミオープンエア型のいずれであってもよい。 The audio signal of the content is transmitted from the smartphone 1 to the headphones 2, and the myoelectric signal detected by the myoelectric sensor is transmitted from the headphones 2 to the smartphone 1. The headphones 2 are arranged so that the electrodes of the myoelectric sensor are in contact with the skin surface at a certain point near the cheek from the periphery of the user's pinna. The facial expression “smile” is due to the large activity of the greater zygomatic muscle. The myoelectric sensor of the present invention is based on noninvasive surface myoelectricity for muscles. In addition, the shape of the ear cup of the headphones may be any of a sealed type, an open air type, and a semi-open air type.
図２は、本発明におけるヘッドフォンの外観構成図である。 FIG. 2 is an external configuration diagram of a headphone according to the present invention.
図２によれば、ヘッドフォンがユーザの頭に装着された際に、筋電センサのリファレンス用電極が、左（又は右）の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、右（又は左）の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置されている。即ち、ヘッドフォン２の左右のイヤパッド（スピーカ）それぞれに、筋電センサの電極が配置されている。筋電センサの電極をイヤパッドに配置することによって、ヘッドフォンバンドの曲げ圧力とイヤパッドの弾性により付勢して、皮膚に押し当てて固定することができる。 According to FIG. 2, when the headphones are worn on the user's head, the reference electrode of the myoelectric sensor is detected on the skin surface at one point near the cheek from the left (or right) pinna. The electrode is disposed so as to contact the skin surface at one point near the cheek from the periphery of the right (or left) pinna. That is, the electrodes of the myoelectric sensor are disposed on the left and right ear pads (speakers) of the headphones 2. By arranging the electrode of the myoelectric sensor on the ear pad, it can be urged by the bending pressure of the headphone band and the elasticity of the ear pad and pressed against the skin to be fixed.
筋電センサは、計測対象となるユーザの筋肉の変化の電気的物理量を計測するものであって、ヘッドフォン２には、１チャンネルの筋電センサを構成する３つの電極を搭載している。
「検出用＋（プラス）電極」及び「リファレンス用−（マイナス）電極」：
イヤパッドにおける顔の前向き前方の下部分に配置し、頬にできる限り近い位置
に配置
検出用電極とリファレンス用電極の一組で１チャンネルの筋電センサを構成
「ＤＲＬ(Driven Right Leg)電極」：
皮膚に当接する何れかの部分に配置
商用電源等に起因するコモンモードノイズを低減させるノイズキャンセル用電極
The myoelectric sensor measures an electrical physical quantity of a change in muscle of a user to be measured, and the headphone 2 is equipped with three electrodes constituting a one-channel myoelectric sensor.
"Detection + (plus) electrode" and "Reference-(minus) electrode":
It is placed in the lower part of the front face of the ear pad facing forward and as close as possible to the cheek. A pair of detection electrode and reference electrode constitutes a 1-channel myoelectric sensor. “DRL (Driven Right Leg) electrode”:
Placed on any part in contact with skin Noise canceling electrode to reduce common mode noise caused by commercial power supply etc.
これら電極は、繰り返し使用できないジェル等を用いた湿式電極ではなく、繰り返し使用可能な乾式電極であり、イヤパッドに穴をあけその穴を塞ぐような、皮膚との接触抵抗が低く導電性の高い金属（例えば、銀‐塩化銀やステンレススチール等）の金属鋲を配置してもよいし、同様な性質をもつ導電性ゴムの鋲としてもよい。また、オープンエア型のイヤカップやイヤパッドの無いヘッドフォンの場合、ヘッドフォンを頭部に装着するため支持機構のうち耳周辺の皮膚に当接する面の中から頬に近い所に筋電センサの電極を配置してもよい。尚、頬に近い位置が顔表情「笑み」を作る筋肉活動の信号を検出するのに好ましいが、耳介やその周辺の皮膚に筋電センサの電極が当接していれば顔表情「笑み」を作る筋肉活動の信号を検出することが可能である。 These electrodes are not wet electrodes using gels that cannot be used repeatedly, but are dry electrodes that can be used repeatedly. Metals with low contact resistance to the skin and high conductivity, such as opening holes in the earpads and closing the holes. A metal cage (for example, silver-silver chloride, stainless steel, etc.) may be disposed, or an electrically conductive rubber cage having similar properties may be used. In the case of headphones without an open-air earcup or earpad, the electrode of the myoelectric sensor is placed near the cheek from the surface of the support mechanism that contacts the skin around the ear in order to put the headphones on the head. May be. A position close to the cheek is preferable for detecting a signal of muscle activity that creates a facial expression “smile”, but if the myoelectric sensor electrode is in contact with the auricle and surrounding skin, the facial expression “smile” It is possible to detect the signal of muscle activity.
図２（ａ）は、耳を覆うだけのイヤパッドに筋電センサが配置された構造を表す。
図２（ｂ）は、検出用＋電極及びリファレンス用−電極の筋電センサの対が、顔の前向き前方に突き出た構造を表す。これによって、既存のヘッドフォン形状よりも、筋電センサの検出用とリファレンス用電極を、ユーザの頬にできる限り近づけることになり、より大きな筋電信号を得ることができる。また、突き出た構造によって、ヘッドフォンの左右を間違えずに装着するように、ヘッドフォンの向きを示すことができる。
FIG. 2A shows a structure in which the myoelectric sensor is arranged on an ear pad that only covers the ear.
FIG. 2B shows a structure in which a pair of myoelectric sensors for detection + electrode and reference-electrode protrudes forward in front of the face. As a result, the detection and reference electrodes of the myoelectric sensor are brought as close as possible to the user's cheek as compared with the existing headphone shape, and a larger myoelectric signal can be obtained. Further, the protruding structure can indicate the direction of the headphones so that the headphones can be worn without mistakes.
従来技術による表面筋電計測によれば、計測対象とする筋肉の直上の皮膚に筋肉の筋に沿って、数ｃｍ以下の間隔を空けて、検出用＋電極とリファレンス用−電極とを配置することが一般的である。顔表情「笑み」のみを検出するためには、左右いずれか片方の頬に検出用とリファレンス用電極を配置する。
これに対し、本発明によれば、ヘッドフォンに配置した筋電センサによって顔表情「笑み」を検出する。そして、左の耳前下周辺の頬近傍の皮膚に検出用＋（プラス）電極と、右の耳前下周辺の頬近傍の皮膚にリファレンス用−（マイナス）電極を配置することで、顔表情「笑み」を作る筋電を検出することができる。尚、左をリファレンス用（マイナス）電極、右を検出用（プラス）電極としてもよい。
又は従来技術同様に、左右どちらか一方に電極を配置し、顔の後方をリファレンス（マイナス）電極、頬に近い前方を検出（プラス）電極としてもよい。
According to the surface myoelectric measurement according to the prior art, the + electrode for detection and the −electrode for reference are arranged on the skin immediately above the muscle to be measured along the muscle muscle with a space of several centimeters or less. It is common. In order to detect only the facial expression “smile”, detection and reference electrodes are arranged on either the left or right cheek.
On the other hand, according to the present invention, the facial expression “smile” is detected by the myoelectric sensor arranged in the headphones. Then, a positive (+) electrode for detection is placed on the skin near the cheek near the left front of the ear, and a negative (−) electrode for reference is placed on the skin near the cheek near the lower right front of the ear. Myoelectricity that makes “smile” can be detected. Note that the left may be a reference (minus) electrode and the right may be a detection (plus) electrode.
Alternatively, as in the prior art, electrodes may be arranged on either the left or right side, the back of the face may be a reference (minus) electrode, and the front near the cheek may be a detection (plus) electrode.
図３は、筋電信号における周波数帯に対するパワー値を表すグラフである。 FIG. 3 is a graph showing the power value with respect to the frequency band in the myoelectric signal.
図３によれば、顔表情が生じた際に、筋電信号における検出サンプルに対する電圧変化を表す。ｘ軸は、筋電信号の検出サンプルFs＝512Hz（0〜512個で１秒間）であり、電圧の時系列的変化を表す。 According to FIG. 3, when a facial expression occurs, the voltage change with respect to the detected sample in the myoelectric signal is represented. The x-axis is a myoelectric signal detection sample Fs = 512 Hz (0 to 512 for 1 second), and represents a time-series change in voltage.
図４は、本発明における端末及びヘッドマウントデバイスの機能構成図である。
図５は、本発明によってアプリケーションに感情識別子を付与する説明図である。
FIG. 4 is a functional configuration diagram of the terminal and the head mounted device in the present invention.
FIG. 5 is an explanatory diagram for giving an emotion identifier to an application according to the present invention.
図４によれば、ヘッドフォン２は、イヤパッドに搭載されたスピーカ及び筋電センサと、筋電信号を端末１へ伝送可能な信号に変換する信号変換部と、端末１との間で音声信号及び筋電信号を伝送する信号インタフェースとを有する。
信号変換部は、端末１から受信した音声信号を増幅しスピーカへ出力すると共に、筋電センサとして、商用電源等に起因するコモンモードノイズを軽減するＤＲＬ回路を有し、検出用電極とリファレンス電極の電位差を増幅し0.1から数百μVの範囲の皮膚電位検出性能を有する。信号インタフェースがアナログインタフェースの場合は筋電センサによって検出された筋電信号をマイクレベルまで増幅し、端末１との信号インタフェースがデジタルインタフェースの場合は、サンプリング周波数500Hz以上、量子化１０bit以上でアナログ／デジタル変換を行い、端末１へ出力する。
信号インタフェースは、端末１とヘッドフォン２との間で音声ケーブルが用いられている場合、筋電信号は人間の可聴範囲内に収まる周波数特性なので周波数変換する必要はなく、携帯端末１の信号変換部によりマイク入力による音声同様にアナログ／デジタル変換される。尚、携帯電話のマイク端子は通常１チャネルである。
According to FIG. 4, the headphone 2 includes a speaker and myoelectric sensor mounted on the ear pad, a signal conversion unit that converts a myoelectric signal into a signal that can be transmitted to the terminal 1, and an audio signal and A signal interface for transmitting a myoelectric signal.
The signal conversion unit amplifies the audio signal received from the terminal 1 and outputs the amplified signal to the speaker, and also has a DRL circuit that reduces common mode noise caused by a commercial power source or the like as a myoelectric sensor. A potential difference of 0.1 to several hundred μV is amplified and the skin potential detection performance is in the range. When the signal interface is an analog interface, the myoelectric signal detected by the myoelectric sensor is amplified to the microphone level, and when the signal interface with the terminal 1 is a digital interface, the analog / analog is obtained at a sampling frequency of 500 Hz or more and a quantization of 10 bits or more. Digital conversion is performed and output to the terminal 1.
When the audio cable is used between the terminal 1 and the headphones 2, the signal interface is a frequency characteristic that the myoelectric signal falls within the human audible range. Thus, analog / digital conversion is performed in the same manner as the sound input from the microphone. Note that the microphone terminal of a mobile phone is usually one channel.
図４によれば、端末１は、ユーザに対してアプリケーションを実行し、ユーザがアプリケーションを使用する過程で生じる体験や経験であるユーザエクスペリエンス（ユーザ体験）を提供すると共に、少なくとも１チャネルの筋電信号を入力可能なものである。端末１は、アプリケーション実行部１１と、筋電信号判定部１２と、感情識別子付与部１３と、操作実行部１４と、感情識別子送信部１５とを有する。これら機能構成部は、端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。例えば、これら機能構成部は、バックグランドで動作する筋電アプリケーションとして実行されるものであってもよい。 According to FIG. 4, the terminal 1 executes an application for a user, provides a user experience (user experience) that is an experience or an experience that occurs in the process of using the application by the user, and at least one channel of myoelectronics. The number can be entered. The terminal 1 includes an application execution unit 11, a myoelectric signal determination unit 12, an emotion identifier assignment unit 13, an operation execution unit 14, and an emotion identifier transmission unit 15. These functional components are realized by executing a program that causes a computer installed in the terminal to function. For example, these functional components may be executed as a myoelectric application that operates in the background.
アプリケーション実行部１１は、アプリケーションを実行しそのアプリケーションを使用するユーザに対しユーザ体験を提供するものである。本発明は、アプリケーションが提供するユーザ体験におけるユーザの顔の表情の変化を検出しようとする。 The application execution unit 11 provides a user experience to a user who executes an application and uses the application. The present invention seeks to detect changes in the facial expression of a user in the user experience provided by the application.
［筋電信号判定部１２］
筋電信号判定部１２は、筋電信号における所定周波数帯及び所定パワー閾値の組に、「感情識別子」を対応付けて記憶したものである。また、感情識別子に対して、更に「操作識別子」を対応付けたものであってもよい。
[Myoelectric signal determination unit 12]
The myoelectric signal determination unit 12 stores an “emotion identifier” in association with a set of a predetermined frequency band and a predetermined power threshold in the myoelectric signal. Further, an “operation identifier” may be further associated with the emotion identifier.
図５によれば、感情識別子毎に、所定周波数帯及び所定パワー閾値の組と、操作識別子とが、例えば以下のように対応付けて記憶されている。
＜感情識別子＞ ＜周波数帯・パワー閾値の組＞ ＜操作識別子＞
「笑み」 20〜45Hz ・・・ 「お気に入りへ登録」
「噛み締め」 80〜95Hz ・・・ 「お気に入らずへ登録」「スキップ」
・・・ ・・・ ・・・ ・・・
例えば20〜45Hzの周波数帯で、所定パワー閾値以上のパワー値が検出された場合、それは顔表情「笑み」であるとして検出しようとすることを登録する。一方で、大笑いや、会話、咀嚼の動作の場合、20Hzよりも低い周波数帯でパワー値が上昇することとなる。
また、例えば80〜95Hzの周波数帯で、所定パワー閾値以上のパワー値が検出された場合、それは顔表情「噛み締め」であるとして検出しようとすることを登録する。
これによって、顔表情を検出する際に、アーチファクト混入と、商用電源ノイズの影響を避けることができる。
According to FIG. 5, for each emotion identifier, a set of a predetermined frequency band and a predetermined power threshold and an operation identifier are stored in association with each other as follows, for example.
<Emotion identifier><Frequency band / power threshold pair><Operationidentifier>
“Smile” 20-45Hz ・ ・ ・ “Register to Favorites”
"Bite tightening" 80-95Hz ... "Register to not like""Skip"
... ... ... ...
For example, when a power value equal to or higher than a predetermined power threshold is detected in a frequency band of 20 to 45 Hz, it is registered that the facial expression “smile” is to be detected. On the other hand, in the case of laughter, conversation, and chewing, the power value increases in a frequency band lower than 20 Hz.
Further, for example, when a power value equal to or higher than a predetermined power threshold is detected in a frequency band of 80 to 95 Hz, the fact that it is to be detected as a facial expression “biting” is registered.
This can avoid the influence of artifacts and commercial power supply noise when detecting facial expressions.
操作識別子は、例えば「お気に入り(favorite)」登録操作に基づくものであってもよい。「お気に入り(favorite)」登録操作によって、その感情識別子が付与されたコンテンツ又はアプリケーションによるユーザ体験の識別子（例えば、音楽コンテンツのメディアファイル名）を、当該ユーザの「お気に入り」へ自動的に登録することができる。 The operation identifier may be based on, for example, a “favorite” registration operation. By registering a “favorite”, the identifier of the user experience by the content or application to which the emotion identifier is given (for example, the media file name of the music content) is automatically registered in the “favorite” of the user. Can do.
筋電信号判定部１２は、デジタル入力された筋電信号が、予め規定（記憶）された所定周波数帯で所定パワー閾値以上のパワー値となるか否かを判定する。まず、アナログ信号で携帯電話のマイク端子に入力された筋電信号は音声周波数帯域、例えば8kHzのサンプリング周波数でデジタル信号にサンプリングされるので、これを、例えば512Hzのサンプリング周波数でリサンプリングする。ＵＳＢ等のデジタルインタフェースで入力された筋電信号も、例えば512Hzのサンプリング周波数でリサンプリングする。 The myoelectric signal determination unit 12 determines whether or not the digitally input myoelectric signal has a power value equal to or higher than a predetermined power threshold in a predetermined frequency band defined (stored) in advance. First, since the myoelectric signal input to the microphone terminal of the mobile phone as an analog signal is sampled into a digital signal at a voice frequency band, for example, a sampling frequency of 8 kHz, it is resampled at a sampling frequency of, for example, 512 Hz. The myoelectric signal input through a digital interface such as USB is also resampled at a sampling frequency of 512 Hz, for example.
尚、図５によれば、感情識別子「笑み」の所定周波数帯におけるパワー値閾値以上のパワー値が、筋電信号として検出されたとする。 According to FIG. 5, it is assumed that a power value equal to or higher than a power value threshold in a predetermined frequency band of the emotion identifier “smile” is detected as a myoelectric signal.
筋電信号の所定周波数帯に対するパワー値に基づいて最も簡易に判定する方法について説明する。
検出された筋電信号のパワー値が、感情識別子における所定周波数帯の所定パワー閾値以上となっている場合、ユーザがその感情識別子に基づく表情を浮かべたと判定する。
また、検出された筋電信号のパワー値が、感情識別子における所定周波数帯の所定パワー閾値よりも小さい場合、ユーザがその感情識別子に基づく表情を浮かべたとは判定しない。
A method for making the simplest determination based on the power value for a predetermined frequency band of the myoelectric signal will be described.
When the power value of the detected myoelectric signal is equal to or greater than a predetermined power threshold value of a predetermined frequency band in the emotion identifier, it is determined that the user has a facial expression based on the emotion identifier.
Moreover, when the power value of the detected myoelectric signal is smaller than the predetermined power threshold value of the predetermined frequency band in the emotion identifier, it is not determined that the user has a facial expression based on the emotion identifier.
［感情識別子付与部１３］
感情識別子付与部１３は、実行中のアプリケーションによるユーザ体験に対して、筋電信号判定部１２によって真と判定された感情識別子を付与する。図５によれば、端末１によってコンテンツＢを再生中であったとする。このとき、端末１は、コンテンツＢに、感情識別子を付与する。
[Emotion identifier assigning unit 13]
The emotion identifier assigning unit 13 assigns the emotion identifier determined to be true by the myoelectric signal determination unit 12 to the user experience by the application being executed. According to FIG. 5, it is assumed that the content B is being reproduced by the terminal 1. At this time, the terminal 1 gives an emotion identifier to the content B.
また、感情識別子付与部１３は、実行中のアプリケーションの実行によるユーザ体験の時間が所定時間以上である場合にのみ、感情識別子を付与する。これによって、短時間の一時的なアプリケーションの視聴に対しては、感情識別子を付与するまでもないとする。 Moreover, the emotion identifier provision part 13 provides an emotion identifier only when the time of the user experience by execution of the application in execution is more than predetermined time. Thus, it is not necessary to add an emotion identifier to a temporary application viewing for a short time.
更に、感情識別子付与部１３は、実行中のアプリケーションによるユーザ体験に対して感情識別子が付与された時間位置を更に付与する。例えばコンテンツの再生中に、ユーザが特定の顔表情（例えば「笑み」）を浮かべた時間位置やシーンＩＤに、その感情識別子を付与することもできる。ユーザがその時に、その感情を持ったことを特定することができる。また、コンテンツが電子書籍ファイルである場合、ユーザが例えば「笑み」を浮かべたページＩＤに、その感情識別子を付与することもできる。 Furthermore, the emotion identifier assigning unit 13 further assigns a time position where the emotion identifier is assigned to the user experience by the application being executed. For example, during the reproduction of content, the emotion identifier can be given to the time position or scene ID where the user has a specific facial expression (for example, “smile”). It can be specified that the user has the feeling at that time. Further, when the content is an electronic book file, the emotion identifier can be given to the page ID on which the user has “smile”, for example.
更に、感情識別子付与部１３は、所定周波数帯におけるパワー値の積分値、最大値及び／又は平均値を「感情度」として、実行中のアプリケーションに更に付与する。 Furthermore, the emotion identifier assigning unit 13 further assigns the integrated value, the maximum value, and / or the average value of the power value in the predetermined frequency band as the “feeling degree” to the application being executed.
感情識別子が付与されるアプリケーションとしては、実行中のアプリケーションそのものユーザ体験や、再生中のコンテンツによるユーザ体験であって、例えば以下のようなものがある。
（実施例１）音楽プレイヤアプリケーションによって再生中の音楽ファイル
音楽プレイヤアプリケーションは、音楽ファイルをデコードした音声信号をヘッドフォンへ出力し、ユーザに聴かせる。音楽ファイルには、メタ情報（ファイル名、曲名、時間、アルバム名、ジャンル、演奏者、作詞者、作曲者、編曲者、歌詞等）が付与されている。ユーザが例えば「笑み」を浮かべた場合、その感情識別子をそのメタ情報に付与することができる。これによって、ユーザは、自分の好みの曲を、メタ情報のリストの中から確認することができる。音楽プレイヤ同様に、映像プレイヤ、電子書籍リーダ、ＷＥＢブラウザ等のコンテンツプレイヤに応用できる。
As an application to which an emotion identifier is assigned, there is a user experience of a running application itself or a user experience by a content being reproduced.
(Example 1) Music file being reproduced by the music player application The music player application outputs an audio signal obtained by decoding the music file to the headphones, and allows the user to listen to it. Meta information (file name, song name, time, album name, genre, performer, songwriter, composer, arranger, lyrics, etc.) is given to the music file. For example, when the user has a smile, the emotion identifier can be assigned to the meta information. As a result, the user can check his / her favorite song from the list of meta information. Similar to a music player, it can be applied to a content player such as a video player, an electronic book reader, and a WEB browser.
（実施例２）コミュニケーションアプリケーションによってメッセージ交換や通話をする
グループや相手方アドレス
コミュニケーションアプリケーションによって提供されるユーザ体験では、コミュニケーション中に、ユーザが例えば「笑み」を浮かべた場合、その感情識別子を、そのグループや相手方アドレス（メッセージＩＤ）に付与することができる。
(Embodiment 2) Message exchange and telephone call by communication application
Group or counterparty address In the user experience provided by the communication application, when a user smiles, for example, during communication, the emotion identifier can be given to the group or counterparty address (message ID).
（実施例３）位置アプリケーションによって取得された位置情報
例えばイベント会場では、各位置で展示説明等のオーディオガイドサービスが提供されている。イベントに来場したユーザは、その会場内で移動する毎に、オーディオガイドサービスの携帯端末によってその位置情報（例えば緯度経度）が検出される。位置情報は、ＧＰＳによって特定されるものであってもよいし、ＮＦＣ(Near Field Communication)やiBeacon(登録商標)等の近接通信によって特定されるものであってもよい。そして、ユーザが例えば「笑み」を浮かべた場合、その感情識別子をその位置で提供されたユーザ体験として付与することができる。
(Third Embodiment) Position Information Acquired by Position Application For example, at an event venue, an audio guide service such as exhibition explanation is provided at each position. Each time the user who has visited the event moves within the venue, the position information (for example, latitude and longitude) is detected by the portable terminal of the audio guide service. The position information may be specified by GPS, or may be specified by near field communication such as NFC (Near Field Communication) or iBeacon (registered trademark). Then, when the user smiles, for example, the emotion identifier can be given as a user experience provided at that position.
（実施例４）
例えばヘッドフォンにユーザが見ている方向を撮像するカメラデバイスを追加し、ユーザが例えば「笑み」を浮かべた際の前後の画像を撮像し記録することで、そのユーザのユーザ体験を画像として記録するアプリケーションにも活用できる他、ユーザが好ましいと感じたユーザ体験を評価するための評価装置も実現可能である。
Example 4
For example, a camera device that captures the direction the user is looking at is added to the headphones, and the user experience of the user is recorded as an image by capturing and recording images before and after the user smiles, for example. In addition to being used for applications, it is also possible to implement an evaluation apparatus for evaluating a user experience that the user feels preferable.
［操作実行部１４］
操作実行部１４は、アプリケーションに感情識別子が付与された際に、当該感情識別子に対応する操作識別子に基づく操作を実行する。
[Operation Execution Unit 14]
When an emotion identifier is given to the application, the operation execution unit 14 executes an operation based on the operation identifier corresponding to the emotion identifier.
例えば、以下のような操作識別子を対応付けることができる。
「お気に入り(favorite)」への登録
コンテンツプレイヤのプレイリストでのコンテンツの先送り／停止／再開
ＴＶやＲＡＤＩＯアプリでのＣＨザッピング操作
ドキュメントリーダ（電子書籍）のページ送り
ＷＥＢブラウザ等でのページスクロール。
メッセンジャーアプリ（Ｅメール、LINE等）の感情スタンプ選択ＵＩ
コミュニケーションアプリ（アバターチャット等）のアバターの感情表現の操作
コンテンツ購入サイトでの口コミへの感情自動投稿
位置情報アプリ（歩行ナビやオーディオガイド）の再生／停止／リピート
様々なスイッチＯＮ／ＯＦＦ操作
For example, the following operation identifiers can be associated.
Registration to “favorite” Content advance / stop / resume in playlist of content player CH zapping operation on TV or RADIO app Page feed of document reader (electronic book) Page scrolling with WEB browser etc.
Emotion stamp selection UI for messenger apps (email, LINE, etc.)
Operation of avatar emotion expressions in communication apps (avatar chat, etc.) Automatic posting of emotions to word-of-mouth on content purchase sites Play / stop / repeat location information apps (walking navigation and audio guide) Various switch ON / OFF operations
［感情識別子送信部１５］
感情識別子送信部１５は、アプリケーションにより提供されるユーザ体験の識別子と感情識別子との組を、ネットワークを介して外部装置へ送信する。外部装置としては、例えばアプリケーション管理サーバであってもよい。アプリケーション管理サーバは、ユーザ毎に、又は、多数のユーザについて、アプリケーションにより提供されるユーザ体験の識別子毎に、ユーザが例えば「笑み」を浮かべたことが記録される。これによって、ユーザに対するアプリケーションやコンテンツのレコメンドに利用することができる。
[Emotion identifier transmitter 15]
The emotion identifier transmission unit 15 transmits a pair of the user experience identifier and the emotion identifier provided by the application to the external device via the network. The external device may be, for example, an application management server. The application management server records that, for each user or, for a large number of users, a user smiles, for example, for each identifier of the user experience provided by the application. Thus, it can be used for recommending applications and contents to the user.
尚、本発明によれば、筋電信号を用いてSMILE及びSDを算出しているが、加速度センサの加速度信号や、脈拍センサの脈拍信号（例えば自律神経活動信号）に適用し、筋電信号の感情度と共に記録することもできる。 In addition, according to the present invention, SMILE and SD are calculated using the myoelectric signal, but the myoelectric signal is applied to the acceleration signal of the acceleration sensor and the pulse signal (eg, autonomic nerve activity signal) of the pulse sensor. It can also be recorded along with the emotion level.
図６は、アプリケーション管理サーバを用いたシステムの説明図である。 FIG. 6 is an explanatory diagram of a system using an application management server.
図６によれば、各端末１は、当該ユーザの筋電信号によって検出した「アプリケーション識別子<->感情識別子」を、アプリケーション管理サーバ３へ送信する。これによって、アプリケーション管理サーバ３は、ユーザ毎に、又は、多数のユーザ全体について、各アプリケーションの「アプリケーション識別子<->感情識別子」の情報を蓄積することができる。これによって、アプリケーションのユーザ体験毎に、ユーザによって検出された感情識別子を集約管理することができる。また、アプリケーション管理サーバ３は、例えば協調フィルタリング等の機械学習によって、ユーザの好みの感情識別子に対応するアプリケーション及びコンテンツ等のユーザ体験を、そのユーザに似通った好みをもつ情報に基づいて推薦することもできる。 According to FIG. 6, each terminal 1 transmits “application identifier <-> emotion identifier” detected by the user's myoelectric signal to the application management server 3. As a result, the application management server 3 can store the information of “application identifier <-> emotion identifier” of each application for each user or for all of a large number of users. This makes it possible to centrally manage emotion identifiers detected by the user for each user experience of the application. In addition, the application management server 3 recommends a user experience such as an application and content corresponding to a user's favorite emotion identifier based on information having preferences similar to the user by machine learning such as collaborative filtering. You can also.
以上、詳細に説明したように、本発明のプログラム、端末及びシステムによれば、端末で実行中のアプリケーションに、ウェアラブルデバイスを用いて表情情報を付与することができる。 As described above in detail, according to the program, terminal, and system of the present invention, facial expression information can be given to an application being executed on the terminal using a wearable device.
前述した本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 In the various embodiments of the present invention described above, various changes, modifications, and omissions in the scope of the technical idea and the viewpoint of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.
１ 端末
１１ アプリケーション実行部
１２ 筋電信号判定部
１２１ ウィンドウ分析部
１２２ 偏差算出部
１２３ 基準偏差記憶部
１２４ 顔表情判定部
１３ 感情識別子付与部
１４ 操作実行部
１５ 感情識別子送信部
２ ヘッドマウントデバイス、ヘッドフォン
３ アプリケーション管理サーバ
DESCRIPTION OF SYMBOLS 1 Terminal 11 Application execution part 12 Myoelectric signal determination part 121 Window analysis part 122 Deviation calculation part 123 Reference deviation memory | storage part 124 Face expression determination part 13 Emotion identifier provision part 14 Operation execution part 15 Emotion identifier transmission part 2 Head mounted device, headphones 3 Application management server
Claims (12)
入力された前記筋電信号が、予め規定された所定周波数帯で所定パワー閾値以上となるか否かを判定する筋電信号判定手段と、
実行中のアプリケーションに対して、前記筋電信号判定手段によって真と判定された感情識別子を付与する感情識別子付与手段と
してコンピュータを機能させることを特徴とするプログラム。 A program that executes an application for a user and causes a computer mounted on a terminal capable of inputting at least one channel of myoelectric signals to function.
Myoelectric signal determination means for determining whether the input myoelectric signal is equal to or higher than a predetermined power threshold in a predetermined frequency band defined in advance;
A program that causes a computer to function as an emotion identifier assigning unit that assigns an emotion identifier determined to be true by the myoelectric signal determination unit to an application being executed.
アプリケーションに感情識別子が付与された際に、当該感情識別子に対応する前記操作識別子に基づく操作を実行する操作実行手段と
してコンピュータを更に機能させることを特徴とする請求項１に記載のプログラム。 The emotion information storage means further associates an operation identifier with the emotion identifier,
2. The program according to claim 1, wherein when an emotion identifier is assigned to an application, the computer further functions as an operation execution unit that executes an operation based on the operation identifier corresponding to the emotion identifier.
前記操作実行手段は、前記感情識別子が付与されたアプリケーションの識別子を、当該ユーザの「お気に入り」へ登録する
ようにコンピュータを更に機能させることを特徴とする請求項２に記載のプログラム。 The operation identifier is based on a “favorite” registration operation,
The program according to claim 2, wherein the operation execution unit further causes the computer to function so as to register the identifier of the application to which the emotion identifier is assigned to the “favorite” of the user.
前記操作実行手段は、前記感情識別子が付与されたアプリケーションの識別子を、当該ユーザの「お気に入らず」へ登録する
ようにコンピュータを更に機能させることを特徴とする請求項２に記載のプログラム。 The operation identifier is based on a “Skip” operation,
The program according to claim 2, wherein the operation execution unit further causes the computer to function so as to register the identifier of the application to which the emotion identifier is assigned to “not liked” of the user.
ようにコンピュータを更に機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。 5. The emotion identifier assigning unit further causes the computer to function so as to assign the emotion identifier only when an execution time of an application being executed is a predetermined time or more. The program according to item 1.
ようにコンピュータを更に機能させることを特徴とする請求項１から５のいずれか１項に記載のプログラム。 The emotion identifier assigning means further causes the computer to function as an “emotion level” with the integrated value, maximum value, and / or average value of power in a predetermined frequency band as a “feeling degree”. The program according to any one of claims 1 to 5.
ようにコンピュータを更に機能させることを特徴とする請求項１から６のいずれか１項に記載のプログラム。 The said emotion identifier provision means makes a computer further function so that the time position where the said emotion identifier was provided may be further provided with respect to the application currently performed. The listed program.
してコンピュータを更に機能させることを特徴とする請求項１から７のいずれか１項に記載のプログラム。 8. The computer according to claim 1, further comprising a computer functioning as an emotion identifier transmission unit that transmits a set of an application identifier and the emotion identifier to an external device via a network. program.
筋電信号における所定周波数帯及び所定パワーの組に、感情識別子を対応付けて記憶した感情情報記憶手段と、
入力された前記筋電信号が、前記感情情報記憶手段に記憶された所定周波数帯及び所定パワーに該当するか否かを判定する筋電信号判定手段と、
前記筋電信号判定手段によって真と判定された際に、ユーザに対して実行中のアプリケーションに対して、真と判定された所定周波数帯及び所定パワーに対応する前記感情識別子を付与する感情識別子付与手段と
を有することを特徴とする端末。 A terminal capable of executing an application for a user and inputting a myoelectric signal,
Emotion information storage means for storing an emotion identifier in association with a set of a predetermined frequency band and a predetermined power in the myoelectric signal;
Myoelectric signal determination means for determining whether or not the input myoelectric signal corresponds to a predetermined frequency band and a predetermined power stored in the emotion information storage means;
Giving an emotion identifier that gives the emotion identifier corresponding to a predetermined frequency band and a predetermined power determined to be true to an application being executed for a user when determined to be true by the myoelectric signal determination means And a terminal.
前記デバイスは、前記筋電センサの電極をユーザの耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置し、
前記端末の前記感情情報記憶手段に記憶された、筋電信号における所定周波数帯及び所定パワーの組は当該ユーザの「笑み」及び／又は「噛み締め」に基づくものであって、それに対応する前記感情識別子も「笑み」及び／又は「噛み締め」に基づくものである
ことを特徴とするシステム。 A system comprising: the terminal according to claim 9; and a device that includes a myoelectric sensor that detects the myoelectric signal and outputs the detected myoelectric signal to the terminal.
The device is arranged so that the electrode of the myoelectric sensor is in contact with the skin surface at one point near the cheek from the periphery of the user's pinna,
The set of the predetermined frequency band and the predetermined power in the myoelectric signal stored in the emotion information storage means of the terminal is based on the user's “smile” and / or “biting”, and the emotion corresponding thereto A system characterized in that the identifier is also based on "smiling" and / or "tightening".
前記デバイスは、ユーザの頭に装着された際に、前記筋電センサのリファレンス用電極が、左（又は右）の耳介周辺から頬近傍の何処か一点の皮膚表面に、検出用電極が、右（又は左）の耳介周辺から頬近傍の何処か一点の皮膚表面に接するように配置される
ことを特徴とする請求項１０に記載のシステム。 The device is a head mounted type,
When the device is worn on the user's head, the reference electrode of the myoelectric sensor is located on the skin surface at one point near the cheek from the left (or right) pinna, The system according to claim 10, wherein the system is arranged so as to be in contact with a skin surface at a point near the cheek from the periphery of the right (or left) pinna.
ことを特徴とする請求項１１に記載のシステム。 The system according to claim 11, wherein the myoelectric sensor is arranged on each of right and left ear pads (speakers) of the device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015141060A JP6521778B2 (en) | 2015-07-15 | 2015-07-15 | Program, terminal and system for giving emotional identifier to application using myoelectric signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015141060A JP6521778B2 (en) | 2015-07-15 | 2015-07-15 | Program, terminal and system for giving emotional identifier to application using myoelectric signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017021737A true JP2017021737A (en) | 2017-01-26 |
| JP6521778B2 JP6521778B2 (en) | 2019-05-29 |
Family
ID=57888158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015141060A Active JP6521778B2 (en) | 2015-07-15 | 2015-07-15 | Program, terminal and system for giving emotional identifier to application using myoelectric signal |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6521778B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019017945A (en) * | 2017-07-21 | 2019-02-07 | Kddi株式会社 | Biological signal acquisition device in which body and electrode part are connected with elasticity |
| JP2019115410A (en) * | 2017-12-26 | 2019-07-18 | Kddi株式会社 | Biological signal processor for determining generation of cyclical biological signal by representative value of acceleration component, program, and method |
| JP2019118448A (en) * | 2017-12-28 | 2019-07-22 | 日本電気株式会社 | Mental condition estimation system and mental condition estimation method |
| JP2020000431A (en) * | 2018-06-27 | 2020-01-09 | 国立研究開発法人産業技術総合研究所 | Device for measurement of chewing movement |
| WO2020170645A1 (en) * | 2019-02-22 | 2020-08-27 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2020185322A (en) * | 2019-05-17 | 2020-11-19 | 旭化成株式会社 | Content distribution device, user apparatus, system, content distribution method, program, and computer readable storage medium |
| WO2020251585A1 (en) * | 2019-06-14 | 2020-12-17 | Hewlett-Packard Development Company, L.P. | Headset signals to determine emotional states |
| JP2021089544A (en) * | 2019-12-03 | 2021-06-10 | 富士フイルムビジネスイノベーション株式会社 | Information processing system and program |
| JP2022097293A (en) * | 2020-12-18 | 2022-06-30 | ヤフー株式会社 | Information processing device, information processing method, and information processing program |
| WO2022196419A1 (en) * | 2021-03-17 | 2022-09-22 | 株式会社資生堂 | Myoelectric potential measuring instrument, method, and system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003233624A (en) * | 2001-12-26 | 2003-08-22 | Eastman Kodak Co | Method for creating and using affective information in digital imaging system |
| JP2005063163A (en) * | 2003-08-13 | 2005-03-10 | Sony Corp | Device and method for retrieval reproduction of imaging information, device and method for retrieval reproduction of contents and device and method for emotion retrieval |
| JP2006006355A (en) * | 2004-06-22 | 2006-01-12 | Sony Corp | Processor for biological information and video and sound reproducing device |
| JP2006340986A (en) * | 2005-06-10 | 2006-12-21 | Ntt Docomo Inc | Face information detector and communication system by detecting face information |
| JP2007528038A (en) * | 2003-06-03 | 2007-10-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and apparatus for generating user profile based on playlist |
| JP2012000228A (en) * | 2010-06-16 | 2012-01-05 | Sony Corp | Muscle-activity diagnosis apparatus, method, and program |
-
2015
- 2015-07-15 JP JP2015141060A patent/JP6521778B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003233624A (en) * | 2001-12-26 | 2003-08-22 | Eastman Kodak Co | Method for creating and using affective information in digital imaging system |
| JP2007528038A (en) * | 2003-06-03 | 2007-10-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and apparatus for generating user profile based on playlist |
| JP2005063163A (en) * | 2003-08-13 | 2005-03-10 | Sony Corp | Device and method for retrieval reproduction of imaging information, device and method for retrieval reproduction of contents and device and method for emotion retrieval |
| JP2006006355A (en) * | 2004-06-22 | 2006-01-12 | Sony Corp | Processor for biological information and video and sound reproducing device |
| JP2006340986A (en) * | 2005-06-10 | 2006-12-21 | Ntt Docomo Inc | Face information detector and communication system by detecting face information |
| JP2012000228A (en) * | 2010-06-16 | 2012-01-05 | Sony Corp | Muscle-activity diagnosis apparatus, method, and program |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019017945A (en) * | 2017-07-21 | 2019-02-07 | Kddi株式会社 | Biological signal acquisition device in which body and electrode part are connected with elasticity |
| JP2019115410A (en) * | 2017-12-26 | 2019-07-18 | Kddi株式会社 | Biological signal processor for determining generation of cyclical biological signal by representative value of acceleration component, program, and method |
| JP2019118448A (en) * | 2017-12-28 | 2019-07-22 | 日本電気株式会社 | Mental condition estimation system and mental condition estimation method |
| JP7145484B2 (en) | 2018-06-27 | 2022-10-03 | 国立研究開発法人産業技術総合研究所 | Masticatory motion measuring device, masticatory motion measuring method, and method for acquiring data related to masticatory motion |
| JP2020000431A (en) * | 2018-06-27 | 2020-01-09 | 国立研究開発法人産業技術総合研究所 | Device for measurement of chewing movement |
| WO2020170645A1 (en) * | 2019-02-22 | 2020-08-27 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2020185322A (en) * | 2019-05-17 | 2020-11-19 | 旭化成株式会社 | Content distribution device, user apparatus, system, content distribution method, program, and computer readable storage medium |
| WO2020251585A1 (en) * | 2019-06-14 | 2020-12-17 | Hewlett-Packard Development Company, L.P. | Headset signals to determine emotional states |
| CN113924542A (en) * | 2019-06-14 | 2022-01-11 | 惠普发展公司， 有限责任合伙企业 | Headset signal for determining emotional state |
| US11543884B2 (en) * | 2019-06-14 | 2023-01-03 | Hewlett-Packard Development Company, L.P. | Headset signals to determine emotional states |
| JP2021089544A (en) * | 2019-12-03 | 2021-06-10 | 富士フイルムビジネスイノベーション株式会社 | Information processing system and program |
| JP7320261B2 (en) | 2019-12-03 | 2023-08-03 | 株式会社Agama-X | Information processing system, method, and program |
| JP2022097293A (en) * | 2020-12-18 | 2022-06-30 | ヤフー株式会社 | Information processing device, information processing method, and information processing program |
| WO2022196419A1 (en) * | 2021-03-17 | 2022-09-22 | 株式会社資生堂 | Myoelectric potential measuring instrument, method, and system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6521778B2 (en) | 2019-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6521778B2 (en) | Program, terminal and system for giving emotional identifier to application using myoelectric signal | |
| TWI821208B (en) | Sound reproduction device | |
| JP6580497B2 (en) | Apparatus, device, program and method for identifying facial expression with high accuracy using myoelectric signal | |
| JP6812604B2 (en) | Audio activity tracking and summarization | |
| US20150319546A1 (en) | Hearing Assistance System | |
| US20130245396A1 (en) | Mental state analysis using wearable-camera devices | |
| JP7167910B2 (en) | Information processing device, information processing method, and program | |
| JP7057462B2 (en) | EEG data analysis system, information processing terminal, electronic device, and information presentation device for EEG analysis test | |
| US10764226B2 (en) | Message delivery and presentation methods, systems and devices using receptivity | |
| WO2015068440A1 (en) | Information processing apparatus, control method, and program | |
| CN108874130B (en) | Play control method and related product | |
| JP6452248B2 (en) | Device, terminal, and program for identifying facial expression using myoelectric signal | |
| JP6857024B2 (en) | Playback control method, system, and information processing device | |
| EP2402839A2 (en) | System and method for indexing content viewed on an electronic device | |
| US11893997B2 (en) | Audio signal processing for automatic transcription using ear-wearable device | |
| CN107609371B (en) | Message prompting method and audio playing device | |
| JP2021124923A (en) | Information processing apparatus and program | |
| Min et al. | Cross-modal approach for conversational well-being monitoring with multi-sensory earables | |
| CN114830692A (en) | System comprising a computer program, a hearing device and a stress-assessing device | |
| JP2019071515A (en) | Communication device, communication system, and program | |
| WO2024106195A1 (en) | Information processing device and information processing system | |
| US20220408153A1 (en) | Information processing device, information processing method, and information processing program | |
| US11621018B2 (en) | Determining social interaction of a user wearing a hearing device | |
| RU224969U1 (en) | DEVICE FOR MEASURING ECG, HEART AND LUNG SOUND WITH WIRELESS HEADPHONES | |
| KR20230094978A (en) | Method for archiving a particular event in a life of a wearer of a connected watch |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181022 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190422 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190423 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6521778 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |