JP2014178970A - Emotion estimating device, and emotion estimating method - Google Patents
Emotion estimating device, and emotion estimating method Download PDFInfo
- Publication number
- JP2014178970A JP2014178970A JP2013053622A JP2013053622A JP2014178970A JP 2014178970 A JP2014178970 A JP 2014178970A JP 2013053622 A JP2013053622 A JP 2013053622A JP 2013053622 A JP2013053622 A JP 2013053622A JP 2014178970 A JP2014178970 A JP 2014178970A
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- timing
- information
- person
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 199
- 238000000034 method Methods 0.000 title claims description 31
- 230000008921 facial expression Effects 0.000 claims abstract description 16
- 230000036772 blood pressure Effects 0.000 claims description 4
- 230000036760 body temperature Effects 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 3
- 230000035900 sweating Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、顔画像から感情や心理状態を推定する技術に関する。 The present invention relates to a technique for estimating an emotion and a psychological state from a face image.
下記特許文献1及び2は、顔画像(表情画像)から感情や心理状態を推定する手法を提案する。これら手法は、複数人の顔画像から、表情マップ、線形判別式、重回帰式等を取得し、これら情報に基づいて、不特定人の顔画像に対応する感情や心理状態を推定する。
また、下記特許文献3は、ユーザの個々の好みに応じた表情の被写体を撮像する撮像装置を提案する。この撮像装置は、個人を識別するための個人識別特徴量と、ユーザの好みに応じた表情を示す表情判断特徴量とを予め格納しておき、撮像された複数の画像に写る個人を特定し、当該複数の画像の中の、その個人の表情判断特徴量と類似する特徴量を持つ画像を出力用画像として記録する。
上記特許文献1及び2で提案される手法は、複数人から得られる標準的な表情との関係から、或る顔画像に対応する感情や心理状態を推定しているため、人や場面によっては、高い推定精度を達成できない可能性がある。例えば、感情を標準的に表情に出さない人や、老人や病人等のように感情を表情に出せない状況にある人に対しては、上述の提案手法は、精度よく感情や心理状態を推定できない可能性が高い。また、上記特許文献3は、各個人の好みの表情を示す表情判断特徴量を予め登録しているものの、各個人の好みに応じた表情と近似する画像を特定しているに過ぎず、各個人の感情や心理状態を推定しているわけではない。
The methods proposed in
本発明は、このような事情に鑑みてなされたものであり、各個人の感情を高精度に推定する技術を提供することにある。 This invention is made | formed in view of such a situation, and is providing the technique which estimates each person's emotion with high precision.
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。 Each aspect of the present invention employs the following configurations in order to solve the above-described problems.
第1の側面は、感情推定装置に関する。第1の側面に係る感情推定装置は、撮像された被判定者の顔を示す顔画像情報を取得する画像取得部と、画像取得部により取得される顔画像情報、及び、感情情報格納部に格納される、被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、被判定者の感情を推定する感情推定部と、を有する。 The first aspect relates to an emotion estimation device. An emotion estimation apparatus according to a first aspect includes an image acquisition unit that acquires face image information indicating a face of a person to be determined, a face image information acquired by the image acquisition unit, and an emotion information storage unit. An emotion estimation unit that estimates the emotion of the person to be judged using a plurality of facial expression image information respectively corresponding to each predetermined emotion of the person to be judged.
第2の側面は、少なくとも1つのコンピュータにより実行される感情推定方法に関する。第2の側面に係る感情推定方法は、撮像された被判定者の顔を示す顔画像情報を取得し、取得された顔画像情報、及び、感情情報格納部に格納される、被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、被判定者の感情を推定する、ことを含む。 The second aspect relates to an emotion estimation method executed by at least one computer. The emotion estimation method according to the second aspect acquires face image information indicating the face of the imaged person to be determined, and is stored in the acquired face image information and emotion information storage unit. Including estimating the emotion of the person to be judged using a plurality of facial expression image information corresponding to each predetermined emotion.
なお、本発明の他の側面としては、上記第2の側面の方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。 Another aspect of the present invention may be a program that causes at least one computer to execute the method of the second aspect, or a computer-readable recording medium that records such a program. May be. This recording medium includes a non-transitory tangible medium.
上記各側面によれば、各個人の感情を高精度に推定する技術を提供することができる。 According to each said aspect, the technique which estimates each individual's emotion with high precision can be provided.
以下、本発明の実施の形態について説明する。なお、以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。 Embodiments of the present invention will be described below. In addition, embodiment mentioned below is an illustration and this invention is not limited to the structure of the following embodiment.
〔システム構成〕
図1は、実施形態における感情推定システム1のハードウェア構成例を概念的に示す図である。感情推定システム1は、図1に示されるように、撮像装置2、生体センサ3及び感情推定装置10を有する。
〔System configuration〕
FIG. 1 is a diagram conceptually illustrating a hardware configuration example of an
感情推定装置10は、いわゆるコンピュータであり、例えば、バス9で相互に接続される、CPU(Central Processing Unit)5、メモリ6、入出力インタフェース(I/F)7等を有する。メモリ6は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク、可搬型記憶媒体等である。入出力I/F8は、表示装置(図示せず)、入力装置(図示せず)、通信装置(図示せず)等と接続され得る。例えば、入出力I/F7は、通信装置などを介して、撮像装置2及び生体センサ3と通信を行う。感情推定装置10と、撮像装置2又は生体センサ3との間の通信は、本実施形態では制限されない。その通信は、例えば、USB(Universal Serial Bus)通信やIP(Internet Protocol)通信等である。本実施形態は、感情推定装置10のハードウェア構成を制限しない。
The
感情推定装置10は、後述の感情情報データベース(DB)17にデータを登録する動作モード(以降、登録モードと表記する)と、感情情報DB17に登録されているデータに基づいて、被判定者の感情を推定する動作モード(以降、推定モードと表記する)とを有する。感情推定装置10は、例えば、入力装置を用いた操作者の入力操作により、その2つの動作モードの間を切り替える。
The
撮像装置2は、いわゆるカメラであり、任意のタイミングで被判定者を撮像し、被判定者の顔を含む画像の画像信号を出力する。即ち、撮像装置2は、撮像素子を含み、被判定者の像を電気信号(画像信号)に変換し、その画像信号を出力する。撮像装置2は、画像信号を感情推定装置10へ出力してもよいし、その画像信号から生成される画像データ(画像ファイル)を感情推定装置10へ出力してもよい。
The
生体センサ3は、感情推定装置10が登録モードで動作している場合に、被判定者の被測定部位又はその周辺に取り付けられ、被判定者の生体情報を逐次測定する。生体センサ3により測定される生体情報は、例えば、脳波、脈拍、心拍、心電図、呼吸、発汗、血圧、体温等のうちの少なくとも一つの情報である。本実施形態は、感情を推定可能な生体情報であれば、生体情報の具体的内容を制限しない。例えば、生体センサ3は、脳波計、血圧計及び体温計を含み、これらにより検出される脳波、血圧及び体温の組み合わせを生体情報として測定するようにしてもよい。生体センサ3による各種生体情報の具体的測定手法には、周知技術が用いられればよい。
When the
〔処理構成〕
図2は、実施形態における感情推定装置10の処理構成例を概念的に示す図である。実施形態における感情推定装置10は、画像取得部11、生体情報取得部12、顔画像DB13、生体情報DB14、タイミング推定部15、感情情報登録部16、感情情報DB17、感情推定部18等を有する。これら各処理部は、例えば、CPU5によりメモリ6に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力I/F7を介してインストールされ、メモリ6に格納されてもよい。
[Processing configuration]
FIG. 2 is a diagram conceptually illustrating a processing configuration example of the
画像取得部11は、撮像装置2により撮像された被判定者の顔を示す顔画像情報を取得する。顔画像情報は、撮像装置2により撮像された被判定者の顔が写る顔画像の画像データであってもよいし、その顔画像の画像データから抽出される特徴量データであってもよい。画像データは、撮像装置2により生成され、撮像装置2から取得されてもよいし、撮像装置2から出力される画像信号に基づいて画像取得部11により生成されてもよい。また、画像データは、可搬型記録媒体、他のコンピュータ等から入出力I/F4を経由して取得されてもよい。
The image acquisition unit 11 acquires face image information indicating the face of the person to be determined imaged by the
画像取得部11は、上述のように取得された顔画像の画像データから特徴量データを取得することもできる。特徴量データの具体的な取得手法には、周知技術が用いられればよい。例えば、感情推定システム1で推定される各感情を表し易い顔の各構成要素(各部位)に相当する領域画像から得られる特徴量データが取得される。
The image acquisition unit 11 can also acquire feature amount data from the image data of the face image acquired as described above. A well-known technique should just be used for the specific acquisition method of feature-value data. For example, feature amount data obtained from area images corresponding to each constituent element (each part) of a face that easily represents each emotion estimated by the
画像取得部11は、登録モード時には、感情情報DB17への登録対象となり得る顔画像情報を取得し、推定モード時には、感情推定の対象となる顔画像情報を取得する。具体的には、登録モード時には、画像取得部11は、撮像装置2により逐次撮像された被判定者の顔画像に関する顔画像情報の時系列データを取得し、その時系列データを顔画像DB13に格納する。例えば、画像取得部11は、撮像タイミングを撮像装置2に指示し、その撮像タイミングで撮像された画像データを撮像装置2から取得し、その画像データを撮像タイミングに対応する時間情報と共に顔画像DB13に格納するようにしてもよい。また、画像取得部11は、登録モードであることを撮像装置2に通知することで、撮像装置2に所定の周期で被判定者を逐次撮像させるようにしてもよい。画像取得部11は、複数の画像データをまとめて、各画像データの時間情報と共に、撮像装置2から取得してもよい。
The image acquisition unit 11 acquires face image information that can be registered in the
生体情報取得部12は、登録モード時に、生体センサ3により測定される被判定者の生体情報の時系列データを取得し、その時系列データを生体情報DB14に格納する。生体情報取得部12は、生体情報と、その生体情報が測定されたタイミングを示す時間情報とを生体センサ3から取得してもよいし、生体センサ3から生体情報を取得し、その生体情報の取得タイミングをその生体情報に対応する時間情報とするようにしてもよい。
The biometric
顔画像DB13は、画像取得部11により取得された、被判定者の顔画像に関する顔画像情報の時系列データを格納する。具体的には、顔画像DB13は、被判定者の複数の顔画像情報を時間情報と共に格納する。顔画像DB13は、複数の被判定者の顔画像情報を格納するようにしてもよい。
The
生体情報DB14は、生体情報取得部12により取得された、被判定者の生体情報の時系列データを格納する。具体的には、生体情報DB14は、被判定者の生体情報とそれに対応する時間情報との複数の組を格納する。生体情報DB14は、複数の被判定者の生体情報を格納するようにしてもよい。
The
タイミング推定部15は、登録モード時に動作する。タイミング推定部15は、生体情報取得部12により取得され、生体情報DB14に格納される生体情報の時系列データに基づいて、被判定者が所定感情を有したタイミングを推定する。具体的には、タイミング推定部15は、生体情報DB14に格納される生体情報の時系列データの中から、感情情報DB17に格納され得る複数の所定感情の各々について、各所定感情を被判定者が有したであろうタイミングをそれぞれ推定する。複数の所定感情は、例えば、喜び、楽しみ、緊張、怒り、哀しみ、恐怖等である。タイミング推定部15は、一定期間の生体情報が生体情報DB14に格納されたことを契機に処理を開始する。
The
例えば、脳波を周波数解析することで、怒り、哀しみ、喜び等の感情を定量化する様々な手法が提案されている。α波、θ波、β波、δ波等の分布により、感情を推定することができる。また、感情に応じて脈拍、心拍、呼吸、血圧、体温等が変化することも知られている。従って、これら情報の少なくとも1つを用いれば、所定の感情を推定することができる。本実施形態は、タイミングを推定する所定感情の種類を制限せず、かつ、上記タイミングの具体的推定手法を制限しない。感情情報DB17に格納され得る複数の所定感情の種類は、予め決められ、タイミング推定部15に設定されている。
For example, various methods have been proposed for quantifying emotions such as anger, sadness, and joy by performing frequency analysis of brain waves. Emotion can be estimated from the distribution of α waves, θ waves, β waves, δ waves, and the like. It is also known that the pulse, heartbeat, respiration, blood pressure, body temperature and the like change according to the emotion. Therefore, a predetermined emotion can be estimated by using at least one of these pieces of information. The present embodiment does not limit the type of predetermined emotion for estimating timing, and does not limit the specific method for estimating the timing. A plurality of types of predetermined emotions that can be stored in the
例えば、タイミング推定部15は、上記所定感情へ変化した後のタイミング、又は、上記所定感情を強く表しているタイミングを、被判定者がその所定感情を有したタイミングとして推定する。例えば、タイミング推定部15は、心拍数が所定閾値を超えた直後を被判定者が緊張感を有したタイミングとして推定してもよいし、心拍数が最も高い時をそのタイミングとして推定してもよい。他の例としては、タイミング推定部15は、脳波のθ波、α波及びβ波の各含有率をそれぞれ計算し、各含有率が所定パターンを示す時を被判定者が緊張しているタイミングとして推定してもよいし、β波の含有率が最も大きいときをそのタイミングとして推定してもよい。
For example, the
感情情報DB17は、被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を格納する。例えば、感情情報DB17は、所定感情毎に、被判定者の表情画像情報とその所定感情を特定する感情IDとを格納する。複数の所定感情は、上述したとおり、例えば、喜び、楽しみ、緊張、怒り、哀しみ、恐怖等である。
The
感情情報登録部16は、登録モード時に動作する。感情情報登録部16は、顔画像DB13に格納されている、被判定者について逐次撮像された顔画像に関する顔画像情報の時系列データの中から、タイミング推定部15により推定されるタイミングに対応する顔画像情報を特定し、特定された顔画像情報を、そのタイミングに対応する所定の感情に関連付けて感情情報DB17に格納する。具体的には、感情情報登録部16は、タイミング推定部15により推定された各所定感情のタイミングに基づいて、その各タイミングに適合する時間情報と共に格納される各顔画像情報を顔画像DB13からそれぞれ抽出し、抽出された各顔画像情報を各所定感情の感情IDと共に、感情情報DB17に格納する。
The emotion
感情推定部18は、推定モード時に動作する。感情推定部18は、推定モード時に画像取得部11により取得される顔画像情報、及び、感情情報DB17に格納される、被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、被判定者の感情を推定する。例えば、感情推定部18は、画像取得部11により取得された顔画像情報に最も近似する顔画像情報を感情情報DB17の中で特定し、その特定された顔画像情報に関連付けられる所定感情を被判定者の感情として決定する。顔画像情報が画像データである場合、感情推定部18は、周知技術である画像データ同士の類似度判定を行う。
The
また、感情推定部18は、感情情報DB17に格納される各顔画像情報と、画像取得部11により取得された顔画像情報との間の各類似度をそれぞれ算出するようにしてもよい。この場合、感情推定部18は、各類似度を正規化することで得られる各値を、対応する各所定感情のポイントとしてそれぞれ出力するようにしてもよい。
The
〔動作例〕
以下、実施形態における感情推定方法について図3を用いて説明する。図3は、実施形態における感情推定システム1の動作例を示すシーケンスチャートである。図3では、(S31)〜(S35)が登録モードにおける処理を示し、(S36)及び(S37)が推定モードにおける処理を示す。図3では、登録モードと推定モードとがシーケンシャルに実行される例が示されるが、各動作モードは連続して実行されなくてもよい。また、以下の説明では、感情推定装置10が各方法の実行主体となるが、感情推定装置10に含まれる上述の各処理部が実行主体となってもよい。
[Operation example]
Hereinafter, the emotion estimation method in the embodiment will be described with reference to FIG. FIG. 3 is a sequence chart showing an operation example of the
感情推定装置10は、顔画像情報の時系列データを取得する(S31)。このとき、撮像装置2は、或る周期で、被判定者を撮像している。撮像装置2による撮像タイミングは、感情推定装置10により指定されてもよいし、所定の周期で決められてもよい。これにより、感情推定装置10は、撮像装置2により逐次撮像された被判定者の顔画像の画像データ又は特徴量データを逐次取得し、画像データ又は特徴量データと、対応する時間情報とを顔画像DB13に順次格納していく。
The
並行して、感情推定装置10は、その被判定者の生体情報の時系列データを取得する(S32)。このとき、生体センサ3は、或る周期で、被判定者の生体情報を測定している。生体センサ3による測定タイミングは、感情推定装置10により指定されてもよいし、所定の周期で決められてもよい。これにより、感情推定装置10は、生体センサ3により逐次測定された被判定者の生体情報を逐次取得し、その生体情報と、対応する時間情報とを生体情報DB14に順次格納していく。
In parallel, the
感情推定装置10は、所定期間分の生体情報が取得されると、取得された生体情報の時系列データに基づいて、被判定者の各所定感情のタイミングをそれぞれ推定する(S33)。例えば、感情推定装置10は、所定感情へ変化した後のタイミング、又は、所定感情を強く表しているタイミングを、被判定者がその所定感情を有したタイミングとして推定する。
When the biological information for a predetermined period is acquired, the
感情推定装置10は、推定された各所定感情のタイミングに対応する顔画像情報を抽出する(S34)。具体的には、感情推定装置10は、各所定感情のタイミングに適合する時間情報と関連付けられて顔画像DB13に格納される各顔画像情報をそれぞれ抽出する。
The
感情推定装置10は、抽出された各顔画像情報を、各所定感情に関連付けて感情情報DB17にそれぞれ格納する(S35)。このように感情情報DB17への顔画像情報の登録が完了すると、感情推定装置10は、いつでも、推定モードに移行して、(S36)の処理を実行することができるようになる。
The
感情推定装置10は、撮像装置2により撮像された、感情推定のための当該被判定者の顔画像情報を取得する(S36)。
The
感情推定装置10は、(S36)で取得された顔画像情報と、感情情報DB17に格納される顔画像情報とを用いて、被判定者の感情を推定する(S37)。推定される被判定者の感情は、(S36)で取得された顔画像情報が示す顔画像が撮像された時に、被判定者が有すると推定される感情である。感情推定装置10は、画像データ間、又は、特徴量データ間の類似度判定を行うことで、被判定者の感情を推定する。推定結果は、最も近似する顔画像情報に対応する1つの所定感情であってもよいし、各所定感情に関するポイントであってもよい。
The
〔実施形態の作用及び効果〕
上述したように本実施形態では、登録モードにおいて、被判定者の顔画像情報と所定感情との対応関係が感情情報DB17に登録され、推定モードにおいて、感情情報DB17に格納される対応関係と、新たに取得された被判定者の顔画像情報とに基づいて、その被判定者の感情が推定される。登録モードでは、次のように、感情情報DB17へのデータ登録が行われる。被判定者の生体情報が順次測定されると共に、その被判定者の顔を含む画像が順次撮像されることで、その被判定者に関する生体情報及び顔画像情報の各時系列データがそれぞれ取得される。そして、その生体情報の時系列データから、被判定者が各所定感情を有していたであろうタイミングがそれぞれ推定され、顔画像情報の時系列データから、各所定感情のタイミングに対応する各顔画像情報がそれぞれ抽出され、抽出された各顔画像情報が各所定感情と関連付けられて感情情報DB17にそれぞれ格納される。
[Operation and effect of the embodiment]
As described above, in the present embodiment, in the registration mode, the correspondence between the face image information of the person to be determined and the predetermined emotion is registered in the
このように、本実施形態によれば、被判定者個人の生体情報及び顔画像情報から、その被判定者の感情が推定されるため、感情を標準的に表情に出さない被判定者に関しても高精度に感情を推定することができる。更に、本実施形態によれば、感情推定のための基になる顔画像情報と所定感情との対応関係が、生体情報という客観的な指標(データ)により生成されるため、被判定者個々に表情への表われ方が異なる感情を被判定者個々に応じて高精度に推定することができる。これにより、寝たきりの患者のように感情を表情に出せない状況にある者に関しても、高精度に感情を推定することができる。即ち、本実施形態によれば、介護施設や病院等で、老人や患者の状態を監視するための感情推定システムとしても大きな効果を発揮する。 Thus, according to this embodiment, since the emotion of the person to be determined is estimated from the biological information and face image information of the individual to be determined, the person to be determined who does not express the emotion as a standard expression can be obtained. Emotion can be estimated with high accuracy. Furthermore, according to the present embodiment, the correspondence between the face image information that is the basis for emotion estimation and the predetermined emotion is generated by an objective index (data) that is biometric information. Emotions that appear differently in facial expressions can be estimated with high accuracy according to each person to be judged. This makes it possible to estimate emotions with high accuracy even for those who are in a situation where emotions cannot be expressed, such as a bedridden patient. In other words, according to the present embodiment, a great effect can be obtained as an emotion estimation system for monitoring the state of an elderly person or patient in a nursing facility or a hospital.
ところで、被判定者に生体センサ3を取り付けておき、生体センサ3で測定される生体情報のみを用いてその被判定者の感情を推定することは可能である。しかしながら、この手法では、被判定者は、感情推定時には常時生体センサ3を取り付けておく必要があり、不快である。本実施形態によれば、登録モード時のみ、生体センサ3が被判定者に取り付けられ、推定モード時には、生体センサ3を取り外すことができるため、被判定者の不快感を軽減することができる。
By the way, it is possible to attach the
[変形例]
感情推定装置10は、複数の装置(コンピュータ)として実現されてもよい。
図4は、変形例における感情推定システム1の処理構成例を概念的に示す図である。図4に示されるように、感情推定システム1は、上記登録モード時の処理のみを行う情報登録装置20、及び、上記推定モード時の処理のみを行う感情推定装置10を有するようにしてもよい。この場合、感情推定装置10は、画像取得部11及び感情推定部18を有し、情報登録装置20は、上述の感情推定部18以外の処理部を有する。また、顔画像DB13、生体情報DB14及び感情情報DB17が更に他のコンピュータ上に実現されてもよい。
[Modification]
FIG. 4 is a diagram conceptually illustrating a processing configuration example of the
なお、上述の説明で用いたフローチャートでは、複数の工程(処理)が順番に記載されているが、本実施形態で実行される工程の実行順序は、その記載の順番に制限されない。本実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。 In addition, in the flowchart used by the above-mentioned description, although several process (process) is described in order, the execution order of the process performed by this embodiment is not restrict | limited to the description order. In the present embodiment, the order of the illustrated steps can be changed within a range that does not hinder the contents.
1 感情推定システム
2 撮像装置
3 生体センサ
5 CPU
6 メモリ
7 入出力I/F
10 感情推定装置
11 画像取得部
12 生体情報取得部
13 顔画像DB
14 生体情報DB
15 タイミング推定部
16 感情情報登録部
17 感情情報DB
18 感情推定部
20 情報登録装置
DESCRIPTION OF
6
DESCRIPTION OF
14 Biological information DB
15
18
Claims (8)
前記画像取得部により取得される顔画像情報、及び、感情情報格納部に格納される、前記被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、前記被判定者の感情を推定する感情推定部と、
を備える感情推定装置。 An image acquisition unit that acquires face image information indicating the face of the imaged person to be determined;
The facial image information acquired by the image acquisition unit and a plurality of facial expression image information respectively corresponding to the predetermined emotions of the determination subject stored in the emotion information storage unit, and the emotion of the determination target An emotion estimation unit for estimating
Emotion estimation device comprising:
前記生体情報取得部により取得される生体情報の時系列データに基づいて、前記被判定者が所定感情を有したタイミングを推定するタイミング推定部と、
前記画像取得部により取得される前記被判定者について逐次撮像された顔画像に関する顔画像情報の時系列データの中から、前記タイミング推定部により推定されるタイミングに対応する顔画像情報を特定し、特定された顔画像情報を、該タイミングに対応する前記所定の感情に関連付けて前記感情情報格納部に格納する感情情報登録部と、
を更に備える請求項1に記載の感情推定装置。 A biological information acquisition unit that acquires time-series data of the biological information of the person to be determined measured by a biological sensor;
A timing estimation unit that estimates timing when the person to be determined has a predetermined emotion based on time-series data of biological information acquired by the biological information acquisition unit;
From the time-series data of the face image information related to the face image sequentially captured for the determination subject acquired by the image acquisition unit, the face image information corresponding to the timing estimated by the timing estimation unit is specified, An emotion information registration unit that stores the identified face image information in the emotion information storage unit in association with the predetermined emotion corresponding to the timing;
The emotion estimation apparatus according to claim 1, further comprising:
請求項2に記載の感情推定装置。 The timing estimation unit estimates a timing after changing to the predetermined emotion or a timing that strongly represents the predetermined emotion as a timing at which the determined person has the predetermined emotion.
The emotion estimation apparatus according to claim 2.
撮像された被判定者の顔を示す顔画像情報を取得し、
前記取得された顔画像情報、及び、感情情報格納部に格納される、前記被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、前記被判定者の感情を推定する、
ことを含む感情推定方法。 In an emotion estimation method executed by at least one computer,
Obtain facial image information indicating the face of the person being imaged,
Estimating the emotion of the person to be judged using a plurality of facial expression image information respectively corresponding to each predetermined emotion of the person to be judged, stored in the acquired face image information and emotion information storage unit,
Emotion estimation method including that.
前記取得された生体情報の時系列データに基づいて、前記被判定者が所定感情を有したタイミングを推定し、
前記被判定者について逐次撮像された顔画像に関する顔画像情報の時系列データの中から、前記推定されたタイミングに対応する顔画像情報を特定し、
前記特定された顔画像情報を、前記タイミングに対応する前記所定の感情に関連付けて前記感情情報格納部に格納する、
ことを更に含む請求項5に記載の感情推定方法。 Obtaining time-series data of the determination subject's biological information measured by a biological sensor;
Based on the time-series data of the acquired biological information, estimate the timing when the determined person has a predetermined emotion,
From the time-series data of the face image information related to the face image sequentially captured for the person to be determined, the face image information corresponding to the estimated timing is specified,
Storing the identified face image information in the emotion information storage unit in association with the predetermined emotion corresponding to the timing;
The emotion estimation method according to claim 5, further comprising:
請求項6に記載の感情推定方法。 The estimation of the timing is to estimate the timing after changing to the predetermined emotion or the timing that strongly represents the predetermined emotion as the timing when the person to be determined has the predetermined emotion.
The emotion estimation method according to claim 6.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013053622A JP6132335B2 (en) | 2013-03-15 | 2013-03-15 | Emotion estimation device and emotion estimation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013053622A JP6132335B2 (en) | 2013-03-15 | 2013-03-15 | Emotion estimation device and emotion estimation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014178970A true JP2014178970A (en) | 2014-09-25 |
JP6132335B2 JP6132335B2 (en) | 2017-05-24 |
Family
ID=51698832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013053622A Active JP6132335B2 (en) | 2013-03-15 | 2013-03-15 | Emotion estimation device and emotion estimation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6132335B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018203646A1 (en) * | 2017-05-01 | 2018-11-08 | Samsung Electronics Co., Ltd. | Determining emotions using camera-based sensing |
US10255487B2 (en) | 2015-12-24 | 2019-04-09 | Casio Computer Co., Ltd. | Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium |
WO2019082687A1 (en) * | 2017-10-27 | 2019-05-02 | ソニー株式会社 | Information processing device, information processing method, program, and information processing system |
WO2019193781A1 (en) * | 2018-04-04 | 2019-10-10 | パナソニックIpマネジメント株式会社 | Emotion inference device, emotion inference method, and program |
JP2020115384A (en) * | 2015-02-13 | 2020-07-30 | ソニー株式会社 | Information processing system, information processing apparatus, control method, recording medium, and program |
DE112021003342T5 (en) | 2020-06-24 | 2023-04-06 | Omron Corporation | DEVICE AND METHOD FOR DETERMINING EMOTIONS |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111923322B (en) * | 2020-05-22 | 2021-03-02 | 帕艾斯电子技术(南京)有限公司 | Temperature sensor, injection molding packaging mold and injection molding packaging method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004213623A (en) * | 2002-11-25 | 2004-07-29 | Eastman Kodak Co | Imaging method and system for health management and personal security |
JP2005512248A (en) * | 2001-12-11 | 2005-04-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Mood virtual photo album |
-
2013
- 2013-03-15 JP JP2013053622A patent/JP6132335B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005512248A (en) * | 2001-12-11 | 2005-04-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Mood virtual photo album |
JP2004213623A (en) * | 2002-11-25 | 2004-07-29 | Eastman Kodak Co | Imaging method and system for health management and personal security |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11615177B2 (en) | 2015-02-13 | 2023-03-28 | Sony Corporation | Information processing system, information processing device, control method, and storage medium |
JP7120401B2 (en) | 2015-02-13 | 2022-08-17 | ソニーグループ株式会社 | Information processing device, control method, and program |
JP2020115384A (en) * | 2015-02-13 | 2020-07-30 | ソニー株式会社 | Information processing system, information processing apparatus, control method, recording medium, and program |
JP2021152982A (en) * | 2015-02-13 | 2021-09-30 | ソニーグループ株式会社 | Information processor, control method, and program |
US10255487B2 (en) | 2015-12-24 | 2019-04-09 | Casio Computer Co., Ltd. | Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium |
WO2018203646A1 (en) * | 2017-05-01 | 2018-11-08 | Samsung Electronics Co., Ltd. | Determining emotions using camera-based sensing |
JPWO2019082687A1 (en) * | 2017-10-27 | 2020-12-17 | ソニー株式会社 | Information processing equipment and information processing methods, programs, and information processing systems |
JP7140138B2 (en) | 2017-10-27 | 2022-09-21 | ソニーグループ株式会社 | Information processing device, information processing method, program, and information processing system |
WO2019082687A1 (en) * | 2017-10-27 | 2019-05-02 | ソニー株式会社 | Information processing device, information processing method, program, and information processing system |
JPWO2019193781A1 (en) * | 2018-04-04 | 2020-12-10 | パナソニックIpマネジメント株式会社 | Emotion estimation device, emotion estimation method and program |
US11373448B2 (en) | 2018-04-04 | 2022-06-28 | Panasonic Intellectual Property Management Co., Ltd. | Emotion inference device, emotion inference method, and recording medium |
WO2019193781A1 (en) * | 2018-04-04 | 2019-10-10 | パナソニックIpマネジメント株式会社 | Emotion inference device, emotion inference method, and program |
DE112021003342T5 (en) | 2020-06-24 | 2023-04-06 | Omron Corporation | DEVICE AND METHOD FOR DETERMINING EMOTIONS |
Also Published As
Publication number | Publication date |
---|---|
JP6132335B2 (en) | 2017-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6132335B2 (en) | Emotion estimation device and emotion estimation method | |
Cho et al. | Instant stress: detection of perceived mental stress through smartphone photoplethysmography and thermal imaging | |
Ollander et al. | A comparison of wearable and stationary sensors for stress detection | |
JP6721156B2 (en) | Biological information analysis device, system, and program | |
JP7329549B2 (en) | Apparatus, system and method for determining a user's stress level | |
KR101535432B1 (en) | Contents valuation system and contents valuating method using the system | |
KR102271432B1 (en) | Digital device and method for controlling the same | |
WO2017069644A2 (en) | Wireless eeg headphones for cognitive tracking and neurofeedback | |
WO2016185931A1 (en) | Biological-information measurement device | |
US20210315507A1 (en) | System and methods for consciousness evaluation in non-communicating subjects | |
da Silveira et al. | Ongoing challenges of evaluating mulsemedia QoE | |
CA3199919A1 (en) | Systems and methods for measuring hemodynamic parameters with wearable cardiovascular sensing | |
US20190298190A1 (en) | Pulse detection, measurement and analysis based health management system, method and apparatus | |
JP7325576B2 (en) | Terminal device, output method and computer program | |
JP6992505B2 (en) | Information processing equipment, methods and programs | |
McGinnis et al. | Validation of smartphone based heart rate tracking for remote treatment of panic attacks | |
TWI768999B (en) | Physiological monitoring systems and methods of estimating vital-sign data | |
Assaf et al. | Sleep detection using physiological signals from a wearable device | |
Hey et al. | Recent developments of ambulatory assessment methods | |
Badura et al. | Multimodal signal acquisition for pain assessment in physiotherapy | |
Cho et al. | Instant Automated Inference of Perceived Mental Stress through Smartphone PPG and Thermal Imaging | |
JP2020073108A (en) | Sleep stage determination method, sleep stage determination device and sleep stage determination program | |
Sowmiya et al. | Pulse rate estimation with a smartphone camera using image processing algorithm | |
Clifford et al. | Out of Touch: From audio recordings to phone apps to mattress sensors, noncontact systems offer a less cumbersome way to monitor sleep | |
Salamon et al. | Stress Dichotomy using Heart Rate and Tweet Sentiment. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20140613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170321 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6132335 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |