JP2022189703A - 感情推定装置、感情推定方法、及びプログラム - Google Patents
感情推定装置、感情推定方法、及びプログラム Download PDFInfo
- Publication number
- JP2022189703A JP2022189703A JP2021215327A JP2021215327A JP2022189703A JP 2022189703 A JP2022189703 A JP 2022189703A JP 2021215327 A JP2021215327 A JP 2021215327A JP 2021215327 A JP2021215327 A JP 2021215327A JP 2022189703 A JP2022189703 A JP 2022189703A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- emotion
- face
- control unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 140
- 238000000034 method Methods 0.000 title claims description 24
- 230000008859 change Effects 0.000 claims abstract description 113
- 238000003384 imaging method Methods 0.000 claims abstract description 60
- 230000014509 gene expression Effects 0.000 claims abstract description 20
- 230000008921 facial expression Effects 0.000 claims description 69
- 230000001815 facial effect Effects 0.000 claims description 5
- 230000009471 action Effects 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 8
- 210000004709 eyebrow Anatomy 0.000 description 7
- 230000000994 depressogenic effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010010904 Convulsion Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 208000007684 Occupational Stress Diseases 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000003467 cheek Anatomy 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
Abstract
Description
「嫌悪」の微表情は、鼻にしわを寄せる動作である。
「恐怖」の微表情は、両眉を上げる動作と、両眉を中央に引き寄せる動作と、目を見開く動作と、まぶたに力を入れる動作と、口角を横に引く動作と、の組み合わせである。
「喜び」の微表情は、頬を上げる動作と、口角を上げる動作と、口角のみを上げる動作と、の組み合わせである。
「悲しみ」の微表情は、眉の内側を上げる動作と、両眉を中央に引き寄せる動作と、口角を下げる動作と、下唇を上げる動作と、の組み合わせである。
「驚き」の微表情は、両眉を上げる動作と、目を見開く動作と、口を開ける動作と、の組み合わせである。
一方、ガイダンス#1-2~#1-4以外のガイダンスに従って被験者が表情を変化させたときには、変化速度パターン#2に示すように、最初の「喜び」以外の表情への変化速度は通常よりも遅くなる。
また、ガイダンス#2-1、#3-1、及び#4-1に従って被験者が表情を変化させたときには、変化速度パターン#2に示すように、最初の「喜び」以外の表情への変化速度は通常よりも遅く、次の「喜び」への変化速度は通常よりも速く、最後の「無表情」への変化速度は通常よりも遅くなる。
一方、ガイダンス#2-1、#2-3、及び#2-4以外のガイダンスに従って被験者が表情を変化させたときには、変化速度パターン#3に示すように、最初の「怒り」以外の表情への変化速度は通常よりも遅くなる。
また、ガイダンス#1-2、#3-2、及び#4-2に従って被験者が表情を変化させたときには、変化速度パターン#3に示すように、最初の「怒り」以外の表情への変化速度は通常よりも遅く、次の「怒り」への変化速度は通常よりも速く、最後の「無表情」への変化速度は通常よりも遅くなる。
一方、ガイダンス#3-1、#3-2、及び#3-4以外のガイダンスに従って被験者が表情を変化させたときには、変化速度パターン#4に示すように、最初の「悲しみ」以外の表情への変化速度は通常よりも遅くなる。
また、ガイダンス#1-3、#2-3、及び#4-3に従って被験者が表情を変化させたときには、変化速度パターン#4に示すように、最初の「悲しみ」以外の表情への変化速度は通常よりも遅く、次の「悲しみ」への変化速度は通常よりも速く、最後の「無表情」への変化速度は通常よりも遅くなる。
また、制御部14は、検出した微表情が「悲しみ」である場合、微表情のタイプを“Negative2”に分類する。
さらに、制御部14は、検出した微表情が「嫌悪」である場合、鼻以外の顔の動作から、「怒り」寄りであるか「悲しみ」寄りであるかを判別し、「怒り」寄りであれば、微表情のタイプを“Negative1”に分類する一方、「悲しみ」寄りであれば、“Negative2”に分類する。
また、制御部14は、検出した微表情が「恐怖」である場合、その継続期間が所定期間以上であるか否かにより、瞬間的であるか継続的であるかを判別し、継続期間が所定期間未満であれば瞬間的であると判別し、微表情のタイプを“Other”に分類する。一方、制御部14は、継続期間が所定期間以上であれば継続的であると判別し、鼻以外の顔の動作から、「怒り」寄りであるか「悲しみ」寄りであるかを判別する。そして、制御部14は、「怒り」寄りであれば、微表情のタイプを“Negative1”に分類する一方、「悲しみ」寄りであれば、“Negative2”に分類する。
また、制御部14は、“Positive”に分類される微表情の割合が、“Negative1”及び“Negative2”のいずれかに分類される微表情の割合よりも高い場合、被験者の感情を“ハッピー”であるものと推定する。
さらに、制御部14は、“Negative1”に分類される微表情の割合が、“Positive”及び“Negative2”のいずれかに分類される微表情の割合よりも高い場合、被験者の感情を“イライラ”しているものと推定する。
そして、制御部14は、“Negative2”に分類される微表情の割合が、“Positive”及び“Negative1”のいずれかに分類される微表情の割合よりも高い場合、被験者の感情を“落ち込み”しているものと推定する。
制御部14は、判別した36個の変化速度の遅速が、変化速度パターン#2に設定された21個の変化速度の遅速に50%以上合致していれば、被験者の感情を、変化速度パターン#2に対応する“ハッピー”であるものと推定する。
また、制御部14は、判別した36個の変化速度の遅速が、変化速度パターン#3に設定された21個の変化速度の遅速に50%以上合致していれば、被験者の感情を、変化速度パターン#3に対応する“イライラ”しているものと推定する。
さらに、制御部14は、判別した36個の変化速度の遅速が、変化速度パターン#4に設定された21個の変化速度の遅速に50%以上合致していれば、被験者の感情を、変化速度パターン#4に対応する“落ち込み”しているものと推定する。
このように、制御部14は、図3に示す変化速度パターンテーブル3において、被験者の顔の動画像から求めた表情の変化速度のパターンに対応する感情を、被験者の感情として推定する。
11 記憶部
12 タッチパネル
13 撮像部
14 制御部
2 ガイダンステーブル
3 変化速度パターンテーブル
Claims (9)
- 被験者の顔を撮像する撮像部(13)と、
前記撮像部(13)で撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出し、該検出した微表情の種類毎の割合に基づいて、該被験者の感情を推定する制御部(14)と、
を備える感情推定装置(1)。 - 前記制御部(14)は、検出した微表情をタイプ別に分類し、該タイプ別に分類した各微表情の割合に基づいて、該被験者の感情を推定する、
ことを特徴とする請求項1に記載の感情推定装置(1)。 - 前記撮像部(13)は、前記被験者に表情を指示するガイダンスに従って該表情が変化する該被験者の顔を撮像し、
前記制御部(14)は、前記微表情を検出できなかった場合、前記撮像部(13)で撮像して得られた前記被験者の顔の画像から、前記被験者の表情の変化速度を求め、該変化速度に基づいて、該被験者の感情を推定する、
ことを特徴とする請求項1に記載の感情推定装置(1)。 - 前記感情毎に、前記表情の変化速度のパターンを対応付けて登録する変化速度パターンテーブル(3)をさらに備え、
前記制御部(14)は、前記変化速度パターンテーブル(3)において、前記被験者の顔の画像から求めた前記表情の変化速度のパターンに対応する前記感情を、前記被験者の感情として推定する、
ことを特徴とする請求項3に記載の感情推定装置(1)。 - 被験者に表情を指示するガイダンスに従って表情が変化する被験者の顔を撮像する撮像部(13)と、
前記撮像部(13)で撮像して得られた前記被験者の顔の画像から、前記被験者の表情の変化速度を求め、該変化速度に基づいて、該被験者の感情を推定する制御部(14)と、
を備える感情推定装置(1)。 - 撮像部(13)が、被験者の顔を撮像し、
制御部(14)が、前記撮像部(13)で撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出し、
該制御部(14)が、該検出した微表情の種類毎の割合に基づいて、該被験者の感情を推定する、
ことを特徴とする感情推定方法。 - 撮像部(13)が、被験者に表情を指示するガイダンスに従って表情が変化する被験者の顔を撮像し、
制御部(14)が、前記撮像部(13)で撮像して得られた前記被験者の顔の画像から、前記被験者の表情の変化速度を求め、
制御部(14)が、該変化速度に基づいて、該被験者の感情を推定する、
ことを特徴とする感情推定方法。 - コンピュータに、
被験者の顔を撮像する手順と、
該撮像して得られた前記被験者の顔の画像から、該被験者の顔に表れる微表情を検出する手順と、
該検出した微表情の種類毎の割合に基づいて、該被験者の感情を推定する手順と、
を実行させるためのプログラム。 - コンピュータに、
被験者に表情を指示するガイダンスに従って表情が変化する被験者の顔を撮像する手順と、
該撮像して得られた前記被験者の顔の画像から、前記被験者の表情の変化速度を求める手順と、
該変化速度に基づいて、該被験者の感情を推定する手順と、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021215327A JP7442838B2 (ja) | 2021-06-11 | 2021-12-28 | 感情推定装置、感情推定方法、及びプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021557258A JP7008385B1 (ja) | 2021-06-11 | 2021-06-11 | 感情推定装置、感情推定方法、及びプログラム |
PCT/JP2021/022419 WO2022259560A1 (ja) | 2021-06-11 | 2021-06-11 | 感情推定装置、感情推定方法、及びプログラム |
JP2021215327A JP7442838B2 (ja) | 2021-06-11 | 2021-12-28 | 感情推定装置、感情推定方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021557258A Division JP7008385B1 (ja) | 2021-06-11 | 2021-06-11 | 感情推定装置、感情推定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022189703A true JP2022189703A (ja) | 2022-12-22 |
JP7442838B2 JP7442838B2 (ja) | 2024-03-05 |
Family
ID=80629640
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021557258A Active JP7008385B1 (ja) | 2021-06-11 | 2021-06-11 | 感情推定装置、感情推定方法、及びプログラム |
JP2021215327A Active JP7442838B2 (ja) | 2021-06-11 | 2021-12-28 | 感情推定装置、感情推定方法、及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021557258A Active JP7008385B1 (ja) | 2021-06-11 | 2021-06-11 | 感情推定装置、感情推定方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4354386A1 (ja) |
JP (2) | JP7008385B1 (ja) |
CN (1) | CN117813623A (ja) |
WO (1) | WO2022259560A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002091482A (ja) * | 2000-09-13 | 2002-03-27 | Agi:Kk | 感情検出方法及び感情検出装置ならびに記録媒体 |
JP2016149063A (ja) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
US20160360970A1 (en) * | 2015-06-14 | 2016-12-15 | Facense Ltd. | Wearable device for taking thermal and visual measurements from fixed relative positions |
JP2019200656A (ja) * | 2018-05-17 | 2019-11-21 | 株式会社日立製作所 | 計算機及び感情推定方法 |
JP2020057111A (ja) * | 2018-09-28 | 2020-04-09 | パナソニックIpマネジメント株式会社 | 表情判定システム、プログラム及び表情判定方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI221574B (en) * | 2000-09-13 | 2004-10-01 | Agi Inc | Sentiment sensing method, perception generation method and device thereof and software |
JP4757787B2 (ja) | 2006-12-08 | 2011-08-24 | 株式会社トヨタIt開発センター | 感情推定装置 |
JP6467966B2 (ja) | 2015-02-13 | 2019-02-13 | オムロン株式会社 | 健康管理補助装置及び健康管理補助方法 |
-
2021
- 2021-06-11 WO PCT/JP2021/022419 patent/WO2022259560A1/ja active Application Filing
- 2021-06-11 EP EP21945229.9A patent/EP4354386A1/en active Pending
- 2021-06-11 JP JP2021557258A patent/JP7008385B1/ja active Active
- 2021-06-11 CN CN202180101388.2A patent/CN117813623A/zh active Pending
- 2021-12-28 JP JP2021215327A patent/JP7442838B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002091482A (ja) * | 2000-09-13 | 2002-03-27 | Agi:Kk | 感情検出方法及び感情検出装置ならびに記録媒体 |
JP2016149063A (ja) * | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
US20160360970A1 (en) * | 2015-06-14 | 2016-12-15 | Facense Ltd. | Wearable device for taking thermal and visual measurements from fixed relative positions |
JP2019200656A (ja) * | 2018-05-17 | 2019-11-21 | 株式会社日立製作所 | 計算機及び感情推定方法 |
JP2020057111A (ja) * | 2018-09-28 | 2020-04-09 | パナソニックIpマネジメント株式会社 | 表情判定システム、プログラム及び表情判定方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7008385B1 (ja) | 2022-01-25 |
CN117813623A (zh) | 2024-04-02 |
JPWO2022259560A1 (ja) | 2022-12-15 |
WO2022259560A1 (ja) | 2022-12-15 |
JP7442838B2 (ja) | 2024-03-05 |
EP4354386A1 (en) | 2024-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3047884B1 (en) | Program, information-processing device, information-processing system, and avatar generating method | |
CN107251096B (zh) | 图像捕获装置和方法 | |
CN113535306B (zh) | 头像创建用户界面 | |
US6677969B1 (en) | Instruction recognition system having gesture recognition function | |
US8411171B2 (en) | Apparatus and method for generating image including multiple people | |
JP5423379B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
CN109242765B (zh) | 一种人脸图像处理方法、装置和存储介质 | |
US20220383389A1 (en) | System and method for generating a product recommendation in a virtual try-on session | |
JP7278307B2 (ja) | コンピュータプログラム、サーバ装置、端末装置及び表示方法 | |
JP2022111142A (ja) | コンピュータプログラム、サーバ装置及び方法 | |
JP5349238B2 (ja) | 表情認識装置、人物間感情推定装置、表情認識方法、人物間感情推定方法、及びプログラム | |
KR101719927B1 (ko) | 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치 | |
CN112416126B (zh) | 页面滚动控制方法和装置、存储介质及电子设备 | |
JPWO2019146405A1 (ja) | 表情解析技術を用いた商品に対するモニタの反応を評価するための情報処理装置、情報処理システム、プログラム | |
WO2022259560A1 (ja) | 感情推定装置、感情推定方法、及びプログラム | |
JP7323248B2 (ja) | ストレス判定装置、ストレス判定方法、及びプログラム | |
JP4689548B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
US11328187B2 (en) | Information processing apparatus and information processing method | |
KR102152598B1 (ko) | 이미지 편집 애플리케이션 제공 장치 및 상기 장치에 의해 수행되는 이미지 내 얼굴 변형 방법 | |
EP3799407B1 (en) | Initiating communication between first and second users | |
Hube et al. | Comparing methods for mapping facial expressions to enhance immersive collaboration with signs of emotion | |
JP7354813B2 (ja) | 検出方法、通知方法、検出プログラムおよび通知プログラム | |
Nishiyama et al. | Design of a cognitive user-support system for skin progress analysis using a smart phone | |
CN111147733B (zh) | 信息处理设备、信息处理方法和存储介质 | |
KR102334622B1 (ko) | 멀티미디어 디바이스 제어 방법 및 멀티미디어 디바이스 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220704 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7442838 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |