JP2011143059A - 顔面動作推定装置及び顔面動作推定方法 - Google Patents
顔面動作推定装置及び顔面動作推定方法 Download PDFInfo
- Publication number
- JP2011143059A JP2011143059A JP2010006094A JP2010006094A JP2011143059A JP 2011143059 A JP2011143059 A JP 2011143059A JP 2010006094 A JP2010006094 A JP 2010006094A JP 2010006094 A JP2010006094 A JP 2010006094A JP 2011143059 A JP2011143059 A JP 2011143059A
- Authority
- JP
- Japan
- Prior art keywords
- facial
- signal
- face
- motion estimation
- facial expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
【解決手段】顔の所定領域から得られる生体電位信号に基づいて顔の動作を推定する顔面動作推定装置において、前記顔の所定領域に対する前記生体電位信号を取得するための複数の電極と、前記複数の電極から得られるそれぞれの信号を所定の帯域でフィルタリングするフィルタ手段と、前記フィルタ手段により得られる信号に対して予め設定される信号の独立性を仮定することにより分別する信号処理手段と、前記信号処理手段により得られる信号に対して機械学習により信号解析を行う機械学習解析手段と、前記機械学習解析手段により得られる解析結果から、顔の表情及び度合いを推定する表情推定手段と、前記顔の表情及び度合いに対応させて予め設定された提示を行う提示手段とを有することにより上記課題を解決する。
【選択図】図1
Description
本発明は、表情筋の運動に関わる生体電位信号(Bio Electrical Signals;BES)に基づき、表情や動作の内容やその度合いを識別する。具体的には、従来のように顔の前面に電極を配置することは表情及び顔の印象を阻害してしまうため、本発明では、顔の側面にある顔面神経頬筋枝上の生体電位信号を取得することで、表情や動作の内容やその度合いを識別する。
まず、本発明における動作手法について説明する。本発明は、複数の電極から得られる生体電位信号からリアルタイムの感情的な表情又は動作を識別して、連続的にその内容を提示するように構成された装着型装置を用いた顔面動作推定手法である。
次に、本実施形態における顔面動作推定装置の外部形態(インターフェース)の例について説明する。図2は、本実施形態における顔面動作推定装置の外部形態の一例を示す図である。ここで、図2(A)は、装着型の顔面動作推定装置20及び装着者10による装着の様子を説明するための図であり、図2(B)は、顔面動作推定装置20の端部の形成の様子を示す図である。
ここで、図3は、顔面動作推定装置の変形例を説明するための図である。変形例としては、例えば、図3(A)に示すように、顔面動作推定装置30−1が装着者の耳全体を覆うように耳の凹凸の形状に係合させたり、耳の付け根にフックさせて係止部をフックさせることで固定して装着する。また、顔面動作推定装置30−1は、固定された状態でこめかみ付近に設置される電極を複数設けており、更にLED等の複数の発光素子からなる光提示手段31−1や、スピーカ等の音提示手段32−1が顔の正面側(対面者に見えるような位置)に配置される。これにより、対面者や鏡等から提示されている内容を容易に把握することができる。
また、本実施形態における顔面動作推定装置は、例えば内部に太陽電池や充電型のリチウム電池等が内蔵されており、そこから供給される電力に基づいて各処理が実行される。
次に、本実施形態における顔面動作推定装置の機能構成例について図を用いて説明する。図4は、本実施形態における顔面動作推定装置の機能構成の一例を示す図である。なお、以下の説明では、顔面動作推定装置の一例として、図2に示す顔面動作推定装置20を用いる。
次に、上述した信号処理手段44における具体的な処理内容について説明する。図5は、顔面動作推定装置における信号処理の概要を説明するための図である。図5に示すように、顔面動作推定装置20は、装着者10の顔の側面に設置された電極16から生体電位信号(BES)を取得し、取得した信号に対してフィルタ手段43による信号の平滑化処理(フィルタリング)を行い、信号処理手段44によって処理を行い、その内容を提示手段47で予め設定された手法に基づいて光信号や音信号により提示することになる。
次に、上述した独立成分分析(ICA)の内容について説明する。図7は、ICAのブロックダイアグラムの一例を示す図である。図7に示すように、例えば、未知の環境(Unknown environment)で得られる値s1(t),s2(t),・・・,sm(t)については、線形混合変換手段(Linear mixer)Aにより、サンプルデータx1(t),x2(t),・・・,xm(t)が生成され、更に、生成されたサンプルデータXに対応する線形混合逆変換手段(Linear demixer)Wが生成されて独立成分(IC)であるy1(t), y2(t),・・・, ym(t)が生成される。
ここで、本実施形態では、上述したように装着者毎に最初に顔面動作推定装置20を装着してもらった後に、所定時間(例えば、2〜4秒程度)で笑顔や怒っている顔等の各種表情やあくび等の動作を意図的に行ってもらい、そのときに得られる各電極16からの生体電位信号を用いて基本データを生成することもできる。
次に、本実施形態を適用した実験結果について説明する。図9〜図11は、本実施形態を適用した実験結果の一例を示す図(その1)〜(その3)である。
また、本実施形態では、表情の分類のために分離することができた独立成分(独立したコンポーネント)の異なる数に関して、1つのサブジェクトに対して正確な分類の平均比率(%)を取得することができる。
11 顔輪筋
12 小頬骨筋
13 大頬骨筋
14 笑筋
15 所定領域
16 電極
20,30 顔面動作推定装置
21,31 光提示手段
22,32 音提示手段
41 電極信号入力手段
42 蓄積手段
43 フィルタ手段
44 信号処理手段
45 機械学習解析手段
46 表情推定手段
47 提示手段
48 送受信手段
49 制御手段
Claims (10)
- 顔の所定領域から得られる生体電位信号に基づいて顔の動作を推定する顔面動作推定装置において、
前記顔の所定領域に対する前記生体電位信号を取得するための複数の電極と、
前記複数の電極から得られるそれぞれの信号を所定の帯域でフィルタリングするフィルタ手段と、
前記フィルタ手段により得られる信号に対して予め設定される信号の独立性を仮定することにより分別する信号処理手段と、
前記信号処理手段により得られる信号に対して機械学習により信号解析を行う機械学習解析手段と、
前記機械学習解析手段により得られる解析結果から、顔の表情及び度合いを推定する表情推定手段と、
前記顔の表情及び度合いに対応させて予め設定された提示を行う提示手段とを有することを特徴とする顔面動作推定装置。 - 前記顔の所定領域は、
前記装着者の顔輪筋、小頬骨筋、大頬骨筋、笑筋のうち、少なくとも2つの筋肉に対する生体電位信号が取得できる領域であることを特徴とする請求項1に記載の顔面動作推定装置。 - 前記信号処理手段は、
前記複数の電極から得られる複数の生体電位信号の組み合わせから独立成分を抽出することを特徴とする請求項1又は2に記載の顔面動作推定装置。 - 前記機械学習解析手段は、
前記複数の電極から得られる少なくとも2つの信号からなる混合信号の入力に対す顔の表情の種類及び度合いを出力とする予め設定されたニューラルネットワークを用いて解析を行うことを特徴とする請求項1乃至3の何れか1項に記載の顔面動作推定装置。 - 前記提示手段は、複数の光又は音により提示を行い、
前記顔の表情及び度合いに応じて前記複数の光又は音を変更して提示することを特徴とする請求項1乃至4の何れか1項に記載の顔面動作推定装置。 - 顔の所定領域から得られる生体電位信号に基づいて顔の動作を推定する顔面動作推定方法において、
複数の電極を用いて前記顔の所定領域に対する前記生体電位信号を取得するための信号取得段階と、
前記信号取得段階により得られる前記複数の電極からのそれぞれの信号を所定の帯域でフィルタリングするフィルタ段階と、
前記フィルタ段階により得られる信号に対して予め設定される信号の独立性を仮定することにより分別する信号処理段階と、
前記信号処理段階により得られる信号に対して機械学習により信号解析を行う機械学習解析段階と、
前記機械学習解析段階により得られる解析結果から、顔の表情及び度合いを推定する表情推定段階と、
前記顔の表情及び度合いに対応させて予め設定された提示手段により提示させる提示段階とを有することを特徴とする顔面動作推定方法。 - 前記顔の所定領域は、
前記装着者の顔輪筋、小頬骨筋、大頬骨筋、笑筋のうち、少なくとも2つの筋肉に対する生体電位信号が取得できる領域であることを特徴とする請求項6に記載の顔面動作推定方法。 - 前記信号処理段階は、
前記複数の電極から得られる複数の生体電位信号の組み合わせから独立成分を抽出することを特徴とする請求項6又は7に記載の顔面動作推定方法。 - 前記機械学習解析段階は、
前記複数の電極から得られる少なくとも2つの信号からなる混合信号の入力に対す顔の表情の種類及び度合いを出力とする予め設定されたニューラルネットワークを用いて解析を行うことを特徴とする請求項6乃至8の何れか1項に記載の顔面動作推定方法。 - 前記提示段階は、前記提示手段を用いて複数の光又は音により提示を行い、
前記顔の表情及び度合いに応じて前記複数の光又は音を変更して提示することを特徴とする請求項6乃至9の何れか1項に記載の顔面動作推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010006094A JP5574407B2 (ja) | 2010-01-14 | 2010-01-14 | 顔面動作推定装置及び顔面動作推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010006094A JP5574407B2 (ja) | 2010-01-14 | 2010-01-14 | 顔面動作推定装置及び顔面動作推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011143059A true JP2011143059A (ja) | 2011-07-28 |
JP5574407B2 JP5574407B2 (ja) | 2014-08-20 |
Family
ID=44458443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010006094A Active JP5574407B2 (ja) | 2010-01-14 | 2010-01-14 | 顔面動作推定装置及び顔面動作推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5574407B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016126500A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | ウェアラブル端末装置およびプログラム |
JP2017029323A (ja) * | 2015-07-30 | 2017-02-09 | Kddi株式会社 | 筋電信号を用いて顔表情を識別するデバイス、端末及びプログラム |
JP2018196603A (ja) * | 2017-05-24 | 2018-12-13 | 日本電信電話株式会社 | 行動推定装置、及び行動推定方法 |
JP2019118448A (ja) * | 2017-12-28 | 2019-07-22 | 日本電気株式会社 | 精神状態推定システムおよび精神状態推定方法 |
WO2022196419A1 (ja) * | 2021-03-17 | 2022-09-22 | 株式会社資生堂 | 筋電位計測器、方法、およびシステム |
WO2024058013A1 (ja) * | 2022-09-16 | 2024-03-21 | 株式会社資生堂 | 顔形状を改善する方法、及び顔形状を改善する装置 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108351289B (zh) | 2015-10-28 | 2021-11-26 | 国立大学法人东京大学 | 分析装置 |
CN107049326B (zh) * | 2017-03-15 | 2019-10-25 | 英华达(南京)科技有限公司 | 单边咀嚼监测设备及其方法 |
KR102243040B1 (ko) | 2019-04-10 | 2021-04-21 | 한양대학교 산학협력단 | 전자 장치, 아바타 얼굴 표정 표시 시스템 및 제어 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03252775A (ja) * | 1990-03-01 | 1991-11-12 | Nippon Telegr & Teleph Corp <Ntt> | 表情認識装置 |
JP2005058449A (ja) * | 2003-08-12 | 2005-03-10 | Sony Corp | 感情の可視化装置および感情の可視化方法、感情の可視化出力物 |
JP2006340986A (ja) * | 2005-06-10 | 2006-12-21 | Ntt Docomo Inc | 顔面情報検出装置および顔面情報検出式通信装置 |
JP2009521246A (ja) * | 2005-09-12 | 2009-06-04 | エモーティブ システムズ ピーティーワイ リミテッド | 精神状態の検出およびそれを用いる対話 |
-
2010
- 2010-01-14 JP JP2010006094A patent/JP5574407B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03252775A (ja) * | 1990-03-01 | 1991-11-12 | Nippon Telegr & Teleph Corp <Ntt> | 表情認識装置 |
JP2005058449A (ja) * | 2003-08-12 | 2005-03-10 | Sony Corp | 感情の可視化装置および感情の可視化方法、感情の可視化出力物 |
JP2006340986A (ja) * | 2005-06-10 | 2006-12-21 | Ntt Docomo Inc | 顔面情報検出装置および顔面情報検出式通信装置 |
JP2009521246A (ja) * | 2005-09-12 | 2009-06-04 | エモーティブ システムズ ピーティーワイ リミテッド | 精神状態の検出およびそれを用いる対話 |
Non-Patent Citations (3)
Title |
---|
JPN6013051370; 渡邉 鉄也 他: '"表情による精神状態のコントロール"' 感性工学研究論文集 Vol.2,No.2 , 2002, pp.43-48 * |
JPN6013051372; 菅原 徹 他: '"笑顔のメカニズムの解明"' 感性工学研究論文集 Vol.5,No.2 , 2005, pp.47-54 * |
JPN6013051373; 後藤 孝文 他: '"顔表情筋電位のパターン認識に関する研究"' 平成20年度電気関係学会九集支部連合大会 01-2A-04 , 20080924 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016126500A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | ウェアラブル端末装置およびプログラム |
JP2017029323A (ja) * | 2015-07-30 | 2017-02-09 | Kddi株式会社 | 筋電信号を用いて顔表情を識別するデバイス、端末及びプログラム |
JP2018196603A (ja) * | 2017-05-24 | 2018-12-13 | 日本電信電話株式会社 | 行動推定装置、及び行動推定方法 |
JP2019118448A (ja) * | 2017-12-28 | 2019-07-22 | 日本電気株式会社 | 精神状態推定システムおよび精神状態推定方法 |
WO2022196419A1 (ja) * | 2021-03-17 | 2022-09-22 | 株式会社資生堂 | 筋電位計測器、方法、およびシステム |
WO2024058013A1 (ja) * | 2022-09-16 | 2024-03-21 | 株式会社資生堂 | 顔形状を改善する方法、及び顔形状を改善する装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5574407B2 (ja) | 2014-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5574407B2 (ja) | 顔面動作推定装置及び顔面動作推定方法 | |
Nguyen et al. | A lightweight and inexpensive in-ear sensing system for automatic whole-night sleep stage monitoring | |
RU2719839C2 (ru) | Способы и системы для извлечения характеристик движения пользователя с использованием датчика холла для предоставления пользователю обратной связи | |
Kanoh et al. | Development of an eyewear to measure eye and body movements | |
US20100324440A1 (en) | Real time stimulus triggered by brain state to enhance perception and cognition | |
DK2596646T3 (en) | VISUALLY-BASED FITTING OF HEARING DEVICES / VISUALLY-BASED FITTING OF HEARING DEVICES | |
CN101969841A (zh) | 修改对象的心理生理状态 | |
JPWO2015111331A1 (ja) | 認知機能評価装置、方法、システム及びプログラム | |
US20210259601A1 (en) | Communication methods and systems | |
KR102029219B1 (ko) | 뇌 신호를 추정하여 사용자 의도를 인식하는 방법, 그리고 이를 구현한 헤드 마운트 디스플레이 기반 뇌-컴퓨터 인터페이스 장치 | |
WO2014150684A1 (en) | Artifact as a feature in neuro diagnostics | |
JP2017140198A (ja) | 筋電信号を用いて顔表情を高い精度で識別する装置、デバイス、プログラム及び方法 | |
Nguyen et al. | In-ear biosignal recording system: A wearable for automatic whole-night sleep staging | |
JPWO2018074371A1 (ja) | 検出装置 | |
US20200315486A1 (en) | Electroencephalogram measurement system, rehabilitation support system, method for controlling the electroencephalogram measurement system, program, and non-transitory storage medium | |
KR20200056660A (ko) | 얼굴 내 미세움직임 기반 통증 모니터링 방법 및 시스템 | |
EP3698710A1 (en) | Brain wave measurement system, brain wave measurement method, program, and non-transitory recording medium | |
Nguyen et al. | LIBS: a lightweight and inexpensive in-ear sensing system for automatic whole-night sleep stage monitoring | |
Nguyen et al. | LIBS: a bioelectrical sensing system from human ears for staging whole-night sleep study | |
WO2022065446A1 (ja) | 感情判定装置、感情判定方法及び感情判定プログラム | |
KR20220155562A (ko) | 웨어러블 장치를 이용하여 사용자의 학습 집중력을 지원하기 위한 방법 및 장치 | |
Rupanagudi et al. | A simplified approach to assist motor neuron disease patients to communicate through video oculography | |
JP2020000431A (ja) | 咀嚼動作の計測装置 | |
Veldanda et al. | Can electromyography alone reveal facial action units? a pilot emg-based action unit recognition study with real-time validation | |
Hieda | Mobile brain-computer interface for dance and somatic practice |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131022 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131224 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140512 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140617 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5574407 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |