JP2021135995A - アバター表情生成システム及びアバター表情生成方法 - Google Patents
アバター表情生成システム及びアバター表情生成方法 Download PDFInfo
- Publication number
- JP2021135995A JP2021135995A JP2020125192A JP2020125192A JP2021135995A JP 2021135995 A JP2021135995 A JP 2021135995A JP 2020125192 A JP2020125192 A JP 2020125192A JP 2020125192 A JP2020125192 A JP 2020125192A JP 2021135995 A JP2021135995 A JP 2021135995A
- Authority
- JP
- Japan
- Prior art keywords
- emotional
- emotion
- judgment
- facial expression
- user data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000008451 emotion Effects 0.000 claims abstract description 327
- 230000002996 emotional effect Effects 0.000 claims description 410
- 238000012549 training Methods 0.000 claims description 32
- 230000001815 facial effect Effects 0.000 claims description 30
- 238000010801 machine learning Methods 0.000 claims description 20
- 230000008447 perception Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 6
- 210000001097 facial muscle Anatomy 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 210000003423 ankle Anatomy 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 238000012880 independent component analysis Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 210000000944 nerve tissue Anatomy 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
110:追跡デバイス
115:センサ
120:ディスプレイ
130:メモリ
150:プロセッサ
S210〜S290、S211〜S213、S260〜S263:ステップ
401、402:感情グループ
231:第1の感情分類器
232:顔の特徴に関する距離
233:意味解析
234:画像解析
110:追跡デバイス
115:センサ
120:ディスプレイ
130:メモリ
150:プロセッサ
S210〜S290、S211〜S213、S260〜S263:ステップ
401、402:感情グループ
231:第1の感情分類器
232:顔の特徴に関する距離
233:意味解析
234:画像解析
Claims (14)
- 複数のユーザデータを取得することであって、各ユーザデータが複数のデータソースの1つからのユーザの感知結果に関連することと、
各ユーザデータに基づき複数の第1の感情判断をそれぞれ判定することであって、各前記第1の感情判断が複数の感情グループの1つに関連することと、
前記複数の第1の感情判断の間で感情衝突が発生するか否かを判定することであって、前記感情衝突が、前記複数の第1の感情判断の対応する感情グループが互いに一致しないことに関連することと、
前記感情衝突の判定結果に応じて、前記感情グループの少なくとも1つから第2の感情判断を判定することであって、前記第2の感情判断が前記複数の感情グループの1つに関連することと、
前記第2の感情判断に基づき、アバターの表情を生成することと
を含む、アバター表情生成方法。 - 複数のユーザデータを取得する少なくとも1つの追跡デバイスであって、各ユーザデータが複数のデータソースの1つからのユーザの感知結果に関連する、追跡デバイスと、
プログラムコードを格納する、メモリと、
前記メモリに連接され、
各ユーザデータに基づき複数の第1の感情判断をそれぞれ判定することであって、各前記第1の感情判断が複数の感情グループの1つに関連することと、
前記複数の第1の感情判断の間で感情衝突が発生するか否かを判定することであって、前記感情衝突が、前記複数の第1の感情判断の対応する感情グループが互いに一致しないことに関連することと、
前記感情衝突の判定結果に応じて、前記感情グループの少なくとも1つから第2の感情判断を判定することであって、前記第2の感情判断が前記複数の感情グループの1つに関連することと、
前記第2の感情判断に基づき、アバターの表情を生成することと
を実行するため前記プログラムコードをロードする、プロセッサと
を含む、アバター表情生成システム。 - 前記感情衝突の前記判定結果に応じて、前記感情グループの少なくとも1つから前記第2の感情判断を判定する前記ステップが、
前記感情衝突が発生することに応じて、前記感情グループの少なくとも2つから前記第2の感情判断を判定すること
を含む、請求項1に記載のアバター表情生成方法、又は、
前記プロセッサが、
前記感情衝突が発生することに応じて、前記感情グループの少なくとも2つから前記第2の感情判断を判定すること
を更に実行する、請求項2に記載のアバター表情生成システム。 - 前記感情衝突が発生することに応じて、前記感情グループの少なくとも2つから前記第2の感情判断を判定する前記ステップが、
前記第2の感情判断を判定するため、前記第1の感情判断の少なくとも1つを用いること
を含む、請求項3に記載のアバター表情生成方法、又は、
前記プロセッサが、
前記第2の感情判断を判定するため、前記第1の感情判断の少なくとも1つを用いること
を更に実行する、請求項3に記載のアバター表情生成システム。 - 前記感情衝突が発生することに応じて、前記感情グループの少なくとも2つから前記第2の感情判断を判定する前記ステップが、
前記第2の感情判断を判定するため、前記複数のユーザデータの少なくとも1つを用いること
を含む、
請求項1に記載のアバター表情生成方法、又は、
前記プロセッサが、
前記第2の感情判断を判定するため、前記複数のユーザデータの少なくとも1つを用いること
を更に実行する、
請求項2に記載のアバター表情生成システム。 - 前記第2の感情判断を判定するため、前記第1の感情判断の少なくとも1つを用いる前記ステップが、
前記第1の感情判断の少なくとも2つの加重された判断の組合せを判定することと、
前記加重された判断の組合せに基づき前記第2の感情判断を判定することと
を含む、
請求項4に記載のアバター表情生成方法、又は、
前記プロセッサが、
前記第1の感情判断の少なくとも2つの加重された判断の組合せを判定することと、
前記加重された判断の組合せに基づき前記第2の感情判断を判定することと
を更に実行する、
請求項4に記載のアバター表情生成システム。 - 前記第2の感情判断を判定するため、前記複数のユーザデータの少なくとも1つを用いる前記ステップが、
ユーザデータの組合せを生成するため前記複数のユーザデータの少なくとも2つを組み合わせることと、
前記複数のユーザデータの少なくとも2つから顔の特徴を抽出するため、前記ユーザデータの組合せに線形変換を実行することと
を含む、
請求項5に記載のアバター表情生成方法、又は、
前記プロセッサが、
ユーザデータの組合せを生成するため前記複数のユーザデータの少なくとも2つを組み合わせることと、
前記複数のユーザデータの少なくとも2つから顔の特徴を抽出するため、前記ユーザデータの組合せに線形変換を実行することと
を更に実行する、
請求項5に記載のアバター表情生成システム。 - 前記第2の感情判断を判定するため、前記複数のユーザデータの少なくとも1つを用いる前記ステップが、
機械学習技術に基づき、第1の感情分類器を用いることにより前記第2の感情判断を判定することであって、前記第1の感情分類器が前記複数のユーザデータの少なくとも1つが属するのが前記感情グループのどれかを識別するために用いられ、前記複数のユーザデータの前記少なくとも1つが前記第1の感情分類器の入力データであり、前記第2の感情判断が前記第1の感情分類器の出力データであり、前記第1の感情分類器が前記感情グループの少なくとも2つを含む複数の第1の訓練感情により訓練されること
を含む、
請求項5に記載のアバター表情生成方法、又は、
前記プロセッサが、
機械学習技術に基づき、第1の感情分類器を用いることにより前記第2の感情判断を判定することであって、前記第1の感情分類器が前記複数のユーザデータの少なくとも1つが属するのが前記感情グループのどれかを識別するために用いられ、前記複数のユーザデータの前記少なくとも1つが前記第1の感情分類器の入力データであり、前記第2の感情判断が前記第1の感情分類器の出力データであり、前記第1の感情分類器が前記感情グループの少なくとも2つを含む複数の第1の訓練感情により訓練されること
を更に実行する、
請求項5に記載のアバター表情生成システム。 - 各ユーザデータに基づき前記複数の第1の感情判断をそれぞれ判定する前記ステップが、
機械学習技術に基づき、第2の感情分類器を用いることにより各前記第1の感情判断を判定することであって、前記第2の感情分類器が前記複数のユーザデータのそれぞれが属するのが前記感情グループのどれかを識別するために用いられ、前記複数のユーザデータの前記少なくとも1つが前記第2の感情分類器の入力データであり、各前記第1の感情判断が前記第2の感情分類器の出力データであり、前記第2の感情分類器が前記感情グループの全てを含む複数の第2の訓練感情により訓練されること
を含む、
請求項1に記載のアバター表情生成方法、又は、
前記プロセッサが、
機械学習技術に基づき、第2の感情分類器を用いることにより各前記第1の感情判断を判定することであって、前記第2の感情分類器が前記複数のユーザデータのそれぞれが属するのが前記感情グループのどれかを識別するために用いられ、前記複数のユーザデータの前記少なくとも1つが前記第2の感情分類器の入力データであり、各前記第1の感情判断が前記第2の感情分類器の出力データであり、前記第2の感情分類器が前記感情グループの全てを含む複数の第2の訓練感情により訓練されること
を更に実行する、
請求項2に記載のアバター表情生成システム。 - 各前記第1の感情判断又は前記第2の感情判断が、複数の感情カテゴリの感情加重された組合せである、
請求項1に記載のアバター表情生成方法、又は、
請求項2に記載のアバター表情生成システム。 - 前記複数の第1の感情判断の間で前記感情衝突が発生するか否かを判定する前記ステップが、
前記複数の第1の感情判断の感情値をそれぞれ判定することと、
前記感情値の重み値の組合せを判定することと、
前記感情値の前記重み値の組合せを信頼性閾値と比較することであって、前記重み値の組合せが前記信頼性閾値よりも大きいことに応じて前記感情衝突が発生せず、前記重み値の組合せが前記信頼性閾値よりも大きくないことに応じて前記感情衝突が発生すること
を含む、
請求項1に記載のアバター表情生成方法、又は、
前記プロセッサが、
前記複数の第1の感情判断の感情値をそれぞれ判定することと、
前記感情値の重み値の組合せを判定することと、
前記感情値の前記重み値の組合せを信頼性閾値と比較することであって、前記重み値の組合せが前記信頼性閾値よりも大きいことに応じて前記感情衝突が発生せず、前記重み値の組合せが前記信頼性閾値よりも大きくないことに応じて前記感情衝突が発生すること
を更に実行する、
請求項2に記載のアバター表情生成システム。 - 前記感情衝突の前記判定結果に応じて、前記感情グループの少なくとも1つから前記第2の感情判断を判定する前記ステップが、
前記感情衝突が発生しないことに応じて、前記複数の感情グループの1つから前記第2の感情判断を判定すること
を含む、
請求項1に記載のアバター表情生成方法、又は、
前記プロセッサが、
前記感情衝突が発生しないことに応じて、前記複数の感情グループの1つから前記第2の感情判断を判定すること
を更に実行する、
請求項2に記載のアバター表情生成システム。 - 前記複数の感情グループの1つから前記第2の感情判断を判定する前記ステップが、
機械学習技術に基づき、第3の感情分類器を用いることにより前記第2の感情判断を判定することであって、前記第3の感情分類器が前記複数のユーザデータ又は前記複数の第1の感情判断が属するのが前記感情グループのどれかを識別するために用いられ、前記複数のユーザデータの前記少なくとも1つ又は前記第1の感情判断の少なくとも1つが前記第3の感情分類器の入力データであり、前記第2の感情判断が前記第3の感情分類器の出力データであり、前記第3の感情分類器が前記複数の感情グループの1つのみを含む第3の訓練感情により訓練されること
を含む、
請求項12に記載のアバター表情生成方法、又は、
前記プロセッサが、
機械学習技術に基づき、第3の感情分類器を用いることにより前記第2の感情判断を判定することであって、前記第3の感情分類器が前記複数のユーザデータ又は前記複数の第1の感情判断が属するのが前記感情グループのどれかを識別するために用いられ、前記複数のユーザデータの前記少なくとも1つ又は前記第1の感情判断の少なくとも1つが前記第3の感情分類器の入力データであり、前記第2の感情判断が前記第3の感情分類器の出力データであり、前記第3の感情分類器が前記複数の感情グループの1つのみを含む第3の訓練感情により訓練されること
を更に実行する、
請求項12に記載のアバター表情生成システム。 - 前記複数のデータソースが、前記ユーザの目標部位又は感知技術において異なる、
請求項1に記載のアバター表情生成方法、又は、
請求項2に記載のアバター表情生成システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/802,571 US11127181B2 (en) | 2018-09-19 | 2020-02-27 | Avatar facial expression generating system and method of avatar facial expression generation |
US16/802,571 | 2020-02-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021135995A true JP2021135995A (ja) | 2021-09-13 |
Family
ID=71741629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020125192A Pending JP2021135995A (ja) | 2020-02-27 | 2020-07-22 | アバター表情生成システム及びアバター表情生成方法 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3872694A1 (ja) |
JP (1) | JP2021135995A (ja) |
CN (1) | CN113313795A (ja) |
TW (1) | TWI829944B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023170795A1 (ja) * | 2022-03-08 | 2023-09-14 | ソフトバンク株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2024171424A1 (ja) * | 2023-02-17 | 2024-08-22 | 株式会社ソニー・インタラクティブエンタテインメント | システム、パラメータ決定方法およびプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI824883B (zh) * | 2022-12-14 | 2023-12-01 | 輔仁大學學校財團法人輔仁大學 | 應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8965762B2 (en) * | 2007-02-16 | 2015-02-24 | Industrial Technology Research Institute | Bimodal emotion recognition method and system utilizing a support vector machine |
TW201244694A (en) * | 2011-05-09 | 2012-11-16 | Univ Nat Taiwan Science Tech | Device for responding emotions and emotion recognition method thereof |
CN107257403A (zh) * | 2012-04-09 | 2017-10-17 | 英特尔公司 | 使用交互化身的通信 |
US10176619B2 (en) * | 2015-07-30 | 2019-01-08 | Intel Corporation | Emotion augmented avatar animation |
US10528801B2 (en) * | 2016-12-07 | 2020-01-07 | Keyterra LLC | Method and system for incorporating contextual and emotional visualization into electronic communications |
US10636175B2 (en) * | 2016-12-22 | 2020-04-28 | Facebook, Inc. | Dynamic mask application |
WO2018128996A1 (en) * | 2017-01-03 | 2018-07-12 | Clipo, Inc. | System and method for facilitating dynamic avatar based on real-time facial expression detection |
WO2019040669A1 (en) * | 2017-08-22 | 2019-02-28 | Silicon Algebra, Inc. | METHOD FOR DETECTING EXPRESSIONS AND FACIAL EMOTIONS OF USERS |
CN108764010A (zh) * | 2018-03-23 | 2018-11-06 | 姜涵予 | 情绪状态确定方法及装置 |
-
2020
- 2020-07-13 TW TW109123572A patent/TWI829944B/zh active
- 2020-07-21 EP EP20187067.2A patent/EP3872694A1/en not_active Withdrawn
- 2020-07-22 CN CN202010709804.4A patent/CN113313795A/zh active Pending
- 2020-07-22 JP JP2020125192A patent/JP2021135995A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023170795A1 (ja) * | 2022-03-08 | 2023-09-14 | ソフトバンク株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2024171424A1 (ja) * | 2023-02-17 | 2024-08-22 | 株式会社ソニー・インタラクティブエンタテインメント | システム、パラメータ決定方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3872694A1 (en) | 2021-09-01 |
CN113313795A (zh) | 2021-08-27 |
TW202133117A (zh) | 2021-09-01 |
TWI829944B (zh) | 2024-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11989340B2 (en) | Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location in at least one of a virtual and augmented reality system | |
JP7253017B2 (ja) | 反射を利用する拡張現実システムおよび方法 | |
JP6754817B2 (ja) | データ融合を用いた顔表情生成の方法 | |
Lou et al. | Realistic facial expression reconstruction for VR HMD users | |
US11127181B2 (en) | Avatar facial expression generating system and method of avatar facial expression generation | |
WO2021051579A1 (zh) | 形体姿态识别方法、系统、装置及存储介质 | |
Du et al. | Non-contact emotion recognition combining heart rate and facial expression for interactive gaming environments | |
US9031293B2 (en) | Multi-modal sensor based emotion recognition and emotional interface | |
TWI829944B (zh) | 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法 | |
CN111414839A (zh) | 基于姿态的情感识别方法及装置 | |
TWI736054B (zh) | 化身臉部表情產生系統及化身臉部表情產生方法 | |
CN114998983A (zh) | 一种基于增强现实技术和姿态识别技术的肢体康复方法 | |
Parvathi et al. | Emotion Analysis Using Deep Learning | |
WO2023108842A1 (zh) | 基于健身教学训练的动作评价方法及系统 | |
Açış et al. | Classification of human movements by using Kinect sensor | |
Antonaras et al. | Affect state recognition for adaptive human robot interaction in learning environments | |
CN117036877B (zh) | 一种人脸表情及姿态融合的情绪识别方法及系统 | |
de Castro Lopes | Human Action and Facial Expressions Recognition in a VR game | |
CN117064387A (zh) | 基于场景视频的孤独症谱系障碍人工智能辅助诊断系统 | |
Lopes | Human Action and Facial Expressions Recognition in a VR Game | |
Hjelm Gardner | Spot the Pain: Exploring the Application of Skeleton Pose Estimation for Automated Pain Assessment | |
KR20230135532A (ko) | 집단지성화 알고리즘을 이용한 정보처리방법 | |
Fourati | Classification and characterization of emotional body expression in daily actions | |
CN118370968A (zh) | 基于vr的帕金森手部康复训练系统 | |
Bulzacki | Machine recognition of human gestures through principal joint variable analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200908 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240910 |