JP2022531828A - 手動作の対称性の認識方法及びシステム - Google Patents
手動作の対称性の認識方法及びシステム Download PDFInfo
- Publication number
- JP2022531828A JP2022531828A JP2021555602A JP2021555602A JP2022531828A JP 2022531828 A JP2022531828 A JP 2022531828A JP 2021555602 A JP2021555602 A JP 2021555602A JP 2021555602 A JP2021555602 A JP 2021555602A JP 2022531828 A JP2022531828 A JP 2022531828A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- class
- data
- estimated
- classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 230000009466 transformation Effects 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 3
- 230000003542 behavioural effect Effects 0.000 claims 2
- 241001465754 Metazoa Species 0.000 abstract description 6
- 230000002123 temporal effect Effects 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 101000742346 Crotalus durissus collilineatus Zinc metalloproteinase/disintegrin Proteins 0.000 description 1
- 101000872559 Hediste diversicolor Hemerythrin Proteins 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- SWGJCIMEBVHMTA-UHFFFAOYSA-K trisodium;6-oxido-4-sulfo-5-[(4-sulfonatonaphthalen-1-yl)diazenyl]naphthalene-2-sulfonate Chemical compound [Na+].[Na+].[Na+].C1=CC=C2C(N=NC3=C4C(=CC(=CC4=CC=C3O)S([O-])(=O)=O)S([O-])(=O)=O)=CC=C(S([O-])(=O)=O)C2=C1 SWGJCIMEBVHMTA-UHFFFAOYSA-K 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
Description
動作認識システム10は、キャプチャ装置20、該キャプチャ装置の入力を左右反転させる変換モジュール30、手動作分類器40、及び左手動作分類器50から得られた動作クラス出力の左右反転を行うモジュールからなる。動作認識システムは、反転された入力及び反転されていない入力の両方から情報が与えられた最終的な1つ以上の動作クラスを決定するクラスアグリゲータコンポーネント60も含むことができる。
<訓練方法>
Claims (20)
- 動作データを捕捉するキャプチャ装置と、
前記キャプチャ装置から前記動作データを受け取り、対称変換を使用して前記動作データを変換する変換モジュールと、
受け取った特定の対称性のある動作データを使用して動作を識別し、推定動作クラス又は複数のクラス確率を出力する動作分類器と、
前記変換モジュールにより変換された動作データを使用する前記動作分類器から推定動作クラス又はクラス確率を受け取り、対称変換に対応する変換を使用して動作クラスを反転させ、反転された推定動作クラスを生成するクラス反転モジュールと、
前記反転された推定動作クラス、および、前記キャプチャ装置からの動作データを使用する動作分類器から推定動作クラスを受け取り、支配的である動作クラス、又は複数のクラス確率の組合わせに基づいて出力動作クラスを生成するクラスアグリゲータと、
を備える動作分類器システム。 - 前記変換モジュールは、左右反転変換モジュールであり、前記クラス反転モジュールは、左右クラス反転モジュールである、請求項1に記載の動作分類器システム。
- 前記左右反転モジュールは、前記動作データの各x座標を反転させて前記動作データを変換する、請求項2に記載の動作分類器システム。
- 前記左右クラス反転モジュールは、右手動作を左手動作に及びその逆に反転させる、請求項2又は3に記載の動作分類器システム。
- 前記クラスアグリゲータは、前記動作クラス又は前記反転された推定動作クラスのクラス確率及び前記推定動作クラスの組合わせを含む出力を生成する、請求項1に記載の動作分類器システム。
- 前記クラスアグリゲータは、前記反転された推定動作クラスと、デフォルトクラス以外の推定動作クラスとの組合せを含む出力を生成する、請求項1に記載の動作分類器システム。
- 前記動作データは、人の骨格データである、請求項1から6までのいずれか1項に記載の動作分類器システム。
- 人の前記骨格データは、一定期間にわたる骨格関節のX座標及びY座標の配列を含む、請求項7に記載の動作分類器システム。
- 前記動作データは、骨格キーポイント、画像又は映像である、請求項1から6までのいずれか1項に記載の動作分類器システム。
- 動作を分類する方法であって、
動作データを捕捉するステップと、
対称変換を使用して前記動作データを変換するステップと、
推定動作クラス又は特定の対称性を有する前記動作データから推定される複数のクラス確率を識別するステップと、
推定動作クラス又は特定の対称性を有する変換された前記動作データから推定される複数のクラス確率を識別するステップと、
前記対称変換に対応する変換を使用して、変換された前記動作データから得られた推定動作クラス又は複数のクラス確率を反転させて、反転された推定動作クラス又は複数のクラス確率を生成するステップと、
前記動作データから得られた、前記反転された推定動作クラス又はクラス確率、及び前記推定動作クラス又はクラス確率を組み合わせて、複数の動作クラス又はクラス確率を生成するステップと、
を含む方法。 - 対称変換を使用して動作を変換するステップには前記動作データを左右に反転するステップが含まれ、変換された前記動作データから得られた推定動作データを反転するステップには左右クラス識別子を反転するステップが含まれる、請求項10に記載の動作を分類する方法。
- 前記動作データを左右反転させるステップには、前記動作データの各x座標を反転させるステップが含まれる、請求項11に記載の動作を分類する方法。
- 前記反転された推定動作クラス又はクラス確率と、前記推定された動作クラス又は前記動作データから得られたクラス確率を組み合わせるステップには、前記反転された推定動作クラス及びデフォルトクラス以外の前記推定された動作クラスを組み合わせるステップが含まれる、請求項10に記載の動作を分類する方法。
- 前記動作データは、人の骨格データである、請求項10から13までのいずれか1項に記載の動作を分類する方法。
- 人の前記骨格データは、一定期間にわたる骨格関節のX座標及びY座標の配列を含む、請求項14に記載の動作を分類する方法。
- 前記動作データは、骨格キーポイント、画像又は映像である、請求項10から13までのいずれか1項に記載の動作を分類する方法。
- 一連の訓練インスタンスを使用して機械学習システムを訓練する方法であって、
各訓練インスタンスはクラスラベル及び動作データを含み、
最初の非対称性に関連付けられたラベルを有する訓練インスタンスを識別するステップと、
識別された訓練インスタンスごとに、
インスタンスに関連付けられたラベルを前記最初の非対称性の対となるラベルに変換し、
前記最初の非対称性に関連付けられた変換を使用してインスタンスに関連する前記動作データを変換することにより、
識別された訓練インスタンスを修正するステップと、
訓練インスタンスが修正された結果、訓練インスタンスのいずれも、前記最初の非対称性のラベル付けがされていない場合に、修正された一連の訓練インスタンスを使用して機械学習システムを訓練するステップと、を含む方法。 - 前記最初の非対称性は左手であり、前記ラベルの変換は右手ラベルによる左手ラベルへの変換を含み、前記動作データの変換は前記動作データの左右反転を含む、請求項17に記載の方法。
- 前記最初の非対称性は右手であり、前記ラベルの変換は左手ラベルによる右手ラベルへの変換を含み、前記動作データの変換は前記動作データの左右反転を含む、請求項17に記載の方法。
- 前記動作データの左右反転は、前記動作データの各x座標の反転を含む、請求項18又は19に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CA3036836A CA3036836A1 (en) | 2019-03-15 | 2019-03-15 | Method and system for symmetric recognition of handed activities |
PCT/IB2020/052249 WO2020188424A1 (en) | 2019-03-15 | 2020-03-12 | Method and system for symmetric recognition of handed activities |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022531828A true JP2022531828A (ja) | 2022-07-12 |
JP7487224B2 JP7487224B2 (ja) | 2024-05-20 |
Family
ID=72519023
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021555602A Active JP7487224B2 (ja) | 2019-03-15 | 2020-03-12 | 手動作の対称性の認識方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (3) | US11657281B2 (ja) |
EP (1) | EP3938955A4 (ja) |
JP (1) | JP7487224B2 (ja) |
CA (1) | CA3036836A1 (ja) |
WO (1) | WO2020188424A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023547443A (ja) * | 2020-10-29 | 2023-11-10 | ヒンジ ヘルス, インコーポレイテッド | 2次元画像に基づく3次元メッシュ発生器 |
JP2023504319A (ja) * | 2021-06-22 | 2023-02-03 | センスタイム インターナショナル ピーティーイー.リミテッド | 人体と人手を関連付ける方法、装置、機器及び記憶媒体 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4590010B1 (ja) * | 2009-12-14 | 2010-12-01 | エンパイア テクノロジー ディベロップメント エルエルシー | 動作解析装置、および動作解析方法 |
JP4590018B1 (ja) * | 2010-02-26 | 2010-12-01 | エンパイア テクノロジー ディベロップメント エルエルシー | 特徴量変換装置、および特徴量変換方法 |
US10482333B1 (en) * | 2017-01-04 | 2019-11-19 | Affectiva, Inc. | Mental state analysis using blink rate within vehicles |
US10575760B2 (en) * | 2014-03-26 | 2020-03-03 | GestureLogic Inc. | Systems, methods and devices for activity recognition |
US9782104B2 (en) | 2014-03-26 | 2017-10-10 | GestureLogic Inc. | Systems, methods and devices for acquiring and processing physiological signals |
US9770179B2 (en) | 2014-03-26 | 2017-09-26 | GestureLogic Inc. | System, method and device for detecting heart rate |
WO2016149830A1 (en) | 2015-03-26 | 2016-09-29 | GestureLogic Inc. | System, method and device for detecting heart rate |
WO2016149831A1 (en) | 2015-03-26 | 2016-09-29 | GestureLogic Inc. | Systems, methods and devices for activity recognition |
WO2016149832A1 (en) | 2015-03-26 | 2016-09-29 | GestureLogic Inc. | Systems, methods and devices for exercise and activity metric computation |
WO2016149829A1 (en) | 2015-03-26 | 2016-09-29 | GestureLogic Inc. | Systems, methods and devices for acquiring and processing physiological signals |
US10354129B2 (en) | 2017-01-03 | 2019-07-16 | Intel Corporation | Hand gesture recognition for virtual reality and augmented reality devices |
JP2019152927A (ja) | 2018-02-28 | 2019-09-12 | 株式会社エクォス・リサーチ | 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び、画像認識プログラム |
US20220080581A1 (en) * | 2020-09-11 | 2022-03-17 | Fanuc Corporation | Dual arm robot teaching from dual hand human demonstration |
-
2019
- 2019-03-15 CA CA3036836A patent/CA3036836A1/en active Pending
-
2020
- 2020-03-12 US US17/593,270 patent/US11657281B2/en active Active
- 2020-03-12 JP JP2021555602A patent/JP7487224B2/ja active Active
- 2020-03-12 EP EP20773890.7A patent/EP3938955A4/en active Pending
- 2020-03-12 WO PCT/IB2020/052249 patent/WO2020188424A1/en active Application Filing
-
2023
- 2023-05-03 US US18/311,825 patent/US20230274145A1/en active Pending
- 2023-05-03 US US18/311,809 patent/US20230267331A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220148296A1 (en) | 2022-05-12 |
EP3938955A4 (en) | 2022-12-07 |
US20230274145A1 (en) | 2023-08-31 |
WO2020188424A1 (en) | 2020-09-24 |
CA3036836A1 (en) | 2020-09-15 |
US20230267331A1 (en) | 2023-08-24 |
JP7487224B2 (ja) | 2024-05-20 |
EP3938955A1 (en) | 2022-01-19 |
US11657281B2 (en) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Boulahia et al. | Early, intermediate and late fusion strategies for robust deep learning-based multimodal action recognition | |
Rangesh et al. | Driver gaze estimation in the real world: Overcoming the eyeglass challenge | |
US20230267331A1 (en) | Method and system for symmetric recognition of handed activities | |
Hamed et al. | Arabic sign language alphabet recognition based on HOG-PCA using microsoft kinect in complex backgrounds | |
Núnez et al. | Real-time human body tracking based on data fusion from multiple RGB-D sensors | |
Kirkland et al. | SpikeSEG: Spiking segmentation via STDP saliency mapping | |
Martin et al. | Dynamic interaction graphs for driver activity recognition | |
He et al. | Facial action unit detection with multilayer fused multi-task and multi-label deep learning network | |
Zhang et al. | EventMD: High-speed moving object detection based on event-based video frames | |
Lek et al. | Academic Emotion Classification Using FER: A Systematic Review | |
Tur et al. | Isolated sign recognition with a siamese neural network of RGB and depth streams | |
Vignolo et al. | The complexity of biological motion | |
CN115862130A (zh) | 基于人体姿态及其躯干运动场的行为识别方法 | |
Campomanes-Álvarez et al. | Automatic facial expression recognition for the interaction of individuals with multiple disabilities | |
WO2021217973A1 (zh) | 情感信息识别方法、装置、存储介质及计算机设备 | |
Puchała et al. | Feature engineering techniques for skeleton-based two-person interaction classification in video | |
Mesbahi et al. | Hand Gesture Recognition Based on Various Deep Learning YOLO Models | |
Huang et al. | A hierarchical temporal memory based hand posture recognition method | |
Kemmou et al. | Automatic facial expression recognition under partial occlusion based on motion reconstruction using a denoising autoencoder | |
KR20210026176A (ko) | 딥 러닝을 위한 라벨링 이미지 생성 방법 | |
Moreira et al. | Fast and accurate gesture recognition based on motion shapes | |
Aivaliotis et al. | Eye gaze analysis of students in educational systems | |
Sundaramoorthy et al. | Deep Learning Based Hybrid Approach For Facial Emotion Detection | |
Pohlt et al. | Weakly-Supervised Learning for Multimodal Human Activity Recognition in Human-Robot Collaboration Scenarios | |
CN111680550B (zh) | 情感信息识别方法、装置、存储介质及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210928 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221109 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240508 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7487224 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |