CN117649698A - 姿势矫正系统及方法 - Google Patents

姿势矫正系统及方法 Download PDF

Info

Publication number
CN117649698A
CN117649698A CN202211605984.7A CN202211605984A CN117649698A CN 117649698 A CN117649698 A CN 117649698A CN 202211605984 A CN202211605984 A CN 202211605984A CN 117649698 A CN117649698 A CN 117649698A
Authority
CN
China
Prior art keywords
neural network
posture
training data
analysis neural
pressure sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211605984.7A
Other languages
English (en)
Inventor
萧家尧
王冠勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN117649698A publication Critical patent/CN117649698A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6843—Monitoring or controlling sensor contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6892—Mats
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247—Pressure sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Automobile Manufacture Line, Endless Track Vehicle, Trailer (AREA)
  • Body Structure For Vehicles (AREA)
  • Telephone Function (AREA)
  • Orthopedics, Nursing, And Contraception (AREA)
  • Image Processing (AREA)

Abstract

一种姿势矫正系统及方法。该系统基于对应于一使用者的一姿势影像及多个压力感测值，估计对应于该使用者的一身体姿势追踪，其中所述多个压力感测值各个对应于该使用者的多个身体部位其中之一。该系统基于该身体姿势追踪，产生一姿势调整建议。本发明所提供的姿势矫正技术能够通过视觉及压力感测装置协助使用者调整姿势。

Description

姿势矫正系统及方法
技术领域
本发明关于一种姿势矫正系统及方法。具体而言，本发明关于一种能通过视觉及压力感测装置协助使用者调整姿势的姿势矫正系统及方法。
背景技术
近年来，运动的风气愈来愈盛行，人们对于运动时的效率与安全性更加重视。因此，通过数据的搜集分析来协助检视使用者运动的姿势以提升使用者的运动效率，已是一种必然的需求。
在习知的技术中，通常仅会通过单一相机所生成的影像进行姿势的分析。然而，若仅根据影像内容进行使用者的姿势分析，容易因为影像的遮挡(Occ l us ion)以及比例歧异(Sca l e Ambiguity)问题，造成无法准确判断使用者的目前姿势。因此，难以准确的提供使用者正确的姿势调整建议。
有鉴于此，如何提供一种能准确提供使用者正确的姿势调整建议的姿势矫正技术，乃业界亟需努力的目标。
发明内容
本发明的一目的在于提供一种姿势矫正系统。该姿势矫正系统包含一影像撷取装置、一压力感测装置及一处理装置，该处理装置连接至该影像撷取装置及该压力感测装置。该影像撷取装置用以产生对应于一使用者的一姿势影像。该压力感测装置用以侦测多个压力感测值。该处理装置从该压力感测装置接收所述多个压力感测值，其中所述多个压力感测值各个对应于该使用者的多个身体部位其中之一。该处理装置基于该姿势影像及所述多个压力感测值，估计对应于该使用者的一身体姿势追踪。该处理装置基于该身体姿势追踪，产生一姿势调整建议。
本发明的另一目的在于提供一种姿势矫正方法，该姿势矫正方法用于一电子系统。该姿势矫正方法包含下列步骤：基于对应于一使用者的一姿势影像及多个压力感测值，估计对应于一使用者的一身体姿势追踪，其中所述多个压力感测值各个对应于该使用者的多个身体部位其中之一；以及基于该身体姿势追踪，产生一姿势调整建议。
在本发明的一实施方式中，其中该处理装置更执行以下操作：分析该姿势影像，以产生对应于该使用者的所述多个身体部位各个的一空间位置；以及基于所述多个空间位置及所述多个压力感测值，估计对应于该使用者的该身体姿势追踪。
在本发明的一实施方式中，其中该影像撷取装置及该处理装置包含于一一体机装置中，且该一体机装置连接至该压力感测装置。
在本发明的一实施方式中，其中该处理装置更执行以下操作：将该姿势影像及所述多个压力感测值输入至一融合分析神经网络，以估计对应该使用者的该身体姿势追踪；其中，该融合分析神经网络基于一压力分析神经网络及一视觉分析神经网络所训练。
在本发明的一实施方式中，其中该处理装置更执行以下操作：收集多个第一压力感测训练资料及对应所述多个第一压力感测训练资料的一第一标注资讯；以及基于所述多个第一压力感测训练资料及该第一标注资讯，训练该压力分析神经网络。
在本发明的一实施方式中，其中该处理装置更执行以下操作：收集多个第一影像训练资料及对应所述多个第一影像训练资料的一第二标注资讯；以及基于所述多个第一影像训练资料及该第二标注资讯，训练该视觉分析神经网络。
在本发明的一实施方式中，其中该处理装置更执行以下操作：收集多个第一配对训练资料及对应所述多个第一配对训练资料的一第三标注资讯，其中所述多个第一配对训练资料各个包含一第二压力感测训练资料及一第二影像训练资料；以及基于所述多个第一配对训练资料及该第三标注资讯，训练该融合分析神经网络，且微调该压力分析神经网络及该视觉分析神经网络。
在本发明的一实施方式中，其中该处理装置更执行以下操作：收集多个第二配对训练资料，其中所述多个第二配对训练资料各个包含一第三压力感测训练资料及一第三影像训练资料；基于所述多个第二配对训练资料，计算该压力分析神经网络及该视觉分析神经网络各自所对应的一一致性损失函数；以及基于所述多个第二配对训练资料及所述多个一致性损失函数，训练该融合分析神经网络，且微调该压力分析神经网络及该视觉分析神经网络。
在本发明的一实施方式中，其中该处理装置更执行以下操作：基于该压力分析神经网络所产生的一第一预测姿势及该融合分析神经网络所产生的一第三预测姿势，计算该压力分析神经网络所对应的该一致性损失函数；以及基于该视觉分析神经网络所产生的一第二预测姿势及该融合分析神经网络所产生的该第三预测姿势，计算该视觉分析神经网络所对应的该一致性损失函数。
在本发明的一实施方式中，其中该处理装置更执行以下操作：比较该身体姿势追踪及一标准姿势，以计算一姿势差异值；以及基于该姿势差异值，产生该姿势调整建议。
在本发明的一实施方式中，其中更包含以下步骤：其中更包含以下步骤：基于所述多个空间位置及所述多个压力感测值，估计对应于该使用者的该身体姿势追踪。
在本发明的一实施方式中，其中该电子系统包含一压力感测装置及一一体机装置，且该一体机装置包含一影像撷取装置及一处理装置。
在本发明的一实施方式中，其中更包含以下步骤：将该姿势影像及所述多个压力感测值输入至一融合分析神经网络，以估计对应该使用者的该身体姿势追踪；其中，该融合分析神经网络基于一压力分析神经网络及一视觉分析神经网络所训练。
在本发明的一实施方式中，其中更包含以下步骤：收集多个第一压力感测训练资料及对应所述多个第一压力感测训练资料的一第一标注资讯；以及基于所述多个第一压力感测训练资料及该第一标注资讯，训练该压力分析神经网络。
在本发明的一实施方式中，其中更包含以下步骤：收集多个第一影像训练资料及对应所述多个第一影像训练资料的一第二标注资讯；以及基于所述多个第一影像训练资料及该第二标注资讯，训练该视觉分析神经网络。
在本发明的一实施方式中，其中更包含以下步骤：收集多个第一配对训练资料及对应所述多个第一配对训练资料的一第三标注资讯，其中所述多个第一配对训练资料各个包含一第二压力感测训练资料及一第二影像训练资料；以及基于所述多个第一配对训练资料及该第三标注资讯，训练该融合分析神经网络，且微调该压力分析神经网络及该视觉分析神经网络。
在本发明的一实施方式中，其中更包含以下步骤：收集多个第二配对训练资料，其中所述多个第二配对训练资料各个包含一第三压力感测训练资料及一第三影像训练资料；基于所述多个第二配对训练资料，计算该压力分析神经网络及该视觉分析神经网络各自所对应的一一致性损失函数；以及基于所述多个第二配对训练资料及所述多个一致性损失函数，训练该融合分析神经网络，且微调该压力分析神经网络及该视觉分析神经网络。
在本发明的一实施方式中，其中更包含以下步骤：基于该压力分析神经网络所产生的一第一预测姿势及该融合分析神经网络所产生的一第三预测姿势，计算该压力分析神经网络所对应的该一致性损失函数；以及基于该视觉分析神经网络所产生的一第二预测姿势及该融合分析神经网络所产生的该第三预测姿势，计算该视觉分析神经网络所对应的该一致性损失函数。
在本发明的一实施方式中，其中更包含以下步骤：比较该身体姿势追踪及一标准姿势，以计算一姿势差异值；以及基于该姿势差异值，产生该姿势调整建议。
本发明所提供的姿势矫正技术(至少包含系统及方法)，基于对应于一使用者的姿势影像及对应于该使用者的各个身体部位的压力感测值，估计对应于该使用者的身体姿势追踪。此外，本发明所提供的姿势矫正技术基于该身体姿势追踪，产生一姿势调整建议。本发明所提供的姿势矫正技术能够通过视觉及压力感测装置协助使用者调整姿势，因此解决了习知技术中，无法准确的提供使用者正确的姿势调整建议的缺点。
以下结合附图阐述本发明的详细技术及实施方式，俾使本发明所属技术领域中具有通常知识者能理解所请求保护的发明的技术特征。
附图说明
图1描绘第一实施方式的姿势矫正系统的适用场景示意图；
图2描绘某些实施方式的神经网络训练操作示意图；以及
图3描绘第二实施方式的姿势矫正方法的部分流程图。
符号说明：
1：姿势矫正系统
2：处理装置
3：使用者
4：影像撷取装置
5：压力感测装置
400：姿势影像
500：压力感测值
S1、……、Sn：压力感测器
200：神经网络训练操作示意图
PTD：压力感测训练资料
I TD：影像训练资料
PNN：压力分析神经网络
VNN：视觉分析神经网络
FNN：融合分析神经网络
F1：第一潜在特征
F2：第二潜在特征
P1：第一预测姿势
P2：第二预测姿势
P3：第三预测姿势
C1：一致性损失函数
C2：一致性损失函数
300：姿势矫正方法
S301、S303：步骤
具体实施方式
以下将通过实施方式来解释本发明所提供的一种姿势矫正系统及方法。然而，所述多个实施方式并非用以限制本发明需在如所述多个实施方式所述的任何环境、应用或方式方能实施。因此，关于实施方式的说明仅为阐释本发明的目的，而非用以限制本发明的范围。应理解，在以下实施方式及附图中，与本发明非直接相关的元件已省略而未示出，且各元件的尺寸以及元件间的尺寸比例仅为例示而已，而非用以限制本发明的范围。
先说明本实施方式的适用场景，其示意图描绘于图1。如图1所示，于本发明的第一实施方式中，姿势矫正系统1包含一处理装置2、一影像撷取装置4及一压力感测装置5，处理装置2连接至影像撷取装置4及压力感测装置5。影像撷取装置4可为任何具有影像撷取功能的装置。处理装置2可为各种处理单元、中央处理单元(Centra l Process i ng Un it；CPU)、微处理器或本发明所属技术领域中具有通常知识者所知悉的其他计算装置。
于该场景中，使用者3使用设置了压力感测装置5的物件进行动作或是运动。具体而言，压力感测装置5包含了多个压力感测器S1、……、Sn，所述多个压力感测器S1、……、Sn用以侦测多个压力感测值500，其中n为大于2的正整数。举例而言，设置了压力感测装置5的物件可以是垫子(例如：瑜珈垫)、运动衣、运动裤、紧身衣、握把、球棒、方向盘等等。
须说明者，处理装置2可通过有线网络或是无线网络与压力感测装置5连线，压力感测器S1、……、Sn可持续的产生所述多个压力感测值500(例如：以每秒10次的频率)，且由压力感测装置5将所述多个压力感测值500传送至处理装置2。
须说明，压力感测器S1、……、Sn产生的所述多个压力感测值500各个可对应于使用者3的一身体部位(例如：关节等部位)。举例而言，若使用者3使用的物件为运动裤，压力感测装置5可将压力感测器S1、……、Sn分别设置于运动裤上对应于大腿、小腿、膝关节、踝关节、髋关节等等身体部位进行数据收集。又举例而言，若使用者3使用的物件为瑜珈垫，压力感测装置5可将压力感测器S1、……、Sn平均设置于瑜珈垫上，以对于使用者3接触瑜珈垫的身体部位进行数据收集。
如图1所示，影像撷取装置4可设置在使用者3的附近位置，以利于拍摄使用者3的姿势影像。处理装置2可通过有线网络或是无线网络与影像撷取装置4连线，影像撷取装置4用以产生对应于使用者3的一姿势影像400，且将姿势影像400传送至处理装置2。其中，姿势影像400可记录使用者3目前运动的姿势。
于某些实施方式中，影像撷取装置4可包含一或多个影像撷取单元(例如：一或多个深度相机镜头)，用以产生对应一视野范围(Fi e l d Of Vi ew；FOV)的姿势影像400。
于某些实施方式中，影像撷取装置4及处理装置2可位于同一装置中。具体而言，影像撷取装置4及处理装置2可包含于一一体机(A l l I n One；AI O)装置中，且该一体机装置连接至压力感测装置5。举例而言，该一体机装置可以是具有运算功能及影像撷取功能的手机。
需说明者，图1仅方便作为示例，本发明并未限制姿势矫正系统1的内容。举例而言，本发明并未限制与处理装置2所连线的装置的数目，处理装置2可同时与多个压力感测装置及多个影像撷取装置通过网络连线，视姿势矫正系统1的规模及实际需求而定。
于本实施方式中，处理装置2从压力感测装置5接收所述多个压力感测值500，其中所述多个压力感测值500各个分别对应于使用者3的多个身体部位其中之一。
接着，处理装置2基于姿势影像400及所述多个压力感测值500，估计对应于使用者3的一身体姿势追踪。最后，处理装置2基于该身体姿势追踪，产生一姿势调整建议。
于某些实施方式中，处理装置2是通过比较该身体姿势追踪与标准姿势的差异，以决定需要进行的姿势调整。具体而言，处理装置2比较该身体姿势追踪及一标准姿势，以计算一姿势差异值。接着，处理装置2基于该姿势差异值，产生该姿势调整建议。
举例而言，处理装置2可先判断该身体姿势追踪目前所对应的标准姿势。例如：处理装置2基于目前身体姿势追踪判断使用者3目前执行的动作应为瑜珈中的一战士二(Warri orⅡ)动作，其标准的站姿应为左脚及右脚呈现90度。而目前判断的结果使用者3的左脚及右脚仅为75度，因此处理装置2将提醒使用者3将左脚及右脚调整为90度。
于某些实施方式中，为了使得处理装置2分析姿势影像400时对于姿势的定位更为准确，处理装置2可更基于姿势影像400的深度资讯，判断使用者3的各个身体部位于空间中的位置。具体而言，处理装置2分析姿势影像400，以产生对应于使用者3的所述多个身体部位各个的一空间位置。接着，处理装置2基于所述多个空间位置及所述多个压力感测值500，估计对应于使用者3的该身体姿势追踪。
于某些实施方式中，处理装置2可通过融合分析神经网络来估计该身体姿势追踪。具体而言，处理装置2将该姿势影像400及所述多个压力感测值500输入至一融合分析神经网络，以估计对应使用者3的该身体姿势追踪。其中，该融合分析神经网络基于一压力分析神经网络及一视觉分析神经网络所训练。
为便于理解，以下段落将详细说明关于本公开中的神经网络训练方式，请参考图2中的神经网络训练操作示意图200。
于某些实施方式中，处理装置2可基于已标注(l abe l ed)的压力感测训练资料PTD训练该压力分析神经网络PNN。具体而言，处理装置2收集多个第一压力感测训练资料PTD及对应所述多个第一压力感测训练资料PTD的一第一标注资讯(未示出)。接着，处理装置2基于所述多个第一压力感测训练资料PTD及该第一标注资讯，训练该压力分析神经网络PNN。
于某些实施方式中，压力感测训练资料PTD可为一合成资料(synthes i sdata)。
于某些实施方式中，处理装置2可基于已标注的影像训练资料I TD训练该视觉分析神经网络VNN。具体而言，处理装置2收集多个第一影像训练资料I TD及对应所述多个第一影像训练资料I TD的一第二标注资讯(未示出)。接着，处理装置2基于所述多个第一影像训练资料I TD及该第二标注资讯，训练该视觉分析神经网络VNN。
于某些实施方式中，处理装置2可基于已标注的配对训练资料(即，包含压力感测训练资料PTD及影像训练资料I TD)训练该融合分析神经网络FNN。具体而言，处理装置2收集多个第一配对训练资料及对应所述多个第一配对训练资料的一第三标注资讯(未示出)，其中所述多个第一配对训练资料各个包含一第二压力感测训练资料PTD及一第二影像训练资料I TD。接着，处理装置2基于所述多个第一配对训练资料及该第三标注资讯，训练该融合分析神经网络FNN，且微调(f i ne-tune)该压力分析神经网络PNN及该视觉分析神经网络VNN。
须说明的是，处理装置2可通过计算该压力分析神经网络PNN的潜在特征(LatentFeature)F1及该视觉分析神经网络VNN的潜在特征F2，进行该融合分析神经网络FNN、该压力分析神经网络PNN及及该视觉分析神经网络VNN的训练及微调操作。本领域具有通常知识者应可基于上述说明内容理解神经网络训练及微调操作的实施方式，故不赘述。
于某些实施方式中，处理装置2亦可通过未标注的配对训练资料及一致性损失(cons i stency l oss)函数，训练该融合分析神经网络FNN。具体而言，处理装置2收集多个第二配对训练资料，其中所述多个第二配对训练资料各个包含一第三压力感测训练资料PTD及一第三影像训练资料I TD。接着，处理装置2基于所述多个第二配对训练资料，计算该压力分析神经网络PNN及该视觉分析神经网络VNN各自所对应的一致性损失函数C1及C2。最后，处理装置2基于所述多个第二配对训练资料及所述多个一致性损失函数C1及C2，训练该融合分析神经网络FNN，且微调该压力分析神经网络PNN及该视觉分析神经网络VNN。
于某些实施方式中，处理装置2基于该压力分析神经网络PNN所产生的一第一预测姿势P1及该融合分析神经网络FNN所产生的一第三预测姿势P3，计算该压力分析神经网络PNN所对应的该一致性损失函数C1。此外，处理装置2基于该视觉分析神经网络所产生的一第二预测姿势P2及该融合分析神经网络FNN所产生的该第三预测姿势P3，计算该视觉分析神经网络VNN所对应的该一致性损失函数C2。
由上述说明可知，本发明所提供的姿势矫正系统1，基于对应于一使用者的姿势影像及对应于该使用者的各个身体部位的压力感测值，估计对应于该使用者的身体姿势追踪。此外，本发明所提供的姿势矫正系统1基于该身体姿势追踪，产生一姿势调整建议。本发明所提供的姿势矫正系统1能够通过视觉及压力感测装置协助使用者调整姿势，因此解决了习知技术中，无法准确的提供使用者正确的姿势调整建议的缺点。
本发明的第二实施方式为一姿势矫正方法，其流程图描绘于图3。姿势矫正方法300适用于一电子系统，例如：第一实施方式所述的姿势矫正系统1。姿势矫正方法300通过步骤S301至步骤S303产生一姿势调整建议。
于步骤S301，由电子系统基于对应于一使用者的一姿势影像及多个压力感测值，估计对应于一使用者的一身体姿势追踪，其中所述多个压力感测值各个分别对应于该使用者的多个身体部位其中之一。接着，于步骤S303，由电子系统基于该身体姿势追踪，产生一姿势调整建议。
于某些实施方式中，姿势矫正方法300更包含以下步骤：分析该姿势影像，以产生对应于该使用者的所述多个身体部位各个的一空间位置；以及基于所述多个空间位置及所述多个压力感测值，估计对应于该使用者的该身体姿势追踪。
于某些实施方式中，其中该电子系统包含一压力感测装置及一一体机装置，且该一体机装置包含一影像撷取装置及一处理装置，例如：第一实施方式所述的处理装置2、影像撷取装置4及压力感测装置5。
于某些实施方式中，姿势矫正方法300更包含以下步骤：将该姿势影像及所述多个压力感测值输入至一融合分析神经网络，以估计对应该使用者的该身体姿势追踪；其中，该融合分析神经网络基于一压力分析神经网络及一视觉分析神经网络所训练。
于某些实施方式中，姿势矫正方法300更包含以下步骤：收集多个第一压力感测训练资料及对应所述多个第一压力感测训练资料的一第一标注资讯；以及基于所述多个第一压力感测训练资料及该第一标注资讯，训练该压力分析神经网络。
于某些实施方式中，姿势矫正方法300更包含以下步骤：收集多个第一影像训练资料及对应所述多个第一影像训练资料的一第二标注资讯；以及基于所述多个第一影像训练资料及该第二标注资讯，训练该视觉分析神经网络。
于某些实施方式中，姿势矫正方法300更包含以下步骤：收集多个第一配对训练资料及对应所述多个第一配对训练资料的一第三标注资讯，其中所述多个第一配对训练资料各个包含一第二压力感测训练资料及一第二影像训练资料；以及基于所述多个第一配对训练资料及该第三标注资讯，训练该融合分析神经网络，且微调该压力分析神经网络及该视觉分析神经网络。
于某些实施方式中，姿势矫正方法300更包含以下步骤：收集多个第二配对训练资料，其中所述多个第二配对训练资料各个包含一第三压力感测训练资料及一第三影像训练资料；基于所述多个第二配对训练资料，计算该压力分析神经网络及该视觉分析神经网络各自所对应的一一致性损失函数；以及基于所述多个第二配对训练资料及所述多个一致性损失函数，训练该融合分析神经网络，且微调该压力分析神经网络及该视觉分析神经网络。
于某些实施方式中，姿势矫正方法300更包含以下步骤：基于该压力分析神经网络所产生的一第一预测姿势及该融合分析神经网络所产生的一第三预测姿势，计算该压力分析神经网络所对应的该一致性损失函数；以及基于该视觉分析神经网络所产生的一第二预测姿势及该融合分析神经网络所产生的该第三预测姿势，计算该视觉分析神经网络所对应的该一致性损失函数。
于某些实施方式中，姿势矫正方法300更包含以下步骤：比较该身体姿势追踪及一标准姿势，以计算一姿势差异值；以及基于该姿势差异值，产生该姿势调整建议。
除了上述步骤，第二实施方式亦能执行第一实施方式所描述的姿势矫正系统1的所有操作及步骤，具有同样的功能，且达到同样的技术效果。本发明所属技术领域中具有通常知识者可直接了解第二实施方式如何基于上述第一实施方式以执行此等操作及步骤，具有同样的功能，并达到同样的技术效果，故不赘述。
需说明者，于本发明专利说明书及权利要求中，某些用语(包含：压力感测训练资料、标注资讯、影像训练资料、配对训练资料、预测姿势等等)前被冠以「第一」、「第二」或「第三」，所述多个「第一」、「第二」或「第三」仅用来区分不同的用语。例如：第一标注资讯及第二标注资讯中的「第一」及「第二」仅用来表示不同操作时所使用的不同标注资讯。
综上所述，本发明所提供的姿势矫正技术(至少包含系统及方法)，基于对应于一使用者的姿势影像及对应于该使用者的各个身体部位的压力感测值，估计对应于该使用者的身体姿势追踪。此外，本发明所提供的姿势矫正技术基于该身体姿势追踪，产生一姿势调整建议。本发明所提供的姿势矫正技术能够通过视觉及压力感测装置协助使用者调整姿势，因此解决了习知技术中，无法准确的提供使用者正确的姿势调整建议的缺点。
上述实施方式仅用来举例本发明的部分实施例，以及阐释本发明的技术特征，而非用来限制本发明的保护范畴及范围。任何本发明所属技术领域中具有通常知识者可轻易完成的改变或均等性的安排均属于本发明所主张的范围，而本发明的权利保护范围以权利要求为准。

Claims (20)

1.一种姿势矫正系统，其特征在于，包含：
一影像撷取装置，用以产生对应于一使用者的一姿势影像；
一压力感测装置，用以侦测多个压力感测值；以及
一处理装置，连接至该影像撷取装置及该压力感测装置，且用以执行以下操作：
从该压力感测装置接收所述多个压力感测值，其中所述多个压力感测值各个对应于该使用者的多个身体部位其中之一；
基于该姿势影像及所述多个压力感测值，估计对应于该使用者的一身体姿势追踪；以及
基于该身体姿势追踪，产生一姿势调整建议。
2.如权利要求1所述的姿势矫正系统，其特征在于，其中该处理装置更执行以下操作：
分析该姿势影像，以产生对应于该使用者的所述多个身体部位各个的一空间位置；以及
基于所述多个空间位置及所述多个压力感测值，估计对应于该使用者的该身体姿势追踪。
3.如权利要求1所述的姿势矫正系统，其特征在于，其中该影像撷取装置及该处理装置包含于一一体机装置中，且该一体机装置连接至该压力感测装置。
4.如权利要求1所述的姿势矫正系统，其特征在于，其中该处理装置更执行以下操作：
将该姿势影像及所述多个压力感测值输入至一融合分析神经网络，以估计对应该使用者的该身体姿势追踪；
其中，该融合分析神经网络基于一压力分析神经网络及一视觉分析神经网络所训练。
5.如权利要求4所述的姿势矫正系统，其特征在于，其中该处理装置更执行以下操作：
收集多个第一压力感测训练资料及对应所述多个第一压力感测训练资料的一第一标注资讯；以及
基于所述多个第一压力感测训练资料及该第一标注资讯，训练该压力分析神经网络。
6.如权利要求5所述的姿势矫正系统，其特征在于，其中该处理装置更执行以下操作：
收集多个第一影像训练资料及对应所述多个第一影像训练资料的一第二标注资讯；以及
基于所述多个第一影像训练资料及该第二标注资讯，训练该视觉分析神经网络。
7.如权利要求6所述的姿势矫正系统，其特征在于，其中该处理装置更执行以下操作：
收集多个第一配对训练资料及对应所述多个第一配对训练资料的一第三标注资讯，其中所述多个第一配对训练资料各个包含一第二压力感测训练资料及一第二影像训练资料；以及
基于所述多个第一配对训练资料及该第三标注资讯，训练该融合分析神经网络，且微调该压力分析神经网络及该视觉分析神经网络。
8.如权利要求6所述的姿势矫正系统，其特征在于，其中该处理装置更执行以下操作：
收集多个第二配对训练资料，其中所述多个第二配对训练资料各个包含一第三压力感测训练资料及一第三影像训练资料；
基于所述多个第二配对训练资料，计算该压力分析神经网络及该视觉分析神经网络各自所对应的一一致性损失函数；以及
基于所述多个第二配对训练资料及所述多个一致性损失函数，训练该融合分析神经网络，且微调该压力分析神经网络及该视觉分析神经网络。
9.如权利要求8所述的姿势矫正系统，其特征在于，其中该处理装置更执行以下操作：
基于该压力分析神经网络所产生的一第一预测姿势及该融合分析神经网络所产生的一第三预测姿势，计算该压力分析神经网络所对应的该一致性损失函数；以及
基于该视觉分析神经网络所产生的一第二预测姿势及该融合分析神经网络所产生的该第三预测姿势，计算该视觉分析神经网络所对应的该一致性损失函数。
10.如权利要求1所述的姿势矫正系统，其特征在于，其中该处理装置更执行以下操作：
比较该身体姿势追踪及一标准姿势，以计算一姿势差异值；以及
基于该姿势差异值，产生该姿势调整建议。
11.一种姿势矫正方法，其特征在于，用于一电子系统，其中该姿势矫正方法包含下列步骤：
基于对应于一使用者的一姿势影像及多个压力感测值，估计对应于一使用者的一身体姿势追踪，其中所述多个压力感测值各个对应于该使用者的多个身体部位其中之一；以及
基于该身体姿势追踪，产生一姿势调整建议。
12.如权利要求11所述的姿势矫正方法，其特征在于，其中更包含以下步骤：
分析该姿势影像，以产生对应于该使用者的所述多个身体部位各个的一空间位置；以及
基于所述多个空间位置及所述多个压力感测值，估计对应于该使用者的该身体姿势追踪。
13.如权利要求11所述的姿势矫正方法，其特征在于，其中该电子系统包含一压力感测装置及一一体机装置，且该一体机装置包含一影像撷取装置及一处理装置。
14.如权利要求11所述的姿势矫正方法，其特征在于，其中更包含以下步骤：
将该姿势影像及所述多个压力感测值输入至一融合分析神经网络，以估计对应该使用者的该身体姿势追踪；
其中，该融合分析神经网络基于一压力分析神经网络及一视觉分析神经网络所训练。
15.如权利要求14所述的姿势矫正方法，其特征在于，其中更包含以下步骤：
收集多个第一压力感测训练资料及对应所述多个第一压力感测训练资料的一第一标注资讯；以及
基于所述多个第一压力感测训练资料及该第一标注资讯，训练该压力分析神经网络。
16.如权利要求15所述的姿势矫正方法，其特征在于，其中更包含以下步骤：
收集多个第一影像训练资料及对应所述多个第一影像训练资料的一第二标注资讯；以及
基于所述多个第一影像训练资料及该第二标注资讯，训练该视觉分析神经网络。
17.如权利要求16所述的姿势矫正方法，其特征在于，其中更包含以下步骤：
收集多个第一配对训练资料及对应所述多个第一配对训练资料的一第三标注资讯，其中所述多个第一配对训练资料各个包含一第二压力感测训练资料及一第二影像训练资料；以及
基于所述多个第一配对训练资料及该第三标注资讯，训练该融合分析神经网络，且微调该压力分析神经网络及该视觉分析神经网络。
18.如权利要求16所述的姿势矫正方法，其特征在于，其中更包含以下步骤：
收集多个第二配对训练资料，其中所述多个第二配对训练资料各个包含一第三压力感测训练资料及一第三影像训练资料；
基于所述多个第二配对训练资料，计算该压力分析神经网络及该视觉分析神经网络各自所对应的一一致性损失函数；以及
基于所述多个第二配对训练资料及所述多个一致性损失函数，训练该融合分析神经网络，且微调该压力分析神经网络及该视觉分析神经网络。
19.如权利要求18所述的姿势矫正方法，其特征在于，其中更包含以下步骤：
基于该压力分析神经网络所产生的一第一预测姿势及该融合分析神经网络所产生的一第三预测姿势，计算该压力分析神经网络所对应的该一致性损失函数；以及
基于该视觉分析神经网络所产生的一第二预测姿势及该融合分析神经网络所产生的该第三预测姿势，计算该视觉分析神经网络所对应的该一致性损失函数。
20.如权利要求11所述的姿势矫正方法，其特征在于，其中更包含以下步骤：比较该身体姿势追踪及一标准姿势，以计算一姿势差异值；以及
基于该姿势差异值，产生该姿势调整建议。
CN202211605984.7A 2022-09-02 2022-12-14 姿势矫正系统及方法 Pending CN117649698A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/929,314 2022-09-02
US17/929,314 US20240078842A1 (en) 2022-09-02 2022-09-02 Posture correction system and method

Publications (1)

Publication Number Publication Date
CN117649698A true CN117649698A (zh) 2024-03-05

Family

ID=90043867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211605984.7A Pending CN117649698A (zh) 2022-09-02 2022-12-14 姿势矫正系统及方法

Country Status (3)

Country Link
US (1) US20240078842A1 (zh)
CN (1) CN117649698A (zh)
TW (1) TWI824882B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108096807A (zh) * 2017-12-11 2018-06-01 丁贤根 一种运动数据监测方法和系统
CN108211318B (zh) * 2018-01-23 2019-08-23 北京易智能科技有限公司 基于多方感知的竞走运动姿态分析方法
JP2022051173A (ja) * 2020-09-18 2022-03-31 株式会社日立製作所 運動評価装置および運動評価システム

Also Published As

Publication number Publication date
TW202410942A (zh) 2024-03-16
TWI824882B (zh) 2023-12-01
US20240078842A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
CN110321754B (zh) 一种基于计算机视觉的人体运动姿态纠正方法及系统
KR101868597B1 (ko) 올바른 기기사용자세 유도 장치 및 방법
US10704890B2 (en) Dynamic motion detection system
CN110688929B (zh) 一种人体骨架关节点定位方法及装置
KR101504633B1 (ko) Ａｒ 기반 양방향 ｃｐｒ 시뮬레이터 장치 및 시스템
AU2017201137B2 (en) Systems and methods for identifying body joint locations based on sensor data analysis
KR102594938B1 (ko) 인공신경망을 이용한 스포츠 자세를 비교 및 교정하는 장치 및 방법
US20200302617A1 (en) Non-transitory computer readable recording medium, element recognition method, and element recognition system
EP3636153A1 (en) Cycling-posture analyzing system and method
CN110991482A (zh) 健身动作识别的方法、终端及计算机存储介质
CN109344694A (zh) 一种基于三维人体骨架的人体基本动作实时识别方法
KR101950412B1 (ko) 승마 시뮬레이터 및 승마 시뮬레이션 방법
Martindale et al. Smart annotation tool for multi-sensor gait-based daily activity data
CN113569753A (zh) 视频中的动作比对方法、装置、存储介质与电子设备
CN117649698A (zh) 姿势矫正系统及方法
CN117109567A (zh) 用于动感单车运动的骑行姿态监测方法、系统以及穿戴式骑行姿态监测设备
CN117224103A (zh) 脊柱矫正方法、系统及存储介质
CN111803074A (zh) 肢体运动指导方法、装置、系统、电子设备及存储介质
US11783492B2 (en) Human body portion tracking method and human body portion tracking system
Haydon et al. Prediction of Propulsion Kinematics and Performance in Wheelchair Rugby
US20230126755A1 (en) Information processing apparatus, information processing method, and imaging system
WO2022209286A1 (ja) 判定装置
TWI842582B (zh) 復健系統及其方法
Garimella et al. A Novel Training Bike and Camera System to Evaluate Pose of Cyclists
US20230177718A1 (en) System and method for selecting a sporting equipment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination