CN116110117A - 对用于锻炼跟踪的可佩戴装置进行配置的装置和方法 - Google Patents

对用于锻炼跟踪的可佩戴装置进行配置的装置和方法 Download PDF

Info

Publication number
CN116110117A
CN116110117A CN202211246254.2A CN202211246254A CN116110117A CN 116110117 A CN116110117 A CN 116110117A CN 202211246254 A CN202211246254 A CN 202211246254A CN 116110117 A CN116110117 A CN 116110117A
Authority
CN
China
Prior art keywords
data
movement
tracker model
wearable device
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211246254.2A
Other languages
English (en)
Inventor
P·埃克斯纳
H·贝里奎斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN116110117A publication Critical patent/CN116110117A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/803—Motion sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/805—Optical or opto-electronic sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/836—Sensors arranged on the body of the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Hardware Design (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及对用于锻炼跟踪的可佩戴装置进行配置的装置和方法。提供了一种对用于锻炼跟踪的可佩戴装置(10)进行配置的设备(20)，所述设备包括：数据存储单元(213)，该数据存储单元用于存储由可佩戴装置中的传感器布置基于所感测到的可佩戴装置的移动而生成的传感器数据，以及从基于图像的监测系统(30)获得的包括个体的表现的光学移动数据；以及处理单元(211)，该处理单元被配置成：对传感器数据执行移动跟踪器模型，以确定第一锻炼活动和关联的第一置信度指标；对光学移动数据执行光学跟踪器模型，以确定第二锻炼活动和关联的第二置信度指标；基于第一置信度指标和第二置信度指标来处理移动跟踪器模型。

Description

对用于锻炼跟踪的可佩戴装置进行配置的装置和方法
技术领域
本公开总体上涉及用于锻炼跟踪的技术，特别地，涉及改进可佩戴装置中的锻炼跟踪的性能。
背景技术
体育锻炼被认为是相关的健康因素，对许多人来说是生命的重要部分。有许多流行形式的体育锻炼，例如包括跑步、骑自行车、和力量训练。对力量训练的日益增长的兴趣是由在公共和私人环境中发现的越来越多的健身房(gyms)来反映的。健身房可以为机器中的重量训练或者通过使用自由重量以及健身房类别中的体重训练和团体训练提供可能性。还有许多在无线装置上运行的网站和应用可以帮助用户管理他们的锻炼。
一种频繁使用的管理锻炼活动的方法是检测和测量各种活动和运动的性能。由各种类型的应用和装置收集的数据可以被处理和可视化，并用于确定关于计划或目标的进展。在其最简单的形式中，借助于时钟的时间保持提供了这种数据的示例，例如用于跑步训练。用于收集与锻炼活动相关联的数据的其它类型的方法和装置尤其包括脉搏传感器、计步器、步频计、重量传感器等。
有时被称为健身跟踪器的用于锻炼跟踪的可佩戴装置提供了一种测量活动的方式，其具有在室内和室外工作而无需固定安装的额外优点。这种可佩戴装置可以包括具有被配置成收集传感器数据的一个或更多个传感器的传感器布置。通常，该传感器布置包括一个或更多个加速度计，该加速度计被配置成通过感测加速度来检测移动。可佩戴装置还可以包括或者可连接至被配置成基于传感器数据来确定所标识的锻炼活动的逻辑。这可以涉及对传感器数据执行移动跟踪器模型，以确定锻炼活动。通常，在无线装置上运行模型加速了处理，并且避免了例如装置到云的往返将引起的等待时间问题。另外，它自然地通过不在网络上向任何其它处理单元发送个人信息来最小化对隐私问题的关注。在加速度计数据的情况下，装置上的处理通过不在网络上传递大量数据来避免功率和带宽问题。
然而，一个缺点是在可佩戴物上运行的模型需要依赖于传感器数据(诸如加速度计数据)，并且可能需要用于活动识别和用于学习新类型的锻炼活动的校准。
发明内容
目的是至少部分地克服现有技术的一个或更多个局限性。另一目的是，提供一种便于对用于锻炼跟踪的可佩戴装置进行配置的技术，特别是用于改进活动类型识别。
根据第一方面，提供一种对用于锻炼跟踪的可佩戴装置进行配置的设备，该设备包括：
数据存储单元，该数据存储单元用于存储由可佩戴装置中的传感器布置基于所感测到的该可佩戴装置的移动而生成的传感器数据，以及从基于图像的监测系统获得的包括个体的表现(representation)的光学移动数据；以及
处理单元，该处理单元被配置成：
对传感器数据执行移动跟踪器模型，以确定第一锻炼活动和关联的第一置信度指标；
对光学移动数据执行光学跟踪器模型，以确定第二锻炼活动和关联的第二置信度指标；
基于第一置信度指标和第二置信度指标来处理移动跟踪器模型。
根据第二方面，提供了一种对用于锻炼跟踪的可佩戴装置进行配置的方法，所述方法包括以下步骤：
接收由可佩戴装置中的传感器布置基于所感测到的该可佩戴装置的移动而生成的传感器数据；
通过对传感器数据运行移动跟踪器模型，来确定第一锻炼活动和关联的第一置信度指标；
与传感器布置获得传感器数据并发地，从检测个体的表现的基于图像的监测系统获得光学移动数据；
通过对光学移动数据运行光学跟踪器模型，来确定第二锻炼活动和关联的第二置信度指标；
基于第一置信度指标和第二置信度指标来处理移动跟踪器模型。
根据第三方面，提供了一种用于锻炼跟踪的可佩戴装置，该可佩戴装置包括：
传感器布置，该传感器布置被配置成，基于所感测到的可佩戴装置的移动来生成传感器数据；
数据存储单元，该数据存储单元用于存储传感器数据和移动跟踪器模型；
无线收发器单元；以及
处理单元，该处理单元被配置成，对传感器数据执行移动跟踪器模型，以确定锻炼活动；
其中，该处理单元还被配置成，控制无线收发器单元：
向对用于锻炼跟踪的可佩戴装置进行配置的设备发送移动跟踪器模型；
向所述设备发送传感器数据；
从所述设备接收经处理的移动跟踪器模型数据，经处理的移动跟踪器模型数据是基于与传感器布置获得传感器数据并发地，来自检测个体的表现的基于图像的监测系统的光学移动数据的；并且
其中，该处理单元还被配置成：
基于经处理的移动跟踪器模型数据，来更新数据存储单元中的移动跟踪器模型。
根据第四方面，提供了一种对用于锻炼跟踪的可佩戴装置进行配置的系统，所述系统包括：
基于图像的监测系统，该基于图像的监测系统被配置成，生成个体在健身房环境中的表现的时间系列，其中，该表现中的各个表现皆限定个体的姿态，并且包括该个体的多个预定特征点在坐标系中的位置；以及根据第一方面的设备。
根据下面的详细描述、根据所附权利要求以及根据附图，可以呈现其它的目的、以及特征、方面和技术效果。
附图说明
下面，将参照所附示意性附图，对实施方式进行更详细描述。
图1示意性地例示了执行锻炼活动的用户，同时携带被配置用于锻炼跟踪的可佩戴装置。
图2A示意性地例示了根据一个示例的被配置成用于锻炼跟踪的可佩戴装置。
图2B例示了图2A的可佩戴装置的功能部件。
图3示意性地例示了对用于锻炼跟踪的可佩戴装置进行配置的系统，该系统包括基于图像的监测系统，从该监测系统取得光学移动数据，以确定对可佩戴装置中的移动跟踪器模型的重新训练。
图4示意性地描绘了基于来自图像监测系统的输入的执行锻炼的个体2D的人类表现。
图5例示了被包括在被配置成4的设备中的功能块，示意性地例示了电子装置的示例，该电子设备被设置成对用于锻炼跟踪的可佩戴装置进行配置。
图6示出了包括在根据所提出的解决方案的各种实施方式的设备中执行的对用于锻炼跟踪的可佩戴装置进行配置的方法中所包括的各种步骤的流程图。
图7示出了包括在根据所提出的解决方案的各种实施方式的可佩戴装置中执行的对用于锻炼跟踪的可佩戴装置进行配置的方法中所包括的各种步骤的流程图。
具体实施方式
现在，在下文中参照附图，对实施方式进行行更全面描述，其中，示出了一些而非全部实施方式。实际上，本公开的主题可以按许多不同的形式来具体实施，并且不应被视为对本文所阐述的实施方式进行限制；相反地，提供这些实施方式，以使本公开可以满足可应用法定需求。
而且，应理解，在可能的情况下，本文所描述和/或设想的实施方式中的任何实施方式的优点、特征、功能、装置和/或可操作方面中的任一者均可以被包括在本文所描述和/或设想的其它实施方式中的任何其它实施方式中，反之亦然。另外，在可能的情况下，除非另外明确地规定，否则本文按单数形式表达的任何术语意指也包括多数形式，反之亦然。如本文所使用的，“至少一个”应当意指“一个或更多个”并且这些短语可互换。因此，即使本文还使用了短语“一个或更多个”或者“至少一个”，术语“一(a)”和/或“一(an)”也应当意指“至少一个”或者“一个或更多个”。如本文所使用的，术语“多(multiple)”、“复数的(plural)”以及“多个(plurality)”旨在暗示提供两个或更多个条目，而条目的“集合”旨在暗示提供一个或更多个条目。术语“和/或”包括多个关联列出条目中的一个或更多个条目的任一和全部组合。如本文所使用的，除上下文因明确的语言或必要的含义而另有要求之外，单词“包括”或诸如“包括(comprises)”或“包含(comprising)”之类的变体以包含的意义加以使用，就是说，指定存在规定特征，但不排除在各种实施方式中存在或添加另一些特征。术语“计算”及其派生词是以其常规含义使用的，并且可以被视为涉及例如通过使用计算机来执行涉及一个或更多个数学运算的计算，以生成结果。
而且应理解，尽管在本文中可以将术语第一、第二等用于描述各个要素，但是这些要素不应受限于这些术语。这些术语仅被用于区别一个要素与另一要素。例如，在不脱离本公开的范围的情况下，第一要素可以被称作第二要素，并且类似地，第二要素可以被称作第一要素。为简短和/或清楚起见，公知功能或构造可能未详细描述。除非另有定义，否则本文所使用的所有术语(包括技术和科学术语)具有和本公开所属于的技术领域的普通技术人员所共同理解的含义相同的含义。贯穿全文，相同的数字指代相同的要素。
所提出的解决方案涉及使用并入了用于确定锻炼活动的模型的可佩戴装置来实现或改进跟踪锻炼活动的能力。
图1示意性地例示了携带(或佩戴)可佩戴装置10的用户1。在图中，用户1进行锻炼活动(例如，所谓的跳跃运动)，其中，可佩戴装置10被配置成感测移动并生成移动数据。
图2A示意性地例示了可佩戴装置10的示例。在该示例中，可佩戴装置10包括电子单元11，该电子单元设置有用于将可佩戴装置10连接至用户1的连接器构件12，该连接器构件12形成被配置为佩戴在手腕上的臂带或手环12。可是，应注意，当在此讨论可佩戴装置10时，连接器构件12可以不是臂带，并因此另选地或者另外，可以包括用于附接至衣服或身体部分的夹子，或者并入一件外衣、带子、鞋等中。连接器构件12的另选布置是合理的。
图2B例示了可佩戴装置10的实施方式的功能部件。可佩戴装置10包括逻辑电路110，该逻辑电路被配置成控制可佩戴装置10的操作，包括存储和处理传感器数据以确定锻炼活动。逻辑电路110可以包括处理装置111，该处理装置包括：一个或多个处理器、微处理器、数据处理器、协处理器、和/或解释和/或执行指令和/或数据的某一其它类型的组件。可以将处理装置111实现为硬件(例如，微处理器等)或者硬件和软件的组合(例如，芯片上系统(SoC)、专用集成电路(ASIC)等)。可以将处理装置111配置成，基于操作系统和/或各种应用或程序来执行一个或多个操作。
逻辑电路110还可以包括存储器存储装置112，该存储器存储装置可以包括一个或多个存储器和/或一个或多个其它类型的存储介质。例如，存储器存储装置112可以包括：随机存取存储器(RAM)、动态随机存取存储器(DRAM)、高速缓冲存储器、只读存储器(ROM)、可编程只读存储器(PROM)、闪存和/或某一其它类型的存储器。
将存储器存储装置112配置为保存可以由处理装置111执行的计算机程序代码，其中，逻辑电路110被配置成，对可佩戴装置10进行控制以执行如本文所提供的任何方法步骤。由所述计算机程序代码定义的软件可以包括提供功能和/或处理的应用或程序。该软件可以包括：装置固件、操作系统(OS)、或者可以在逻辑电路110中执行的多种应用。
可佩戴装置10还包括传感器布置113，该传感器布置被配置成感测可佩戴装置10的移动。传感器布置113可以包括一个或更多个加速度计、陀螺仪单元、惯性测量单元等。这种类型的传感器布置是众所周知的，并且本文未再详细描述。不过，可以注意到，传感器布置113被配置成，基于其例如由佩戴可佩戴装置10的用户1引起的移动，来生成传感器数据，诸如加速度计数据。传感器数据可以包括一系列传感器值以及涉及何时检测该传感器值的关联的时间戳，该时间戳可以使用例如在逻辑电路110中或者在传感器布置113本身中提供的本地时钟单元来取得。各个传感器值皆可以包括与相对于可佩戴装置10的局部坐标系的幅度水平和移动方向相关的向量数据。
可佩戴装置10还包括数据存储单元114，该数据存储单元被配置成保存由传感器布置113生成的传感器数据。数据存储单元114还被配置成，存储可由逻辑电路110的处理器11执行的移动跟踪器模型。移动跟踪器模型可以包括实现机器学习算法的计算机代码和指令，该机器学习算法被配置成将传感器数据作为输入以确定锻炼活动。这可以涉及基于传感器值和关联的时间戳来标识一系列移动，并且使该系列移动与多个预先存储的锻炼移动模式相关，以标识锻炼活动。
移动跟踪器模型可以包括机器学习算法，该机器学习算法被配置成，获取传感器数据(诸如加速度计和陀螺仪数据)，并且将这样的连续数据划分成某些长度的段。而且，机器学习算法可以使用诸如去噪、结构或统计变换的任何处理来预处理或变换传感器数据。机器学习算法可以使用一个或更多个经训练的模型，来推断对应于一段传感器数据的锻炼活动。机器学习模型可以是任何类型，例如包括随机森林(Random Forest)、支持向量机、或深度神经网络。
可佩戴装置10还包括无线收发器单元11，该无线收发器单元可以包括多个不同的信号收发器(诸如无线电收发器)，该无线收发器单元用于与系统的各种实体(诸如将描述的适于配置可佩戴装置10的设备20)并且可能与无线电通信网络通信。无线收发器单元11因此可以包括用于通过至少一个空中接口进行通信的无线电接收器和发送器。作为示例，无线收发器单元11可以包括一个或更多个短距装置(诸如蓝牙低能量(BLE)装置、无线局域网(WLAN)收发器)，并且可能包括广域网(WAN)收发器(例如用于蜂窝网络中的通信)。
可佩戴装置10还包括电源(未示出)，例如电池。可选地，可佩戴装置10还可以包括用户接口(诸如显示器和/或音频接口)，该用户接口用于允许用户1操作可佩戴装置10。
由于多种原因，使用可佩戴装置10中的移动跟踪器模型来进行锻炼活动的适当确定可能是有挑战性的。首先，可佩戴装置10将仅检测在传感器布置113上引起的移动，并因此仅检测用户1的连接可佩戴装置的部分。可是，可以注意到，在各种实施方式中，传感器布置113可以包括多个分布式传感器单元，这些分布式传感器单元可连接至用户的不同部分，诸如以所提及的备选方案中的一个以上来配置：臂带、外衣、带子、鞋等。不过，用户移动可能是复杂的，并且另外，几种类型的不同锻炼活动可能产生类似的传感器数据。
所提出的解决方案在配置无线装置以正确标识锻炼活动的领域中提供了改进。广泛地说，这是通过与收集传感器数据并发地从另一输入数据源取得输入来处理移动跟踪器模型以改进其确定锻炼活动(即，标识锻炼活动的类型)的能力而获得的。具体地，将从基于图像的监测系统获得的包括用户1的表现的光学移动数据用于进行所执行的锻炼活动的附加标识，该光学移动数据与基于传感器数据确定的锻炼活动相关。根据锻炼活动的这些至少两个不同的确定，可以更新或重新训练移动跟踪器模型。
图3示意性地例示了根据一个示例的可与所提出的解决方案结合使用的基于图像的监测系统30，该布置30被配置成获得光学输入以生成光学移动数据。该布置30包括一个或更多个图像捕获装置31(诸如数字摄像机)，该图像捕获装置被配置成，捕获具有关联的时间戳的一系列图像。在各种实施方式中，将基于图像的监测系统30建立成监测健身房环境，诸如一个或更多个用户可以在其中进行身体活动的区域35。将控制系统32配置成，从所述一个或更多个图像捕获装置31取得图像数据的输入，以及标识区域3(下文中称为健身房环境)中的人类表现，并且跟踪人类表现的移动。健身房环境35可以是房间、一系列房间、房间的一部分、或者室外区域。为了简单起见，将控制系统32在图中标识为单个部件。可是，应注意，控制系统32可以完全或部分地与系统的其它部件(诸如一个或更多个图像捕获装置31)共享资源。另选地或者另外，控制系统32可以采用云布置中的共享的逻辑。
将基于图像的监测系统30配置成，检测健身房环境35中对象的存在，以及将对象标识为人。通过对使用所述一个或更多个图像捕获装置31捕获的图像数据进行图像检测和处理，可以标识所检测到的对象的各个关键点。例如基于关键点的形状、大小、相关的移动，以及其它可识别的图案，可以将检测到的对象表征为人类个体。可以将被检测到并表征为人类个体的对象的组合的关键点称为人的表现。
存在基于图像数据、特别是基于包括具有关联的时间戳的图像的时间系列的光学移动数据来确定人的表现的各种方式。在至少某些示例中，由单个图像捕捉装置31获得的图像数据的单个时间系列可能是足够的，这意味着对来自单个图像捕捉装置31的光学移动数据的处理可以被用于标识锻炼活动。根据复杂性，或者不同锻炼活动之间的相似性，多个图像捕获装置31可以有用于改进从多个图像(诸如反复的静止图像或视频流)恢复对象的位置和姿态的性能。
在继续描述所提出的解决方案的附加特征和功能之前，将讨论基于图像的监测系统30的示例的各个方面的一般呈现。作为参考，申请人自己的申请SE 2150238-0和SE2150257-0提供了对基于图像的监测以确定人的姿态和位置的更广泛的描述，包括如何将所收集的图像数据指派给特定用户。这些申请的内容通过引用并入于此。
本领域已知的一种解决方案是使用具有重叠视场20的多个摄像机31，其中，摄像机31的位置和取向是以合理的准确度已知的，例如通过安装期间的测量。在工作中，3D定位和姿态确定典型地包括两个阶段：处理来自多个摄像机31的单独视频流以检测对象和相应对象的关键点；以及处理所述检测，以标识不同视图中同一对象的检测之间的对应关系，并且基于检测之间的对应关系以及可选地基于时间信息来计算相应对象的位置和/或姿态。有几种已建立的技术用于以良好的性能执行第一阶段，例如，通过使用卷积神经网络。
如本文所使用的，“关键点”具有其在计算机视觉领域中的常规含义，并且也被称为关注点(interest point)。关键点是图像中的空间位置或点，其定义了图像中什么是所关注的或者什么是突出的，并且可以被定义为对于图像旋转、收缩、平移、畸变等是不变的。更一般地，可以将关键点表示为图像中的待检测对象上的“参考点”，并且该参考点在对象上具有预定的放置。可以为特定类型的对象定义关键点，例如，人体、人体的一部分、或者具有已知结构或构型的无生命对象。在人体的示例中，关键点可以标识一个或更多个关节和/或四肢。关键点可通过使用任何现有特征检测算法来检测，例如，可操作以检测数字图像中的边缘、拐角、斑点、脊等中的一者或一者以上的图像处理技术。特征检测算法的非限制性示例包括：SIFT(尺度不变特征变换)、SURF(加速鲁棒特征)、FAST(来自加速段测试的特征)、SUSAN(最小单值段同化核)、Harris仿射区域检测器、以及ORB(定向FAST和旋转BRIEF)。关于常规关键点检测器的进一步的信息可在Tuytelaars等人发表于Found.Trends.Comput.Graph.Vis.3(3),177–280(2007)的文章“Local invariantfeature detectors:a survey”中找到。特征检测算法的进一步的示例可在Xiao等人于2018年发表于ECCV的文章“Simple Baselines for Human Pose Estimation andTracking”以及Sun等人与2019年发表于CVPR的文章“Deep High-ResolutionRepresentation Learning for Human Pose Estimation”中找到。对应地，可以通过使用任何现有的对象检测算法在图像中检测对象。非限制性示例包括各种基于机器学习的方法或基于深度学习的方法，诸如Viola-Jones对象检测框架、SIFT、HOG(方向梯度的直方图)、区域建议(RCNN、Fast-RCNN、Faster-RCNN)、SSD(单镜头多框检测器)、仅看一次(You OnlyLook Once)(YOLO、YOLO9000、YOLOv3)、以及RefineDet(用于对象检测的单镜头细化神经网络)。
如本文所使用的，“姿态”定义了人类对象的姿态，并且包括可以表示关键点的位置集合。所述位置可以是例如在图像坐标系中的二维(2D)位置，从而产生2D姿态；或者可以是例如在场景坐标系中的三维(3D)位置，从而产生3D姿态。人类对象的姿态在本文中也被称为“骨架”。
图4例示了由摄像机31从特定视角拍摄的示例2D图像401。图像101包括个体1的2D表现403。2D表现403描绘了从所述视角看到的个体的“2D姿态”。2D姿态是由通过2D链路405连接的预定特征点(即，关键点404)来限定的。各个关键点的位置是由图像/摄像机的局部坐标系402中的2D坐标(x'、y')给出的。如上所提到的，用于检测关键点的许多已建立的技术是可用的。
可以在控制系统32中并入和执行机器学习光学跟踪器模型，以基于光学移动数据来标识锻炼活动。在一些示例中，这包括确定具有被标识为移动的连续时间戳的一系列姿态。基于光学移动数据的锻炼活动的标识可以涉及通过与锻炼活动相关的活动识别(诸如对重复、重量、距离等进行检测和计数)，来确定多个预定的或学得的活动锻炼中的一个活动锻炼。这可以涉及将所确定的锻炼活动标识和标记为多个先前存储或学得的活动(诸如步行、跑步、跳跃运动、俯卧撑、波比跳(burpees)等)中的一个活动。根据由光学跟踪器模型给出的推断输出来确定置信度，以生成包括所识别的锻炼活动的标签以及概率得分的输出。
根据本文所提出的解决方案，可佩戴装置10中的锻炼活动确定(包括识别和计数或测量)是通过以下方式来改进的：并发地利用基于传感器数据使用可佩戴装置的模型的锻炼活动确定，和基于光学移动数据使用基于图像的监测系统30的锻炼活动确定来进行比较分析。
图5例示了对用于锻炼跟踪的可佩戴装置10进行配置以及执行所概述的方法步骤的设备20的示例。
设备20包括逻辑210，该逻辑被配置成控制设备20的各种处理步骤和实体，包括与其它部件进行通信。逻辑210可以包括处理装置211，包括：一个或多个处理器、微处理器、数据处理器、协处理器、和/或解释和/或执行指令和/或数据的某一其它类型的组件。可以将处理装置211实现为硬件(例如，微处理器等)或者硬件和软件的组合(例如，芯片上系统(SoC)、专用集成电路(ASIC)等)。可以将处理装置211配置成，基于操作系统和/或各种应用或程序来执行一个或多个操作。
逻辑210还可以包括存储器存储装置212，该存储器存储装置可以包括一个或多个存储器和/或一个或多个其它类型的存储介质。例如，存储器存储装置212可以包括：随机存取存储器(RAM)、动态随机存取存储器(DRAM)、高速缓冲存储器、只读存储器(ROM)、可编程只读存储器(PROM)、闪存和/或某一其它类型的存储器。存储器存储装置312可以包括：硬盘(例如，磁盘、光盘、磁光盘、固态盘等)。
将存储器存储装置212配置为保存可以由处理装置211执行的计算机程序代码，其中，将逻辑210配置成，对设备20进行控制以执行如本文所提供的任何方法步骤。由所述计算机程序代码定义的软件可以包括提供功能和/或处理的应用或程序。该软件可以包括：装置固件、操作系统(OS)、或者可以在逻辑210中执行的多种应用。
设备20还包括数据存储单元213，该数据存储单元被配置成，存储由基于图像的监测系统30生成的光学移动数据。该数据存储单元213还被配置成存储光学跟踪器模型。光学跟踪器模型可以包括实现机器学习算法的计算机代码和指令，该机器学习算法被配置成将光学移动数据作为输入以确定锻炼活动。这可以涉及基于所确定的姿态和关联的时间戳来标识一系列移动，并且使该系列姿态与多个预先存储的锻炼移动模式相关，以标识锻炼活动。
可以将机器学习算法配置成，使用机器学习模型的流水线来确定锻炼活动。这可以涉及标识人的关键点、确定人的姿态和关联的时间戳、以及根据一系列人的姿态估计锻炼活动。另选地，可以将机器学习算法配置成，使用单个端到端机器学习模型来联合地确定关键点检测、人的姿态估计、以及锻炼活动。
设备20还包括通信接口214，该通信接口用于与至少基于图像的监测系统30通信，并且还可能与用于与可佩戴装置10进行通信的外部收发器单元21通信。另选地，设备20包括无线收发器215，该无线收发器被配置为与可佩戴装置10通信。与可佩戴装置10的通信可以通过无线链路36来完成，如图3所示。通信接口214还可以提供到外部通信源(诸如互联网)的连接，以向用于保存锻炼数据的服务器(未示出)传送数据。
设备20还包括电源(未示出)，例如，电池或电源连接器。可选地，设备20还可以包括用户接口(诸如显示器和/或音频接口)，该用户接口用于允许操作者配置设备20。
可以注意到，设备20的各种部件可以与基于图像的监测系统30，特别是控制系统32共享资源，诸如逻辑和/或存储器。在各种实施方式中，设备20形成基于图像的监测系统30的部分。
图6例示了示出被包括在根据所提出的解决方案的方法的不同示例中的各个步骤的流程图，该方法由对用于锻炼跟踪的可佩戴装置10进行配置的设备20来执行。
根据一个方面，所述方法包括以下步骤：
接收615由可佩戴装置中的传感器布置113基于所感测到的可佩戴装置10的移动而生成的传感器数据；
通过对传感器数据运行移动跟踪器模型，来确定620第一锻炼活动和关联的第一置信度指标；
与传感器布置获得传感器数据并发地，从检测个体1的表现的基于图像的监测系统30获得625光学移动数据；
通过对光学移动数据运行光学跟踪器模型，来确定630第二锻炼活动和关联的第二置信度指标；
基于第一置信度指标和第二置信度指标来处理640移动跟踪器模型。
所提出的解决方案通过从基于图像的监测系统30取得输入以增强对移动跟踪器模型的训练，来改进可佩戴装置10的功能。这样，将移动跟踪器模型配置成，增强其正确标识各种锻炼活动的能力，由此改进了仅使用可佩戴装置10的例如用于在训练app中进行登记的进一步锻炼活动收集。具体地，与利用可佩戴装置10收集传感器数据并发地，通过使用在健身房环境35中利用基于图像的监测系统收集的光学数据，该方法可以在受监督的锻炼期(exercise session)期间执行。这样，可以教导用户1以预期的方式进行锻炼，这进一步增加了在稍后阶段正确地模仿锻炼活动并且仅使用可佩戴装置10中的经训练的移动跟踪器模型来标识锻炼活动的机会。
现在，将参考附图，特别是图6，更详细地描述所提出的解决方案的示例场景。可是，应注意，该示例的各种步骤和特征不限于这种特定情形，更确切地，呈现该特定情形以便提供容易理解的上下文。
在步骤600中，用户1进入健身房设施，同时携带可佩戴装置10。可佩戴装置10连接至健身房设施的监测系统，该监测系统包括覆盖健身房区域35的基于图像的监测系统30。连接可以例如使用可佩戴装置10的无线收发器115与设备20的无线收发器215、21之间的诸如NFC的短距通信，通过点击注册来触发。另选地，一旦可佩戴装置10处于与设备20的通信距离内，该连接就可以由可佩戴装置经由诸如BLE或WiFi的另一无线介质自动连接来触发。在又一另选例中，用户1可能被要求主动触发连接，例如。通过可佩戴装置10上或者被连接至设备20的用户界面(未示出)上的UI输入。
一旦连接，可佩戴装置就将其移动跟踪器模型从本地存储器114上传605至设备20，以存储在数据存储单元213中。这可以通过无线链路36来获得。
在一些示例中，训练期的开始(在该训练期期间，要通过来自光学移动数据的输入对移动跟踪器模型进行训练)可以由做出特定姿态的用户1发起和触发，该特定姿态是由可佩戴装置10和基于图像的监测系统30两者来检测610的。这可以被基于图像的监测系统30用来正确地标识健身房区域35中的人的表现403或骨架，从可佩戴装置10的传感器布置113获得的数据将被处理成人的表现或骨架。
在步骤615中，传感器布置113收集由可佩戴装置10的移动产生的移动数据(例如，加速度计数据)，并将该移动数据发送给设备20。在一些示例中，将可佩戴装置10配置成，在锻炼期期间通过无线链路36将传感器数据流传输至设备。另选地，在锻炼期终止之后收集并上传传感器数据。
在步骤620中，设备20对所接收的传感器数据运行移动跟踪器模型，以确定第一锻炼活动和关联的第一置信度指标。确定第一锻炼活动可以包括检测和标识第一活动类型，以及对一个或更多个活动(例如，该活动类型内的重复)进行计数。
在步骤625中，与传感器布置113收集传感器数据并发地，基于图像的监测系统的至少一个摄像机31收集图像的时间系列。
在步骤630中，在基于图像的监测系统30中或者在设备20中执行视觉活动识别、检测以及计数。这可以涉及确定光学移动数据，包括标识与所标识的关键点和相关姿态相关联的数据的时间系列。通过对光学移动数据运行光学跟踪器模型，确定第二锻炼活动和关联的第二置信度指标。
在步骤635中，在可佩戴装置10未与设备同步以通过公共时钟信号进行操作的情况下，将所接收的传感器数据与由基于图像的监测系统30和移动跟踪器模型两者检测到的活动对准。这可以涉及使传感器数据的第一时间戳数据与光学移动数据的第二时间戳数据对准，以获得所确定的第一锻炼活动与所确定的第二锻炼活动之间的时间对准的相关性。
在步骤640中，将设备配置成，基于第一置信度指标和第二置信度指标来处理移动跟踪器模型。在一些实施方式中，这涉及基于第一置信度指标与第二置信度指标之间的比较，来重新训练移动跟踪器模型。
根据一个方面，在锻炼期的其中以基于图像的活动识别为基础的光学跟踪器模型在活动确定中被标识为比移动跟踪器模型更有信心的部分中，可以将这样的部分用于重新训练移动跟踪器模型。
根据基于光学移动数据的基于图像的锻炼活动确定以及基于传感器数据的锻炼活动确定两者所给出的推断输出来确定置信度。各个置信度确定的输出(即，置信度指标)可以包括标识所识别的活动的标签以及概率得分。在一些示例中，较高的置信度可以与较高的概率得分相关或者由较高的概率得分来限定。
因此，处理跟踪器模型可以包括：响应于第二锻炼活动不同于第一锻炼活动，基于所述传感器数据，对跟踪器模型重新训练，以标识第二锻炼活动。
根据一个示例，如果移动跟踪器模型比光学跟踪器模型更有信心，则不进行重新训练。因此，处理步骤640可以包括：将第一置信度指标与第二置信度指标进行比较，其中，响应于第二置信度指标指示比第一置信度指标高的置信度，来执行对所踪器模型的重新训练。
在各种实施方式中，将来自基于图像的监测系统30的输入置于光学移动模型上比将传感器数据作为输入置于移动跟踪器模型上具有更高的可信度(trust)。其理由在于，基于图像的监测系统30被配置成检测和识别基本上整个个体1的活动，而可佩戴装置10仅从个体用户1的单个部分或视图部分的移动中取得输入。在这样的示例中，可以将该设备配置成，使得如果从光学移动模型获得的置信度指标满足或超过某个值，则即使由移动跟踪器模型获得的置信度指标较高，该设备也将重新训练移动跟踪器模型。作为示例，假设移动跟踪器模型以95％的概率得分标识“拳击(boxing)”的标签，而光学跟踪器模型以90％的概率得分标识“跑步”的标签。如果概率得分90％超过预定阈值85％，则在移动跟踪器模型的确定中所收集和使用的传感器数据将被用于重新训练移动跟踪器模型，以便标识跑步。
因此，在一些实施方式中，处理步骤640可以包括：将第一置信度指标与第二置信度指标进行比较，其中，响应于第二置信度指标指示比第一置信度指标高或者比预先存储的置信度指标高的置信度，来执行对跟踪器模型的重新训练。
因此，处理移动跟踪器模型可以包括重新训练。这可以包括使用增量学习、使用所接收的传感器数据和从光学跟踪器模型获得的推断、运行基于图像的活动识别来进行更新。
在训练期结束时，例如在衣帽间区域，至少当移动跟踪器模型已被重新训练时，设备20将模型上传至可佩戴装置。由此，该方法可以包括以下步骤：将经处理的移动跟踪器模型下载645至可佩戴装置。在该上下文中，可以注意到，在一个示例中，可以将可佩戴装置10的处理单元111配置成，基于所接收645的经处理的移动跟踪器模型数据，来更新数据存储单元中的移动跟踪器模型。另选地，经处理的移动跟踪器模型数据可以包括所发送的移动跟踪器模型的经更新版本。
图7示意性地例示了根据所提出的解决方案的一个方面的可由可佩戴装置10执行的各个步骤。
在步骤700中，可佩戴装置的处理单元111向对用于锻炼跟踪的可佩戴装置进行配置的设备20发送移动跟踪器模型。
在步骤705中，处理单元111通过使用无线收发器115将传感器数据发送给该设备，该传感器数据是由被配置成感测可佩戴装置的移动的传感器布置113生成的。
在步骤710中，可佩戴装置从该设备接收710经处理的移动跟踪器模型数据，该经处理的移动跟踪器模型数据是基于与传感器布置获得传感器数据并发地，来自检测个体的表现的基于图像的监测系统的光学移动数据的。
在步骤715中，将处理单元111配置成，基于经处理的移动跟踪器模型数据，来更新可佩戴装置10的数据存储单元中的移动跟踪器模型。经处理的移动跟踪器模型数据可以是供处理单元111用来重新配置移动跟踪器模型的数据。另选地，经处理的移动跟踪器模型数据可以包括所发送的移动跟踪器模型的经更新版本。
在前述内容中，已经参照附图(包括各种示例和另选实施方式)描述了所提出的解决方案。所提出的解决方案提供了通过以支持的基于图像的监测系统为基础的适配来改进可佩戴装置中的锻炼活动确定的技术效果。
所提出的解决方案的一个有益方面是，多个健身房(具有相应的区域35)可以参与重新训练可佩戴装置10的更好模型。所提出的解决方案为可佩戴装置10(即，其移动跟踪器模型)提供了方便地学习新活动的方式。由于使用功能更强大的视觉(光学)活动识别系统的有监督学习，所提出的解决方案还允许改进的活动识别。而且，移动跟踪器模型的繁重重新训练被卸载到了电源支持设备(power-supplied device)，即，设备20。
所提出的解决方案可以采取如本文所提供的并且如所附权利要求中概述的任何形状或形式。

Claims (19)

1.一种对用于锻炼跟踪的可佩戴装置(10)进行配置的设备(20)，所述设备包括：
数据存储单元(213)，所述数据存储单元用于存储由所述可佩戴装置中的传感器布置基于所感测到的所述可佩戴装置的移动而生成的传感器数据、以及从基于图像的监测系统(30)获得的包括个体的表现的光学移动数据；以及
处理单元(211)，所述处理单元被配置成：
对所述传感器数据执行移动跟踪器模型，以确定第一锻炼活动和关联的第一置信度指标；
对所述光学移动数据执行光学跟踪器模型，以确定第二锻炼活动和关联的第二置信度指标；
基于所述第一置信度指标和所述第二置信度指标来处理所述移动跟踪器模型。
2.根据权利要求1所述的设备，所述设备包括：
无线通信单元(214、215)，所述无线通信单元用于从所述可佩戴装置接收所述传感器数据和所述移动跟踪器模型。
3.根据权利要求2所述的设备，其中，所述处理单元被配置成使用所述无线通信单元向所述可佩戴装置发送经处理的移动跟踪器模型数据。
4.根据权利要求1所述的设备，所述设备包括：
数据输入单元(214)，所述数据输入单元用于获得所述光学移动数据。
5.根据权利要求1所述的设备，其中，所述处理单元被配置成：
使所述传感器数据的第一时间戳数据与所述光学移动数据的第二时间戳数据对准，以获得所确定的第一锻炼活动与所确定的第二锻炼活动之间的时间对准的相关性。
6.根据权利要求1所述的设备，其中，所述处理单元被配置成：
响应于所述第二锻炼活动不同于所述第一锻炼活动，基于所述传感器数据，对所述跟踪器模型重新训练，以标识所述第二锻炼活动。
7.根据权利要求6所述的设备，其中，所述处理单元被配置成：
将所述第一置信度指标与所述第二置信度指标进行比较；并且
响应于所述第二置信度指标指示比所述第一置信度指标高的置信度，对所述跟踪器模型重新训练。
8.根据权利要求6所述的设备，其中，所述处理单元被配置成：
将所述第一置信度指标与所述第二置信度指标进行比较；并且
响应于所述第二置信度指标指示比所述第一置信度指标高或者比预先存储的置信度指标高的置信度，对所述跟踪器模型重新训练。
9.根据权利要求1所述的设备，其中，各个置信度指标包括概率得分。
10.一种对用于锻炼跟踪的可佩戴装置进行配置的方法，所述方法包括以下步骤：
接收(615)由所述可佩戴装置中的传感器布置基于所感测到的所述可佩戴装置的移动而生成的传感器数据；
通过对所述传感器数据运行移动跟踪器模型，来确定(620)第一锻炼活动和关联的第一置信度指标；
与所述传感器布置获得所述传感器数据并发地，从检测个体的表现的基于图像的监测系统获得(625)光学移动数据；
通过对所述光学移动数据运行光学跟踪器模型，来确定(630)第二锻炼活动和关联的第二置信度指标；
基于所述第一置信度指标和所述第二置信度指标来处理(640)所述移动跟踪器模型。
11.根据权利要求10所述的方法，所述方法包括以下步骤：
通过从所述可佩戴装置上传而在设备中接收(605)所述移动跟踪器模型，其中，所述移动跟踪器模型和所述光学跟踪器模型是在所述设备中运行的。
12.根据权利要求11所述的方法，所述方法包括以下步骤：
将经处理的移动跟踪器模型下载(645)至所述可佩戴装置。
13.根据权利要求10所述的方法，所述方法包括以下步骤：
使所述传感器数据的第一时间戳数据与所述光学移动数据的第二时间戳数据对准(635)，以获得所确定的第一锻炼活动与所确定的第二锻炼活动之间的时间对准的相关性。
14.根据权利要求10所述的方法，其中，处理所述跟踪器模型的步骤包括：
响应于所述第二锻炼活动不同于所述第一锻炼活动，基于所述传感器数据，对所述跟踪器模型重新训练，以标识所述第二锻炼活动。
15.根据权利要求14所述的方法，其中，处理所述跟踪器模型的步骤包括：
将所述第一置信度指标与所述第二置信度指标进行比较；
其中，响应于所述第二置信度指标指示比所述第一置信度指标高的置信度，来执行对所述跟踪器模型的重新训练。
16.根据权利要求14所述的方法，其中，处理所述跟踪器模型的步骤包括：
将所述第一置信度指标与所述第二置信度指标进行比较；
其中，响应于所述第二置信度指标指示比所述第一置信度指标高或者比预先存储的置信度指标高的置信度，来执行对所述跟踪器模型的重新训练。
17.根据权利要求10所述的方法，其中，各个置信度指标包括概率得分。
18.一种用于锻炼跟踪的可佩戴装置(10)，所述可佩戴装置包括：
传感器布置(113)，所述传感器布置被配置成基于所感测到的所述可佩戴装置的移动来生成传感器数据；
数据存储单元(114)，所述数据存储单元用于存储所述传感器数据和移动跟踪器模型；
无线收发器单元(115)；以及
处理单元(111)，所述处理单元被配置成对所述传感器数据执行所述移动跟踪器模型，以确定锻炼活动；
其中，所述处理单元(111)还被配置成控制所述无线收发器单元：
向对用于锻炼跟踪的所述可佩戴装置进行配置的设备发送所述移动跟踪器模型；
向所述设备发送所述传感器数据；
从所述设备接收经处理的移动跟踪器模型数据，所述经处理的移动跟踪器模型数据是基于与所述传感器布置获得所述传感器数据并发地，来自检测个体的表现的基于图像的监测系统的光学移动数据的；并且
其中，所述处理单元被配置成：
基于所述经处理的移动跟踪器模型数据，来更新所述数据存储单元中的所述移动跟踪器模型。
19.一种对用于锻炼跟踪的可佩戴装置(10)进行配置的系统，所述系统包括：
基于图像的监测系统(30)，所述基于图像的监测系统被配置成生成个体在健身房环境中的表现的时间系列，其中，所述表现中的各个表现限定所述个体的姿态，并且包括所述个体的多个预定特征点在坐标系中的位置；以及
根据权利要求1至9中的任一项所述的设备(20)。
CN202211246254.2A 2021-11-08 2022-10-12 对用于锻炼跟踪的可佩戴装置进行配置的装置和方法 Pending CN116110117A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE2151364 2021-11-08
SE2151364-3 2021-11-08

Publications (1)

Publication Number Publication Date
CN116110117A true CN116110117A (zh) 2023-05-12

Family

ID=83318858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211246254.2A Pending CN116110117A (zh) 2021-11-08 2022-10-12 对用于锻炼跟踪的可佩戴装置进行配置的装置和方法

Country Status (3)

Country Link
US (1) US20230146489A1 (zh)
EP (1) EP4177853A1 (zh)
CN (1) CN116110117A (zh)

Also Published As

Publication number Publication date
US20230146489A1 (en) 2023-05-11
EP4177853A1 (en) 2023-05-10

Similar Documents

Publication Publication Date Title
KR102252269B1 (ko) 수영 분석 시스템 및 방법
Gu et al. Accurate step length estimation for pedestrian dead reckoning localization using stacked autoencoders
US10406399B2 (en) Portable wireless mobile device motion capture data mining system and method
Ustev et al. User, device and orientation independent human activity recognition on mobile phones: Challenges and a proposal
US8903521B2 (en) Motion capture element
US20170230651A1 (en) Intelligent motion capture element
AU2015316575A1 (en) Inertial tracking based determination of the position of a mobile device carried by a user in a geographical area
CA2865338C (en) Intelligent motion capture element
US20160171377A1 (en) Method, device and system for annotated capture of sensor data and crowd modelling of activities
CN113822254B (zh) 一种模型训练方法及相关装置
CN107923740A (zh) 传感器设备、传感器系统以及信息处理设备
Malawski Depth versus inertial sensors in real-time sports analysis: A case study on fencing
TW202314593A (zh) 定位方法及設備、電腦可讀儲存媒體
WO2021129487A1 (zh) 一种用户的肢体节点的位置确定方法、装置、介质及系统
Hoseinitabatabaei et al. Towards a position and orientation independent approach for pervasive observation of user direction with mobile phones
CN114341947A (zh) 用于使用可穿戴设备的锻炼类型辨识的系统和方法
CN116597512A (zh) 基于双流自适应图神经网络的多模态动作识别方法及系统
CN116110117A (zh) 对用于锻炼跟踪的可佩戴装置进行配置的装置和方法
US20220280837A1 (en) System and method for monitoring activity in a gym environment
Kempfle et al. Quaterni-On: Calibration-free Matching of Wearable IMU Data to Joint Estimates of Ambient Cameras
Wang et al. Research on Multiperson Motion Capture System Combining Target Positioning and Inertial Attitude Sensing Technology
Minakov et al. exIMUs: An experimental inertial measurement unit for shock and impact detection in sport applications
Meng et al. Human action classification in basketball: a single inertial sensor based framework
Kumar et al. Zero Velocity Detection Using Foot Mounted Ultra Wide Band for Pedestrian Positioning
Ching et al. Mobile indoor positioning using Wi-Fi localization and image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination