CN117731271A - 对运动数据进行标记以及生成运动评估模型的方法和系统 - Google Patents
对运动数据进行标记以及生成运动评估模型的方法和系统 Download PDFInfo
- Publication number
- CN117731271A CN117731271A CN202211119524.3A CN202211119524A CN117731271A CN 117731271 A CN117731271 A CN 117731271A CN 202211119524 A CN202211119524 A CN 202211119524A CN 117731271 A CN117731271 A CN 117731271A
- Authority
- CN
- China
- Prior art keywords
- data
- motion
- sample
- motion data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 439
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000009471 action Effects 0.000 claims description 46
- 238000003860 storage Methods 0.000 claims description 46
- 238000012549 training Methods 0.000 claims description 43
- 230000000386 athletic effect Effects 0.000 claims description 16
- 230000006378 damage Effects 0.000 claims description 11
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 238000013210 evaluation model Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 127
- 230000000875 corresponding effect Effects 0.000 description 99
- 230000008569 process Effects 0.000 description 28
- 210000004243 sweat Anatomy 0.000 description 23
- 230000004048 modification Effects 0.000 description 19
- 238000012986 modification Methods 0.000 description 19
- 230000000241 respiratory effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 6
- 238000013480 data collection Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000036387 respiratory rate Effects 0.000 description 6
- 208000027418 Wounds and injury Diseases 0.000 description 5
- 230000000747 cardiac effect Effects 0.000 description 5
- 208000014674 injury Diseases 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000003183 myoelectrical effect Effects 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 210000001513 elbow Anatomy 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本说明书实施例提供一种对运动数据进行标记以及生成运动评估模型的方法和系统,其中,对运动数据进行标记的方法包括:获取第一对象的运动数据,所述运动数据包括表征所述第一对象运动状态的数据;获取所述第一对象运动时的影像数据;以及根据所述影像数据,对所述运动数据进行标记。
Description
技术领域
本说明书涉及人工智能技术领域,特别涉及一种对运动数据进行标记以及生成运动评估模型的方法和系统。
背景技术
随着人们对身体健康以及科学运动的关注,运动监控设备正在极力发展。目前已有一些设备(例如手表、手环等)能够识别简单的日常运动行为(如跑步、走路、简单的球类运动等),这些设备识别出动作类型后能够给出简易的动作统计参数(如跑步速度、走路步数、击球次数等),且一般是一长段时间后给出反馈的。但是,目前上述设备暂时无法判断用户的运动动作或运动方式正确与否,尤其无法给用户实时的反馈。
由于错误的运动不仅达不到想要的健身效果,而且还可能会对人体造成伤害,因此,有必要研究一种能够实时识别用户运动错误并帮助用户纠正错误,从而确保用户科学运动的运动评估方法。
发明内容
本说明书实施例提供一种对运动数据进行标记的方法,所述方法包括:获取第一对象的运动数据,所述运动数据包括表征所述第一对象运动状态的数据;获取所述第一对象运动时的影像数据;以及根据所述影像数据,对所述运动数据进行标记。
本说明书实施例还提供一种生成运动评估模型的方法,所述方法包括:获取训练样本集,所述训练样本集包括多组样本运动数据,每组样本运动数据包括表征第一对象运动状态的样本数据;获取每组样本运动数据对应的标签,所述标签包括所述样本运动数据对应的标签时间和标签内容;以及基于所述训练样本集和所述标签训练初始模型,获得运动评估模型,所述运动评估模型用于评估运动数据。
本说明书实施例还提供一种对运动数据进行标记的系统,所述系统包括:第一获取模块,用于获取第一对象的运动数据,所述运动数据包括表征所述第一对象运动状态的数据;第二获取模块,用于获取所述第一对象运动时的影像数据;以及标记模块,用于根据所述影像数据,对所述运动数据进行标记。
本说明书实施例还提供一种生成运动评估模型的系统,所述系统包括:第三获取模块,用于获取训练样本集,所述训练样本集包括多组样本运动数据,每组样本运动数据包括表征第一对象运动状态的样本数据;第四获取模块,用于获取每组样本运动数据对应的标签,所述标签包括所述样本运动数据对应的标签时间和标签内容;以及训练模块,用于基于所述训练样本集和所述标签训练初始模型,获得运动评估模型,所述运动评估模型用于评估运动数据。
本说明书实施例还提供一种计算机可读存储介质,所述存储介质包括可执行指令,当由至少一个处理器执行时,所述可执行指令可以使所述至少一个处理器执行本说明书所述的对运动数据进行标记的方法或生成运动评估模型的方法。
附加的特征将在下面的描述中部分地阐述,并且对于本领域技术人员来说,通过查阅以下内容和附图将变得显而易见,或者可以通过实例的产生或操作来了解。本说明书的特征可以通过实践或使用以下详细实例中阐述的方法、工具和组合的各个方面来实现和获得。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的对运动数据进行标记的系统的示意图;
图2是根据本说明书一些实施例所示的对运动数据进行标记的装置的模块示意图;
图3是根据本说明书一些实施例所示的对运动数据进行标记的方法的流程示意图;
图4是根据本说明书一些实施例所示的基于标记后的影像数据中的标签对运动数据进行标记的方法的流程示意图;
图5是根据本说明书一些实施例所示的标记界面的示意图;
图6是根据本说明书一些实施例所示的同步运动数据和影像数据的方法的流程示意图;
图7是根据本说明书一些实施例所示的生成运动评估模型的装置的模块示意图;
图8是根据本说明书一些实施例所示的生成运动评估模型的方法的流程示意图;
图9是根据本说明书一些实施例所示的更新运动评估模型的方法的流程示意图。
具体实施方式
为了更清楚地说明本说明书的实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其他类似情景。应当理解,给出这些示例性实施例仅仅是为了使相关领域的技术人员能够更好地理解进而实现本说明书,而并非以任何方式限制本说明书的范围。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”。
在本说明书的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中,“多个”的含义是至少两个,例如两个、三个等,除非另有明确具体的限定。
在运动健身领域,大多数常见的健身动作错误类型超过50种,即使是运动模式比较单一的跑步运动,常见的错误类型也超过30种。在一些实施例中,可以通过运动评估模型对用户的运动数据进行处理,从而识别出用户动作的错误类型。但是,想要通过模型准确地识别出用户动作的错误类型,需要大量的训练样本数据,该训练样本数据包括用户的运动数据以及其对应的标记(例如,错误类型)。由于错误类型繁多、复杂,所采用的运动数据及其标记将直接影响运动评估模型的评估效果。
由此,本说明书实施例提供一种对运动数据进行标记的方法及生成运动评估模型的方法。下面结合附图对本说明书实施例提供的对运动数据进行标记的方法及生成运动评估模型的方法进行详细说明。
图1是根据本说明书一些实施例所示的对运动数据进行标记的系统的示意图。
参照图1,在一些实施例中,对运动数据进行标记的系统100(后文简称系统100)可以包括运动数据采集装置110、影像采集设备120、存储设备130、处理设备140、终端设备150以及网络160。系统100中的各个部件可以以多种方式相连接。例如,运动数据采集装置110和/或影像采集设备120可以与存储设备130和/或处理设备140通过网络160连接,也可以与存储设备130和/或处理设备140直接连接。又例如,存储设备130可以与处理设备140直接连接或通过网络160连接。又例如,终端设备150可以与存储设备130和/或处理设备140通过网络160连接,也可以与存储设备130和/或处理设备140直接连接。
运动数据采集装置110可以对目标对象114(或称为第一对象)进行运动数据采集。所述运动数据可以指目标对象114(例如,健身学员)在运动过程中所产生的信号。示例性的运动数据可以包括姿态信号、肌电信号、力学信号、心电信号、呼吸信号、汗液信号等。在一些实施例中,如图1所示,运动数据采集装置110可以包括姿态信号采集装置111,肌电信号采集装置112以及力学信号采集装置113,其中,姿态信号采集装置111可以包括但不限于速度传感器、惯性传感器(例如,加速度传感器、角速度传感器(例如,陀螺仪))、光学传感器(例如,光学距离传感器、视频/图像采集器)、声学距离传感器、拉力传感器等或其任意组合。例如,运动数据采集装置110可以包括多个姿态信号采集装置111,该多个姿态信号采集装置111可以设置在目标对象114的不同部位,或者相对于目标对象114具有不同的采集角度和/或距离。在一些实施例中,肌电信号采集装置112可以包括一个或多个电极。例如,肌电信号采集装置112可以包括多个电极,所述多个电极可以用于与目标对象114的不同部位(例如,胸部、背部、肘部、腿部、腹部、腕部等)贴合,以采集目标对象114不同部位的肌电信号。在一些实施例中,力学信号采集装置113可以包括压力传感器。例如,可以在目标对象114的不同部位设置压力传感器,从而采集不同部位的压力信号。在一些实施例中,还可以基于姿态信号和肌电信号计算得到目标对象的力学信号。在一些实施例中,运动数据采集装置110还可以包括心电信号传感器、呼吸信号传感器、汗液信号传感器(图1中未示出)等。例如,心电信号采集装置可以包括多个电极,所述多个电极可以用于与目标对象114的不同部位贴合,以采集目标对象114的心电信号。再例如,呼吸信号传感器可以包括呼吸频率传感器、流量传感器等,分别用于检测目标对象114在运动过程中的呼吸频率、气体流量等数据。又例如,汗液信号传感器可以包括与目标对象114的皮肤接触的多个电极,用于检测目标对象114的汗液流量、分析汗液成分等。在一些实施例中,运动数据采集装置110可以具有独立的电源,其可以通过有线或无线(例如蓝牙、WiFi等)的方式将采集的数据发送给系统100中的其他部件(例如,存储设备130、处理设备140、终端设备150)。
影像采集设备120可以采集目标对象114在运动过程中的影像数据。在一些实施例中,影像采集设备120可以包括照相机、摄像机、监视器、生物识别装置等或其任任意组合。在一些实施例中,影像采集设备120可以持续采集目标对象114在运动过程中的影像,或者间歇性地(包括周期性地或非周期性地)采集目标对象114在运动过程中的影像。在一些实施例中,影像采集设备120采集的影像可以基于采集时间与运动数据采集装置110采集的运动数据进行匹配。在一些实施例中,影像采集设备120可以从一个或多个视角对目标对象114进行影像采集,例如,可以包括前方、后方、左方、右方、左前方、左后方、右前方、右后方以及上方中的一个或多个视角。在一些实施例中,影像采集设备120的采集频率可以与运动数据采集装置110的采集频率相同或不同。
在一些实施例中,运动数据采集装置110和影像采集设备120可以通过网络160将其采集的目标对象114的运动数据和影像数据发送至存储设备130和处理设备140等。在一些实施例中,可以通过处理设备140对运动数据采集装置110所采集的运动数据和影像采集设备120采集的影像数据进行处理,以根据影像数据对运动数据进行标记。在一些实施例中,影像数据可以包括其对应的标签,该标签可以包括标签时间和标签内容(例如,错误类型),处理设备140可以结合该影像数据对应的标签对运动数据采集装置110所采集的运动数据进行标记。在一些实施例中,影像采集设备120可以通过网络160将其采集的目标对象114的影像数据发送至终端设备150。在一些实施例中,所述影像数据所对应的标签可以基于第二对象在终端设备150上的标记操作得到。
网络160可以促进信息和/或数据的交换。网络160可以包括能够促进系统100的信息和/或数据交换的任何合适的网络。在一些实施例中,系统100的至少一个组件(例如,运动数据采集装置110、影像采集设备120、存储设备130、处理设备140、终端设备150)可以通过网络160与系统100中至少一个其他组件交换信息和/或数据。例如,处理设备140可以通过网络160从运动数据采集装置110和/或存储设备130获取目标对象114运动过程中的运动数据。又例如,终端设备150可以通过网络160从影像采集设备120和/或存储设备130获取目标对象114运动过程中的影像数据。又例如,处理设备140可以通过网络160从终端设备150获得第二对象的操作指令(例如,第二对象可以对影像采集设备120采集的影像数据进行标记,得到影像数据所对应的标签)。
在一些实施例中,网络160可以为任意形式的有线或无线网络,或其任意组合。仅作为示例,网络160可以包括缆线网络、有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共开关电话网络(PSTN)、蓝牙网络、ZigBee网络、近场通讯(NFC)网络等或其任意组合。在一些实施例中,网络160可以包括至少一个网络接入点。例如,网络160可以包括有线和/或无线网络接入点,例如基站和/或互联网交换点,系统100的至少一个组件可以通过接入点连接到网络160以交换数据和/或信息。
存储设备130可以储存数据、指令和/或任何其他信息。在一些实施例中,存储设备130可以存储从运动数据采集装置110、影像采集设备120、处理设备140和/或终端设备150获得的数据。例如,存储设备130可以存储运动数据采集装置110采集的运动数据和/或影像采集设备120采集的影像数据。在一些实施例中,存储设备130可以存储处理设备140用来执行或使用以完成本说明书中描述的示例性方法的数据和/或指令。在一些实施例中,存储设备130可以包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。在一些实施例中,存储设备130可以在云平台上实现。仅作为示例,所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
在一些实施例中,存储设备130可以连接到网络160以与系统100中的至少一个其他组件(例如,运动数据采集装置110、影像采集设备120、处理设备140、终端设备150)通信。系统100中的至少一个组件可以通过网络160访问存储设备130中存储的数据、指令或其他信息。在一些实施例中,存储设备130可以与系统100中的一个或以上组件(例如,运动数据采集装置110、影像采集设备120、终端设备150)直接连接或通信。在一些实施例中,存储设备130可以是运动数据采集装置110、影像采集设备120和/或处理设备140的一部分。
处理设备140可以处理从运动数据采集装置110、影像采集设备120、存储设备130、终端设备150和/或系统100的其他组件获得数据和/或信息。在一些实施例中,处理设备140可以从运动数据采集装置110、存储设备130或终端设备150中任意一者或多者处获得目标对象114的运动数据,并结合影像数据对该运动数据进行标记。在一些实施例中,处理设备140还可以获取多组样本运动数据及其标签,并基于多组样本运动数据及其标签训练初始模型,获得运动评估模型。在一些实施例中,处理设备140可以从存储设备130获取预先存储的计算机指令,并执行该计算机指令以实现本说明书所描述的对运动数据进行标记和/或模型训练的方法。
在一些实施例中,处理设备140可以是单一服务器或服务器组。服务器组可以是集中式的或分布式的。在一些实施例中,处理设备140可以是本地或远程的。例如,处理设备140可以通过网络160从运动数据采集装置110、影像采集设备120、存储设备130和/或终端设备150访问信息和/或数据。又例如,处理设备140可以直接连接到运动数据采集装置110、影像采集设备120、存储设备130和/或终端设备150以访问信息和/或数据。在一些实施例中,处理设备140可以在云平台上实现。例如,云平台可以包括私有云、公共云、混合云、社区云、分布式云、云间云、多云等或其任意组合。
终端设备150可以接收、发送和/或显示数据。所述接收的数据可以包括运动数据采集装置110采集的数据、影像采集设备120采集的数据、存储设备130存储的数据、处理设备140对运动数据采集装置110采集的运动数据的标记数据等。例如,终端设备150接收和/或显示的数据可以包括运动数据采集装置110采集的运动数据、影像采集设备120采集的影像数据、第二对象对影像采集设备120采集的影像数据标记的标签、处理设备140对运动数据采集装置110采集的运动数据标记的标签等。所述发送的数据可以包括第二对象(例如,健身教练)的输入数据或指令(例如,健身教练对影像采集设备120采集的影像数据标记的标签)等。
在一些实施例中,终端设备150可以包括移动设备141、平板计算机142、膝上型计算机143等或其任意组合。例如,移动设备141可以包括移动电话、个人数字助理(PDA)、医用移动终端等或其任意组合。在一些实施例中,终端设备150可以包括输入设备(如键盘、触摸屏)、输出设备(如显示器、扬声器)等。在一些实施例中,处理设备140可以是终端设备150的一部分。在一些实施例中,运动数据采集装置110、影像采集设备120也可以是终端设备150的一部分。例如,终端设备150可以作为影像采集设备,用于采集目标对象114运动过程中的影像数据。
应当注意的是,上述有关系统100的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对系统100进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。
图2是根据本说明书一些实施例所示的对运动数据进行标记的装置的模块示意图。在一些实施例中,图2所示的对运动数据进行标记的装置200(后文简称装置200)可以以软件和/或硬件的方式应用到图1所示的系统100,例如,可以以软件和/或硬件的形式配置到处理设备140和/或终端设备150,以用于对运动数据采集装置110所采集的运动数据进行标记。
参照图2,在一些实施例中,装置200可以包括第一获取模块210、第二获取模块220以及标记模块230。
第一获取模块210可以用于获取目标对象114的运动数据。例如,第一获取模块210可以从运动数据采集装置110、存储设备130或终端设备150中的任意一者或多者处获取运动数据。在一些实施例中,该运动数据可以用于表征待评估对象的运动状态,其可以包括姿态信号、肌电信号、力学信号、心电信号、呼吸信号、汗液信号等或其任意组合。其中,姿态信号可以包括各关节的角度、速度、加速度,或者人体各部位的欧拉角、角速度、角加速度等信息。肌电信号可以指通过电极等肌电采集装置从人体采集的用于反映人体肌电情况的生理信号。力学信号可以指目标对象114关节部位处对应的受力或运动器材检测到的受力。在一些实施例中,力学信号可以通过力学传感器得到。例如,所述力学传感器可以包括压力传感器,可以基于所述压力传感器获取目标对象114上不同部位的压力信号作为目标对象114的力学信号。在一些实施例中,力学信号可以基于姿态信号和肌电信号计算得到。心电信号可以指用于表示目标对象114的心脏活动情况的信号。在一些实施例中,可以通过心电信号采集装置采集心电信号。呼吸信号可以指用于表示目标对象114的呼吸情况的信号。在一些实施例中,可以通过呼吸信号采集装置采集呼吸信号。例如,呼吸信号采集装置可以包括呼吸频率传感器、流量传感器等,分别用于检测目标对象114在运动过程中的呼吸频率、气体流量等数据。汗液信号可以指用于表示目标对象114的出汗情况的信号。在一些实施例中,可以通过汗液信号采集装置采集汗液信号。例如,汗液信号采集装置可以包括与目标对象114的皮肤接触的多个电极,用于检测目标对象114的汗液流量或分析汗液成分等。
第二获取模块220可以用于获取目标对象114运动过程中的影像数据。在一些实施例中,影像数据可以是影像采集设备120在目标对象114运动的过程中采集的图像或视频。例如,影像数据可以是影像采集设备120在目标对象114运动的过程中持续采集得到的视频。再例如,影像数据可以是影像采集设备120在目标对象114运动的过程中间歇性地(例如,周期性地或非周期性地)采集得到的图像。在一些实施例中,影像数据可以从一个或多个视角采集得到,例如,示例性的视角可以包括前方、后方、左方、右方、左前方、左后方、右前方、右后方以及上方中的一个或多个。在一些实施例中,影像数据还可以包括三维动画数据或模型动图。所述三维动画数据或模型动图可以基于多个视角采集的图像或视频重建得到,或者,可以基于与目标对象114连接或贴合的一个或多个传感器采集的传感器数据计算得到。
标记模块230可以用于根据第二获取模块220获取的影像数据,对第一获取模块210获取的运动数据进行标记。示例性地,在一些实施例中,可以对影像数据进行标记,获取影像数据对应的标签,所述标签可以包括标签时间和标签内容(例如,影像数据中体现出来的目标对象的动作错误类型、错误时间等),标记模块230可以根据该影像数据中的标签时间匹配对应的运动数据,然后根据该标签内容对其匹配的运动数据进行标记。
关于上述各个模块的更多细节可以参照本说明书的其他位置(例如,图3-图6部分及其相关论述),此处不再对其进行赘述。
应当理解,图2所示的装置200及其模块可以利用各种方式来实现。例如,在一些实施例中,系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中,硬件部分可以利用专用逻辑来实现;软件部分则可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用例如由各种类型的处理器所执行的软件实现,还可以由上述硬件电路和软件的结合(例如,固件)来实现。
需要注意的是,上述关于装置200的描述仅出于说明性目的而提供,并不旨在限制本说明书的范围。可以理解,对于本领域的技术人员来说,可以根据本说明书的描述,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。例如,图2中披露的第一获取模块210、第二获取模块220以及标记模块230可以是一个系统中的不同模块,也可以是一个模块实现上述的两个或两个以上模块的功能。例如,第一获取模块210、第二获取模块220可以是两个模块,也可以是一个模块同时具有不同的数据获取功能。再例如,装置200还可以包括标签修改模块,该标签修改模块还可以基于运动数据修改其对应的影像数据的标签。再例如,各个模块可以共用一个存储模块,各个模块也可以分别具有各自的存储模块。诸如此类的变形,均在本说明书的保护范围之内。
图3是根据本说明书一些实施例所示的对运动数据进行标记的方法的流程示意图。在一些实施例中,流程300可以通过处理逻辑来执行,该处理逻辑可以包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(运行在处理设备上以执行硬件模拟的指令)等或其任意组合。在一些实施例中,图3所示的流程300中的一个或多个操作可以通过图1所示的处理设备140和/或终端设备150实现。例如,流程300可以以指令的形式存储在存储设备130中,并由处理设备140和/或终端设备150执行调用和/或执行。下文以处理设备140为例描述流程300的执行过程。
参照图3,在一些实施例中,对运动数据进行标记的方法的流程300可以包括:
步骤310,获取第一对象的运动数据。在一些实施例中,步骤310可以由第一获取模块210执行。
在一些实施例中,运动数据可以指目标对象(或称为第一对象)在运动过程中所产生的信号,所述运动数据可以用于表征目标对象的运动状态。示例性的运动数据可以包括肌电信号、姿态信号、力学信号、心电信号、呼吸信号、汗液信号中的任意一种或其组合。在一些实施例中,肌电信号可以用于表征目标对象的当前运动的技术准确性(例如,肌肉募集顺序)和损伤风险(如,疲劳程度)。在一些实施例中,可以通过与目标对象贴合的一个或多个电极采集得到肌电信号。例如,可以将多个电极与目标对象的不同部位(例如,胸部、背部、肘部、腿部、腹部、腕部等)贴合,以采集目标对象不同部位的肌电信号。
姿态信号可以包括各关节角度、速度、加速度,或者各人体部位的欧拉角、角速度、角加速度等信息。在一些实施例中,姿态信号也可以用于表征目标对象的当前运动的技术准确性(例如,关节角度、发力顺序等)和损伤风险(例如,肩峰撞击)。在一些实施例中,可以通过姿态信号采集装置(例如,图1所示的姿态信号采集装置111)采集姿态信号。示例性的姿态信号采集装置可以包括速度传感器、惯性传感器(例如,加速度传感器、角速度传感器(例如陀螺仪)等)、光学传感器(例如,光学距离传感器、视频/图像采集器)、声学距离传感器等或其任意组合。
力学信号可以指目标对象关节部位处对应的受力或运动器材检测到的受力,其可以用于表征损伤风险(例如,脚踝处压力、膝盖处压力等)。在一些实施例中,力学信号可以通过力学传感器得到。例如,所述力学传感器可以包括压力传感器,可以基于所述压力传感器获取目标对象上不同部位的压力信号作为目标对象的力学信号。在一些实施例中,力学信号可以基于姿态信号和肌电信号计算得到。
心电信号可以指用于表示目标对象的心脏活动情况的信号。在一些实施例中,可以通过心电信号采集装置采集心电信号。例如,心电信号采集装置可以包括多个电极,所述多个电极可以用于与待评估对象的不同部位贴合,以采集待评估对象的心电信号。呼吸信号可以指用于表示目标对象的呼吸情况的信号。在一些实施例中,可以通过呼吸信号采集装置采集呼吸信号。例如,呼吸信号采集装置可以包括呼吸频率传感器、流量传感器等,分别用于检测目标对象在运动过程中的呼吸频率、气体流量等数据。汗液信号可以指用于表示目标对象的出汗情况的信号。在一些实施例中,可以通过汗液信号采集装置采集汗液信号。例如,汗液信号采集装置可以包括与目标对象的皮肤接触的多个电极,用于检测目标对象的汗液流量或分析汗液成分等。
在一些实施例中,处理设备140可以直接从运动数据采集装置(例如,运动数据采集装置110)获取运动数据。在一些实施例中,运动数据可以存储在存储设备(例如,存储设备130)中,处理设备140可以从存储设备获取运动数据。
步骤320,获取所述第一对象运动时的影像数据。在一些实施例中,步骤320可以由第二获取模块220执行。
在一些实施例中,处理设备140可以获取目标对象运动时的影像数据。在一些实施例中,处理设备140可以直接从影像采集设备(例如,影像采集设备120)获取影像数据。在一些实施例中,该影像数据可以由影像采集设备采集,并存储在存储设备130中,处理设备140可以从存储设备130获取影像数据。在一些实施例中,该影像数据可以包括目标对象运动时的视频数据、三维动画数据或模型动图中的任意一种。例如,处理设备140可以获取影像采集设备基于多个视角采集的目标对象的视频,将其直接作为目标对象的影像数据,或者基于所述视频重建得到三维动画数据或模型动图。再例如,处理设备140可以获取与目标对象连接或贴合的一个或多个传感器(例如,惯性传感器、姿态传感器、超声传感器等)采集的传感器数据,并基于所述传感器数据计算得到三维动画数据或模型动图。
在一些实施例中,影像数据可以通过采集时间或数据特征与运动数据进行匹配。例如,当运动数据采集装置110采集的运动数据与影像采集设备120采集的影像数据具有相同的采集时间时,可以表示该运动数据和影像数据对应于目标对象的同一运动过程,可以将二者进行匹配或关联。又例如,当影像数据中的某一个数据(或一段数据)与运动数据中的某一个数据(或一段数据)对应于同一个动作时,也可以将二者进行匹配或关联。
步骤330,根据所述影像数据,对所述运动数据进行标记。在一些实施例中,步骤330可以由标记模块230执行。
在一些实施例中,处理设备140可以根据影像数据对运动数据进行标记。在一些实施例中,处理设备140可以先向第二对象(例如,健身教练)发送该影像数据,例如,可以将该影像数据发送至第二对象的终端设备150。第二对象接收到该影像数据后,可以判断该影像数据中目标对象的运动动作是否存在错误,若存在,则可以通过终端设备150输入该影像数据所对应的标签。进一步地,处理设备140可以获取第二对象标记后的影像数据并提取标记后的影像数据中的标签,从而可以基于影像数据中的标签对运动数据进行标记。关于根据影像数据对运动数据进行标记的更多说明可以参照本说明书的其他位置(例如,图4-图6部分及其相关描述),此处不再赘述。
在一些实施例中,标记后的运动数据和标记后的影像数据可以存储在存储设备130中。例如,标记后的运动数据和标记后的影像数据可以存储在云平台,第二对象可以通过终端设备150以及网络160从云平台获取并查看标记后的运动数据和/或标记后的影像数据。
在一些实施例中,处理设备140或第二对象还可以对标记后的影像数据中的标签进行修改。例如,当第二对象查看标记后的运动数据和/或标记后的影像数据时发现其对应的标签存在错误,可以通过终端设备150输入修改后的标签以替换原始标签。在一些实施例中,还可以基于运动数据修改其对应的影像数据的标签。例如,在一个第二对象对影像数据进行标记后,处理设备140可以向另一第二对象发送标记后的影像数据及其对应的运动数据。所述另一第二对象可以通过终端设备查看标记后的影像数据及其对应的运动数据。仅作为示例,标记后的影像数据可以与其对应的运动数据在所述另一第二对象的终端设备上对照显示。所述另一第二对象可以基于所显示的运动数据判断第二对象标记后的影像数据中的标签是否准确。如果标记后的影像数据中的标签不准确,所述另一第二对象可以对标记后的影像数据中标签进行修改。进一步地,处理设备140可以获取所述另一第二对象修改后的标签作为影像数据对应的标签。所述影像数据对应的标签也可以作为运动数据对应的标签。
应当注意的是,上述有关流程300的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对流程300进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。
图4是根据本说明书一些实施例所示的基于标记后的影像数据中的标签对运动数据进行标记的方法的流程示意图。在一些实施例中,流程400可以通过处理逻辑来执行,该处理逻辑可以包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(运行在处理设备上以执行硬件模拟的指令)等或其任意组合。在一些实施例中,图4所示的流程400中的一个或多个操作可以通过图1所示的处理设备140和/或终端设备150实现。例如,流程400可以以指令的形式存储在存储设备130中,并由处理设备140和/或终端设备150执行调用和/或执行。在一些实施例中,流程300中的步骤330可以通过流程400来实现。在一些实施例中,流程400可以由标记模块230执行。下文以处理设备140为例描述流程400的执行过程。
参照图4,在一些实施例中,流程400可以包括:
步骤410,向第二对象发送影像数据。
在一些实施例中,处理设备140可以将影像数据发送给第二对象。所述第二对象可以指能够对影像数据进行标记的用户。例如,处理设备140可以将存储在存储设备中的影像数据发送到第二对象的终端设备(例如,终端设备150)。再例如,处理设备140可以将通过运动数据采集装置(例如,运动数据采集装置110)采集的影像数据实时发送到第二对象的终端设备。需要知道的是,本说明书所述的第一对象(或目标对象)和第二对象可以是执行不同操作的不同对象,也可以是执行不同操作的同一对象。例如,第一对象可以是健身学员,第二对象可以是对健身学员的影像数据进行标记的健身教练。再例如,第一对象和第二对象可以均为健身教练,该健身教练可以对其自身的影像数据进行标记。
步骤420,获取所述第二对象标记后的影像数据中的标签。
在一些实施例中,第二对象可以在终端设备上查看影像数据并对影像数据进行标记。例如,第二对象可以在终端设备的应用程序上查看影像数据,所述应用程序的界面上可以包括输入组件(例如,文本输入框、下拉菜单、选择按钮等),第二对象可以通过输入组件输入和/或选择输入影像数据的标签,从而对影像数据进行标记。进一步地,处理设备140可以获取标记后的影像数据中的标签。
在一些实施例中,影像数据中的标签可以包括标签时间和标签内容。标签时间可以包括目标对象的动作错误时间,例如错误开始时间和错误结束时间等。标签内容可以包括目标对象的动作类型、目标部位以及错误类型中的至少一个。在一些实施例中,目标部位可以指目标对象存在动作错误的部位。在一些实施例中,错误类型可以包括损伤错误、代偿错误、效率错误、对称性错误等中的至少一个。损伤错误可以指该运动错误可能会对人体造成损伤。代偿错误可以指使用非目标部位(例如,目标锻炼肌肉)辅助发力的错误。效率错误可以指以一定的动作模式做动作时,动作范围过大或过小,使目标部位处于非最佳激活程度。对称性错误可以指人体上两个对称(例如,两侧对称、前后对称)部位发力不平衡的情况。在一些实施例中,错误类型还可以包括具体错误内容。例如,在不同动作类型中,损伤错误的具体错误内容不同。仅作为示例,在高位下拉动作中,目标部位可以包括大臂,损伤错误的具体错误内容可以包括内旋角度大于预设角度阈值等。在一些实施例中,与错误类型相关的标签内容可以包括错误类型以及具体错误内容。在一些实施例中,在与错误类型相关的标签内容中,还可以由具体错误内容代替错误类型。例如,与错误类型相关的标签内容可以是“损伤错误-内旋角度大于预设角度阈值”,也可以是“内旋角度大于预设角度阈值”。在一些实施例中,第二对象还可以对于影像数据中正确的动作进行标记,生成与正确的动作对应的标签。相应地,标签时间可以包括目标对象的正确动作时间,例如正确动作的开始时间和结束时间等。标签内容可以包括目标对象的动作类型、目标部位以及正确动作的标识(例如,表示动作正确的文字、符号等)等中的至少一个。
在一些实施例中,标签内容可以按照预设规则排列。例如,动作类型、目标部位以及错误类型可以分别作为一级标签、二级标签和三级标签,所述一到三级标签可以在标签内容中依次排列。在一些实施例中,标签内容中动作类型、目标部位以及错误类型中的一个或多个可以相互替代或任意组合。例如,动作类型中可以包括目标部位和/或运动过程中使用的运动器械,因此可以用目标部位和/或运动过程中使用的运动器械替代动作类型。
仅作为示例,图5是根据本说明书一些实施例所示的标记界面的示意图。如图5所示,第二对象的终端设备的应用程序界面上可以包括影像数据显示组件510以及输入组件520。影像数据显示组件510可以用于显示影像数据(例如,视频数据),输入组件520可以用于输入与影像数据对应的标签。例如,影像数据的下方可以包括与影像数据的播放时间对应的进度条511,第二对象在可以通过操作(例如,点击、滑动等)进度条511选择错误开始时间和错误结束时间,并在输入组件520中输入标签内容。例如,如图5所示,输入组件520可以包括下拉菜单521,第二对象可以通过下拉菜单521选择标签内容。在一些实施例中,下拉菜单还可以包括与标签内容对应的多个层级,例如,一级菜单可以包括动作类型,二级菜单可以包括目标部位,三级菜单可以包括错误类型等。第二对象可以分别在每个层级的下拉菜单中进行选择。在一些实施例中,第二对象还可以自定义标签内容。再例如,输入组件520可以包括输入框522。第二对象可以在输入框522中输入标签关键词以搜索下拉菜单中的相关标签或者直接在输入框522中输入标签内容。在一些实施例中,第二对象输入的标签内容还可以在界面中显示。例如,如图5所示,第二对象输入的标签内容可以显示在界面顶部。需要知道的是,图5所示的标记界面仅仅是为了示例和说明,并不旨在限制本说明书的范围。在一些实施例中,还可以通过其他的一个或多个方式对影像数据进行标记。例如,可以通过动作识别或运动评估程序或模型处理所述影像数据,从而生成标签时间和/或标签内容的推荐信息并显示给第二对象,第二对象可以选择或修改推荐信息。再例如,第二对象还可以通过语音、脑电等方式输入标签时间和/或标签内容。
步骤430,基于所述标签对运动数据进行标记。
在一些实施例中,处理设备140可以获取标记后的影像数据中的标签,并基于该标签对运动数据进行标记。在一些实施例中,为了避免由于运动数据与影像数据不同步而导致影像数据中的标签与运动数据不匹配,处理设备140还可以将运动数据和影像数据进行同步,进一步地,基于同步后的运动数据和影像数据,处理设备140可以基于标签对运动数据进行标记。例如,处理设备140可以将影像数据中的标签作为运动数据的标签,其中,可以基于影像数据中的标签时间确定运动数据的标签时间,并将影像数据中的标签内容作为该标签时间处的运动数据的标签内容。
在一些实施例中,运动数据和影像数据可以包括对应的采集时间戳,处理设备140可以基于该时间戳对该运动数据和影像数据进行同步。在一些实施例中,为了避免由于运动数据采集装置110与影像采集设备120系统时钟不同步而导致数据同步出错,处理设备140可以基于标识动作类型将运动数据和影像数据进行同步。在一些实施例中,处理设备140还可以基于与运动数据采集装置110和影像采集设备120相关的硬件信息将运动数据和影像数据进行同步。关于同步运动数据和影像数据的更多说明可以参照本说明书的其他位置(例如,图6部分及其相关描述),此处不再赘述。
应当注意的是,上述有关流程400的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对流程400进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。
图6是根据本说明书一些实施例所示的同步运动数据和影像数据的方法的流程示意图。在一些实施例中,流程600可以通过处理逻辑来执行,该处理逻辑可以包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(运行在处理设备上以执行硬件模拟的指令)等或其任意组合。在一些实施例中,图6所示的流程600中的一个或多个操作可以通过图1所示的处理设备140和/或终端设备150实现。例如,流程600可以以指令的形式存储在存储设备130中,并由处理设备140和/或终端设备150执行调用和/或执行。在一些实施例中,流程400中的步骤430的至少一部分可以通过流程600来实现。在一些实施例中,流程600可以由标记模块230执行。下文以处理设备140为例描述流程600的执行过程。
参照图6,在一些实施例中,流程600可以包括:
步骤610,确定标识动作类型。
在一些实施例中,为了同步运动数据和影像数据,处理设备140可以确定标识动作类型。所述标识动作类型可以指目标对象开始运动时的开始动作。例如,所述开始动作可以为相对于前一时刻具有较大的运动变化的动作。再例如,所述开始动作可以为预设的特定动作。在一些实施例中,为了便于识别,该标识动作可以与目标对象的运动类型无关,例如,当目标对象的运动类型为跑步时,该标识动作可以为鼓掌、跳跃、张臂等。
步骤620,在影像数据中确定所述标识动作类型对应的第一时间点,在运动数据中确定所述标识动作类型对应的第二时间点。
在一些实施例中,处理设备140可以分别处理影像数据和运动数据,在影像数据中确定该标识动作类型对应的第一时间点,在运动数据中确定该标识动作类型对应的第二时间点。所述第一时间点和第二时间点可以指同一时刻的标识动作分别在影像数据和运动数据中的时间点。在一些实施例中,该第一时间点和第二时间点可以指标识动作在影像数据和运动数据中所对应的时间段的任意时间点(例如,开始时间点、中点、结束时间点等)。
步骤630,基于所述第一时间点和所述第二时间点同步所述运动数据和所述影像数据。
在一些实施例中,处理设备140可以基于该第一时间点和第二时间点对该影像数据和运动数据进行同步。例如,所述第一时间点和第二时间点可以作为影像数据和运动数据中相同时刻的标识,处理设备140可以将影像数据中的第一时间点与运动数据中的第二时间点对应,从而可以对理影像数据和运动数据进行同步。
应当注意的是,上述有关流程600的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对流程600进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。在一些实施例中,运动数据和影像数据可以包括对应的采集时间戳,处理设备140可以基于该时间戳对该运动数据和影像数据进行同步。在一些实施例中,处理设备140还可以基于与运动数据采集装置110和影像采集设备120相关的硬件信息将运动数据和影像数据进行同步。例如,运动数据采集装置110和影像采集设备120可以是集成一体的数据采集系统,处理设备140可以基于与运动数据采集装置110和影像采集设备120相关的硬件信息控制所述数据采集系统同步采集影像数据和运动数据,从而实现影像数据和运动数据的同步。
在一些实施例中,通过上述方法对运动数据进行标记之后,可以将标记后的运动数据作为训练样本,并基于该训练样本对运动评估模型进行训练,进而生成用于对运动数据进行评估的运动评估模型。下面结合图7-图9对本说明书实施例提供的生成运动评估模型的装置及方法进行详细说明。
图7是根据本说明书一些实施例所示的生成运动评估模型的装置的模块示意图。
在一些实施例中,图7所示的生成运动评估模型的装置700(后文简称装置700)可以以软件和/或硬件的方式应用到图1所示的系统100,例如,可以以软件和/或硬件的形式配置到处理设备140和/或终端设备150,以用于生成运动评估模型。参照图7,在一些实施例中,装置700可以包括第三获取模块710、第四获取模块720以及训练模块730。
第三获取模块710可以用于获取训练样本集,该训练样本集可以包括多组样本运动数据,每组样本运动数据可以包括表征第一对象运动状态的样本数据。例如,每组样本运动数据可以包括样本肌电信号、样本姿态信号、样本力学信号、样本心电信号、样本呼吸信号、样本汗液信号等或其任意组合。
第四获取模块720可以用于获取每组样本运动数据对应的标签,该标签可以包括样本运动数据对应的标签时间和标签内容。在一些实施例中,该样本运动数据对应的标签可以通过图3所示的对运动数据进行标记的方法得到。
训练模块730可以用于基于训练样本集和标签训练初始模型,获得运动评估模型,该运动评估模型可以用于评估运动数据。在一些实施例中,该运动评估模型可以是机器学习模型,其可以在利用前述样本运动数据及其对应的标签训练之后具备对运动数据进行评估,并识别出待评估对象的错误类型的能力。
上述关于装置700的描述仅出于说明性目的而提供,并不旨在限制本说明书的范围。可以理解,对于本领域的技术人员来说,可以根据本说明书的描述,可以在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。例如,图7中的第三获取模块710、第四获取模块720以及训练模块730可以是一个系统中的不同模块,也可以是一个模块实现上述的两个或两个以上模块的功能。例如,第三获取模块710、第四获取模块720可以是两个模块,也可以是一个模块同时具有不同的数据获取功能。再例如,装置200和装置700可以是不同装置,也可以是同一装置中具有不同功能的模块的组合。再例如,装置700还可以包括标签修改模块,该标签修改模块还可以基于样本运动数据修改其对应的样本影像数据的标签。诸如此类的变形,均在本说明书的保护范围之内。
图8是根据本说明书一些实施例所示的生成运动评估模型的方法的流程示意图。在一些实施例中,流程800可以通过处理逻辑来执行,该处理逻辑可以包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(运行在处理设备上以执行硬件模拟的指令)等或其任意组合。在一些实施例中,流程800中的一个或多个操作可以通过图1所示的处理设备140和/或终端设备150实现。在一些实施例中,图8所示的流程800可以由单独的模型训练装置执行。下文以处理设备140为例描述流程800的执行过程。
参照图8,在一些实施例中,流程800可以包括:
步骤810,获取训练样本集,所述训练样本集包括多组样本运动数据,每组样本运动数据包括表征第一对象运动状态的样本数据。在一些实施例中,步骤810可以由第三获取模块710执行。
在一些实施例中,样本运动数据可以由运动数据采集装置(例如,图1中的运动数据采集装置110)采集得到。例如,可以通过运动数据采集装置对多个样本对象的运动数据进行采集,生成样本运动数据。在一些实施例中,处理设备140可以从运动数据采集装置和/或存储设备(例如,存储设备130)获取多组样本运动数据,得到训练样本集。在一些实施例中,该训练样本集中的每一组样本运动数据可以包括样本肌电信号、样本姿态信号、样本力学信号、样本心电信号、样本呼吸信号、样本汗液信号等或其任意组合。
步骤820,获取每组样本运动数据对应的标签,所述标签包括样本运动数据对应的标签时间和标签内容。在一些实施例中,步骤820可以由第四获取模块720执行。
在一些实施例中,处理设备140可以获取与样本运动数据对应的标签。例如,处理设备140可以获取与样本运动数据对应的样本影像数据,然后向第二对象发送该样本影像数据,并获取第二对象对该样本影像数据进行标记后的样本影像数据中的标签,最后基于标记后的样本影像数据中的标签确定样本运动数据对应的标签。其中,与样本运动数据对应的样本影像数据可以指针对目标对象产生该样本运动数据的运动过程采集得到的影像数据,例如,当样本运动数据为目标对象从开始跑步到结束跑步这一过程采集得到的数据时,其对应的样本影像数据可以指目标对象从开始跑步到结束跑步这一过程采集得到的影像数据。
在一些实施例中,样本影像数据可以由影像采集设备(例如,图1中的影像采集设备120)采集,并存储在存储设备130中。在一些实施例中,该样本影像数据可以包括目标对象运动时的视频数据、三维动画数据或模型动图中的任意一种。影像采集设备采集到该样本影像数据之后,可以发送给第二对象(例如,发送至终端设备150),然后由第二对象判断该样本影像数据中目标对象的运动动作是否存在错误,若存在,则可以由第二对象通过终端设备输入该样本影像数据所对应的标签;进一步地,处理设备140可以获取第二对象标记后的样本影像数据中的标签,并基于该标记后的样本影像数据中的标签确定样本运动数据对应的标签。
在一些实施例中,第二对象针对样本影像数据输入的标签可以包括标签时间和标签内容,其中,标签时间可以包括错误开始时间和错误结束时间,标签内容可以包括动作类型、目标部位以及错误类型等中的至少一个。其中,错误类型包括损伤错误、代偿错误、效率错误以及对称性错误等中的至少一个。
在一些实施例中,处理设备140还可以通过标记模型对样本影像数据进行标记,并基于该标记后的样本影像数据中的标签确定样本运动数据对应的标签。所述标记模型可以是机器学习模型。在一些实施例中,训练标记模型时,可以将影像数据进行标记,确定影像数据的标签。所述标签包括标签时间和标签内容。进一步地,可以将标记后的影像数据作为机器学习模型的输入来对机器学习模型进行训练,可以得到标记模型,在该标记模型中输入样本影像数据时可以输出样本影像数据对应的标签。
在一些实施例中,为了基于标记后的样本影像数据中的标签确定样本运动数据对应的标签,处理设备140还可以同步样本运动数据和样本影像数据,并基于同步后的样本运动数据和样本影像数据确定样本运动数据对应的标签。例如,处理设备140可以确定标识动作类型,然后在样本影像数据中确定标识动作类型对应的第一时间点,在样本运动数据中确定标识动作类型对应的第二时间点,以及基于该第一时间点和第二时间点同步样本运动数据和样本影像数据。
在一些实施例中,标记后的样本运动数据和标记后的样本影像数据可以存储在存储设备130中。例如,在一些实施例中,标记后的样本运动数据和标记后的样本影像数据可以存储在云平台,第二对象可以通过终端设备150以及网络160从云平台获取并查看标记后的样本运动数据和/或标记后的样本影像数据。
在一些实施例中,处理设备140或第二对象还可以对该标签进行修改。例如,当第二对象查看标记后的运动数据和/或标记后的影像数据时发现其对应的标签存在错误,可以通过终端设备150输入修改后的标签以替换原始标签。在一些实施例中,还可以基于样本运动数据修改其对应的样本影像数据的标签。
在一些实施例中,步骤820可以与流程300相同或相似。关于基于样本影像数据确定样本运动数据对应的标签的更多说明可以参照本说明书的其他位置(例如图3-图6部分及其相关描述),此处不再赘述。
在一些实施例中,还可以直接基于样本运动数据确定其对应的标签。例如,处理设备140可以将样本运动数据发送至终端设备150,第二对象可以通过终端150查看该样本运动数据,并直接对其进行标记。仅作为示例,存在某种错误类型时,目标部位的样本运动数据可能按照特定的规则呈现。第二对象可以在样本运动数据按照特定的规则呈现时确定样本运动数据对应的标签为该错误类型。在一些实施例中,处理设备140可以获取第二对象标记后的样本运动数据,从而确定每一组样本运动数据对应的标签。
在一些实施例中,考虑到第二对象在对样本运动数据进行标记时可能难以直观地观察出目标对象的运动错误,因此,通过第二对象对样本运动数据的标记以确定每一组样本运动数据对应的标签可能会不够准确,基于此,为了提高该标签的准确性,在一些实施例中,处理设备140还可以基于与样本运动数据对应的样本影像数据对样本运动数据对应的标签进行修改。例如,处理设备140可以将标记后的样本运动数据及其对应的样本影像数据发送给第二对象,第二对象可以通过终端设备查看样本运动数据对应的标签并结合其对应的样本影像数据判断该标签是否准确,若不准确,则第二对象可以修改样本运动数据对应的标签。进一步地,处理设备140可以获取第二对象修改后的标签作为样本运动数据对应的标签。
在一些实施例中,处理设备140还可以通过标记模型对样本运动数据进行标记,获取样本运动数据对应的标签。所述标记模型可以是机器学习模型。在一些实施例中,可以通过训练好的标记模型识别样本影像数据中目标对象的运动错误,并生成相应的标签,第四获取模块720可以获取与样本运动数据对应的样本影像数据,然后基于样本影像数据与样本运动数据之间的对应关系,使用标记模型确定每组样本运动数据对应的标签。
步骤830,基于训练样本集和标签训练初始模型,获得运动评估模型。所述运动评估模型用于评估运动数据。在一些实施例中,步骤830可以由训练模块730执行。
在一些实施例中,处理设备140可以基于训练样本集以及标签对初始模型进行训练,获得用于评估运动数据的运动评估模型。该初始模型可以包括但不限于机器学习模型。在一些实施例中,基于训练样本集和标签训练初始模型,获得运动评估模型的过程可以包括一个或多个迭代,其中,在至少一个当前迭代中,对每组样本运动数据,处理设备140可以使用初始模型生成预测评估结果。例如,处理设备140可以将样本运动数据输入初始模型,生成每组样本运动数据对应的预测评估结果。所述预测评估结果可以包括错误时间和错误内容,所述错误时间可以包括错误开始时间和错误结束时间,所述错误内容可以包括动作类型、目标部位以及错误类型等或其任意组合。进一步地,处理设备140可以将该预测评估结果与对应的标签进行比较,确定损失函数值,该损失函数值可以用于衡量预测评估结果与对应的标签之间的差异。进一步地,处理设备140可以根据该损失函数值判断是否满足终止条件。示例性的终止条件可以包括在当前迭代中获得的损失函数的值小于预设阈值、已执行预设次数的迭代、损失函数值收敛等或其任何组合内。若该损失函数值不满足终止条件,则继续进行迭代,以更新该初始模型的内部参数;反之,若该损失函数值满足终止条件,则结束训练,将当前迭代中的初始模型作为用于评估运动数据的运动评估模型。在一些实施例中,处理设备140可以运动评估模型实时评估运动数据中是否存在运动错误。在一些实施例中,处理设备140还可以在识别出运动错误时在合适的时间(例如,实时、动作结束后、运动结束后等)进行反馈,从而帮助用户纠正运动错误,提高用户运动的效率和安全性,确保用户科学运动。
在一些实施例中,处理设备140还可以基于第三对象反馈数据更新运动评估模型。例如,处理设备140可以获取第三对象反馈的影像数据并获取影像数据对应的标签。进一步地,处理设备140可以获取与影像数据对应的运动数据,所述运动数据包括肌电信号、姿态信号、力学信号、心电信号、呼吸信号、汗液信号等或其任意组合。进一步地,处理设备140可以基于运动数据,使用运动评估模型生成预测评估结果,并基于预测评估结果和影像数据对应的标签更新运动评估模型。需要知道的是,本说明书所述的第一对象、第二对象和第三对象中的至少两个可以是执行不同操作的不同对象,也可以是执行不同操作的同一对象。例如,第一对象可以是用于获取样本运动数据和样本影像数据的健身学员,第二对象可以是对健身学员的样本影像数据进行标记的健身教练,第三对象可以是用于获取反馈数据的其他用户。再例如,第一对象、第二对象和第三对象可以均为健身教练。又例如,第三对象可以是和第一对象不同的用户,从而可以增加运动评估模型生成和更新时所使用数据的多样性,提高运动评估模型的准确性。关于基于反馈数据更新运动评估模型的更多说明可以参照本说明书的其他位置(例如,图9及其相关描述),此处不再赘述。
在一些实施例中,处理设备140可以通过终端设备将影像数据对应的标签显示给第三对象。例如,第三对象(例如,健身学员)反馈的影像数据可以由第二对象(例如,健身教练)进行标记以确定其对应的标签。处理设备140可以从该第二对象的终端设备获取所述标签用于更新运动评估模型,还可以将所述标签或带有标签的影像数据发送给第三对象。第三对象可以在其终端设备上查看所述标签。
在一些实施例中,处理设备140还可以获取与影像数据对应的运动数据,例如,肌电信号、姿态信号、力学信号、心电信号、呼吸信号、汗液信号等或其任意组合,并通过终端设备将运动数据显示给第三对象。例如,处理设备140可以将带有标签的影像数据及其对应的运动数据发送给第三对象,并将带有标签的影像数据及其对应的运动数据对照显示。在一些实施例中,为了便于第三对象直观地查看影像数据对应的标签与其对应的运动数据之间的关系,可以采用统计图表、曲线、动画演示等方式将前述内容(例如第三对象反馈的影像数据对应的标签或带有标签的影像数据、与第三对象反馈的影像数据对应的运动数据等)显示给用户。在一些实施例中,当第三对象的运动动作是否存在错误时,为了便于第三对象纠正其运动错误,处理设备140还可以将正确的动作对应的参考影像数据和/或参考运动数据显示给用户。例如,处理设备140可以将正确的动作对应的参考影像数据和/或参考运动数据与第三对象的错误动作对应的影像数据和/或运动数据对照显示。
应当注意的是,上述有关流程800的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对流程800进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。
图9是根据本说明书一些实施例所示的更新运动评估模型的方法的流程示意图。在一些实施例中,流程900可以通过处理逻辑来执行,该处理逻辑可以包括硬件(例如,电路、专用逻辑、可编程逻辑、微代码等)、软件(运行在处理设备上以执行硬件模拟的指令)等或其任意组合。在一些实施例中,流程900中的一个或多个操作可以通过图1所示的处理设备140和/或终端设备150实现。在一些实施例中,流程900可以由训练模块730执行。在一些实施例中,流程900还可以由单独的模型训练或更新装置执行。下文以处理设备140为例描述流程900的执行过程。
参照图9,在一些实施例中,流程900可以包括:
步骤910,获取第三对象反馈的影像数据。
在一些实施例中,处理设备140可以获取第三对象反馈的影像数据。例如,第三对象可以通过其终端设备采集其健身视频并上传其,处理设备140可以获取该健身视频作为第三对象反馈的影像数据。
步骤920,获取所述影像数据对应的标签。
在一些实施例中,处理设备140可以获取影像数据对应的标签。例如,反馈影像数据的第三对象在反馈前可以对影像数据进行标记,确定该影像数据对应的标签。再例如,处理设备140可以将第三对象(例如,健身学员)反馈的影像数据发送给第二对象(例如,健身教练),该第二对象可以对影像数据进行标记,确定其对应的标签。
步骤930,获取与所述影像数据对应的运动数据。
在一些实施例中,处理设备140可以获取与该影像数据对应的运动数据,所述运动数据可以用于表征所述第三对象的运动状态。例如,处理设备140可以直接从运动数据采集装置(例如,运动数据采集装置110)获取与影像数据对应的运动数据。所述运动数据可以是与影像数据在同一运动过程中采集的数据。
步骤940,基于所述运动数据,使用运动评估模型生成预测评估结果。
在一些实施例中,处理设备140可以将运动数据作为输入,使用运动评估模型生成预测评估结果。在一些实施例中,所述预测评估结果可以包括错误时间和错误内容,所述错误时间可以包括错误开始时间和错误结束时间,所述错误内容可以包括动作类型、目标部位以及错误类型等或其任意组合。
步骤950,基于所述预测评估结果和所述影像数据对应的标签更新运动评估模型。
在一些实施例中,处理设备140可以基于预测评估结果和影像数据对应的标签更新运动评估模型。例如,处理设备140可以将该预测评估结果与影像数据对应的标签进行比较,确定预测评估结果与影像数据对应的标签之间的差值。进一步地,处理设备140可以基于该差值更新该运动评估模型。例如,处理设备140可以基于该差值调整运动评估模型的内部参数。
在一些实施例中,根据流程900所述的方法,通过获取第三对象反馈的数据对运动评估模型进行更新,可以在不需要进行大量的影像数据采集工作以用于模型更新,提高了模型更新的效率。另外,通过第三对象反馈可以获取大量的反馈数据,可以提高更新模型的准确性。
应当注意的是,上述有关流程900的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对流程900进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。
本申说明书实施例可能带来的有益效果包括但不限于:(1)通过本说明书实施例提供的对运动数据进行标记的方法来对运动数据进行标记,可以极大程度地降低运动评估模型训练过程中对训练样本数据进行标记的工作量,从而缩短该模型的训练周期,提高该模型的训练速度;(2)通过标识动作在影像数据中对应的第一时间点和在运动数据中对应的第二时间点对影像数据和运动数据进行同步,可以确保影像数据与运动数据的时间轴的一致性,进而确保对该运动数据进行标记得到的标签的准确性;(3)通过本说明书实施例提供的生成运动评估模型的方法,可以得到基于运动数据进行运动评估的运动评估模型,可以在不采集用户运动时的影像数据的情况下对用户的运动进行评估,提高了运动评估的便利性和可操作性;(4)通过根据用户反馈的影像数据更新运动评估模型,可以进一步更新该模型,从而提高其评估结果的准确性。
需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (15)
1.一种对运动数据进行标记的方法,其特征在于,所述方法包括:
获取第一对象的运动数据,所述运动数据包括表征所述第一对象运动状态的数据;
获取所述第一对象运动时的影像数据;以及
根据所述影像数据,对所述运动数据进行标记。
2.根据权利要求1所述的方法,其特征在于,所述根据所述影像数据,对所述运动数据进行标记,包括:
向第二对象发送所述影像数据;
获取所述第二对象标记后的影像数据中的标签,所述标签包括标签时间和标签内容;以及
基于所述标签对所述运动数据进行标记。
3.根据权利要求2所述的方法,其特征在于,所述基于所述标签对所述运动数据进行标记,包括:
同步所述运动数据和所述影像数据;以及
基于同步后的运动数据和所述影像数据,
根据所述标签对所述运动数据进行标记。
4.根据权利要求3所述的方法,其特征在于,所述同步所述运动数据和所述影像数据,包括:
确定标识动作类型;
在所述影像数据中确定所述标识动作类型对应的第一时间点;
在所述运动数据中确定所述标识动作类型对应的第二时间点;以及
基于所述第一时间点和所述第二时间点同步所述运动数据和所述影像数据。
5.根据权利要求2所述的方法,其特征在于,所述标签时间包括错误开始时间和错误结束时间,其中,所述标签内容包括动作类型、目标部位以及错误类型中的至少一个,所述错误类型包括损伤错误、代偿错误、效率错误以及对称性错误中的至少一个。
6.一种生成运动评估模型的方法,其特征在于,所述方法包括:
获取训练样本集,所述训练样本集包括多组样本运动数据,每组样本运动数据包括表征第一对象运动状态的样本数据;
获取每组样本运动数据对应的标签,所述标签包括所述样本运动数据对应的标签时间和标签内容;以及
基于所述训练样本集和所述标签训练初始模型,获得运动评估模型,所述运动评估模型用于评估运动数据。
7.根据权利要求6所述的方法,其特征在于,所述获取每组样本运动数据对应的标签,包括:
获取与所述样本运动数据对应的样本影像数据;
向第二对象发送所述样本影像数据;
获取所述第二对象标记后的样本影像数据中的标签;以及
基于所述标记后的样本影像数据中的标签确定所述样本运动数据对应的标签。
8.根据权利要求7所述的方法,其特征在于,所述基于所述标记后的样本影像数据中的标签确定所述样本运动数据对应的标签,包括:
同步所述样本运动数据和所述样本影像数据;以及
基于同步后的样本运动数据和样本影像数据确定所述样本运动数据对应的标签。
9.根据权利要求8所述的方法,其特征在于,所述同步所述样本运动数据和所述样本影像数据,包括:
确定标识动作类型;
在所述样本影像数据中确定所述标识动作类型对应的第一时间点;
在所述样本运动数据中确定所述标识动作类型对应的第二时间点;以及
基于所述第一时间点和所述第二时间点同步所述样本运动数据和所述样本影像数据。
10.根据权利要求6所述的方法,其特征在于,所述获取每组样本运动数据对应的标签,包括:
获取第二对象标记后的所述样本运动数据;以及
基于所述标记后的运动数据确定所述每组样本运动数据对应的标签。
11.根据权利要求10所述的方法,其特征在于,所述获取每组样本运动数据对应的标签,还包括:
获取与所述样本运动数据对应的样本影像数据;以及
基于所述样本影像数据修改所述标签。
12.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取第三对象反馈的影像数据;
获取所述影像数据对应的标签;
获取与所述影像数据对应的运动数据,所述运动数据包括所述表征所述第三对象运动状态的数据;
基于所述运动数据,使用所述运动评估模型生成预测评估结果;以及
基于所述预测评估结果和所述影像数据对应的标签更新所述运动评估模型。
13.一种对运动数据进行标记的系统,其特征在于,所述系统包括:
第一获取模块,用于获取第一对象的运动数据,所述运动数据包括表征所述第一对象运动状态的数据;
第二获取模块,用于获取所述第一对象运动时的影像数据;以及
标记模块,用于根据所述影像数据,对所述运动数据进行标记。
14.一种生成运动评估模型的系统,其特征在于,所述系统包括:
第三获取模块,用于获取训练样本集,所述训练样本集包括多组样本运动数据,每组样本运动数据包括表征第一对象运动状态的样本数据;
第四获取模块,用于获取每组样本运动数据对应的标签,所述标签包括所述样本运动数据对应的标签时间和标签内容;以及
训练模块,用于基于所述训练样本集和所述标签训练初始模型,获得运动评估模型,所述运动评估模型用于评估运动数据。
15.一种计算机可读存储介质,其特征在于,包括可执行指令,当由至少一个处理器执行时,所述可执行指令使所述至少一个处理器执行权利要求1~12中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211119524.3A CN117731271A (zh) | 2022-09-14 | 2022-09-14 | 对运动数据进行标记以及生成运动评估模型的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211119524.3A CN117731271A (zh) | 2022-09-14 | 2022-09-14 | 对运动数据进行标记以及生成运动评估模型的方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117731271A true CN117731271A (zh) | 2024-03-22 |
Family
ID=90259732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211119524.3A Pending CN117731271A (zh) | 2022-09-14 | 2022-09-14 | 对运动数据进行标记以及生成运动评估模型的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117731271A (zh) |
-
2022
- 2022-09-14 CN CN202211119524.3A patent/CN117731271A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11776421B2 (en) | Systems and methods for monitoring and evaluating body movement | |
US10918924B2 (en) | Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations | |
Bleser et al. | A personalized exercise trainer for the elderly | |
US11403882B2 (en) | Scoring metric for physical activity performance and tracking | |
WO2016123648A1 (en) | Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations | |
CN110600125B (zh) | 一种基于人工智能的体态分析助手系统及传输方法 | |
US20230285806A1 (en) | Systems and methods for intelligent fitness solutions | |
JP6999543B2 (ja) | インタラクティブスキルトレーニングコンテンツの配信への応用を含む、身体的に実行されるスキルの分析を可能にするように構成されるフレームワークおよび方法 | |
Viana et al. | GymApp: A real time physical activity trainner on wearable devices | |
Vitali et al. | A new approach for medical assessment of patient’s injured shoulder | |
CN116250829A (zh) | 运动姿态评价方法、装置及电子设备 | |
WO2024055192A1 (zh) | 对运动数据进行标记以及生成运动评估模型的方法和系统 | |
CN117731271A (zh) | 对运动数据进行标记以及生成运动评估模型的方法和系统 | |
KR102693972B1 (ko) | 실시간 자세 추정을 통한 원격 재활 훈련 시스템 및 방법 | |
US20240355142A1 (en) | Methods and systems for labeling motion data and generating motion evaluation models | |
US20210097885A1 (en) | Quantified Movement Feedback System | |
WO2022201418A1 (ja) | 運動支援装置、運動支援方法及び記録媒体 | |
CN118679445A (zh) | 一种运动评估方法及系统 | |
Monco | From head to toe: body movement for human-computer interaction | |
CN117732019A (zh) | 一种运动评估方法及系统 | |
Alpatov et al. | Chatbot for Remote Physical Knee Rehabilitation with Exercise Monitoring based on Machine Learning | |
Hellstén et al. | Computer Vision-based Marker-less Real Time Motion Analysis for Rehabilitation–An Interdisciplinary Research Project | |
JP2023097545A (ja) | 介護支援装置、介護支援プログラム、介護支援方法 | |
WO2024177994A2 (en) | Approaches to providing personalized feedback on physical activities based on real-time estimation of pose and systems for implementing the same | |
CN118284947A (zh) | 利用骨骼模型的健康状况评估方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |