CN110781857B - 运动监控方法、装置、系统和存储介质 - Google Patents

运动监控方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN110781857B
CN110781857B CN201911070442.2A CN201911070442A CN110781857B CN 110781857 B CN110781857 B CN 110781857B CN 201911070442 A CN201911070442 A CN 201911070442A CN 110781857 B CN110781857 B CN 110781857B
Authority
CN
China
Prior art keywords
action
key points
human
monitored object
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911070442.2A
Other languages
English (en)
Other versions
CN110781857A (zh
Inventor
姜盛乾
孙宇晨
张道宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201911070442.2A priority Critical patent/CN110781857B/zh
Publication of CN110781857A publication Critical patent/CN110781857A/zh
Application granted granted Critical
Publication of CN110781857B publication Critical patent/CN110781857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种运动监控方法、装置、系统和存储介质，涉及远程监控技术领域。运动监控方法包括：获取被监控对象在运动过程中各个时间对应的人体关键点的位置；根据预设的动作涉及的人体关键点的标准位置信息，确定被监控对象执行动作的时间；根据被监控对象执行动作的时间对应的人体关键点的位置，确定动作特征值；根据动作特征值确定对动作的监控结果。从而，可以根据被监控对象的运动数据自动地进行监控和评估，实现了自动化的康复训练监控。

Description

运动监控方法、装置、系统和存储介质
技术领域
本发明涉及远程监控领域，特别涉及一种运动监控方法、装置、系统和存储介质。
背景技术
在互联网医疗领域，通过无线通信技术辅助医疗监护，可以实现对患者的生命体征监测，并通过危机报警系统通告医护人员以进行有效的监护。然而，对于康复训练阶段，目前尚没有自动化的康复训练监控的方案。
发明内容
本发明实施例所要解决的一个技术问题是：如何提供一种自动化的康复训练监控方法。
根据本发明一些实施例的第一个方面，提供一种运动监控方法，包括：获取被监控对象在运动过程中各个时间对应的人体关键点的位置；根据预设的动作涉及的人体关键点的标准位置信息，确定被监控对象执行动作的时间；根据被监控对象执行动作的时间对应的人体关键点的位置，确定动作特征值；根据动作特征值确定对动作的监控结果。
在一些实施例中，获取被监控对象在运动过程中各个时间对应的人体关键点的位置包括：获取被监控对象在运动过程中各个时间对应的图像和深度信息；识别获取的图像中的人体关键点；根据人体关键点在图像中的位置和深度信息，确定被监控对象在运动过程中各个时间对应的人体关键点的位置。
在一些实施例中，预设的动作涉及的人体关键点的标准位置信息包括一个或多个标准相对位置，每个标准相对位置为两个人体关键点之间的标准的相对位置；根据预设的动作涉及的人体关键点的标准位置信息，确定被监控对象执行动作的时间包括：确定各个时间中被监控对象的、预设的动作涉及的人体关键点之间的实际的相对位置；确定实际空间相对位置与相应的标准空间相对位置之间的距离、作为偏移量；根据小于预设值的偏移量确定被监控对象执行动作的时间。
在一些实施例中，根据小于预设值的偏移量确定被监控对象执行所述动作的时间包括：对于每个时间，在预设的动作所对应的偏移量均小于预设值的情况下，计算该时间的预设的动作所对应的偏移量的总和；将各个时间中总和最小的时间确定为被监控对象执行动作的时间。
在一些实施例中，两个人体关键点对应的标准空间相对位置是根据两个人体关键点对应的预设的标准向量和被监控对象的两个人体关键点之间的距离确定的，其中，标准向量为从两个人体关键点中的一个指向另一个的向量。
在一些实施例中，两个人体关键点对应的标准空间相对位置的坐标为：
Figure BDA0002260784410000021
其中，l为被监控对象的两个人体关键点之间的距离，两个人体关键点对应的预设的标准向量为(x,y,z)。
在一些实施例中，动作特征值包括人体关键点向量之间的夹角、人体关键点之间的距离中的至少一种；其中，人体关键点向量为从一个人体关键点指向另一个人体关键点的向量。
在一些实施例中，第M对人体关键点之间的距离vM是通过以下公式进行归一化处理后的结果：
Figure BDA0002260784410000022
其中，ρM为第M对人体关键点之间的距离经过归一化处理之前的值；N为人体关键点对的数量。
在一些实施例中，根据动作特征值确定对动作的监控结果包括：将动作特征值输入到预先训练的、动作对应的分类模型中，获得分类模型输出的结果作为监控结果。
在一些实施例中，运动监控方法还包括：采用预先标记分类结果的训练数据对分类模型进行训练，其中，预先标记分类结果的训练数据包括动作特征值。
在一些实施例中，人体关键点包括人体的骨骼点。
根据本发明一些实施例的第二个方面，提供一种运动监控装置，包括：位置获取模块，被配置为获取被监控对象在运动过程中各个时间对应的人体关键点的位置；执行时间确定模块，被配置为根据预设的动作涉及的人体关键点的标准位置信息，确定被监控对象执行所述动作的时间；特征值确定模块，被配置为根据被监控对象执行所述动作的时间对应的人体关键点的位置，确定动作特征值；监控结果确定模块，被配置为根据动作特征值确定对所述动作的监控结果。
根据本发明一些实施例的第三个方面，提供一种运动监控装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行前述任意一种运动监控方法。
根据本发明一些实施例的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现前述任意一种运动监控方法。
上述发明中的一些实施例具有如下优点或有益效果：本发明的实施例可以首先通过人体关键点的位置初步确定被监控对象执行预设的动作的时间，再根据这些时间对应的数据进一步确定监控结果。从而，可以根据被监控对象的运动数据自动地进行监控和评估，实现了自动化的康复训练监控。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明一些实施例的运动监控方法的流程示意图。
图2为根据本发明一些实施例的人体关键点的位置确定方法的流程示意图。
图3为根据本发明一些实施例的人体关键点的位置的筛选方法的流程示意图。
图4为根据本发明一些实施例的运动监控装置的结构示意图。
图5为根据本发明另一些实施例的运动监控装置的结构示意图。
图6为根据本发明又一些实施例的运动监控装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为根据本发明一些实施例的运动监控方法的流程示意图。如图1所示，该实施例的运动监控方法包括步骤S102～S108。
在步骤S102中，获取被监控对象在运动过程中各个时间对应的人体关键点的位置。
在一些实施例中，人体关键点可以是人体的骨骼点，例如包括头、肩膀、肘、手腕、手、膝盖、脚踝等等。
在一些实施例中，位置可以通过人体关键点在空间三维坐标系中的坐标来表示。
在步骤S104中，根据预设的动作涉及的人体关键点的标准位置信息，确定被监控对象执行动作的时间。
由于被监控对象在尝试完成预设动作时会产生很多中间动作。例如，在实现将手举过头顶这一动作前，可能经历手处于体侧、胸前等阶段。通过步骤S104，可以识别出哪些数据是用户在执行动作时对应的数据。
标准位置信息可以是一个或多个绝对位置，每个绝对位置对应一个人体关键点；还可以是一个或多个相对位置，每个相对位置对应两个人体关键点之间的相对位置。
在步骤S106中，根据被监控对象执行动作时人体关键点的位置，确定动作特征值。
在一些实施例中，动作特征值可以包括人体关键点向量之间的夹角、人体关键点之间的距离中的至少一种。人体关键点向量为从一个人体关键点指向另一个人体关键点的向量，例如左手腕到左手的向量与左手腕到左肘的向量之间的夹角。
在步骤S108中，根据动作特征值确定对动作的监控结果。监控结果可以是对动作是否标准、是否危险的判断，以便被监控对象进行自查、或者发送给医护人员。
在一些实施例中，可以将动作特征值输入到预先训练的分类模型中，获得分类模型输出的结果作为监控结果。分类模型例如可以为决策树、贝叶斯分类器、神经网络等等。
通过上述实施例的方法，可以首先通过人体关键点的位置初步确定被监控对象执行预设的动作的时间，再根据这些时间对应的数据进一步确定监控结果。从而，可以根据被监控对象的运动数据自动地进行监控和评估，实现了自动化的康复训练监控。
本发明的实施例可以通过非接触的方式获得人体关键点的位置。下面参考图2描述人体关键点的位置确定方法的实施例。
图2为根据本发明一些实施例的人体关键点的位置确定方法的流程示意图。如图2所示，该实施例的位置确定方法包括步骤S202～S206。
在步骤S202中，获取被监控对象在运动过程中各个时间对应的图像和深度信息。
在步骤S204中，识别获取的图像中的人体关键点。
在步骤S206中，根据人体关键点在图像中的位置和深度信息，确定被监控对象在运动过程中各个时间对应的人体关键点的位置。
例如，可以结合深度信息对人体关键点进行坐标变换，将人体关键点在图像中的坐标变换为在三维空间中的坐标。
在一些实施例中，还可以通过获取被监控对象的具有深度值的图像来确定人体关键点的位置。例如，可以使用Kinect、Leap motion、PlayStation Camera等图像识别设备获取人体关键点的位置。
在一些实施例中，预设的动作涉及的人体关键点的标准位置信息包括一个或多个标准空间相对位置，每个标准空间相对位置包括预设的动作涉及的两个人体关键点之间的标准的相对位置。下面以标准位置信息是相对位置为例，参考图3描述确定被监控对象执行预设的动作的时间的实施例。
图3为根据本发明一些实施例的人体关键点的位置的筛选方法的流程示意图。如图3所示，该实施例的筛选方法包括步骤S302～S306。
在步骤S302中，确定各个时间中被监控对象的、预设的动作涉及的两个人体关键点之间的实际的相对位置。
例如，举起左手的动作以左肩为中心，则可以确定左手与左肩之间的空间相对位置。空间相对位置可以表示将两个人体关键点中的第一人体关键点放置在坐标原点时，第二人体关键点的坐标值。
在步骤S304中，确定实际空间相对位置与标准空间相对位置之间的距离、作为偏移量。
在步骤S306中，根据小于预设值的偏移量确定被监控对象执行动作的时间。
在一些实施例中，预设的动作涉及的人体关键点的标准位置信息包括一个或多个标准相对位置，每个标准相对位置为两个人体关键点之间的标准的相对位置。例如，某个预设动作为举起双手，这个动作的人体关键点涉及左手、左肩膀以及右手、右肩膀，标准位置信息涉及。对于每个时间，在预设的动作所对应的偏移量均小于预设值的情况下，计算该时间的预设的动作所对应的偏移量的总和；然后，将各个时间中总和最小的时间确定为被监控对象执行动作的时间，并确定被监控对象执行动作时人体关键点的位置。
在一些实施例中，两个人体关键点对应的标准空间相对位置是根据两个人体关键点对应的预设的标准向量和被监控对象的两个人体关键点之间的距离确定的，其中，标准向量为从两个人体关键点中的一个指向另一个的向量。
在一些实施例中，两个人体关键点对应的标准空间相对位置的坐标为：
Figure BDA0002260784410000071
其中，l为被监控对象的所述两个人体关键点之间的距离，所述两个人体关键点对应的预设的标准向量为(x,y,z)。
例如，预设的左手到左手腕的标准向量为
Figure BDA0002260784410000072
被监控对象的左手到左手腕的距离为l1，则左手到左手腕的标准空间相对位置G1可以表示为：
Figure BDA0002260784410000081
下面结合应用例，示例性地介绍本发明实施例的确定被监控对象执行动作的时间的方法。
在本实施例中，以肩中心为对比坐标，换算出患者上肢动作摆放的位置，记录患者动作摆动的范围，从而找到患者在完成动作的时间点。上肢动作包含左右手的动作。
以左手动作为例。首先，获取患者在T1～TN时刻中每个时刻的左手、左手腕、左肘、左肩膀的坐标数据。然后，获取各个左手动作标准动作的向量，包括左手到左手腕的标准向量
Figure BDA0002260784410000082
左肘到左手的标准向量
Figure BDA0002260784410000083
左肩膀到左肘的标准向量
Figure BDA0002260784410000084
根据患者左手到左手腕的距离l1、左肘到左手的距离l2、左肩膀到左肘的距离l3，依次计算出左手到左手腕的标准相对位置G1、左肘到左手的标准相对位置G2、左肩膀到左肘的标准相对位置G3。根据获取的患者的各个骨骼点的坐标数据，可以得到各个时间对应的左手到左手腕的实际相对位置A1,i＝(aw,i-ah,i)、左肘到左手的实际相对位置A2,i＝(ah,i-ae,i)、左肩膀到左肘的实际相对位置A3,i＝(ae,i-as,i)，其中，i表示时间，aw,i表示i时刻左手腕的坐标，ah,i表示i时刻左手的坐标，ae,i表示i时刻左肘的坐标，as,i表示i时刻左肩膀的坐标。然后，可以比较这些实际相对位置与标准相对位置之间的差距。
如果在采集数据时，仅获得了左手和左肩膀的坐标，可以通过G2和G3换算出左手与左肩膀的标准相对位置G4，并计算左手与左肩膀的实际相对位置A4,i＝(as,i-ah,i)。然后，计算举起左手的动作对应的偏移量PLi＝|A4,i-G4|。
经过计算，T1～TN时刻，举起左手的动作对应的偏移量依次为PL1、PL2、…、PLN，举起右手的动作对应的偏移量依次为PR1、PR2、…、PRN。然后，计算PL1+PR1、PL2+PR2、……、PLN+PRN中的最小值。设最小值为PLm+PRm并且1≤m≤N，则时刻m为被监控对象执行动作最接近标准的时刻，将m确定为被监控对象执行预设的动作的时间。从而可以使用时刻m的人体关键点的位置继续确定监控结果。
在确定动作特征值时，可以确定角度特征值和距离特征值。角度特征值例如包含左手腕到左手向量与左手腕到左肘向量夹角、左肘到左手腕向量与左肘到左肩膀向量夹角、左肩膀到左肘向量与左肩膀到肩中心向量夹角、右手腕到右手向量与右手腕到右肘向量夹角、右肘到右手腕向量与右肘到右肩膀向量夹角、右肩膀到右肘向量与右肩膀到肩中心向量夹角、颈部到头部向量与颈部到肩中心向量夹角、脊柱到髋关节中心向量与脊柱到肩中心向量夹角、左膝盖到左脚踝向量与左膝盖到左臀向量夹角、右膝盖到右脚踝向量与右膝盖到右臀向量夹角等等。距离特征值例如包括左手到左肩膀距离、右手到右肩膀距离、头到颈部距离、颈部到髋关节中心距离、左臀到左脚距离、右臀到右脚距离。
在一些实施例中，可以对距离特征值进行归一化处理，以避免不同人的体型差异带来的影响。第M对人体关键点之间的距离vM可以是通过公式(1)进行归一化处理后的结果。
Figure BDA0002260784410000091
其中，ρM为第M对人体关键点之间的距离经过归一化处理之前的值；N为人体关键点对的数量。
例如，距离特征值包括ρ1、ρ2、ρ3、ρ4、ρ5和ρ6。则对ρ1进行如公式(2)所示的归一化处理后，可以得到无量纲距离特征值。
Figure BDA0002260784410000092
根据需要，也可以对角度特征值进行类似的归一化处理。
动作特征值的一个示例为：<24°,46°,150°,130°,54°,69°,73°,24°,35°,35°,0.6,0.4,0.25,1,0.4,0.24>。通过将其输入到预设的动作对应的分类模型，则可以根据输出结果确定监控结果。例如，输出的结果可以包括危险、非常不标准、不标准、标准几个类别。
在一些实施例中，当被监控对象作出多个预设的动作时，还可以将多个动作对应的监控结果进行平均处理，以获得最终的总得分。当得分低于预设值时，可以将结果发送给被监控对象或者医护人员进行参考。
在一些实施例中，采用预先标记分类结果的训练数据对分类模型进行训练，其中，预先标记分类结果的训练数据包括动作特征值。例如，可以获取10项角度特征值和6项无量纲的距离特征值，其中角度特征值的范围为[0°,180°]，无量纲特征值范围为(0,1]。通过这16项指标进行分类识别，识别结果可以为ψ。其中，ψ∈{1,2,3,4}，分别表示为危险动作、非常不标准动作、不标准动作、标准动作。
在训练阶段，可以标定动作X对应的训练数据集，其中包括动作X的危险动作、非常不标准动作、不标准动作、标准动作所对应的动作特征值和分类结果。然后，可以利用支持向量分类方法、选用高斯核构建模型并进行训练，以得到动作X的支持向量分类模型。
下面参考图4描述本发明运动监控装置的实施例。
图4为根据本发明一些实施例的运动监控装置的结构示意图。如图4所示，该实施例的运动监控装置40包括：位置获取模块410，被配置为获取被监控对象在运动过程中各个时间对应的人体关键点的位置；执行时间确定模块420，被配置为根据预设的动作涉及的人体关键点的标准位置信息，确定被监控对象执行动作的时间；特征值确定模块430，被配置为根据被监控对象执行动作的时间对应的人体关键点的位置，确定动作特征值；监控结果确定模块440，被配置为根据动作特征值确定对动作的监控结果。
在一些实施例中，位置获取模块410进一步被配置为：获取被监控对象在运动过程中各个时间对应的图像和深度信息；识别获取的图像中的人体关键点；根据人体关键点在图像中的位置和深度信息，确定被监控对象在运动过程中各个时间对应的人体关键点的位置。
在一些实施例中，预设的动作涉及的人体关键点的标准位置信息包括一个或多个标准相对位置，每个标准相对位置为两个人体关键点之间的标准的相对位置；执行时间确定模块420进一步被配置为确定各个时间中被监控对象的、预设的动作涉及的人体关键点之间的实际的相对位置；确定实际空间相对位置与相应的标准空间相对位置之间的距离、作为偏移量；根据小于预设值的偏移量确定被监控对象执行动作的时间。
在一些实施例中，执行时间确定模块420进一步被配置为对于每个时间，在预设的动作所对应的偏移量均小于预设值的情况下，计算该时间的预设的动作所对应的偏移量的总和；将各个时间中总和最小的时间确定为被监控对象执行动作的时间。
在一些实施例中，两个人体关键点对应的标准空间相对位置是根据两个人体关键点对应的预设的标准向量和被监控对象的两个人体关键点之间的距离确定的，其中，标准向量为从两个人体关键点中的一个指向另一个的向量。
在一些实施例中，两个人体关键点对应的标准空间相对位置的坐标为：
Figure BDA0002260784410000111
其中，l为被监控对象的两个人体关键点之间的距离，两个人体关键点对应的预设的标准向量为(x,y,z)。
在一些实施例中，动作特征值包括人体关键点向量之间的夹角、人体关键点之间的距离中的至少一种；其中，人体关键点向量为从一个人体关键点指向另一个人体关键点的向量。
在一些实施例中，第M对人体关键点之间的距离vM是通过以下公式进行归一化处理后的结果：
Figure BDA0002260784410000112
其中，ρM为第M对人体关键点之间的距离经过归一化处理之前的值；N为人体关键点对的数量。
在一些实施例中，监控结果确定模块440进一步被配置为将动作特征值输入到预先训练的、动作对应的分类模型中，获得分类模型输出的结果作为监控结果。
在一些实施例中，运动监控装置40还包括：训练模块450，被配置为采用预先标记分类结果的训练数据对分类模型进行训练，其中，预先标记分类结果的训练数据包括动作特征值。
在一些实施例中，人体关键点包括人体的骨骼点。
图5为根据本发明另一些实施例的运动监控装置的结构示意图。如
图5所示，该实施例的运动监控装置50包括：存储器510以及耦接至该存储器510的处理器520，处理器520被配置为基于存储在存储器510中的指令，执行前述任意一个实施例中的运动监控方法。
其中，存储器510例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
图6为根据本发明又一些实施例的运动监控装置的结构示意图。如图6所示，该实施例的运动监控装置60包括：存储器610以及处理器620，还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630，640，650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为SD卡、U盘等外置存储设备提供连接接口。
本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任意一种运动监控方法。
本领域内的技术人员应当明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种运动监控方法，包括：
获取被监控对象在运动过程中各个时间对应的人体关键点的位置；
根据预设的动作涉及的人体关键点的标准位置信息，确定被监控对象执行所述动作的时间；
根据被监控对象执行所述动作的时间对应的人体关键点的位置，确定动作特征值；
根据动作特征值确定对所述动作的监控结果。
2.根据权利要求1所述的运动监控方法，其中，所述获取被监控对象在运动过程中各个时间对应的人体关键点的位置包括：
获取被监控对象在运动过程中各个时间对应的图像和深度信息；
识别获取的图像中的人体关键点；
根据人体关键点在图像中的位置和深度信息，确定被监控对象在运动过程中各个时间对应的人体关键点的位置。
3.根据权利要求1所述的运动监控方法，其中，所述预设的动作涉及的人体关键点的标准位置信息包括一个或多个标准相对位置，每个标准相对位置为两个人体关键点之间的标准的相对位置；
所述根据预设的动作涉及的人体关键点的标准位置信息，确定被监控对象执行所述动作的时间包括：
确定各个时间中被监控对象的、所述预设的动作涉及的人体关键点之间的实际的相对位置；
确定实际空间相对位置与相应的标准空间相对位置之间的距离、作为偏移量；
根据小于预设值的偏移量确定被监控对象执行所述动作的时间。
4.根据权利要求3所述的运动监控方法，其中，所述根据小于预设值的偏移量确定被监控对象执行所述动作的时间包括：
对于每个时间，在预设的动作所对应的所述偏移量均小于预设值的情况下，计算该时间的预设的动作所对应的所述偏移量的总和；
将各个时间中所述总和最小的时间确定为被监控对象执行所述动作的时间。
5.根据权利要求3所述的运动监控方法，其中，两个人体关键点对应的标准空间相对位置是根据所述两个人体关键点对应的预设的标准向量和被监控对象的所述两个人体关键点之间的距离确定的，其中，所述标准向量为从两个人体关键点中的一个指向另一个的向量。
6.根据权利要求5所述的运动监控方法，其中，两个人体关键点对应的标准空间相对位置的坐标为：
Figure FDA0002260784400000021
其中，l为被监控对象的所述两个人体关键点之间的距离，所述两个人体关键点对应的预设的标准向量为(x,y,z)。
7.根据权利要求1～6中任一项所述的运动监控方法，其中，所述动作特征值包括人体关键点向量之间的夹角、人体关键点之间的距离中的至少一种；
其中，人体关键点向量为从一个人体关键点指向另一个人体关键点的向量。
8.根据权利要求7所述的运动监控方法，其中，第M对人体关键点之间的距离vM是通过以下公式进行归一化处理后的结果：
Figure FDA0002260784400000022
其中，ρM为第M对人体关键点之间的距离经过归一化处理之前的值；N为人体关键点对的数量。
9.根据权利要求1～6中任一项所述的运动监控方法，其中，所述根据动作特征值确定对所述动作的监控结果包括：
将动作特征值输入到预先训练的、所述动作对应的分类模型中，获得分类模型输出的结果作为监控结果。
10.根据权利要求9所述的运动监控方法，还包括：
采用预先标记分类结果的训练数据对分类模型进行训练，其中，预先标记分类结果的训练数据包括动作特征值。
11.根据权利要求1～6中任一项所述的运动监控方法，其中，所述人体关键点包括人体的骨骼点。
12.一种运动监控装置，包括：
位置获取模块，被配置为获取被监控对象在运动过程中各个时间对应的人体关键点的位置；
执行时间确定模块，被配置为根据预设的动作涉及的人体关键点的标准位置信息，确定被监控对象执行所述动作的时间；
特征值确定模块，被配置为根据被监控对象执行所述动作的时间对应的人体关键点的位置，确定动作特征值；
监控结果确定模块，被配置为根据动作特征值确定对所述动作的监控结果。
13.一种运动监控装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1～11中任一项所述的运动监控方法。
14.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1～11中任一项所述的运动监控方法。
CN201911070442.2A 2019-11-05 2019-11-05 运动监控方法、装置、系统和存储介质 Active CN110781857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911070442.2A CN110781857B (zh) 2019-11-05 2019-11-05 运动监控方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911070442.2A CN110781857B (zh) 2019-11-05 2019-11-05 运动监控方法、装置、系统和存储介质

Publications (2)

Publication Number Publication Date
CN110781857A CN110781857A (zh) 2020-02-11
CN110781857B true CN110781857B (zh) 2022-09-06

Family

ID=69389078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911070442.2A Active CN110781857B (zh) 2019-11-05 2019-11-05 运动监控方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN110781857B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096152B (zh) * 2021-04-29 2022-04-01 北京百度网讯科技有限公司 多对象运动分析方法、装置、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008103775A2 (en) * 2007-02-20 2008-08-28 Pixologic, Inc. System and method for interactive masking and modifying of 3d objects
CN103529944A (zh) * 2013-10-17 2014-01-22 合肥金诺数码科技股份有限公司 一种基于Kinect的人体动作识别方法
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN109815776A (zh) * 2017-11-22 2019-05-28 腾讯科技（深圳）有限公司 动作提示方法和装置、存储介质及电子装置
CN109829442A (zh) * 2019-02-22 2019-05-31 焦点科技股份有限公司 一种基于摄像头的人体动作评分的方法及系统
US10373322B1 (en) * 2018-07-16 2019-08-06 Accel Robotics Corporation Autonomous store system that analyzes camera images to track people and their interactions with items
CN110298309A (zh) * 2019-06-28 2019-10-01 腾讯科技（深圳）有限公司 基于图像的动作特征处理方法、装置、终端及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008103775A2 (en) * 2007-02-20 2008-08-28 Pixologic, Inc. System and method for interactive masking and modifying of 3d objects
CN103529944A (zh) * 2013-10-17 2014-01-22 合肥金诺数码科技股份有限公司 一种基于Kinect的人体动作识别方法
CN105930767A (zh) * 2016-04-06 2016-09-07 南京华捷艾米软件科技有限公司 一种基于人体骨架的动作识别方法
CN109815776A (zh) * 2017-11-22 2019-05-28 腾讯科技（深圳）有限公司 动作提示方法和装置、存储介质及电子装置
US10373322B1 (en) * 2018-07-16 2019-08-06 Accel Robotics Corporation Autonomous store system that analyzes camera images to track people and their interactions with items
CN109829442A (zh) * 2019-02-22 2019-05-31 焦点科技股份有限公司 一种基于摄像头的人体动作评分的方法及系统
CN110298309A (zh) * 2019-06-28 2019-10-01 腾讯科技（深圳）有限公司 基于图像的动作特征处理方法、装置、终端及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Human skeleton tree recurrent neural network with joint relative motion feature for skeleton based action recognition;Shenghua Wei 等;《2017 IEEE International Conference on Image Processing (ICIP)》;20180222;91-95 *
Skeleton-based action recognition with convolutional neural networks;Chao Li 等;《2017 IEEE International Conference on Multimedia & Expo Workshops (ICMEW)》;20170907;597-600 *
基于关节数据的人体动作识别;徐寅鹏 等;《电脑知识与技术》;20190930;第15卷(第27期);200-203 *
基于最具信息量关节序列的动作识别;梅震琨;《通讯世界》;20190725;297-298 *

Also Published As

Publication number Publication date
CN110781857A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
KR20210011425A (ko) 이미지 처리 방법 및 디바이스, 이미지 장치, 및 저장 매체
Chaudhari et al. Yog-guru: Real-time yoga pose correction system using deep learning methods
CN114724241A (zh) 基于骨骼点距离的动作识别方法、装置、设备及存储介质
CN109117893A (zh) 一种基于人体姿态的动作识别方法及装置
US11759126B2 (en) Scoring metric for physical activity performance and tracking
CN111191599A (zh) 姿态识别方法、装置、设备及存储介质
CN112970074A (zh) 身体活动量化和监测
JP4765075B2 (ja) ステレオ画像を利用した物体の位置および姿勢認識システムならびに物体の位置および姿勢認識方法を実行するプログラム
CN113392741A (zh) 视频片段提取方法、装置、电子设备及存储介质
US20220057856A1 (en) Method and system for providing real-time virtual feedback
CN114514559A (zh) 运动识别方法、运动识别程序及信息处理装置
CN111222379A (zh) 一种手部检测方法及装置
Vox et al. Preprocessing and normalization of 3d-skeleton-data for human motion recognition
CN113229807A (zh) 人体康复评估装置、方法、电子设备及存储介质
CN115346670A (zh) 基于姿态识别的帕金森病评级方法、电子设备及介质
CN110781857B (zh) 运动监控方法、装置、系统和存储介质
CN111079481B (zh) 一种基于二维骨架信息的攻击性行为识别方法
CN110910426A (zh) 动作过程和动作趋势识别方法、存储介质和电子装置
Ekambaram et al. Real-time AI-assisted visual exercise pose correctness during rehabilitation training for musculoskeletal disorder
JP7103998B2 (ja) 骨格抽出方法、装置およびプログラム
Myagmarbayar et al. Human body contour data based activity recognition
CN116246343A (zh) 轻量化的人体行为识别方法及装置
Wen et al. Artificial intelligence technologies for more flexible recommendation in uniforms
WO2022137450A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN111639632A (zh) 一种基于支持向量机的地铁驾驶员动作序列识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant