CN116704603A - 一种基于肢体关键点分析的动作评估纠正方法及系统 - Google Patents

一种基于肢体关键点分析的动作评估纠正方法及系统 Download PDF

Info

Publication number
CN116704603A
CN116704603A CN202310644781.7A CN202310644781A CN116704603A CN 116704603 A CN116704603 A CN 116704603A CN 202310644781 A CN202310644781 A CN 202310644781A CN 116704603 A CN116704603 A CN 116704603A
Authority
CN
China
Prior art keywords
real
limb
time
standard
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310644781.7A
Other languages
English (en)
Inventor
吴琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen City Vocational College Xiamen Open University
Original Assignee
Xiamen City Vocational College Xiamen Open University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen City Vocational College Xiamen Open University filed Critical Xiamen City Vocational College Xiamen Open University
Priority to CN202310644781.7A priority Critical patent/CN116704603A/zh
Publication of CN116704603A publication Critical patent/CN116704603A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于肢体关键点分析的动作评估纠正方法及系统，包括：预先录入规范动作图片；获取实时视频流，通过肢体关键点识别模型将实时视频流取帧转化为肢体关键点结构化数据，并且对其进行标记；将实时视频流中的实时人体影像和肢体关键点结构化数据输入至动作识别模型中，获取实时肢体关键点和匹配出与实时动作相对应的规范动作，并提取出规范动作的规范肢体关键点；将实时肢体关键点和规范肢体关键点进行对比，计算获得各个关键部位的得分和总得分；确定总得分为极值，则判断极值是否低于预设阈值，若低于则显示规范肢体关键点，并与实时动作进行适配。本发明可以对学员的实时动作输出正确的纠正信息，有效提高自主训练效率。

Description

一种基于肢体关键点分析的动作评估纠正方法及系统
技术领域
本申请涉及计算机视觉技术领域，具体涉及一种基于肢体关键点分析的动作评估纠正方法及系统。
背景技术
视觉识别：基于人工智能深度神经网络对视频图像进行结构化分析处理，涵盖多种类算法(如人脸识别、肢体关键点识别、人形检测等)，目的是通过视觉识别模型把视频内容处理成结构化数据。肢体关键点识别：视觉识别图像分析的一种算法模型，通过视觉识别神经网络识别人体关键点，并将视频内的人体图像按照肢体部位(左手肘、右手肘、左膝盖等)提取关键点数据并连接成线，并且可提取关键点所在图像的坐标(xy坐标数据)。即将人体图像处理成结构化数据，是其他算法应用比如动作识别的基础性算法。动作识别(姿态估计)：基于肢体关键点的结构化数据，在一系列连续的帧数下的肢体关键点结构化数据的数字矩阵输入训练过的深度神经网络进行肢体动作的判别，输出动作判定(如跑、跳、走等)。
职业教育姿态动作操作培训的操作规范性动作，需要做得非常规范细致，例如搬运物品避免劳动损伤，动作要做到位且不能有多余动作。而且练习学员较多，练习较为自主，培训老师较少不可能长时间一对一进行动作纠正。
鉴于此，本申请提出了一种基于肢体关键点分析的动作评估纠正方法及系统，能够在AI设备上提前录入规范动作，学员在练习时能够起到协助纠正的作用。
发明内容
为了解决现有设备无法同步进行协助纠正、学员自主训练效率较低等问题，本申请提供种基于肢体关键点分析的动作评估纠正方法及系统，以解决上述技术缺陷问题。
根据本发明的一个方面提出了一种基于肢体关键点分析的动作评估纠正方法，该方法包括以下步骤：
S1、预先录入规范动作图片；
S2、获取实时视频流，通过肢体关键点识别模型将实时视频流取帧转化为肢体关键点结构化数据，并且对肢体关键点结构化数据进行标记；
S3、将实时视频流中的实时人体影像和肢体关键点结构化数据输入至动作识别模型中，获取实时动作并提取出实时动作的实时肢体关键点，从规范动作图片中匹配出与实时动作相对应的规范动作，并提取出规范动作的规范肢体关键点；
S4、将实时肢体关键点两边连线的角度和规范肢体关键点两边连线的角度进行对比，计算获得各个关键部位的得分，并将所有关键部位的得分平均后获得总得分；
S5、响应于确定总得分为极值，则判断极值是否低于预设阈值，若低于则显示规范肢体关键点，并与实时动作进行适配。
通过上述技术方案，可以在姿态纠正上将老师的经验储存起来，通过人工智能视觉识别模型根据每个学生做的实时动作输出正确的纠正信息。老师只需要设置一遍，就可以让学生在老师不在的时间自由地练习，提高自主训练效率。
在具体的实施例中，在步骤S5中，若极值低于预设阈值则显示规范肢体关键点，并与实时动作进行适配，其中适配的过程具体包括以下子步骤：
S51、获取实时肢体关键点中脖子到胯中的第一直线距离和规范肢体关键点中脖子到胯中的第二直线距离；
S52、获取调整系数a，调整系数a通过以下公式计算获得：
S53、将整个规范肢体关键点的大小除以调整系数a以进行大小调整；
S54、将调整过大小的规范肢体关键点的左胯、右胯部位与实时肢体关键点的左胯、右胯部位进行位置对齐。
通过上述适配方式，可以令学员更加直观地观察到自己的姿势动作与规范动作之间存在的差距，可以让学员进行自我动作纠正。
在具体的实施例中，在步骤S4中，将实时肢体关键点两边连线的角度和规范肢体关键点两边连线的角度进行对比，计算获得各个关键部位的得分，并将所有关键部位的得分平均后获得总得分，具体包括以下子步骤：
S41、获取各个关键部位的实时肢体关键点和规范肢体关键点，其中每个实时肢体关键点均有两条肢体线连接形成实时角度，每个规范肢体关键点均有两条肢体线连接形成规范角度；
S42、通过以下表达式计算获得各个关键部位的得分：
各个关键部位的得分＝(1-|实时角度-规范角度|/规范角度)*100％；
S43、基于各个关键部位的得分，通过以下表达式计算获得总得分：
总得分＝avg(各个关键部位得分)。
通过上述技术方案，计算获得各个关键部位的得分以及总得分以便后续操作，而且通过得分数值可以让学员对自己的姿势动作标准度有所了解。
在具体的实施例中，在步骤S4中还包括在实时视频流中，实时输出各个关键部位的得分以及总得分，并且在活动完成后生成分析报告。
通过上述技术方案，实时输出得分数值已便学员明确自己的每个动作与规范动作之间的差距，可以针对性进行调整纠正。
在具体的实施例中，在步骤S5中还包括预设规范肢体关键点的开关，响应于确定极值低于预设阈值，则触发规范肢体关键点的开关，显示规范肢体关键点并与实时动作进行适配。
通过上述技术方案，将极值与预设阈值进行对比，决定是否显示规范肢体关键点在大屏上供学员实时进行辅导纠正。
在具体的实施例中，在步骤S5中，实时获取三个连续的总得分，若中间的总得分数值比前、后的总得分数值大，则判定中间的总得分数值为极值。
在具体的实施例中，还包括在实时视频流中，基于身份识别算法兼容多人同时进行动作评估纠正。
通过上述技术方案，使得本申请可以适用于更多场景，例如多人瑜伽等。
第二方面，本申请提供了一种基于肢体关键点分析的动作评估纠正系统，该系统包括：
智能网络摄像头，配置于预先录入规范动作图片和获取实时视频流；
GPU服务器，配置于存储肢体关键点识别模型和动作识别模型，通过肢体关键点识别模型将实时视频流取帧转化为肢体关键点结构化数据，并且对肢体关键点结构化数据进行标记；将实时视频流中的实时人体影像和肢体关键点结构化数据输入至动作识别模型中，获取实时动作并提取出实时动作的实时肢体关键点，从规范动作图片中匹配出与实时动作相对应的规范动作，并提取出规范动作的规范肢体关键点；将实时肢体关键点两边连线的角度和规范肢体关键点两边连线的角度进行对比，计算获得各个关键部位的得分，并将所有关键部位的得分平均后获得总得分；
展示屏幕，配置于响应于确定总得分为极值，则判断极值是否低于预设阈值，若低于则显示规范肢体关键点，并与实时动作进行适配。
第三方面，本申请提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一项基于肢体关键点分析的动作评估纠正方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述任一项基于肢体关键点分析的动作评估纠正方法的步骤。
与现有技术相比，本发明的有益成果在于：
(1)可以在姿态纠正上将老师的经验储存起来，通过人工智能视觉识别模型根据每个学员做的实时动作输出正确的纠正信息。
(2)老师只需要上传规范动作一遍，就可以让学员在老师不在的时间自由地练习，提高自主训练效率。
(3)通过将极值与预设阈值进行对比，以判断是否显示规范肢体关键点，令学员可实时观看自身与规范动作之间的差距。
附图说明
通过阅读参照以下附图，所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是根据本申请的基于肢体关键点分析的动作评估纠正方法的流程图；
图2是根据本申请的基于肢体关键点分析的动作评估纠正方法的实现效果示意图；
图3是根据本申请的基于肢体关键点分析的动作评估纠正方法的分析报告示意图；
图4是根据本申请的基于肢体关键点分析的动作评估纠正系统的结构图；
图5是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本申请的基于肢体关键点分析的动作评估纠正方法的流程图，请参考图1，该方法包括以下步骤：
S1、预先录入规范动作图片。由老师设置练习活动，该练习活动可以是一个操作动作或是连续的操作动作，每个操作动作均需上传规范动作图片。但需注意，一个连续的操作动作里最多可设置五个规范动作，因为规范动作过多，容易出现比对错误。
S2、通过摄像头获取实时视频流，并通过肢体关键点识别模型将实时视频流取帧转化为肢体关键点结构化数据，并且对肢体关键点结构化数据进行标记。
在本实施例中，在实时视频流中基于身份识别算法兼容多人同时进行动作评估纠正。其中身份识别算法的根本原理是利用人物固有的身份特征进行人物身份认定。利用计算机视觉进行人物身份识别时，先从需要识别的图像或视频中提取人物特征，然后与数据库中的身份信息进行匹配，获得人物身份。其中可通过人脸识别、步态识别和行人重识别对实时视频流中的人物身份进行识别。
S3、将实时视频流中的实时人体影像和肢体关键点结构化数据输入至动作识别模型中，获取实时动作并提取出实时动作的实时肢体关键点，从规范动作图片中匹配出与实时动作相对应的规范动作，并提取出规范动作的规范肢体关键点。
在本实施例中，需要确保动作识别模型可以识别出规范动作，若不能识别出规定动作，则需要设置活动环节或者分数评分模式，以确保实时动作可以自动匹配规范动作。
S4、将实时肢体关键点两边连线的角度和规范肢体关键点两边连线的角度进行对比，计算获得各个关键部位的得分，并将所有关键部位的得分平均后获得总得分。
在本实施例中，计算获得各个关键部位的得分，并将所有关键部位的得分平均后获得总得分，具体包括以下子步骤：
S41、获取各个关键部位的实时肢体关键点和规范肢体关键点，其中每个实时肢体关键点均有两条肢体线连接形成实时角度，每个规范肢体关键点均有两条肢体线连接形成规范角度；其中，关键部位包括挑出左肩、右肩、左胯、右胯、左肘、右肘、左膝、右膝；
S42、通过以下表达式计算获得各个关键部位的得分：
各个关键部位的得分＝(1-|实时角度-规范角度|/规范角度)*100％；
S43、基于各个关键部位的得分，通过以下表达式计算获得总得分：
总得分＝avg(各个关键部位得分)。
例如，规范肢体关键点的左肘角度为37°，而实时肢体关键点的左肘角度为39°，则该左肘关键部位的得分为94.6分，计算表达式为1-
在具体的实施例中，在步骤S4中还包括在实时视频流中，实时输出各个关键部位的得分以及总得分，并且在活动完成后生成分析报告。图2示出了本申请的基于肢体关键点分析的动作评估纠正方法的实现效果示意图，如图2所示，在实时视频流的左上角展示出各个关键部位的得分，以及总得分。并且通过不同颜色对实时肢体关键点和规范肢体关键点进行标注，以便学员直观地看出自身动作与规范动作之间的差距。图3示出了本申请的基于肢体关键点分析的动作评估纠正方法的分析报告示意图。分析报告中分别记录学员姓名、运动名称、运动时间、各个关键部分得分、总得分以及报告生成时间等信息。
继续参考图1，本申请提供的基于肢体关键点分析的动作评估纠正方法还包括：
S5、响应于确定总得分为极值，则判断极值是否低于预设阈值，若低于则显示规范肢体关键点，并与实时动作进行适配。其中极值通过以下方式进行判定：实时获取三个连续的总得分，若中间的总得分数值比前、后的总得分数值大，则判定中间的总得分数值为极值。
在本实施例中，适配的过程具体包括以下子步骤：
S51、获取实时肢体关键点中脖子到胯中的第一直线距离和规范肢体关键点中脖子到胯中的第二直线距离；
S52、获取调整系数a，调整系数a通过以下公式计算获得：
S53、将整个规范肢体关键点的大小除以调整系数a以进行大小调整；
S54、将调整过大小的规范肢体关键点的左胯、右胯部位与实时肢体关键点的左胯、右胯部位进行位置对齐。
在本实施例中，在步骤S5中还包括预设规范肢体关键点的开关，响应于确定极值低于预设阈值，则触发规范肢体关键点的开关，显示规范肢体关键点并与实时动作进行适配。当预设规范肢体关键点的开关开启时显示规范动作肢体关键点与实时肢体动作进行匹配，需要对应大小与位置(可参照附图2的实现效果示意图)，让学员可以比对纠正自己的姿势。
进一步参考图4，作为对上述方法的实现，本申请提供了基于肢体关键点分析的动作评估纠正系统的一个实施例，该系统具体可以应用于各种电子设备中。该系统400包括以下模块：
智能网络摄像头410，配置于预先录入规范动作图片和获取实时视频流；
GPU服务器420，配置于存储肢体关键点识别模型和动作识别模型，通过肢体关键点识别模型将实时视频流取帧转化为肢体关键点结构化数据，并且对肢体关键点结构化数据进行标记；将实时视频流中的实时人体影像和肢体关键点结构化数据输入至动作识别模型中，获取实时动作并提取出实时动作的实时肢体关键点，从规范动作图片中匹配出与实时动作相对应的规范动作，并提取出规范动作的规范肢体关键点；将实时肢体关键点两边连线的角度和规范肢体关键点两边连线的角度进行对比，计算获得各个关键部位的得分，并将所有关键部位的得分平均后获得总得分；
展示屏幕430，配置于响应于确定总得分为极值，则判断极值是否低于预设阈值，若低于则显示规范肢体关键点，并与实时动作进行适配。
本申请提供的基于肢体关键点分析的动作评估纠正方法及系统可迁移应用到其他动作规范操作矫正：如工厂流水线、运动姿态、军训军姿等。可针对人体不同角度进行自适应：可能录入的规范肢体动作是身体处于一个角度，没办法适配于多个角度的应用。可以每一个角度录入人体的8个方位的角度。根据分析的分数最高值拉取这个人的角度。动作的识别：可能现有动作识别模型没有教学需要的动作判定。可通过以下方法解决：1)提供自训练平台让使用者自己训练动作2)分动作阶段作为环节，在界面操作上进入不同动作，如动作A。
第三方面，本申请提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一项基于肢体关键点分析的动作评估纠正方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述任一项基于肢体关键点分析的动作评估纠正方法的步骤。
下面参考图5，其示出了适于用来实现本申请实施例的电子设备的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于肢体关键点分析的动作评估纠正方法，其特征在于，包括以下步骤：
S1、预先录入规范动作图片；
S2、获取实时视频流，通过肢体关键点识别模型将所述实时视频流取帧转化为肢体关键点结构化数据，并且对所述肢体关键点结构化数据进行标记；
S3、将所述实时视频流中的实时人体影像和所述肢体关键点结构化数据输入至动作识别模型中，获取实时动作并提取出所述实时动作的实时肢体关键点，从所述规范动作图片中匹配出与所述实时动作相对应的规范动作，并提取出所述规范动作的规范肢体关键点；
S4、将所述实时肢体关键点两边连线的角度和所述规范肢体关键点两边连线的角度进行对比，计算获得各个关键部位的得分，并将所有所述关键部位的得分平均后获得总得分；
S5、响应于确定所述总得分为极值，则判断所述极值是否低于预设阈值，若低于则显示所述规范肢体关键点，并与所述实时动作进行适配。
2.根据权利要求1所述的基于肢体关键点分析的动作评估纠正方法，其特征在于，在步骤S5中，若所述极值低于预设阈值则显示所述规范肢体关键点，并与所述实时动作进行适配，其中所述适配的过程具体包括以下子步骤：
S51、获取所述实时肢体关键点中脖子到胯中的第一直线距离和所述规范肢体关键点中脖子到胯中的第二直线距离；
S52、获取调整系数a，所述调整系数a通过以下公式计算获得：
S53、将整个所述规范肢体关键点的大小除以所述调整系数a以进行大小调整；
S54、将调整过大小的所述规范肢体关键点的左胯、右胯部位与所述实时肢体关键点的左胯、右胯部位进行位置对齐。
3.根据权利要求1所述的基于肢体关键点分析的动作评估纠正方法，其特征在于，在步骤S4中，将所述实时肢体关键点两边连线的角度和所述规范肢体关键点两边连线的角度进行对比，计算获得各个关键部位的得分，并将所有所述关键部位的得分平均后获得总得分，具体包括以下子步骤：
S41、获取各个关键部位的所述实时肢体关键点和所述规范肢体关键点，其中每个所述实时肢体关键点均有两条肢体线连接形成实时角度，每个所述规范肢体关键点均有两条肢体线连接形成规范角度；
S42、通过以下表达式计算获得各个关键部位的得分：
各个关键部位的得分＝(1-|实时角度-规范角度|/规范角度)*100％；
S43、基于所述各个关键部位的得分，通过以下表达式计算获得总得分：
总得分＝avg(各个关键部位得分)。
4.根据权利要求1所述的基于肢体关键点分析的动作评估纠正方法，其特征在于，在步骤S4中还包括在所述实时视频流中，实时输出所述各个关键部位的得分以及总得分，并且在活动完成后生成分析报告。
5.根据权利要求1所述的基于肢体关键点分析的动作评估纠正方法，其特征在于，在步骤S5中还包括预设所述规范肢体关键点的开关，响应于确定所述极值低于预设阈值，则触发所述规范肢体关键点的开关，显示所述规范肢体关键点并与所述实时动作进行适配。
6.根据权利要求1所述的基于肢体关键点分析的动作评估纠正方法，其特征在于，在步骤S5中，实时获取三个连续的所述总得分，若中间的总得分数值比前、后的总得分数值大，则判定所述中间的总得分数值为极值。
7.根据权利要求1所述的基于肢体关键点分析的动作评估纠正方法，其特征在于，还包括在所述实时视频流中，基于身份识别算法兼容多人同时进行动作评估纠正。
8.一种基于肢体关键点分析的动作评估纠正系统，其特征在于，包括：
智能网络摄像头，配置于预先录入规范动作图片和获取实时视频流；
GPU服务器，配置于存储肢体关键点识别模型和动作识别模型，通过肢体关键点识别模型将所述实时视频流取帧转化为肢体关键点结构化数据，并且对所述肢体关键点结构化数据进行标记；将所述实时视频流中的实时人体影像和所述肢体关键点结构化数据输入至动作识别模型中，获取实时动作并提取出所述实时动作的实时肢体关键点，从所述规范动作图片中匹配出与所述实时动作相对应的规范动作，并提取出所述规范动作的规范肢体关键点；将所述实时肢体关键点两边连线的角度和所述规范肢体关键点两边连线的角度进行对比，计算获得各个关键部位的得分，并将所有所述关键部位的得分平均后获得总得分；
展示屏幕，配置于响应于确定所述总得分为极值，则判断所述极值是否低于预设阈值，若低于则显示所述规范肢体关键点，并与所述实时动作进行适配。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于肢体关键点分析的动作评估纠正方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于肢体关键点分析的动作评估纠正方法的步骤。
CN202310644781.7A 2023-06-01 2023-06-01 一种基于肢体关键点分析的动作评估纠正方法及系统 Pending CN116704603A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310644781.7A CN116704603A (zh) 2023-06-01 2023-06-01 一种基于肢体关键点分析的动作评估纠正方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310644781.7A CN116704603A (zh) 2023-06-01 2023-06-01 一种基于肢体关键点分析的动作评估纠正方法及系统

Publications (1)

Publication Number Publication Date
CN116704603A true CN116704603A (zh) 2023-09-05

Family

ID=87835122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310644781.7A Pending CN116704603A (zh) 2023-06-01 2023-06-01 一种基于肢体关键点分析的动作评估纠正方法及系统

Country Status (1)

Country Link
CN (1) CN116704603A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078976A (zh) * 2023-10-16 2023-11-17 华南师范大学 动作评分方法、装置、计算机设备以及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078976A (zh) * 2023-10-16 2023-11-17 华南师范大学 动作评分方法、装置、计算机设备以及存储介质

Similar Documents

Publication Publication Date Title
Thar et al. A proposal of yoga pose assessment method using pose detection for self-learning
CN109284737A (zh) 一种用于智慧教室的学生行为分析和识别系统
WO2021098616A1 (zh) 运动姿态识别方法、运动姿态识别装置、终端设备及介质
CN110490173B (zh) 一种基于3d体感模型的智能动作打分系统
CN111597975B (zh) 人员动作检测方法、装置及电子设备
CN116704603A (zh) 一种基于肢体关键点分析的动作评估纠正方法及系统
CN114022512A (zh) 运动辅助方法、装置及介质
CN113516064A (zh) 体育运动的动作判定方法、装置、设备及存储介质
GB2622351A (en) Automated scan of common ailments so that a consistent image can be given to a doctor for analysis
CN112101315A (zh) 一种基于深度学习的运动评判指导方法和系统
KR20220013347A (ko) 인공지능에 기반한 사용자 동작 인식을 이용한 체육 교육 관리 및 평가 시스템
US11282214B2 (en) Motion matching analysis
CN114333046A (zh) 舞蹈动作评分方法、装置、设备和存储介质
Guo et al. PhyCoVIS: A visual analytic tool of physical coordination for cheer and dance training
CN115346640B (zh) 一种功能性康复训练闭环反馈的智能监测方法及系统
CN113051973A (zh) 用于姿势矫正的方法及装置、电子设备
CN114120371A (zh) 图示识别及动作矫正系统及方法
CN116386136A (zh) 基于人体骨骼关键点的动作评分方法、设备及介质
CN115393963A (zh) 运动动作纠正方法、系统、存储介质、计算机设备及终端
CN114360052A (zh) 一种基于AlphaPose和关节点角度匹配算法的智能体感教练系统
JP2022058315A (ja) アシストシステム、アシスト方法、およびアシストプログラム
Palanimeera et al. Yoga posture recognition by learning spatial-temporal feature with deep learning techniques
Owlia et al. Real-time tracking of laparoscopic instruments using kinect for training in virtual reality
CN117423166B (zh) 一种根据人体姿态图像数据的动作识别方法及系统
CN112529895B (zh) 用于处理图像的方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination