CN116994339B - 一种基于图像处理的用于坐位体前屈测试的方法和系统 - Google Patents
一种基于图像处理的用于坐位体前屈测试的方法和系统 Download PDFInfo
- Publication number
- CN116994339B CN116994339B CN202311258750.4A CN202311258750A CN116994339B CN 116994339 B CN116994339 B CN 116994339B CN 202311258750 A CN202311258750 A CN 202311258750A CN 116994339 B CN116994339 B CN 116994339B
- Authority
- CN
- China
- Prior art keywords
- hand
- coordinate information
- image
- target
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 104
- 238000012545 processing Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005452 bending Methods 0.000 title claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000002360 explosive Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Public Health (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Dentistry (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
- Physical Education & Sports Medicine (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供一种基于图像处理的用于坐位体前屈测试的方法和系统，涉及图像数据处理领域，其中，所述方法包括：在测试者进行坐位体前屈测试的过程中，实时获取测试者的手部图像；对手部图像进行图像处理，提取手部关键点的坐标信息；基于手部关键点的坐标信息，确定测试者的坐位体前屈测试成绩，具有提高坐位体前屈测试的效率及测量成绩的准确度的优点。
Description
技术领域
本发明涉及图像数据处理领域，特别涉及一种基于图像处理的用于坐位体前屈测试的方法和系统。
背景技术
坐位体前屈测试是通过对测试人员躯体、腰、髋等关节活动极限幅度的测定，反映个体相关部位的关节、韧带和肌肉的伸展性和弹性，及身体柔韧性的发展水平，是一种重要的身体素质指标。当前坐位体前屈测试的成绩测量大都使用人工测量、电子测量。
人工测量是通过查看滑块所处刻度来获得测试结果。坐位体前屈测试的成绩是需要保持一秒以上才能有效，如果使用爆发式力量瞬间撞击滑块而姿态不能保持一秒以上，成绩是无效的。但人工测量很难去察觉和判断姿态保持时间和成绩有效之间的关系。坐位体前屈的标准动作要求：双脚并拢，脚背与地面垂直，大腿和小腿升值，手臂尽量往前伸，同时手掌与地面保持平行。这些标准动作的判断也和测量人员的基本素质和技能直接相关，不同测量人员因主观标准不一致而导致判断标准不一致，测量出的成绩不一致。在大量测试人员一起参加测试的情况下，测量人员的工作负荷很大，成绩需要人工查看，手工记录，测试效率很低。
电子测量是基于欧姆定律电路原理。坐位体前屈测试的滑块行程和电路电阻相关，当测试人员向前推动滑块时，相当于将电路中的滑动变阻器的划片向前移动，导致电阻变化，由电阻变化计算出滑动距离。其存在的问题也和人工测量相同，坐位体前屈测试的成绩是需要保持一秒以上才能有效，如果使用爆发式力量瞬间撞击滑块而姿态不能保持一秒以上，成绩是无效的。但电子测量装置是无法给出测试人员的姿态是否保持了一定时间的。电子测量装置也无法判断测试人员的动作是否标准，还需要依靠人工判断，不同测量人员因主观标准不一致而导致判断标准不一致，测量出的成绩不一致。
因此，需要提供一种基于图像处理的用于坐位体前屈测试的方法和系统，用于提高坐位体前屈测试的效率及测量成绩的准确度。
发明内容
本说明书实施例之一提供一种基于图像处理的用于坐位体前屈测试的方法，包括：在测试者进行坐位体前屈测试的过程中，实时获取所述测试者的手部图像；对所述手部图像进行图像处理，提取手部关键点的坐标信息；基于所述手部关键点的坐标信息，确定所述测试者的坐位体前屈测试成绩。
在一些实施例中，所述对所述手部图像进行图像处理，提取手部关键点的坐标信息，包括：通过特征提取模型对所述手部图像进行特征提取，确定多个锚框；对于每个所述锚框，所述特征提取模型判断所述锚框内是否包含所述手部区域图像，当判断所述锚框内包含手部区域图像时，将所述锚框作为目标锚框；对于每个所述目标锚框，确定所述目标锚框包括的至少一个手部关键点的坐标信息。
在一些实施例中，所述确定所述目标锚框包括的至少一个手部关键点的坐标信息，包括：对于所述目标锚框包括的每个手部关键点，确定所述手部关键点对应的位置偏移量；基于所述目标锚框的坐标信息、所述目标锚框的尺寸信息及所述手部关键点对应的位置偏移量，确定所述手部关键点的坐标信息。
在一些实施例中，所述基于所述手部关键点的坐标信息，确定所述测试者的坐位体前屈测试成绩，包括：对于每张所述手部图像，获取所述手部图像对应的相邻时间点的手部图像；基于所述手部图像包括的手部关键点的坐标信息及所述相邻时间点的手部图像包括的手部关键点的坐标信息，判断所述手部图像是否为目标手部图像；当判断所述手部图像为所述目标手部图像时，基于所述目标手部图像包括的手部关键点的坐标信息，确定所述测试者的坐位体前屈测试成绩。
在一些实施例中，所述基于所述目标手部图像包括的手部关键点的坐标信息，确定所述测试者的坐位体前屈测试成绩，包括：确定所述目标手部图像中的目标手部关键点；确定与所述目标手部关键点的坐标信息对应的刻度线信息；基于与所述目标手部关键点的坐标信息对应的刻度线信息，确定所述测试者的坐位体前屈测试成绩。
在一些实施例中，所述基于所述手部图像包括的手部关键点的坐标信息及所述相邻时间点的手部图像包括的手部关键点的坐标信息，判断所述手部图像是否为目标手部图像，包括：基于所述手部图像包括的手部关键点的坐标信息及所述相邻时间点的手部图像包括的手部关键点的坐标信息，确定手部关键点的位置变化信息；基于所述手部关键点的位置变化信息，判断所述手部图像是否为所述目标手部图像。
在一些实施例中，所述确定与所述目标手部关键点的坐标信息对应的刻度线信息，包括：确定与所述目标手部关键点的坐标信息对应的第一刻度线及第二刻度线，其中，所述目标手部关键点位于所述第一刻度线与所述第二刻度线之间；所述基于与所述目标手部关键点的坐标信息对应的刻度线信息，确定所述测试者的坐位体前屈测试成绩，包括：对所述目标手部关键点的坐标信息、所述第一刻度线的坐标信息及所述第二刻度线的坐标信息进行归一化；基于归一化后的所述目标手部关键点的坐标信息、所述第一刻度线的坐标信息及所述第二刻度线的坐标信息，确定所述测试者的坐位体前屈测试成绩。
在一些实施例中，通过以下公式基于归一化后的所述目标手部关键点的坐标信息、所述第一刻度线的坐标信息及所述第二刻度线的坐标信息，确定所述测试者的坐位体前屈测试成绩：其中，S为测试者的坐位体前屈测试成绩，r为中间参数，/>为归一化后的目标手部关键点的坐标信息，/>为归一化后的第二刻度线的坐标信息，/>为归一化后的第一刻度线的坐标信息，D为相邻两根刻度线之间的距离，/>为第二刻度线对应的刻度值。
本说明书实施例之一提供一种基于图像处理的用于坐位体前屈测试的系统，应用上述的一种基于图像处理的用于坐位体前屈测试的方法，包括：测试台，用于支撑测试者进行坐位体前屈测试；图像采集组件，用于在所述测试者进行坐位体前屈测试的过程中，实时获取所述测试者的手部图像；处理器，用于对所述手部图像进行图像处理，提取手部关键点的坐标信息，并基于所述手部关键点的坐标信息，确定所述测试者的坐位体前屈测试成绩；其中，所述图像采集组件及所述处理器设置在所述测试台上。
在一些实施例中，所述测试台包括底座、图像采集台及顶座，所述图像采集台位于所述底座的上方，所述顶座位于所述图像采集台的上方；所述底座与所述图像采集台之间形成脚部容纳空腔；所述图像采集台与所述顶座之间，形成手部容纳空腔；所述图像采集组件设置在所述顶座的底部；所述图像采集台上设置有刻度尺；所述手部图像包含所述刻度尺的图像。
相比于现有技术，本说明书提供的一种基于图像处理的用于坐位体前屈测试的方法和系统，至少具备以下有益效果：
1、现有的体前屈测试需要人工测量，可能存在误差和不适感，而本方法和系统基于计算机视觉手部关键点识别的坐位体前屈测试可以实现非接触式测量，避免了这些问题；
2、现有的体前屈测试需要人工记录和处理数据，而本方法和系统基于计算机视觉手部关键点识别的坐位体前屈测试可以实现自动化的数据处理和分析，提高了测量的效率和准确性；
3、现有的体前屈测试可能存在人为因素的影响，导致测量结果的不稳定性，而本方法和系统基于计算机视觉手部关键点识别的坐位体前屈测试可以实现自动化测量，具有较好的稳定性。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的测试台的结构示意图；
图2是根据本说明书一些实施例所示的基于图像处理的用于坐位体前屈测试的方法的流程示意图；
图3是根据本说明书一些实施例所示的提取手部关键点的坐标信息的流程示意图；
图4是根据本说明书一些实施例所示的确定测试者的坐位体前屈测试成绩的流程示意图；
图5是根据本说明书一些实施例所示的手部关键点的示意图。
图中，110、底座；120、图像采集台；130、顶座。
实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
一种基于图像处理的用于坐位体前屈测试的系统可以包括测试台、图像采集组件及处理器。
测试台可以用于支撑测试者进行坐位体前屈测试。
图1是根据本说明书一些实施例所示的测试台的结构示意图，如图1所示，在一些实施例中，测试台包括底座110、图像采集台120及顶座130，图像采集台120位于底座110的上方，顶座130位于图像采集台120的上方。底座110与图像采集台120之间形成脚部容纳空腔，图像采集台120与顶座130之间，形成手部容纳空腔。
可以理解的，测试者使用基于图像处理的用于坐位体前屈测试的系统进行坐位体前屈测试时，可以先坐在测试台上，将脚伸入底座110与图像采集台120之间形成的脚部容纳空腔内，并将手部放入图像采集台120与顶座130之间形成的手部容纳空腔。
图像采集组件及处理器设置在测试台上。
图像采集组件设置在顶座130的底部。例如，图像采集组件和处理器可以嵌入顶座130的底部。
可以理解的，图像采集组件设置在顶座130的底部，使得基于图像处理的用于坐位体前屈测试的系统在户外使用时，不容易收到外部环境的影响。
图像采集台120上设置有刻度尺。
图像采集组件可以用于在测试者进行坐位体前屈测试的过程中，实时获取测试者的手部图像。手部图像包含刻度尺的图像。
仅作为示例，图像采集组件可以包括参数为1920*1080分辨率，30帧输出的摄像头。
处理器可以用于对手部图像进行图像处理，提取手部关键点的坐标信息，并基于手部关键点的坐标信息，确定测试者的坐位体前屈测试成绩。
仅作为示例，处理器可以包括RK3588 CPU、4G运行内存及32G硬盘。
处理器旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。处理器还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
处理器包括计算单元，其可以根据存储在只读存储器（ROM）中的计算机程序或者从存储单元加载到随机访问存储器（RAM）中的计算机程序，来执行各种适当的动作和处理。在RAM中，还可存储设备操作所需的各种程序和数据。计算单元、ROM以及RAM通过总线彼此相连。输入/输出（I/O）接口也连接至总线。
处理器中的多个部件连接至I/O接口，包括：输入单元、输出单元、存储单元以及通信单元。输入单元可以是能向处理器输入信息的任何类型的设备，输入单元可以接收输入的数字或字符信息，以及产生与处理器的用户设置和/或功能控制有关的键信号输入。输出单元可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元可以包括但不限于磁盘、光盘。通信单元允许处理器通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元执行上文所描述的各个方法和处理。例如，在一些实施例中，基于图像处理的用于坐位体前屈测试的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入和/或安装到处理器上。在一些实施例中，计算单元可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行基于图像处理的用于坐位体前屈测试的方法。
关于基于图像处理的用于坐位体前屈测试的系统的更多描述可以参见图2及其相关描述，此处不再赘述。
图2是根据本说明书一些实施例所示的基于图像处理的用于坐位体前屈测试的方法的流程示意图，在一些实施例中，基于图像处理的用于坐位体前屈测试的方法可以由基于图像处理的用于坐位体前屈测试的系统执行，如图2所示，基于图像处理的用于坐位体前屈测试的方法可以包括以下流程。
步骤210，在测试者进行坐位体前屈测试的过程中，实时获取测试者的手部图像。
具体的，图像采集组件可以在测试者进行坐位体前屈测试的过程中，按照预设图像采集频率（例如，30帧），实时获取测试者的手部图像。
步骤220，对手部图像进行图像处理，提取手部关键点的坐标信息。
具体的，处理器可以基于卷积神经网络（例如，MobileNetV2）对手部图像进行图像处理，提取手部关键点的坐标信息。其中，MobileNetV2是一种轻量级的卷积神经网络，主要用于图像分类和目标检测任务。它采用了一系列的优化策略，包括深度可分离卷积、线性瓶颈、倒残差结构等，以在保持高精度的同时减少模型的参数量和计算量。MobileNetV2的核心是深度可分离卷积，它将标准卷积分解为深度卷积和逐点卷积两个步骤。深度卷积只考虑通道之间的相关性，而逐点卷积则只考虑空间上的相关性。这种分解可以大大减少计算量和参数量，同时保持模型的准确性。MobileNetV2还采用了线性瓶颈和倒残差结构来进一步优化模型。线性瓶颈可以将输入特征图的通道数降低，从而减少计算量。倒残差结构则可以在保持模型深度的同时减少计算量和参数量。
图3是根据本说明书一些实施例所示的提取手部关键点的坐标信息的流程示意图，如图3所示，在一些实施例中，处理器对手部图像进行图像处理，提取手部关键点的坐标信息，包括：
通过特征提取模型对手部图像进行特征提取，确定多个锚框（anchor boxes），其中，特征提取模型可以为上述的卷积神经网络的一部分；
对于每个锚框，特征提取模型判断锚框内是否包含手部区域图像，当判断锚框内包含手部区域图像时，将锚框作为目标锚框；
对于每个目标锚框，确定目标锚框包括的至少一个手部关键点的坐标信息。
具体的，MobileNetV2使用了SSD（Single Shot MultiBox Detector）算法中的特征提取网络，包括一些卷积层和池化层，SSD在MobileNetV2的输出特征图上应用一系列的卷积层和池化层，以生成一组不同尺度和长宽比的锚框（anchor boxes）。这些锚框是用来检测图像中的手部区域。对于每个锚框，SSD使用MobileNetV2输出的特征图来预测它是否包含手部区域，以及手部区域中的21个关键点位置（如图5所示）。这个预测过程是通过在锚框周围的区域上应用一些卷积层和全连接层来完成的。最后，SSD使用非极大值抑制（Non-Maximum Suppress,NMS）算法来消除重叠的检测结果，并输出最终的手部关键点检测结果。
SSD算法的公式如下：
对于每个锚框，SSD需要预测它是否包含手部区域。这个预测可以表示为一个二元分类问题，即：
其中，/>表示对于第i个锚框，其包含手部区域的概率。这是模型预测的输出值，范围为0到1之间的实数。/>表示概率（Probability），在这里指的是预测结果为真（含有手部区域）的概率。hand表示目标检测任务中所关注的目标类别，即手部。exists表示存在性（existence），表示判断目标是否存在于锚框中。在这里指的是判断手部是否存在于锚框中。in表示判断手部是否在锚框内部，即手部区域是否完全包含在锚框中。anchor表示锚框（anchor），是在图像上提前定义的一系列矩形框，用于多尺度目标检测。模型需要对每个锚框进行分类和位置回归。
在一些实施例中，处理器确定目标锚框包括的至少一个手部关键点的坐标信息，包括：
对于目标锚框包括的每个手部关键点，
确定手部关键点对应的位置偏移量，例如，处理器可以通过卷积神经网络（例如，MobileNetV2）根据目标锚框的位置和尺寸，预测目标锚框包括的每个手部关键点对应的位置偏移量；
基于目标锚框的坐标信息、目标锚框的尺寸信息及手部关键点对应的位置偏移量，确定手部关键点的坐标信息。
具体的，每个包含手部区域的锚框，SSD还需要预测手部区域中的关键点位置。这个预测可以表示为一个回归问题，即：
其中，/>是第i个锚框中手部区域中n个关键点的位置偏移量，它表示关键点相对于锚框的偏移量，位置偏移量/>的具体作用是根据锚框的位置和尺寸，对手部区域中的关键点进行精细调整。将锚框的位置坐标加上位置偏移量，得到最终的关键点位置。这样可以提高手部关键点检测的精度和准确性。/>、/>、/>、…、/>：表示第i个锚框中n个关键点位置的x和y坐标。这些坐标值是模型预测的输出值，用于表示关键点在图像上的位置。
步骤230，基于手部关键点的坐标信息，确定测试者的坐位体前屈测试成绩。
图4是根据本说明书一些实施例所示的确定测试者的坐位体前屈测试成绩的流程示意图，如图4所示，在一些实施例中，处理器基于手部关键点的坐标信息，确定测试者的坐位体前屈测试成绩，包括：
对于每张手部图像，
获取手部图像对应的相邻时间点的手部图像，其中，相邻时间点的手部图像可以包括在该手部图像的获取时间点之前的一段时间（例如，5秒）内的时间点获取的手部图像（也可称为前相邻时间点的手部图像），还可以包括该手部图像的获取时间点之后的一段时间（例如，5秒）内的时间点获取的手部图像（也可称为后相邻时间点的手部图像）；
基于手部图像包括的手部关键点的坐标信息及相邻时间点的手部图像包括的手部关键点的坐标信息，判断手部图像是否为目标手部图像；
当判断手部图像为目标手部图像时，基于目标手部图像包括的手部关键点的坐标信息，确定测试者的坐位体前屈测试成绩。
在一些实施例中，处理器基于手部图像对应的手部关键点的坐标信息及相邻时间点的手部图像对应的手部关键点的坐标信息，判断手部图像是否为目标手部图像，包括：
基于手部图像对应的手部关键点的坐标信息及相邻时间点的手部图像对应的手部关键点的坐标信息，确定手部关键点的位置变化信息；
基于手部关键点的位置变化信息，确定手部图像是否为目标手部图像。
具体的，可以基于前相邻时间点的手部图像确定手部关键点的坐标信息（也可称为前手部关键点的坐标信息），并基于后相邻时间点的手部图像确定手部关键点的坐标信息（也可称为后手部关键点的坐标信息），基于前手部关键点的坐标信息、该手部图像包括的手部关键点的坐标信息及后手部关键点的坐标信息，确定手部关键点的位置变化信息，其中，手部关键点的位置变化信息可以包括手部关键点与图像采集台120靠近测试者的一端之间的距离。当后手部关键点的坐标信息对应的与图像采集台120靠近测试者的一端之间的距离小于该手部图像包括的手部关键点的坐标信息与图像采集台120靠近测试者的一端之间的距离时，确定手部图像为目标手部图像。
在一些实施例中，处理器基于目标手部图像包括的手部关键点的坐标信息，确定测试者的坐位体前屈测试成绩，包括：
确定目标手部图像中的目标手部关键点（例如，中指指尖关键点，即图5所示的手部关键点12）；
确定与目标手部关键点的坐标信息对应的刻度线信息；
基于与目标手部关键点的坐标信息对应的刻度线信息，确定测试者的坐位体前屈测试成绩。
在一些实施例中，处理器确定与目标手部关键点的坐标信息对应的刻度线信息，包括：
确定与目标手部关键点的坐标信息对应的第一刻度线及第二刻度线，其中，目标手部关键点位于第一刻度线与第二刻度线之间。
在一些实施例中，基于与目标手部关键点的坐标信息对应的刻度线信息，确定测试者的坐位体前屈测试成绩，包括：
对目标手部关键点的坐标信息、第一刻度线的坐标信息及第二刻度线的坐标信息进行归一化；
基于归一化后的目标手部关键点的坐标信息、第一刻度线的坐标信息及第二刻度线的坐标信息，确定测试者的坐位体前屈测试成绩。
在一些实施例中，通过以下公式基于归一化后的目标手部关键点的坐标信息、第一刻度线的坐标信息及第二刻度线的坐标信息，确定测试者的坐位体前屈测试成绩：
其中，S为测试者的坐位体前屈测试成绩，r为中间参数，/>为归一化后的目标手部关键点的坐标，/>为归一化后的第二刻度线的坐标，/>为归一化后的第一刻度线的坐标，D为相邻两根刻度线之间的距离，/>为第二刻度线对应的刻度值。
在一些实施例中，处理器确定测试者的坐位体前屈测试成绩后，可以将该测试者的坐位体前屈测试成绩上传至云端，被测试者可以通过云端获取测试成绩。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。
Claims (7)
1.一种基于图像处理的用于坐位体前屈测试的方法，其特征在于，包括：
在测试者进行坐位体前屈测试的过程中，实时获取所述测试者的手部图像；
对所述手部图像进行图像处理，提取手部关键点的坐标信息；
基于所述手部关键点的坐标信息，确定所述测试者的坐位体前屈测试成绩；
其中，所述对所述手部图像进行图像处理，提取手部关键点的坐标信息，包括： 通过特征提取模型对所述手部图像进行特征提取，确定多个锚框；
对于每个所述锚框，所述特征提取模型判断所述锚框内是否包含手部区域图像，当判断所述锚框内包含所述手部区域图像时，将所述锚框作为目标锚框；
对于每个所述目标锚框，确定所述目标锚框包括的至少一个手部关键点的坐标信息；
所述确定所述目标锚框包括的至少一个手部关键点的坐标信息，包括：
对于所述目标锚框包括的每个手部关键点，
通过卷积神经网络根据目标锚框的位置和尺寸，预测所述手部关键点对应的位置偏移量；
基于所述目标锚框的坐标信息、所述目标锚框的尺寸信息及所述手部关键点对应的位置偏移量，确定所述手部关键点的坐标信息；
所述基于所述手部关键点的坐标信息，确定所述测试者的坐位体前屈测试成绩，包括：
对于每张所述手部图像，
获取所述手部图像对应的相邻时间点的手部图像；
基于所述手部图像包括的手部关键点的坐标信息及所述相邻时间点的手部图像包括的手部关键点的坐标信息，判断所述手部图像是否为目标手部图像，具体包括：基于所述手部图像的前相邻时间点的手部图像确定前手部关键点的坐标信息，并基于所述手部图像的后相邻时间点的手部图像确定后手部关键点的坐标信息，基于前手部关键点的坐标信息、所述手部图像包括的手部关键点的坐标信息及后手部关键点的坐标信息，确定手部关键点的位置变化信息，其中，手部关键点的位置变化信息包括手部关键点与图像采集台靠近测试者的一端之间的距离，当后手部关键点的坐标信息对应的与图像采集台靠近测试者的一端之间的距离小于该手部图像包括的手部关键点的坐标信息与图像采集台靠近测试者的一端之间的距离时，确定手部图像为目标手部图像；
当判断所述手部图像为所述目标手部图像时，基于所述目标手部图像包括的手部关键点的坐标信息，确定所述测试者的坐位体前屈测试成绩。
2.根据权利要求1所述的一种基于图像处理的用于坐位体前屈测试的方法，其特征在于，所述基于所述目标手部图像包括的手部关键点的坐标信息，确定所述测试者的坐位体前屈测试成绩，包括：
确定所述目标手部图像中的目标手部关键点；
确定与所述目标手部关键点的坐标信息对应的刻度线信息；
基于与所述目标手部关键点的坐标信息对应的刻度线信息，确定所述测试者的坐位体前屈测试成绩。
3.根据权利要求1所述的一种基于图像处理的用于坐位体前屈测试的方法，其特征在于，所述基于所述手部图像包括的手部关键点的坐标信息及所述相邻时间点的手部图像包括的手部关键点的坐标信息，判断所述手部图像是否为目标手部图像，包括：
基于所述手部图像包括的手部关键点的坐标信息及所述相邻时间点的手部图像包括的手部关键点的坐标信息，确定手部关键点的位置变化信息；
基于所述手部关键点的位置变化信息，判断所述手部图像是否为所述目标手部图像。
4.根据权利要求2所述的一种基于图像处理的用于坐位体前屈测试的方法，其特征在于，所述确定与所述目标手部关键点的坐标信息对应的刻度线信息，包括：
确定与所述目标手部关键点的坐标信息对应的第一刻度线及第二刻度线，其中，所述目标手部关键点位于所述第一刻度线与所述第二刻度线之间；
所述基于与所述目标手部关键点的坐标信息对应的刻度线信息，确定所述测试者的坐位体前屈测试成绩，包括：
对所述目标手部关键点的坐标信息、所述第一刻度线的坐标信息及所述第二刻度线的坐标信息进行归一化；
基于归一化后的所述目标手部关键点的坐标信息、所述第一刻度线的坐标信息及所述第二刻度线的坐标信息，确定所述测试者的坐位体前屈测试成绩。
5.根据权利要求4所述的一种基于图像处理的用于坐位体前屈测试的方法，其特征在于，通过以下公式基于归一化后的所述目标手部关键点的坐标信息、所述第一刻度线的坐标信息及所述第二刻度线的坐标信息，确定所述测试者的坐位体前屈测试成绩：
其中，S为所述测试者的坐位体前屈测试成绩，r为中间参数，/>为归一化后的目标手部关键点的坐标信息，为归一化后的第二刻度线的坐标信息，/>为归一化后的第一刻度线的坐标信息，D为相邻两根刻度线之间的距离，/>为第二刻度线对应的刻度值。
6.一种基于图像处理的用于坐位体前屈测试的系统，应用如权利要求1-5中任意一项所述的一种基于图像处理的用于坐位体前屈测试的方法，其特征在于，包括：
测试台，用于支撑测试者进行坐位体前屈测试；
图像采集组件，用于在所述测试者进行坐位体前屈测试的过程中，实时获取所述测试者的手部图像；
处理器，用于对所述手部图像进行图像处理，提取手部关键点的坐标信息，并基于所述手部关键点的坐标信息，确定所述测试者的坐位体前屈测试成绩；
其中，所述图像采集组件及所述处理器设置在所述测试台上。
7.根据权利要求6所述的一种基于图像处理的用于坐位体前屈测试的系统，其特征在于，所述测试台包括底座、图像采集台及顶座，所述图像采集台位于所述底座的上方，所述顶座位于所述图像采集台的上方；
所述底座与所述图像采集台之间形成脚部容纳空腔；
所述图像采集台与所述顶座之间形成手部容纳空腔；
所述图像采集组件设置在所述顶座的底部；
所述图像采集台上设置有刻度尺；
所述手部图像包含所述刻度尺的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311258750.4A CN116994339B (zh) | 2023-09-27 | 2023-09-27 | 一种基于图像处理的用于坐位体前屈测试的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311258750.4A CN116994339B (zh) | 2023-09-27 | 2023-09-27 | 一种基于图像处理的用于坐位体前屈测试的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116994339A CN116994339A (zh) | 2023-11-03 |
| CN116994339B true CN116994339B (zh) | 2024-01-23 |
Family
ID=88530664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311258750.4A Active CN116994339B (zh) | 2023-09-27 | 2023-09-27 | 一种基于图像处理的用于坐位体前屈测试的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116994339B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975571A (zh) * | 2024-03-28 | 2024-05-03 | 成都怡康科技有限公司 | 一种坐位体前屈的测试方法、装置、设备及介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015153180A (ja) * | 2014-02-14 | 2015-08-24 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
| CN107562207A (zh) * | 2017-09-21 | 2018-01-09 | 深圳市晟达机械设计有限公司 | 一种基于手势识别控制的智能医疗系统 |
| EP3386207A1 (de) * | 2017-04-05 | 2018-10-10 | Clik S.A. | Verfahren zum betrieb eines datenverarbeitungssystems zur bereitstellung eines interaktiven videoinhalts |
| CN110916674A (zh) * | 2019-11-24 | 2020-03-27 | 上海淡竹体育科技有限公司 | 坐位体前屈测试方法及装置 |
| CN114445853A (zh) * | 2021-12-23 | 2022-05-06 | 北京时代民芯科技有限公司 | 一种视觉手势识别系统识别方法 |
| CN114712769A (zh) * | 2022-03-29 | 2022-07-08 | 延边大学 | 基于计算机视觉的立定跳远智能测距方法及系统 |
| US11507203B1 (en) * | 2021-06-21 | 2022-11-22 | Meta Platforms Technologies, Llc | Body pose estimation using self-tracked controllers |
| CN115661917A (zh) * | 2021-07-09 | 2023-01-31 | 博泰车联网(南京)有限公司 | 手势识别方法及相关产品 |
| CN115809679A (zh) * | 2022-06-30 | 2023-03-17 | 北京旷视科技有限公司 | 体能测试方法、电子设备、存储介质及计算机程序产品 |
| CN116069214A (zh) * | 2021-11-02 | 2023-05-05 | 华为技术有限公司 | 跨控件的界面交互方法、电子设备、介质以及程序产品 |
| CN116311523A (zh) * | 2023-03-22 | 2023-06-23 | 广东沃莱科技有限公司 | 一种基于图像识别的花式跳绳识别算法 |
| CN116650922A (zh) * | 2023-05-24 | 2023-08-29 | 杭州魔球科技有限公司 | 基于深度学习的青少年体适能全面测试方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11107242B2 (en) * | 2019-01-11 | 2021-08-31 | Microsoft Technology Licensing, Llc | Detecting pose using floating keypoint(s) |
-
2023
- 2023-09-27 CN CN202311258750.4A patent/CN116994339B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015153180A (ja) * | 2014-02-14 | 2015-08-24 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
| EP3386207A1 (de) * | 2017-04-05 | 2018-10-10 | Clik S.A. | Verfahren zum betrieb eines datenverarbeitungssystems zur bereitstellung eines interaktiven videoinhalts |
| CN107562207A (zh) * | 2017-09-21 | 2018-01-09 | 深圳市晟达机械设计有限公司 | 一种基于手势识别控制的智能医疗系统 |
| CN110916674A (zh) * | 2019-11-24 | 2020-03-27 | 上海淡竹体育科技有限公司 | 坐位体前屈测试方法及装置 |
| US11507203B1 (en) * | 2021-06-21 | 2022-11-22 | Meta Platforms Technologies, Llc | Body pose estimation using self-tracked controllers |
| CN115661917A (zh) * | 2021-07-09 | 2023-01-31 | 博泰车联网(南京)有限公司 | 手势识别方法及相关产品 |
| CN116069214A (zh) * | 2021-11-02 | 2023-05-05 | 华为技术有限公司 | 跨控件的界面交互方法、电子设备、介质以及程序产品 |
| CN114445853A (zh) * | 2021-12-23 | 2022-05-06 | 北京时代民芯科技有限公司 | 一种视觉手势识别系统识别方法 |
| CN114712769A (zh) * | 2022-03-29 | 2022-07-08 | 延边大学 | 基于计算机视觉的立定跳远智能测距方法及系统 |
| CN115809679A (zh) * | 2022-06-30 | 2023-03-17 | 北京旷视科技有限公司 | 体能测试方法、电子设备、存储介质及计算机程序产品 |
| CN116311523A (zh) * | 2023-03-22 | 2023-06-23 | 广东沃莱科技有限公司 | 一种基于图像识别的花式跳绳识别算法 |
| CN116650922A (zh) * | 2023-05-24 | 2023-08-29 | 杭州魔球科技有限公司 | 基于深度学习的青少年体适能全面测试方法和系统 |
Non-Patent Citations (3)
| Title |
|---|
| 基于Kinect骨骼数据的静态三维手势识别;李红波;丁林建;吴渝;冉光勇;;计算机应用与软件(09);167-171 * |
| 基于单目视觉和简单手势的空间交互技术;陈雅茜;欧长坤;郭阳;;西南民族大学学报(自然科学版)(06);77-82+175 * |
| 基于自监督持续学习的手部三维模型重建方法;王思涵;中国优秀硕士学位论文全文数据库信息科技辑(第2期);I138-2906 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116994339A (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021000401A1 (zh) | 体态评估方法、电子装置、计算机设备及存储介质 | |
| CN116994339B (zh) | 一种基于图像处理的用于坐位体前屈测试的方法和系统 | |
| CN112464918B (zh) | 健身动作纠正方法、装置、计算机设备和存储介质 | |
| CN107871116A (zh) | 用于确定人的姿势平衡的方法和系统 | |
| CN111222548A (zh) | 相似图像检测方法、装置、设备及存储介质 | |
| US20240169518A1 (en) | Method and apparatus for identifying body constitution in traditional chinese medicine, electronic device, storage medium and program | |
| CN110765946B (zh) | 一种跑姿评估方法、装置、设备和存储介质 | |
| CN115345928A (zh) | 关键点的获取方法、计算机设备和存储介质 | |
| CN117115922A (zh) | 坐位体前屈评测方法、系统、电子设备和存储介质 | |
| CN113392743A (zh) | 异常动作检测方法、装置、电子设备和计算机存储介质 | |
| CN113239849A (zh) | 健身动作质量评估方法、系统、终端设备及存储介质 | |
| CN114723659A (zh) | 穴位检测效果确定方法、装置及电子设备 | |
| CN115035042A (zh) | 动作迁移模型的评价方法、装置、电子设备及存储介质 | |
| CN111724901B (zh) | 一种基于视觉的结构体参数预测方法、系统、装置及存储介质 | |
| CN114550282A (zh) | 多人三维姿态估计方法、装置及电子设备 | |
| CN114359133A (zh) | 基于特征提取的手骨影像分析方法及相关设备 | |
| CN113112321A (zh) | 智能量体方法、装置、电子设备及存储介质 | |
| CN108550384B (zh) | 用于推送信息的方法和装置 | |
| US11682227B2 (en) | Body and hand association method and apparatus, device, and storage medium | |
| KR102654041B1 (ko) | 스캔을 바탕으로 신체 정보를 측정하고 운동을 추천하는 전자 장치, 및 시스템 | |
| CN117558457B (zh) | 一种客户关系管理系统中客户画像分析方法 | |
| CN117065310B (zh) | 动作评测方法、装置、异构ai芯片、设备及存储介质 | |
| CN111724374B (zh) | 分析结果的评估方法及终端 | |
| CN113657271B (zh) | 结合可量化因素及不可量化因素判断的坐姿检测方法及系统 | |
| CN114445559A (zh) | 模型重建模块的测试方法和装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |