CN117636452A - 一种动作评分方法、设备和存储介质 - Google Patents
一种动作评分方法、设备和存储介质 Download PDFInfo
- Publication number
- CN117636452A CN117636452A CN202210987244.8A CN202210987244A CN117636452A CN 117636452 A CN117636452 A CN 117636452A CN 202210987244 A CN202210987244 A CN 202210987244A CN 117636452 A CN117636452 A CN 117636452A
- Authority
- CN
- China
- Prior art keywords
- scored
- action
- point cloud
- dimensional
- cloud data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013077 scoring method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000009987 spinning Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及智能健身领域,具体提供一种动作评分方法、设备和存储介质。本发明的动作评分方法包括:通过激光雷达设备获取待评分动作点云数据;获取与待评分动作点云数据对应的同一时刻的标准教学数据;基于待评分动作点云数据和同一时刻的标准教学数据判断待评分动作的完成情况并得出评分。该方法可以解决或至少部分解决动作评分不准确和评分过程中泄露用户隐私的问题。
Description
技术领域
本发明涉及智能健身领域,具体提供一种动作评分方法、设备和存储介质。
背景技术
目前市面上的健身器械(例如:跳舞机)等机器都是通过识别输入信号来判断动作完成情况并进行评分的,这种方法的局限性在于,有可能有输入信号但是动作不标准甚至没有做,不符合设计的目标。
现有技术中也有通过摄像头采集图像,对图像数据进行分析处理来判断动作完成情况的技术方案,但是此种方案需要获取用户的图像数据,有可能会导致用户隐私泄露等问题。
相应地,本领域需要一种动作评分方法来解决上述问题。
发明内容
为了克服上述缺陷,提出了本发明,以提供解决或至少部分解决动作评分不准确和评分过程中泄露用户隐私的问题的方法。
在第一方面,本发明提供一种动作评分方法,应用于健身设备,所述方法包括以下步骤:
通过激光雷达设备获取待评分动作点云数据;
获取与所述待评分动作点云数据对应的同一时刻的标准教学数据;
基于所述待评分动作点云数据和所述同一时刻的标准教学数据判断所述待评分动作的完成情况并得出评分。
在一些实施方式中,所述通过激光雷达设备获取待评分动作点云数据包括:
通过激光雷达设备获取所述健身设备预设区域内的激光雷达点云数据;
将所述激光雷达点云数据输入训练好的三维点云物体检测模型,并基于所述训练好的三维点云物体检测模型识别出待评分目标对象;
获取识别出的所述待评分目标对象的点云轮廓数据,以作为所述待评分动作点云数据。
在一些实施方式中,所述获取与所述待评分动作点云数据对应的同一时刻的标准教学数据包括:
获取与所述待评分动作点云数据对应的同一时刻的标准教学图像,对所述标准教学图像进行轮廓提取,得到标准轮廓数据作为所述标准教学数据,或,获取与所述待评分动作点云数据对应的同一时刻的标准教学点云数据作为所述标准教学数据。
在一些实施方式中,所述基于所述待评分动作点云数据和所述同一时刻的标准教学数据判断所述待评分动作的完成情况并得出评分包括:
将所述待评分点云数据和所述标准教学数据投射到同一个二维坐标系或三维坐标系中;
获取所述待评分点云数据和所述标准教学数据在所述二维坐标系或所述三维坐标系中的重合度;
根据在所述二维坐标系或所述三维坐标系中的重合度判断待评分动作的完成情况并得出评分。
在一些实施方式中,根据在所述二维坐标系中的重合度判断待评分动作的完成情况并得出评分包括:
获得所述待评分点云数据在所述二维坐标系中的二维待评分点云轮廓;
获得所述标准教学数据在所述二维坐标系中的二维标准轮廓;
根据所述二维坐标系中所述二维待评分点云轮廓的面积、所述二维标准轮廓的面积、所述待评分点云数据中落到所述二维标准轮廓内的待评分点云的数量与所述待评分点云数据中点云的总数的占比得到所述重合度;
基于所述重合度判断待评分动作的完成情况并得出评分。
在一些实施方式中,根据在所述三维坐标系中的重合度判断待评分动作的完成情况并得出评分包括:
获得所述待评分点云数据在所述三维坐标系中的三维待评分点云轮廓;
获得所述标准教学数据在所述三维坐标系中的三维标准轮廓;
根据所述三维坐标系中所述三维待评分点云轮廓的体积、所述三维标准轮廓的体积、所述待评分点云数据中落到所述三维标准轮廓内的待评分点云的数量与所述待评分点云数据中点云的总数的占比得到所述重合度;
基于所述重合度判断待评分动作的完成情况并得出评分。
在一些实施方式中,所述方法还包括根据在所述二维坐标系或所述三维坐标系中的重合度对健身者提供动作纠正提示,所述根据在所述二维坐标系或所述三维坐标系中的重合度对健身者提供动作纠正提示包括:
当所述重合度小于重合度阈值时,以图片、视频或语音提示的方式向所述健身者展示所述待评分动作的完成情况,并给出动作纠正提示。
在第二方面,本发明提供一种动作评分设备,包括图像采集装置、处理器和存储器,所述图像采集装置适于获取待评分动作点云数据,所述存储器适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行上述任一项所述的动作评分方法。
在一些实施方式中,所述动作评分设备为健身设备,所述健身设备至少包括跳舞机、跑步机、动感单车中一种,所述图像采集装置为激光雷达设备。
在第三方面,本发明提供了一种计算机可读存储介质,其中存储有多条程序代码,所述程序代码适于由处理器加载并运行以执行上述任一项所述的动作评分方法。
在采用上述技术方案的情况下,本发明能够提供一种动作评分方法,应用于健身设备,该方法通过激光雷达设备获取待评分动作点云数据;获取与所述待评分动作点云数据对应的同一时刻的标准教学数据;基于所述待评分动作点云数据和所述同一时刻的标准教学数据判断所述待评分动作的完成情况并得出评分。该方法通过获取动作点云数据可以更为真实、精确得反映动作的完成情况,基于点云数据对动作评分,可以有效解决动作评分不准确和评分过程中泄露用户隐私的问题。
附图说明
参照附图,本发明的公开内容将变得更易理解。本领域技术人员容易理解的是:这些附图仅仅用于说明的目的,而并非意在对本发明的保护范围组成限制。此外,图中类似的数字用以表示类似的部件,其中:
图1是根据本发明实施例提供的一种动作评分方法的主要步骤流程示意图;
图2是根据本发明实施例提供的一种动作评分装置的主要结构框图示意图;
图3是根据本发明实施例提供的一种动作评分设备的主要结构框图示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
在本发明的描述中,“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路,各种合适的感应器,通信端口,存储器,也可以包括软件部分,比如程序代码,也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质,比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合,比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似,可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
这里先解释本发明涉及到的一些术语。
激光雷达设备,是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是通过向目标发射激光束,然后将接收到的从目标反射回来的反射信号与发射信号进行比较和处理,从而获得目标的有关信息,如目标距离、方位、高度、速度、姿态、形状等参数,可以用于对目标进行探测、跟踪和识别。
激光雷达点云数据,是由三维激光雷达设备扫描得到的空间点的数据集,每一个点都包含了三维坐标信息,也是我们常说的X、Y、Z三个元素,有的还包含颜色信息、反射强度信息、回波次数信息等。
三维坐标系是三维笛卡尔坐标系(Cartesian coordinates)中的直角坐标系,该三维坐标系包括x轴、y轴和z轴。二维坐标系是二维笛卡尔坐标系(Cartesiancoordinates)中的直角坐标系,该二维坐标系包括x轴和y轴。
传统的健身器械一般都是通过识别输入信号来判断动作完成情况并进行评分的,这种方法的局限性在于,有可能有输入信号但是动作不标准甚至没有做,不符合设计的目标。目前已经存在使用三维点云数据进行图像采集的技术,但一般都是应用于自动驾驶领域,在健身动作评价方面并没有相关应用。而利用激光雷达获取的三维点云数据,能够包含更精准的动作信息。
有鉴于此,本发明提供了一种动作评分方法,应用于健身设备,通过激光雷达设备获取待评分动作点云数据;获取与待评分动作点云数据对应的同一时刻的标准教学数据;基于待评分动作点云数据和同一时刻的标准教学数据判断待评分动作的完成情况并得出评分。该方法可以有效解决动作评分不准确和评分过程中泄露用户隐私的问题。
本发明的动作评分方法可以应用于配备激光雷达设备的跳舞机、跑步机、动感单车等健身设备中。当健身者在上述健身设备上做动作时,健身设备可以同时播放健身教学视频,并采用本发明提出的动作评分方法对健身者的动作进行评分。
下面参阅附图1对本发明的一个实施例进行说明,图1是根据本发明实施例提供的一种动作评分方法的主要步骤流程示意图,主要包括下列步骤S101-步骤S103:
步骤S101:通过激光雷达设备获取待评分动作点云数据;
步骤S102:获取与待评分动作点云数据对应的同一时刻的标准教学数据;
步骤S103:基于待评分动作点云数据和同一时刻的标准教学数据判断待评分动作的完成情况并得出评分。
上述步骤S101通过激光雷达设备获取的待评分动作点云数据为三维激光雷达点云数据,通过利用激光雷达设备主动、实时感知环境、物体动态空间位置关系,能够获取到包含丰富空间信息的三维激光雷达点云数据,以此获得的待评分动作点云数据能够真实、准确地反映动作情况。在步骤S102-S103中基于获取到的待评分动作点云数据、标准教学数据实现对动作的评分,不需要采集健身者的可见光图像就可以实现对动作完成情况的判断并得出评分,有效地保护了用户的隐私。
在一些实施方式中,在步骤S101中通过激光雷达设备获取待评分动作点云数据包括:
通过激光雷达设备获取健身设备预设区域内的激光雷达点云数据;
将激光雷达点云数据输入训练好的三维点云物体检测模型,并基于训练好的三维点云物体检测模型识别出待评分目标对象;
获取识别出的待评分目标对象的点云轮廓数据,以作为待评分动作点云数据。
在一些实施方式中,可以通过设置在健身设备上或周围预设区域的一个或多个激光雷达设备获取待评分动作点云数据;在一些实施方式中,激光雷达可以设置在健身设备上或健身设备的周围预设区域,且激光雷达设备可以设置多个,且该多个激光雷达设备设置在不同位置,以获取不同角度的点云数据,从而使得采用多个激光雷达设备获取到的待评分动作点云数据更全面、准确。
在一些实施方式中,上述三维点云物体检测模型可以采用深度学习的目标检测方法获得,包括但不限于:基于Pointnet模型的方法、基于Voxel模型的方法,只要是现有技术中能够实现基于点云数据进行目标识别检测的模型均可,此处不再赘述。关于该三维点云物体检测模型的训练也可以使用现有技术中模型训练的方法,此处不再赘述。
在一些实施方式中,在步骤S102中获取与待评分动作点云数据对应的同一时刻的标准教学数据包括:
获取与待评分动作点云数据对应的同一时刻的标准教学图像,对标准教学图像进行轮廓提取,得到标准轮廓数据作为标准教学数据,
或,获取与待评分动作点云数据对应的同一时刻的标准教学点云数据作为标准教学数据。
在一些实施方式中,在步骤S102中获取与待评分动作点云数据对应的同一时刻的标准教学数据包括从教学数据库中获取与待评分动作点云数据对应的同一时刻的标准教学数据。其中,教学数据库中存储有标准教学视频、标准教学图像和标准教学点云数据中至少一种。
在一些实施方式中,当教学数据库中预存有标准教学点云数据时,可以直接获取该标准教学点云数据作为标准教学数据。该预存在教学数据库中的标准教学点云数据可以是基于激光雷达设备对教学动作进行采集获取到的点云数据,也可以是基于传统的包含多个摄像头的可见光相机机组对教学动作进行采集得到的教学图像数据,之后基于该教学图像数据通过构建三维模型而获取到的点云数据。此处基于该教学图像数据通过构建三维模型而获取到的点云数据可以使用现有技术中基于图像获取点云数据的任一现有技术手段均可,在此不再赘述。需要说明的是,无论是通过激光雷达设备对教学动作进行采集获取点云数据,还是通过可见光相机机组对教学动作进行采集获取教学图像数据,针对同一动作都可以从不同角度进行采集,以使得采集到的动作信息完整全面,采集的角度越多,获得的点云数据越稠密,最终用于动作评分的标准教学数据就能够体现更多动作细节,动作评分效果越好。
在一些实施方式中,教学数据库中并未预存有标准教学点云数据,而只是存储有大量可见光相机从多个角度拍摄得到的标准教学图像时,可以通过从教学数据库中获取与待评分动作点云数据对应的同一时刻的标准教学图像,对标准教学图像进行轮廓提取,得到标准轮廓数据作为标准教学数据。也可以从教学数据库中获取与待评分动作点云数据对应的同一时刻的多个角度的标准教学图像,并基于该多个角度的标准教学图像构建三维模型进而获取到点云数据,再将该获取到的点云数据输入训练好的三维点云物体检测模型,基于训练好的三维点云物体检测模型识别出教学目标对象;将识别出的教学目标对象的点云轮廓数据作为标准教学点云数据。
上述实施方式中对标准教学图像进行轮廓提取以及对点云数据进行轮廓提取可基于以下方法实现:首先,采用深度学习方法进行目标检测,剔除可能存在的其他背景物体,得到待提取目标。此处的目标检测方法包括但不限于:YOLO目标检测算法、SSD目标检测算法、DPM目标检测算法等等。再基于检测出的待提取目标进行轮廓提取,得到轮廓数据。具体的,可以采用OpenCV提供的自适应阈值化分割算法先对目标进行自适应阈值化分割,再使用findContours算法进行轮廓提取的技术方案,或以确定最小包围边界的方式来进行轮廓提取,或采用现有图像轮廓提取技术中的任意的轮廓提取方式获得,此处不再赘述。
在一些实施方式中,在步骤S103中基于待评分动作点云数据和同一时刻的标准教学数据判断待评分动作的完成情况并得出评分包括:
将待评分点云数据和标准教学数据投射到同一个二维坐标系或三维坐标系中;
获取待评分点云数据和标准教学数据在二维坐标系或三维坐标系中的重合度;
根据在二维坐标系或三维坐标系中的重合度判断待评分动作的完成情况并得出评分。
在一些实施方式中,根据待评分点云数据和标准教学数据在二维坐标系中的重合度判断待评分动作的完成情况并得出评分包括:
获得待评分点云数据在二维坐标系中的二维待评分点云轮廓;
获得标准教学数据在二维坐标系中的二维标准轮廓;
根据二维坐标系中二维待评分点云轮廓的面积、二维标准轮廓的面积、待评分点云数据中落到二维标准轮廓内的待评分点云的数量与待评分点云数据中点云的总数的占比得到重合度;
基于上述重合度判断待评分动作的完成情况并得出评分。
在一些实施方式中,若获取到的标准教学数据是对标准教学图像进行轮廓提取获得的标准教学数据,此时可以直接基于该标准教学数据构建二维坐标系,并将三维的待评分点云数据投射到基于该标准教学数据构建的二维坐标系中。其中将三维的待评分点云数据投射到基于该标准教学数据构建的二维坐标系中可以基于以下方法实现:将获取到的三维的待评分点云数据(曲面点云数据)中坐标为(xl,yl,zl)的数据点投射到基于该标准教学数据构建的二维坐标系时忽略三维数据点的z轴的坐标信息,进而可得到三维数据点在基于该标准教学数据构建的二维坐标系中的x轴方向和y轴方向的坐标信息(xi,yi),实现三维的待评分点云数据从三维坐标系到二维坐标系的转换。
在一些实施方式中,若获取到的标准教学数据是对标准教学图像进行轮廓提取获得的标准教学数据,可以以标准教学数据中教学人物的肩部连线作为x轴,教学人物的中轴线作为y轴构建,以上述x轴和y轴的交点作为原点实现二维坐标系的构建。之后在将三维的待评分点云数据投射到基于该标准教学数据构建的二维坐标系中时,可以在采集到三维的待评分点云数据后,结合三维的待评分点云数据与该二维坐标系判断健身者的站立位置是否靠前或者靠后,并通过图像、视频或语音播报等方式提示健身者调整位置,以使得三维的待评分点云数据能够较好地投射到该二维坐标系中。
在一些实施方式中,若上述标准教学数据为标准教学点云数据,也可以将三维的待评分点云数据和三维的标准教学点云数据均投射到同一个二维坐标系中,在投射过程中忽略三维数据点的z轴的坐标信息,进而可得到三维数据点在二维坐标系中的x轴方向和y轴方向的坐标信息,以实现三维的待评分点云数据和三维的标准教学点云数据从三维坐标系到二维坐标系的转换。
在一些实施方式中,根据二维坐标系中二维待评分点云轮廓的面积、二维标准轮廓的面积、待评分点云数据中落到二维标准轮廓内的待评分点云的数量与待评分点云数据中点云的总数的占比得到重合度包括:
根据以下公式计算重合度:
Overlap2D=(InNum/AllNum)*PointArea/ImageArea,其中,Overlap2D为重合度、InNum为待评分点云数据中落到二维标准轮廓内的待评分点云的数量、AllNum为待评分点云数据中点云的总数、PointArea为二维待评分点云轮廓的面积、ImageArea为二维标准轮廓的面积。
进一步的,根据Overlap2D及二维重合度阈值判断待评分动作的完成情况包括:
若Overlap2D≥二维重合度阈值,则判断待评分动作已完成,即待评分动作与标准教学数据对应的动作重合度符合预设要求;
若Overlap2D<二维重合度阈值,则判断待评分动作未完成,即待评分动作与标准教学数据对应的动作重合度不符合预设要求。
进一步地,在对待评分动作的完成情况进行初步判断之后,基于预设的重合度区间和对应的评分关系,将基于该待评分动作得到的重合度Overlap2D与预设的重合度区间和对应的评分关系进行比对,根据重合度所落在的预设重合度区间确定该待评分动作的分值。
在一些实施方式中,也可以根据待评分点云数据和标准教学数据在三维坐标系中的重合度判断待评分动作的完成情况并得出评分,具体包括:
获得待评分点云数据在三维坐标系中的三维待评分点云轮廓;
获得标准教学数据在三维坐标系中的三维标准轮廓;
根据三维坐标系中三维待评分点云轮廓的体积、三维标准轮廓的体积、待评分点云数据中落到三维标准轮廓内的待评分点云的数量与待评分点云数据中点云的总数的占比得到重合度;
基于上述重合度判断待评分动作的完成情况并得出评分。
在一些实施方式中,若获取到的标准教学数据为标准教学点云数据(三维点云数据),则可将三维的待评分点云数据和该标准教学数据投射到同一个三维坐标系中。此时可将标准教学点云数据所处三维坐标系作为标准三维坐标系,之后将三维的待评分点云数据进行坐标转换,投射到该标准三维坐标系中。
在一些实施方式中,若获取到的标准教学数据为标准教学点云数据(三维点云数据),可以以标准教学点云数据中教学人物的肩部连线作为x轴,教学人物的中轴线作为y轴,教学人物正对的方向作为z轴,x轴、y轴与z轴的交点作为原点构建标准教学点云数据的三维坐标系;之后在将三维的待评分点云数据投射到该标准教学数据构建的三维坐标系中时,可以在采集到三维的待评分点云数据后,结合三维的待评分点云数据与该三维坐标系判断健身者的站立位置是否靠前或者靠后,并通过图像、视频或语音播报等方式提示健身者调整位置,以使得三维的待评分点云数据能够较好地投射到该三维坐标系中。
在一些实施方式中,根据三维坐标系中三维待评分点云轮廓的体积、三维标准轮廓的体积、待评分点云数据中落到三维标准轮廓内的待评分点云的数量与待评分点云数据中点云的总数的占比得到重合度包括:
根据以下公式计算重合度:
Overlap3D=(InNum/AllNum)*PointV/ImageV,其中,Overlap3D为重合度、InNum为待评分点云数据中落到三维标准轮廓内的待评分点云的数量、AllNum为待评分点云数据中点云的总数、PointV为三维待评分点云轮廓的体积、ImageV为三维标准轮廓的体积。
进一步的,根据上述Overlap3D及三维重合度阈值判断待评分动作的完成情况包括:
若Overlap3D≥三维重合度阈值,则判断待评分动作已完成,即待评分动作与标准教学数据对应的动作重合度符合预设要求;
若Overlap3D<三维重合度阈值,则判断待评分动作未完成,,即待评分动作与标准教学数据对应的动作重合度不符合预设要求。
进一步地,在对待评分动作的完成情况进行初步判断之后,基于预设的重合度区间和对应的评分关系,将基于该待评分动作得到的重合度Overlap3D与预设的重合度区间和对应的评分关系进行比对,根据重合度所落在的预设重合度区间确定该待评分动作的分值。
在一些实施方式中,本提案的一种动作评分方法还包括根据上述在二维坐标系或三维坐标系中的重合度对健身者提供动作纠正提示,具体包括:
当重合度小于重合度阈值时,以图片、视频或语音提示的方式向健身者展示待评分动作的完成情况,并给出动作纠正提示。
在一些实施方式中,若上述Overlap2D<二维重合度阈值,或上述Overlap3D<三维重合度阈值,则判断待评分动作未完成,即动作完成情况不符合预设要求,此时将待评分动作的完成情况以图片、视频或语音提示的方式向健身者展示,以方便健身者能明确其动作与标准教学动作的差别,以规范健身动作。
在一些实施方式中,将待评分动作的完成情况以图片、视频或语音提示的方式向健身者展示包括将动作评分、重合度以图片、视频或语音提示的方式向健身者展示。
在一些实施方式中,还可以将纠正提示,比如动作调整的方向、角度等可以用于动作纠正的信息通过图片或视频展示在显示界面上,同时,或单独通过语音播报的方式对上述信息进行播报。上述纠正提示可以是类似“动作不标准,请修正”的提示信息,也可以是“动作不标准,请将右手向左上方偏移15°”的提示信息。需要说明的是,此处展示的可以用于动作纠正的提示信息只是作为示意,实际应用中不局限于此处记载的内容,可以根据实际需要进行种类的设置、添加或删除。
在一些实施方式中,即使待评分动作与标准教学数据的重合度符合预设要求,即上述Overlap2D≥二维重合度阈值或上述Overlap3D≥三维重合度阈值,也可以将待评分动作完成情况通过图片或视频展示在显示界面上,也可以同时,或者单独通过语音播报的方式对该动作完成情况进行播报。通过采用如此手段,可帮助健身者及时了解动作的完成情况,提升运动效果。
在一些实施方式中,对待评分动作进行重合度计算、完成情况判断、得出评分、并基于重合度情况给出相应的纠正提示等这些操作可以是当健身者在健身设备上完成某一动作时对该动作通过激光雷达设备实时获取该动作点云数据,并基于前述实施例所记载的方案完成对该动作完成情况的判断、评分、以及纠正提示等操作;也可以是通过激光雷达设备在预设时间段内采集健身者完成的一套动作数据后,对该时间段内每一时刻的动作单独评分,基于每一时刻的动作单独评分通过取平均值或权重求和等方式得到整套动作的完成情况即综合动作评分。在获得综合动作评分后,可以通过前述实施方式中的界面显示和/或语音播报的方式对综合动作评分进行展示。
在一些实施方式中,整套动作的综合动作评分也可以是通过激光雷达设备实时采集该整套动作中单一动作,并实时对该单一动作进行评分记录,在整套动作完成后对记录得到的一系列单一动作的评分进行累加求平均或其他权重求和方式以获得综合动作评分。在获得综合动作评分后,可以通过前述实施方式中的界面显示和/或语音播报的方式对综合动作评分进行展示。
需要指出的是,尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述,但是本领域技术人员可以理解,为了实现本发明的效果,不同的步骤之间并非必须按照这样的顺序执行,其可以同时(并行)执行或以其他顺序执行,这些变化都在本发明的保护范围之内。
进一步,本发明还提供了一种动作评分装置。具体可以参阅附图2,图2是根据本发明实施例提供的一种动作评分装置的主要结构框图示意图。如图2所示,本发明实施例中的动作评分装置200主要包括待评分动作点云数据获取模块201、标准教学数据获取模块202和评分模块203。在一些实施方式中,待评分动作点云数据获取模块201、标准教学数据获取模块202和评分模块203中的一个或多个可以合并在一起成为一个模块。
在一些实施方式中,待评分动作点云数据获取模块201,被配置为获取待评分动作点云数据;标准教学数据获取模块202,被配置为获取与待评分动作点云数据对应的同一时刻的标准教学数据;评分模块203,被配置为基于待评分动作点云数据和同一时刻的标准教学数据判断待评分动作的完成情况并得出评分。
上述动作评分装置200以用于执行图1所示的一种动作评分方法实施例,两者的技术原理、所解决的技术问题及产生的技术效果相似,本技术领域技术人员可以清楚地了解到,为了描述的方便和简洁,动作评分装置200的具体工作过程及有关说明,可以参考动作评分方法的实施例所描述的内容,此处不再赘述。
本领域技术人员能够理解的是,本发明实现上述一实施例的方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括电载波信号和电信信号。
进一步,本发明还提供了一种动作评分设备。具体可以参阅附图3,图3是根据本发明实施例提供的一种动作评分设备的主要结构框图。在根据本发明的一个动作评分设备实施例中,该动作评分设备300包括处理器301、存储器302和图像采集装置303,图像采集装置303可以被配置成获取待评分动作图像数据,存储器302可以被配置成存储执行上述方法实施例的一种动作评分方法的程序,处理器301可以被配置成用于执行存储器302中的程序,该程序包括但不限于执行上述方法实施例的一种动作评分方法的程序。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该图像采集装置可以是激光雷达设备,该动作评分设备可以是跳舞机、跑步机、动感单车中至少一种。
进一步,本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中,计算机可读存储介质可以被配置成存储执行上述方法实施例的动作评分方法的程序,该程序可以由处理器加载并运行以实现上述动作评分方法。为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备,可选的,本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种动作评分方法,应用于健身设备,其特征在于,所述方法包括以下步骤:
通过激光雷达设备获取待评分动作点云数据;
获取与所述待评分动作点云数据对应的同一时刻的标准教学数据;
基于所述待评分动作点云数据和所述同一时刻的标准教学数据判断所述待评分动作的完成情况并得出评分。
2.根据权利要求1所述的一种动作评分方法,其特征在于,所述通过激光雷达设备获取待评分动作点云数据包括:
通过激光雷达设备获取所述健身设备预设区域内的激光雷达点云数据;
将所述激光雷达点云数据输入训练好的三维点云物体检测模型,并基于所述训练好的三维点云物体检测模型识别出待评分目标对象;
获取识别出的所述待评分目标对象的点云轮廓数据,以作为所述待评分动作点云数据。
3.根据权利要求1所述的一种动作评分方法,其特征在于,所述获取与所述待评分动作点云数据对应的同一时刻的标准教学数据包括:
获取与所述待评分动作点云数据对应的同一时刻的标准教学图像,对所述标准教学图像进行轮廓提取,得到标准轮廓数据作为所述标准教学数据,或,获取与所述待评分动作点云数据对应的同一时刻的标准教学点云数据作为所述标准教学数据。
4.根据权利要求1所述的一种动作评分方法,其特征在于,所述基于所述待评分动作点云数据和所述同一时刻的标准教学数据判断所述待评分动作的完成情况并得出评分包括:
将所述待评分点云数据和所述标准教学数据投射到同一个二维坐标系或三维坐标系中;
获取所述待评分点云数据和所述标准教学数据在所述二维坐标系或所述三维坐标系中的重合度;
根据在所述二维坐标系或所述三维坐标系中的重合度判断待评分动作的完成情况并得出评分。
5.根据权利要求4所述的一种动作评分方法,其特征在于,根据在所述二维坐标系中的重合度判断待评分动作的完成情况并得出评分包括:
获得所述待评分点云数据在所述二维坐标系中的二维待评分点云轮廓;
获得所述标准教学数据在所述二维坐标系中的二维标准轮廓;
根据所述二维坐标系中所述二维待评分点云轮廓的面积、所述二维标准轮廓的面积、所述待评分点云数据中落到所述二维标准轮廓内的待评分点云的数量与所述待评分点云数据中点云的总数的占比得到所述重合度;
基于所述重合度判断待评分动作的完成情况并得出评分。
6.根据权利要求4所述的一种动作评分方法,其特征在于,根据在所述三维坐标系中的重合度判断待评分动作的完成情况并得出评分包括:
获得所述待评分点云数据在所述三维坐标系中的三维待评分点云轮廓;
获得所述标准教学数据在所述三维坐标系中的三维标准轮廓;
根据所述三维坐标系中所述三维待评分点云轮廓的体积、所述三维标准轮廓的体积、所述待评分点云数据中落到所述三维标准轮廓内的待评分点云的数量与所述待评分点云数据中点云的总数的占比得到所述重合度;
基于所述重合度判断待评分动作的完成情况并得出评分。
7.根据权利要求4所述的一种动作评分方法,其特征在于,所述方法还包括根据在所述二维坐标系或所述三维坐标系中的重合度对健身者提供动作纠正提示,所述根据在所述二维坐标系或所述三维坐标系中的重合度对健身者提供动作纠正提示包括:
当所述重合度小于重合度阈值时,以图片、视频或语音提示的方式向所述健身者展示所述待评分动作的完成情况,并给出动作纠正提示。
8.一种动作评分设备,其特征在于,包括图像采集装置、处理器和存储器,所述图像采集装置适于获取待评分动作点云数据,所述存储器适于存储多条程序代码,所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的动作评分方法。
9.根据权利要求8所述的一种动作评分设备,其特征在于,所述动作评分设备为健身设备,所述健身设备至少包括跳舞机、跑步机、动感单车中一种,所述图像采集装置为激光雷达设备。
10.一种计算机可读存储介质,其中存储有多条程序代码,其特征在于,所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的动作评分方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210987244.8A CN117636452A (zh) | 2022-08-17 | 2022-08-17 | 一种动作评分方法、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210987244.8A CN117636452A (zh) | 2022-08-17 | 2022-08-17 | 一种动作评分方法、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117636452A true CN117636452A (zh) | 2024-03-01 |
Family
ID=90027486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210987244.8A Pending CN117636452A (zh) | 2022-08-17 | 2022-08-17 | 一种动作评分方法、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117636452A (zh) |
-
2022
- 2022-08-17 CN CN202210987244.8A patent/CN117636452A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106683070B (zh) | 基于深度相机的身高测量方法及装置 | |
KR101078975B1 (ko) | 가상 골프 시뮬레이션 장치에 이용되는 센싱장치 및 센싱방법 | |
US10175765B2 (en) | Information processing device, information processing method, and computer program | |
US9836645B2 (en) | Depth mapping with enhanced resolution | |
US8570320B2 (en) | Using a three-dimensional environment model in gameplay | |
US20160282953A1 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
TWI448318B (zh) | 虛擬高爾夫模擬裝置及其使用之感測裝置與感測方法 | |
CN112183355B (zh) | 基于双目视觉和深度学习的出水高度检测系统及其方法 | |
CN102938844A (zh) | 利用立体成像生成自由视点视频 | |
CN109697444B (zh) | 基于深度图像的对象识别方法及装置、设备、存储介质 | |
CN115388706A (zh) | 一种具有自动校准功能的激光靶机 | |
CN114627186A (zh) | 一种测距方法及测距装置 | |
KR102297582B1 (ko) | 게임 서비스를 제공하는 게임 장치, 전자 장치 | |
KR102050970B1 (ko) | 사진을 이용한 그린정보 제공방법 및 그 단말 | |
CN117636452A (zh) | 一种动作评分方法、设备和存储介质 | |
CN103218826A (zh) | 基于Kinect的抛体检测、三维定位与轨迹预测方法 | |
CN112245889A (zh) | 一种自动判断网球出界的方法及系统 | |
US11229824B2 (en) | Determining golf club head location in an image using line detection and contour separation | |
CN109409351B (zh) | 基于投影的游乐设备 | |
CN111915643B (zh) | 基于zed视觉的游泳运动员出水高度的检测系统及方法 | |
US20230070986A1 (en) | Deep learning method of determining golf club parameters from both radar signal and image data | |
US20230364468A1 (en) | Deep learning method of determining golf swing and golf ball parameters from radar signal and image data | |
Baguley | Stereo Tracking of Objects with respect to a Ground Plane | |
EP4396784A2 (en) | Deep learning method of determining golf club parameters from both radar signal and image data | |
CN114565641A (zh) | 图像识别方法、装置、设备、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |