CN108969980A - 一种跑步机及其步数统计的方法、装置及存储介质 - Google Patents
一种跑步机及其步数统计的方法、装置及存储介质 Download PDFInfo
- Publication number
- CN108969980A CN108969980A CN201810689635.5A CN201810689635A CN108969980A CN 108969980 A CN108969980 A CN 108969980A CN 201810689635 A CN201810689635 A CN 201810689635A CN 108969980 A CN108969980 A CN 108969980A
- Authority
- CN
- China
- Prior art keywords
- image information
- identification parameter
- running
- running movement
- frame number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003062 neural network model Methods 0.000 claims abstract description 49
- 230000009471 action Effects 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 17
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 13
- 230000000694 effects Effects 0.000 abstract description 4
- 230000015654 memory Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 210000004218 nerve net Anatomy 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
- A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cardiology (AREA)
- Vascular Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种跑步机及其步数统计的方法、装置及存储介质,通过获取摄像头采集的图像信息和压力传感器检测到的压电曲线,所述图像信息包括用户腿部动作的连续图像,图像信息按照预设分组依次输入至训练好的第一卷积神经网络模型,得到第一识别参数,并计算压电曲线对应的第二识别参数,并根据第一识别参数和第二识别参数判断每组是否有有效跑步动作发生,最后累积计算有效跑步动作中步数的数量,在步数数量的统计过程中,一方面利用神经网络模型提取用户跑步动作的时间和空间上的特征,准确识别用户的跑步动作,另一方面还考虑到压电曲线在统计跑步数量时的作用,使得最终的跑步步数发生结果更具有准确性。
Description
技术领域
本发明实施例涉及跑步机技术领域,尤其涉及一种跑步机及其步数统计的方法、装置及存储介质。
背景技术
随着社会的发展,游泳、跑步、瑜伽等运动越来越受到人们的青睐,跑步机在健身房中是一种很常见的器械,现有的跑步机在使用过程中,存在着对用户发生的步数判断不准确的问题,即可能漏判,或者多判,进而出现步数计算不准确的问题。
发明内容
本发明提供一种跑步机及其步数统计的方法、装置及存储介质,以解决现有的跑步机计步方法不准确的问题。
第一方面,本发明实施例提供了一种跑步机步数统计的方法,包括:
获取摄像头采集的图像信息和压力传感器检测到的压电曲线,所述图像信息包括用户腿部动作的连续图像;
将所述图像信息按预设帧数分组依次输入至训练好的第一卷积神经网络模型,得到每组图像信息对应的跑步动作的第一识别参数;
计算所述压电曲线中跑步动作的第二识别参数,所述压电曲线中的跑步动作与所述图像信息中的跑步动作基于时间一一对应;
统计有效跑步动作中步数的数量,跑步动作的第一识别参数和第二识别参数的加权求和结果在预设范围内时统计为有效跑步动作。
第二方面,本发明实施例还提供了一种跑步机步数统计的装置,包括:
输入信号获取模块,用于获取摄像头采集的图像信息和压力传感器检测到的压电曲线,所述图像信息包括用户腿部动作的连续图像;
第一识别参数获取模块,用于将所述图像信息按预设帧数分组依次输入至训练好的第一卷积神经网络模型,得到每组图像信息对应的跑步动作的第一识别参数;
第二识别参数计算模块,用于计算所述压电曲线中跑步动作的第二识别参数,所述压电曲线中的跑步动作与所述图像信息中的跑步动作基于时间一一对应;
步数统计模块,用于统计有效跑步动作的数量,跑步动作的第一识别参数和第二识别参数的加权求和结果在预设范围内时统计为有效跑步动作。
第三方面,本发明实施例还提供了一种跑步机,所述跑步机包括:
一个或多个摄像模块,所述摄像模块用于连续采集包括用户腿部动作的图像信息;
压力传感器,用于检测用户跑步过程中产生的压电曲线;
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述的方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行上述的方法。
本发明实施例提供的一种跑步机及其步数统计的方法、装置及存储介质,通过获取摄像头采集的图像信息和压力传感器检测到的压电曲线,所述图像信息包括用户腿部动作的连续图像,图像信息按照预设分组依次输入至训练好的第一卷积神经网络模型,得到第一识别参数,并计算压电曲线对应的第二识别参数,并根据第一识别参数和第二识别参数判断每组是否有有效跑步动作发生,最后累积计算有效跑步动作中步数的数量,在步数数量的统计过程中,一方面利用神经网络模型提取用户跑步动作的时间和空间上的特征,准确识别用户的跑步动作,另一方面还考虑到压电曲线在统计跑步数量时的作用,使得最终的跑步步数发生结果更具有准确性。
附图说明
图1为本发明实施例一提供的一种跑步机步数统计的方法的步骤流程图;
图2为本发明实施例二提供的一种跑步机步数统计的方法的步骤流程图;
图3为本发明实施例三提供的一种跑步机步数统计的装置的结构框图;
图4为本发明实施例四提供的一种跑步机的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种跑步机步数统计的方法的步骤流程图,本发明实施例的方法可以由具有至少一个摄像头的跑步机执行,具体可以包括如下步骤:
步骤101、获取摄像头采集的图像信息和压力传感器检测到的压电曲线,所述图像信息包括用户腿部动作的连续图像。
具体地,执行本发明实施例步数统计方法的跑步机至少有一个摄像头,即跑步机可以有一个摄像头、两个或两个以上的摄像头,相应地,摄像头采集的图像信息也可以是一个摄像头采集的图像信息、两个或两个以上的摄像头采集的图像信息,具体跑步机中摄像头的设置位置,本发明实施例不作限制,只要满足能够采集到用户跑步时腿部动作的连续图像即可,本实施例一以一个摄像头采集的图像信息为例,对本发明实施例的跑步机步数统计的方法进行详细说明,即在实施例一的示例性说明中,摄像头采集的图像信息为第一摄像头采集的第一图像信息。
需要说明的是,在本发明实施例中,第一摄像头在采集图像信息时,用户在启动跑步机后,第一摄像头是在连续不断地对用户的跑步动作进行拍摄的,即采集到的图像信息包括了用户腿部动作的连续图像,可以理解的是,这些连续图像是通过第一摄像头一帧一帧拍摄得来的,即第一摄像头采集到的图像信息是由若干帧连续图片组合而成的,摄像头拍摄的第一图像信息可以实时发送至跑步机中的处理器中,当然也可以拍摄完毕后再发送至处理器中,优选是实时发送至跑步机的处理器,以便跑步机能够及时统计出用户跑步的步数。
不仅如此,跑步机除了具有摄像头外,还具有压力传感器,该压力传感器可以实时检测用户在跑步过程中,人体在跑步机履带上产生的压电曲线,该压电曲线可以理解为压力传感器检测到的压力随用户运动时间的变化曲线,当然还可以是压力传感器检测到压力后输出的电信号随用户运动时间的变化曲线,通过该压电曲线,可以一定程度上反应出用户跑步时的一种节奏,例如用户跑步时的脚踏下去,再抬起,视为一个步数,对应地,脚踏下去会检测到较高的压力值,抬起,会检测到一个较低的压力值,因此,压电曲线能够反映出用户跑步时步数的一些规律。
基于此,跑步机的摄像头和传感器模块可以采集到包括用户腿部动作的连续图像的图像信息和压电曲线,也即获取到了摄像头采集的图像信息和压力传感器检测到的压电曲线,所述图像信息包括用户腿部动作的连续图像。
步骤102、将所述图像信息按预设帧数分组依次输入至训练好的第一卷积神经网络模型,得到每组图像信息对应的跑步动作的第一识别参数。
具体地,第一卷积神经网络模型的训练过程是要求在预设帧数的大小确定之后才开始训练的,即预设帧数不同,训练好的第一卷积神经网络模型是不同的,具体预设帧数的大小如何确定,根据实际工作经验,使得预设帧数的图像至少可以包括用户发生一步的跑步动作的完整图像,可以根据摄像头采集图像的速率,普通用户跑步时的频度来确定,即当摄像头采集图像速率被设置的越快,对应地,预设帧数的大小就需要取较大值。同时,为了尽量减小第一卷积神经网络模型训练时的计算量,预设帧数的大小尽可能小,即尽可能小到保证预设帧数的图像恰好包括用户发生一步的跑步动作的完整图像,作为一种示例,预设帧数可以选定为6帧,即连续6帧的图像作为一组数据输入至训练好的第一卷积神经网络模型。
具体地,第一卷积神经网络模型的训练过程是与步骤103中计算所述压电曲线中跑步动作的第二识别参数的训练、步骤104中第一识别参数和第二识别参数的各自权重的训练取值以及预设范围的确定是协同训练的,即当训练好第一卷积神经网络模型后,计算所述压电曲线中跑步动作的第二识别参数的算法也已确定、第一识别参数和第二识别参数的各自权重也已确定以及预设范围也已确定。
具体本发明实施例的这种协同训练过程,可以通过将多组包括某一帧数的已经其对应的步数(目标值)的标准图像输入至初始卷积神经网络模型,得到初始第一识别参数结果、并得到初始第二识别参数、第一识别参数和第二识别参数的各自权重以及根据预设的预设范围,最终得到统计的有效跑步动作中步数的数量的输出值,将输出值与目标值进行比较,当发现两者出现差异时,调整初始卷积神经网络模型中的参数、计算压电曲线中跑步动作的第二识别参数时的算法参数、第一识别参数和第二识别参数的各自权重值以及预设范围,经过多次迭代/或调整过程,使得输出值与目标值较为接近,具体较为接近的范围,由本领域技术人员自行确定,当认为输出值与目标值较为接近时,可以认为第一卷积神经网络模型已经被训练好。
需要说明的是,上述对神经网络模型的训练过程的描述仅是简要描述的过程,具体的训练方法,本领域技术人员可以利用机器学习的各种训练方法,例如感知器训练法则、梯度下降或delta法则,本发明实施例并不作限制。
第一识别参数可以是一个数值,该数值用来代表预设帧数分组的图像在训练好的第一卷积神经网络模型处理后的数值,例如根据计算结果,可以是1、0.5或者20等。
在本发明的一种优选实施例中,第一识别参数的获取过程可以分为如下子步骤,即步骤102可以包括如下子步骤:
子步骤S11、将所述图像信息按预设帧数分组依次输入至训练好的第一卷积神经网络模型,得到指定维数的特征向量。
在本发明实施例中,在训练好第一卷积神经网络模型后,由于图像信息是按照预设帧数分组依次输入至训练好的第一卷积神经网络模型的,第一卷积神经网络模型在处理连续帧数的预设个数的图像时,一方面对每一帧图像进行特征提取,体现了空间维度上的特征,另一方面还对连续帧数的图像进行连续卷积处理,对连续帧数的图像可以提取出该组图像时间维度上的特征,通过空间维度上特征和时间维度上特征的结合,得到了指定维数的特征向量,该特征向量综合体现了空间和时间上的特征。
子步骤S12、计算所述特征向量与训练好的权重向量的乘积,所述乘积即为每组图像信息对应的跑步动作的第一识别参数。
在本发明实施例中,由于第一卷积神经网络模型已经被训练好,对应特征向量的权重向量在训练过程中也是被确定的,通过对特征向量各个维度的权重的取舍,最终特征向量与训练好的权重向量的乘积即为第一识别参数,该第一识别参数能够体现用户跑步时腿部动作的特征。
步骤103、计算所述压电曲线中跑步动作的第二识别参数,所述压电曲线中的跑步动作与所述图像信息中的跑步动作基于时间一一对应。
具体的,第二识别参数与第一识别参数类似,也是一个数值,其与第一识别参数不同的是,第一识别参数是预设帧数的分组图像经过训练好的第一卷积神经网络模型计算得来的,而第二识别参数是压电曲线根据一定算法计算得来的,作为一种示例,第二识别参数可以是压电曲线经过softmax函数转换成的0-1之间的数值。
需要说明的是,为了确保统计步数的准确性,压电曲线中的跑步动作与所述图像信息中的跑步动作基于时间一一对应,即在计算压电曲线中跑步动作的第二识别参数时压电曲线中选取时间段与对应组的图像信息对应的时间段对应。
步骤104、统计有效跑步动作中步数的数量,跑步动作的第一识别参数和第二识别参数的加权求和结果在预设范围内时统计为有效跑步动作。
如步骤102所述,第一识别参数和第二识别参数的各自权重值在协同训练过程即已确认、预设范围也已确认,当第一识别参数和第二识别参数的加权求和结果在预设范围内时统计为有效跑步动作,即认为发生了有效跑步动作。
作为一种示例,经过训练好的第一卷积神经网络处理后得到的某组图像信息的第一识别参数为0.5,其权重为0.8对应该组时间段内的压电曲线经过softmax函数转换后的第二识别参数为0.8,其权重为1,预设范围被设置为“大于0.9”,则满足0.5*0.8+0.8*1=1.2>0.9,认为该组发生了有效跑步动作。
需要说明的是,每一组的发生了有效跑步动作,可能发生了一步的跑步动作,也可能发生了两步或两步以上的跑步动作,无论哪种情形,本发明实施例只有被判定为发生了有效跑步动作,有效跑步动作中的步数的数量是可被知悉的,这是因为如果发生了两步或两步以上的跑步动作,在压电曲线上或第一卷积神经网络模型中的中间层数据会有周期性的表现,从而可以准确获知发生了有效跑步动作中的每一组的预设帧数图像信息对应的步数的数量,从而最终确定摄像头采集的图像信息中用户的跑步步数,优选地,如前文所述,在确定预设帧数的大小时,并训练第一卷积神经网络模型时,预设分组对应的图像恰好包括用户发生一步的跑步动作的完整图像,这可以使得在判断发生了有效跑步动作的某组中的步数的数量即为1,即减少了第一卷积神经网络模型的工作量,还可以避免某组中发生有效跑步动作时,具体步数的确认。
综上所述,本发明实施例提供的一种跑步机步数统计的方法,通过获取摄像头采集的图像信息和压力传感器检测到的压电曲线,所述图像信息包括用户腿部动作的连续图像,图像信息按照预设分组依次输入至训练好的第一卷积神经网络模型,得到第一识别参数,并计算压电曲线对应的第二识别参数,并根据第一识别参数和第二识别参数判断每组是否有有效跑步动作发生,最后累积计算有效跑步动作中步数的数量,在步数数量的统计过程中,一方面利用神经网络模型提取用户跑步动作的时间和空间上的特征,准确识别用户的跑步动作,另一方面还考虑到压电曲线在统计跑步数量时的作用,使得最终的跑步步数发生结果更具有准确性。
实施例二
在本发明的技术方案中,实施例一通过以具有一个摄像头的跑步机对跑步机步数统计的方法作了详细说明,本实施例二是对实施例一的改进,主要是以跑步机包括两个或两个以上摄像头时的情形进行说明,以下以跑步机具有两个摄像头为例进行示例性说明,同时除了摄像头个数的改进之外,本实施例二对其他情形也有相应地改进,与实施例一相同之处,实施例二则不作赘述。参照图2,图2为本发明实施例二提供的一种跑步机步数统计的方法的步骤流程图,具体可以包括:
步骤201、获取摄像头采集的图像信息和压力传感器检测到的压电曲线,所述图像信息包括用户腿部动作的连续图像。
步骤201参照步骤101,本发明实施例在此不作赘述。
步骤202、将所述第一图像信息和第二图像信息按预设帧数分组依次输入至训练好的第二卷积神经网络模型,得到每组图像信息对应的跑步动作的第一识别参数。
具体的,在本实施例二中,跑步机具有两个摄像头,摄像头安装在跑步机的不同位置,第一摄像头采集第一图像信息,第二摄像头采集第二图像信息,第一摄像头和第二摄像头的拍摄角度不同,通过将不同拍摄角度的第一摄像头和第二摄像头采集的第一图像信息和第二图像信息按照预设帧数分组一次输入至训练好的第二卷积神经网络模型,示例性的,将同一时间段的第一图像信息的连续6帧和第二图像信息的连续6帧图像分组输入至训练好的第二卷积神经网络模型。
在这种情况下,虽然预设帧数的个数可以与实施例一种的预设帧数的个数一致,但是第二卷积神经网络模型的输入数据的处理量变成了原来的两倍,因此第二卷积神经网络模型是需要重新训练的,是与训练好的第一卷积神经网络模型是两个不同的卷积神经网络,该第二卷积神经网络模型可以同时处理两组图像信息,考虑到两个不同角度的图像信息,利用其处理得到的第一识别参数能够更为准确地计算用户跑步动作的数量。
步骤203、计算所述压电曲线中跑步动作的第二识别参数,所述压电曲线中的跑步动作与所述图像信息中的跑步动作基于时间一一对应。
步骤204、统计有效跑步动作中步数的数量,跑步动作的第一识别参数和第二识别参数的加权求和结果在预设范围内时统计为有效跑步动作。
步骤203和步骤204分别参照步骤103和步骤104,本发明实施例在此不予赘述。
在本发明的一种优选实施例中,本发明实施例的方法还可以包括如下步骤:
步骤205、若至少一组图像信息对应的跑步动作的第一识别参数低于预设阈值,则将每组图像信息中的预设帧数进行倍增调整。
具体地,预设阈值是在训练第一卷积神经网络模型或第二卷积神经网络模型中确定的数值,当某一组图像信息对应的第一识别参数低于预设阈值时,认为通过卷积神经网络模型初步判断出该组图像信息没有有效跑步动作发生,表明该组图像中预设帧数的数量较小,可能没有包括用户发生一步的跑步动作的完整图像,因此为了避免后续的无用的处理过程,可以将每组图像信息中的预设帧数进行倍增调整,示例性的,在预设帧数的大小为6时,发现连续6帧的图像信息经训练好第一卷积神经网络或第二卷积神经网络处理后的第一识别参数小于预设阈值,认为该6帧图像没有包括用户发生一步的跑步动作的完整图像,相应地,可以将6帧调整为12帧、18帧等等。
优选地,为了避免只要出现一组没有有效的跑步步数就出现倍增的情况,可以若连续两组图像信息对应的跑步的第一识别参数都低于预设阈值,则将每组图像信息中的预设帧数进行倍增调整。
步骤206、将所述图像信息按倍增调整后帧数分组依次输入至训练好的第三卷积神经网络模型,得到倍增调整后每组图像信息对应的跑步动作的第一识别参数。
在本发明实施例中,图像信息的预设帧数倍增调整后,将倍增调整后帧数的图像分组一次输入至训练好的第三卷积神经网络模型,得到增调整后每组图像信息对应的跑步动作的第一识别参数。
与前文第二卷积神经网络模型与第一卷积神经网络模型的关系类似,训练好的第三卷积神经网络模型也是与第一卷积神经网络模型完全不同的神经网络模型,也是需要单独训练的,该第三卷积神经网络模型在当出现实施例一的预设帧数的图像不能包括完整的一步用户跑步动作时,对预设帧数进行倍增后的每组图像信息进行处理,代替第一卷积神经网络或第二卷积神经网络的作用。
综上所述,本发明实施例二在实施例一的基础上,一方面通过在跑步机上设置至少两个摄像头,利用摄像头在不同角度拍摄的图像信息来判断用户跑步步数的发生,使得本发明实施例的跑步机的步数统计方法更准确,另一方面,当预设帧数的图像出现不能包括完整的一步用户跑步动作时,有备用的第三卷积神经网络模型备用,提高了跑步机步数统计的准确率。
实施例三
图3为本发明实施例三提供的一种跑步机步数统计的装置的结构框图,该装置具体可以包括:
输入信号获取模块301,用于获取摄像头采集的图像信息和压力传感器检测到的压电曲线,所述图像信息包括用户腿部动作的连续图像;
第一识别参数获取模块302,用于将所述图像信息按预设帧数分组依次输入至训练好的第一卷积神经网络模型,得到每组图像信息对应的跑步动作的第一识别参数;
第二识别参数计算模块303,用于计算所述压电曲线中跑步动作的第二识别参数,所述压电曲线中的跑步动作与所述图像信息中的跑步动作基于时间一一对应;
步数统计模块304,用于统计有效跑步动作的数量,跑步动作的第一识别参数和第二识别参数的加权求和结果在预设范围内时统计为有效跑步动作。
在本发明的一种优选实施例中,所述图像信息包括第一摄像头采集的第一图像信息和第二摄像头采集的第二图像信息;
所述第一识别参数获取模块包括:
第二识别参数获取单元,用于将所述第一图像信息和第二图像信息按预设帧数分组依次输入至训练好的第二卷积神经网络模型,得到每组图像信息对应的跑步动作的第一识别参数。
在本发明的一种优选实施例中,还包括:
帧数倍增模块,用于若至少一组图像信息对应的跑步动作的第一识别参数低于预设阈值,则将每组图像信息中的预设帧数进行倍增调整;
第三识别参数获取模块,用于将所述图像信息按倍增调整后帧数分组依次输入至训练好的第三卷积神经网络模型,得到倍增调整后每组图像信息对应的跑步动作的第一识别参数。
在本发明的一种优选实施例中,帧数倍增模块,还用于若连续两组图像信息对应的跑步的第一识别参数都低于预设阈值,则将每组图像信息中的预设帧数进行倍增调整。
在本发明的一种优选实施例中,所述第一识别参数获取模块具体包括:
特征向量获取单元,用于将所述图像信息按预设帧数分组依次输入至训练好的第一卷积神经网络模型,得到指定维数的特征向量;
点乘单元,用于计算所述特征向量与训练好的权重向量的乘积,所述乘积即为每组图像信息对应的跑步动作的第一识别参数。
本发明实施例所提供的装置可执行本发明任意实施例所提供的跑步机步数统计的方法,具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种跑步机的结构示意图,如图4所示,该跑步机包括处理器40、存储器41、输入装置42、输出装置43、一个或多个摄像模块44和压力传感器45;终端中处理器40的数量可以是一个或多个,图4中以一个处理器40为例;终端中的处理器40、存储器41、输入装置42、输出装置43、摄像模块44和压力传感器45可以通过总线或其他方式连接,图4中以通过总线连接为例。
存储器41作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的跑步机步数统计的方法对应的程序指令/模块(例如,装置中的输入信号获取模块301、第一识别参数获取模块302、第二识别参数计算模块303和步数统计模块304)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块,从而执行跑步机的各种功能应用以及数据处理,即实现上述的跑步机步数统计的方法。
存储器41可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据跑步机的使用所创建的数据等。此外,存储器41可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器41可进一步包括相对于处理器40远程设置的存储器,这些远程存储器可以通过网络连接至跑步机。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息,以及产生与跑步机的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。
摄像模块44可用于连续采集包括用户腿部动作的图像信息,并发送至处理器40。
压力传感器45可用于检测用户跑步过程中产生的压电曲线,并发送至处理器40。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种跑步机步数统计的方法,该方法包括:
获取摄像头采集的图像信息和压力传感器检测到的压电曲线,所述图像信息包括用户腿部动作的连续图像;
将所述图像信息按预设帧数分组依次输入至训练好的第一卷积神经网络模型,得到每组图像信息对应的跑步动作的第一识别参数;
计算所述压电曲线中跑步动作的第二识别参数,所述压电曲线中的跑步动作与所述图像信息中的跑步动作基于时间一一对应;
统计有效跑步动作中步数的数量,跑步动作的第一识别参数和第二识别参数的加权求和结果在预设范围内时统计为有效跑步动作。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的跑步机步数统计的方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述跑步机步数统计的装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种跑步机步数统计的方法,其特征在于,包括:
获取摄像头采集的图像信息和压力传感器检测到的压电曲线,所述图像信息包括用户腿部动作的连续图像;
将所述图像信息按预设帧数分组依次输入至训练好的第一卷积神经网络模型,得到每组图像信息对应的跑步动作的第一识别参数;
计算所述压电曲线中跑步动作的第二识别参数,所述压电曲线中的跑步动作与所述图像信息中的跑步动作基于时间一一对应;
统计有效跑步动作中步数的数量,跑步动作的第一识别参数和第二识别参数的加权求和结果在预设范围内时统计为有效跑步动作。
2.根据权利要求1所述的方法,其特征在于,所述图像信息包括第一摄像头采集的第一图像信息和第二摄像头采集的第二图像信息;
所述将所述图像信息按预设帧数分组依次输入至训练好的第一卷积神经网络模型,得到每组图像信息对应的跑步动作的第一识别参数,包括:
将所述第一图像信息和第二图像信息按预设帧数分组依次输入至训练好的第二卷积神经网络模型,得到每组图像信息对应的跑步动作的第一识别参数。
3.根据权利要求1或2所述的方法,其特征在于,还包括:
若至少一组图像信息对应的跑步动作的第一识别参数低于预设阈值,则将每组图像信息中的预设帧数进行倍增调整;
将所述图像信息按倍增调整后帧数分组依次输入至训练好的第三卷积神经网络模型,得到倍增调整后每组图像信息对应的跑步动作的第一识别参数。
4.根据权利要求1或2所述的方法,其特征在于,所述将所述图像信息按预设帧数分组依次输入至训练好的第一卷积神经网络模型,得到每组图像信息对应的跑步动作的第一识别参数,具体包括:
将所述图像信息按预设帧数分组依次输入至训练好的第一卷积神经网络模型,得到指定维数的特征向量;
计算所述特征向量与训练好的权重向量的乘积,所述乘积即为每组图像信息对应的跑步动作的第一识别参数。
5.一种跑步机步数统计的装置,其特征在于,包括:
输入信号获取模块,用于获取摄像头采集的图像信息和压力传感器检测到的压电曲线,所述图像信息包括用户腿部动作的连续图像;
第一识别参数获取模块,用于将所述图像信息按预设帧数分组依次输入至训练好的第一卷积神经网络模型,得到每组图像信息对应的跑步动作的第一识别参数;
第二识别参数计算模块,用于计算所述压电曲线中跑步动作的第二识别参数,所述压电曲线中的跑步动作与所述图像信息中的跑步动作基于时间一一对应;
步数统计模块,用于统计有效跑步动作的数量,跑步动作的第一识别参数和第二识别参数的加权求和结果在预设范围内时统计为有效跑步动作。
6.根据权利要求5所述的装置,其特征在于,所述图像信息包括第一摄像头采集的第一图像信息和第二摄像头采集的第二图像信息;
所述第一识别参数获取模块包括:
第二识别参数获取单元,用于将所述第一图像信息和第二图像信息按预设帧数分组依次输入至训练好的第二卷积神经网络模型,得到每组图像信息对应的跑步动作的第一识别参数。
7.根据权利要求5或6所述的装置,其特征在于,还包括:
帧数倍增模块,用于若至少一组图像信息对应的跑步动作的第一识别参数低于预设阈值,则将每组图像信息中的预设帧数进行倍增调整;
第三识别参数获取模块,用于将所述图像信息按倍增调整后帧数分组依次输入至训练好的第三卷积神经网络模型,得到倍增调整后每组图像信息对应的跑步动作的第一识别参数。
8.根据权利要求5或6所述的装置,其特征在于,所述第一识别参数获取模块具体包括:
特征向量获取单元,用于将所述图像信息按预设帧数分组依次输入至训练好的第一卷积神经网络模型,得到指定维数的特征向量;
点乘单元,用于计算所述特征向量与训练好的权重向量的乘积,所述乘积即为每组图像信息对应的跑步动作的第一识别参数。
9.一种跑步机,其特征在于,所述跑步机包括:
一个或多个摄像模块,所述摄像模块用于连续采集包括用户腿部动作的图像信息;
压力传感器,用于检测用户跑步过程中产生的压电曲线;
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4任一项所述的方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810689635.5A CN108969980B (zh) | 2018-06-28 | 2018-06-28 | 一种跑步机及其步数统计的方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810689635.5A CN108969980B (zh) | 2018-06-28 | 2018-06-28 | 一种跑步机及其步数统计的方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108969980A true CN108969980A (zh) | 2018-12-11 |
CN108969980B CN108969980B (zh) | 2020-06-26 |
Family
ID=64539510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810689635.5A Active CN108969980B (zh) | 2018-06-28 | 2018-06-28 | 一种跑步机及其步数统计的方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108969980B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110008993A (zh) * | 2019-03-01 | 2019-07-12 | 华东师范大学 | 一种基于深度神经网络的端到端图像识别方法 |
CN110639192A (zh) * | 2019-08-20 | 2020-01-03 | 苏宁智能终端有限公司 | 一种运动设备步数计算方法、步数核算方法及装置 |
CN113485669A (zh) * | 2021-06-23 | 2021-10-08 | 深圳市加糖电子科技有限公司 | 一种基于运动步频的音乐调整系统 |
CN114563012A (zh) * | 2020-11-27 | 2022-05-31 | 北京小米移动软件有限公司 | 计步方法、装置、设备及存储介质 |
CN114924715A (zh) * | 2022-06-15 | 2022-08-19 | 泰州亚东广告传媒有限公司 | 计步应用程序api函数访问系统及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1861227A (zh) * | 2005-05-12 | 2006-11-15 | 辅祥实业股份有限公司 | 具有计步功能的跑步机及其计步方法 |
CN101116769A (zh) * | 2006-08-01 | 2008-02-06 | 名跃国际健康科技股份有限公司 | 跑步机的计步方法及装置 |
CN102626553A (zh) * | 2012-04-17 | 2012-08-08 | 陈玉忠 | 跑步机计步方法 |
US20160162782A1 (en) * | 2014-12-09 | 2016-06-09 | Samsung Electronics Co., Ltd. | Convolution neural network training apparatus and method thereof |
CN106075810A (zh) * | 2016-07-21 | 2016-11-09 | 菏泽恒泰健身器材制造有限公司 | 一种跑步机 |
CN108114405A (zh) * | 2017-12-20 | 2018-06-05 | 中国科学院合肥物质科学研究院 | 基于3d深度摄像头和柔性力敏传感器的跑步机自适应系统 |
-
2018
- 2018-06-28 CN CN201810689635.5A patent/CN108969980B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1861227A (zh) * | 2005-05-12 | 2006-11-15 | 辅祥实业股份有限公司 | 具有计步功能的跑步机及其计步方法 |
CN101116769A (zh) * | 2006-08-01 | 2008-02-06 | 名跃国际健康科技股份有限公司 | 跑步机的计步方法及装置 |
CN102626553A (zh) * | 2012-04-17 | 2012-08-08 | 陈玉忠 | 跑步机计步方法 |
US20160162782A1 (en) * | 2014-12-09 | 2016-06-09 | Samsung Electronics Co., Ltd. | Convolution neural network training apparatus and method thereof |
CN106075810A (zh) * | 2016-07-21 | 2016-11-09 | 菏泽恒泰健身器材制造有限公司 | 一种跑步机 |
CN108114405A (zh) * | 2017-12-20 | 2018-06-05 | 中国科学院合肥物质科学研究院 | 基于3d深度摄像头和柔性力敏传感器的跑步机自适应系统 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110008993A (zh) * | 2019-03-01 | 2019-07-12 | 华东师范大学 | 一种基于深度神经网络的端到端图像识别方法 |
CN110639192A (zh) * | 2019-08-20 | 2020-01-03 | 苏宁智能终端有限公司 | 一种运动设备步数计算方法、步数核算方法及装置 |
CN114563012A (zh) * | 2020-11-27 | 2022-05-31 | 北京小米移动软件有限公司 | 计步方法、装置、设备及存储介质 |
CN114563012B (zh) * | 2020-11-27 | 2024-06-04 | 北京小米移动软件有限公司 | 计步方法、装置、设备及存储介质 |
CN113485669A (zh) * | 2021-06-23 | 2021-10-08 | 深圳市加糖电子科技有限公司 | 一种基于运动步频的音乐调整系统 |
CN114924715A (zh) * | 2022-06-15 | 2022-08-19 | 泰州亚东广告传媒有限公司 | 计步应用程序api函数访问系统及方法 |
CN114924715B (zh) * | 2022-06-15 | 2023-08-22 | 泰州亚东广告传媒有限公司 | 计步应用程序api函数访问系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108969980B (zh) | 2020-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108969980A (zh) | 一种跑步机及其步数统计的方法、装置及存储介质 | |
EP3753489B1 (en) | Monitoring the performance of physical exercises | |
KR101698578B1 (ko) | 트레이닝 프로그램을 대상에 제공하기 위한 방법 및 시스템 | |
CN106984027B (zh) | 一种动作对比分析方法、装置及一种显示器 | |
CN107886075B (zh) | 一种健身动作检测的方法及装置 | |
CN110688929B (zh) | 一种人体骨架关节点定位方法及装置 | |
CN110600132A (zh) | 基于振动检测的数字孪生智能健康预测方法及装置 | |
CN110478862A (zh) | 一种健身指导系统及其指导方法 | |
CN108074561A (zh) | 语音处理方法及装置 | |
CN108875506A (zh) | 人脸形状点跟踪方法、装置和系统及存储介质 | |
JP2020048827A (ja) | 情報処理装置、サポート方法、及びサポートシステム | |
CN115131879A (zh) | 一种动作评价方法及装置 | |
CN113469113A (zh) | 动作计数方法、装置、电子设备和存储介质 | |
CN116052378B (zh) | 一种基于多阶段用户适配的报警分析方法及系统 | |
CN116186561B (zh) | 基于高维时序图网络的跑步姿势识别纠正方法及系统 | |
CN117109567A (zh) | 用于动感单车运动的骑行姿态监测方法、系统以及穿戴式骑行姿态监测设备 | |
CN108074631A (zh) | 一种调整运动参数的方法及设备 | |
CN114821803A (zh) | 人体运动的评分方法、装置、计算机设备及存储介质 | |
CN114998803A (zh) | 一种基于视频的健身运动分类与计数方法 | |
Kohn et al. | Real-time body motion analysis for dance pattern recognition | |
WO2024040547A1 (zh) | 一种运动监控系统、设备和方法 | |
CN114984540B (zh) | 一种基于人工智能的健身锻炼效果评价分析管理系统 | |
CN115100745B (zh) | 基于Swin Transformer模型的运动实时计数方法和系统 | |
RU2813471C1 (ru) | Способы и системы идентификации действия пользователя | |
CN117653996A (zh) | 一种运动监控系统、设备和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |