CN114818991B - 基于卷积神经网络和加速度传感器的跑步行为识别方法 - Google Patents

基于卷积神经网络和加速度传感器的跑步行为识别方法 Download PDF

Info

Publication number
CN114818991B
CN114818991B CN202210708748.1A CN202210708748A CN114818991B CN 114818991 B CN114818991 B CN 114818991B CN 202210708748 A CN202210708748 A CN 202210708748A CN 114818991 B CN114818991 B CN 114818991B
Authority
CN
China
Prior art keywords
data
running
layer
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202210708748.1A
Other languages
English (en)
Other versions
CN114818991A (zh
Inventor
胡瑞婷
敬亚霖
石峻峰
林馨怡
翟天泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Original Assignee
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University filed Critical Southwest Petroleum University
Priority to CN202210708748.1A priority Critical patent/CN114818991B/zh
Publication of CN114818991A publication Critical patent/CN114818991A/zh
Application granted granted Critical
Publication of CN114818991B publication Critical patent/CN114818991B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络和加速度传感器的跑步行为识别方法，涉及智能识别软件技术领域。本发明的跑步行为识别方法基于三轴加速度传感器数据，以设定时间间隔进行采样，连续采集设定时长的数据，并将其通过三次样条插值法进行拟合和重采样，得到固定长度的时间序列，作为一个样本数据，按照上述方式处理得到多个样本数据，将样本数据输入到一个卷积神经网络模型中对样本数据的运动状态进行识别；识别结果达到设定阈值，则将跑步运动状态信息与其他用户提交数据进行相似度比对，判别是否存在代跑行为。本发明可应用并集成在跑步软件中，用以判别跑步打卡是否存在作弊行为，确保大学生能够保质保量完成跑步打卡任务。

Description

基于卷积神经网络和加速度传感器的跑步行为识别方法
技术领域
本发明涉及智能识别软件技术领域，更具体地说涉及一种基于卷积神经网络和加速度传感器的跑步行为识别方法。
背景技术
根据《中国青少年体育发展报告（2015）》显示，大学生身体素质较弱，并且呈现逐年下滑的趋势，30%的人体育测试不能达到及格的要求。为了应对这个问题，多所高校推出“跑步打卡”，利用跑步APP设置跑步的时间限制和速度限制，以督促学生锻炼达到增强体质的目的。但是同时大学生为了逃避锻炼，衍生出的作弊方法也层出不穷，比如利用虚拟软件定位，边骑车边打卡，滑板打卡等。
现在的某些跑步打卡软件采用了平均速度区间，GPS数据等方案来判断跑步情况是否正常。
有的高校不仅研发一个专门给学生打卡的APP，还在跑道放置可以定点拍照的设备、人脸识别设备，以此监督大学生是否有认真执行跑步打卡制度。
随着低功耗传感器的发展和普及，现在智能手机中已经搭配了许多复杂的传感器，如三轴加速度传感器，角加速度传感器，重力传感器，温度传感器等，基于传感器数据的行为识别是目前的研究重点。
现有技术，存在以下缺陷：
1、采用虚拟GPS的方式来检测是否是作弊行为的办法，可以通过虚拟GPS定位软件等方案来绕开；
2、采用平均速度区间来检查，无法区分学生现在的行为，无法识别出骑车、滑板等作弊方式；
3、通过拍照的方式也不能判定全程是否存在作弊，且有额外的硬件维护成本；
4、不依赖外部摄像设备的情况下，对于请他人代跑，一个人携带多个手机跑步的情况难以进行检测。
发明内容
为了克服上述现有技术中存在的缺陷和不足，本发明提供了一种基于卷积神经网络和加速度传感器的跑步行为识别方法，本发明的发明目的在于解决现有跑步行为识别方法无法准确识别代跑等跑步作弊行为的问题。本发明的跑步行为识别方法基于智能手机中的三轴加速度传感器数据，本发明以设定时间间隔进行采样，得到由加速度传感器数据构成的时间序列，连续采集设定时长的数据，并将其通过三次样条插值法进行拟合和重采样，得到固定长度为64的时间序列，作为一个样本数据，按照上述方式处理得到多个样本数据，将样本数据输入到一个卷积神经网络模型中对样本数据的运动状态进行识别；识别结果达到设定阈值，则将跑步运动状态信息与其他用户提交数据进行相似度比对，判别是否存在代跑行为。本发明可应用并集成在跑步软件中，用以判别跑步打卡是否存在作弊行为，确保大学生能够保质保量完成跑步打卡任务。
为了解决上述现有技术中存在的问题，本发明是通过下述技术方案实现的。
本发明第一方面提供了一种基于卷积神经网络和加速度传感器的跑步行为识别方法，包括以下步骤：
S1、跑步开始后，实时获取用户携带的设备中的三轴加速度传感器的数据；
S2、以设定时间间隔t对S1步骤获取到的数据进行采样；连续收集一时间段T内的采样数据，并连续收集多个时间段T的采样数据，直至跑步结束；
S3、对S2步骤连续收集到的多个时间段T内的采样数据分别通过三次样条插值进行拟合和重采样，每个时间段T对应得到一个固定长度为L的时间序列，得到多个时间段T对应的多个时间序列，将每一个时间序列作为一个样本数据，从而得到多个样本数据；
S4、将S3步骤得到的多个样本数据输入到一个卷积神经网络模型中，通过卷积神经网络模型分别对每个样本数据进行检测；卷积神经网络模型输出每个样本数据属于各运动类别的概率，并以概率最高的类别作为样本数据的识别结果；
若多个样本数据的识别结果中，被判别为跑步行为的样本数量占全部样本数量的占比超出设定占比阈值，则进行S5步骤；若未超出设定占比阈值，则被判定为跑步数据异常；
S5、将S3步骤得到的多个样本数据与其他用户的样本数据进行相似度对比，若相似度对比结果大于设定相似度阈值，则判定用户的跑步数据无效；若相似度对比结果小于设定相似度阈值，则判定用户的跑步数据有效。
进一步的，所述S1步骤中，获取的三轴加速度传感器的数据包括8个特征，其中6个特征是基于含重力加速度和不含重力加速度的两个加速度向量的x、y、z轴分量得到的6个浮点型特征；另外2个特征是通过计算两个加速度向量的模长得到的2个额外特征。
进一步优选的，S4步骤中，所述卷积神经网络模型的卷积神经网络为一个有4层卷积层和一层SKSBlock2D模块的轻量级网络，其中卷积层为卷积运算-批归一化-ReLU激活函数的组合。
更进一步的，所述卷积神经网络首先通过四层卷积和最大池化的组合来进行初步特征提取，然后将得到的特征图给SKSBlock2D模块进行多层次特征融合。
所述SKSBlock2D模块包含多层网络结构，包含了K=6个并行分支，第一个并行分支采用了1×1卷积核的卷积层，第二个并行分支经过了一个3×3卷积后，采用全局平均池化为输入的每一个特征图获得一个特征值，然后再用上采样恢复原来的特征图大小，用来代表全局信息；其余并行分支均采用3×3卷积核的卷积层。
更进一步的，输入数据经过SKSBlock2D模块并行分支部分不同并行分支的卷积 后，得到若干输出特征图组，对于其中第k个并行分支的输出特征图组，记为U k ，
Figure 366955DEST_PATH_IMAGE001
，其中，
Figure 752937DEST_PATH_IMAGE002
代表大小为H×W×C的三维实矩阵，k=1,2，…,K，K为并行 分支数量；每一个输出特征图组包含C个高为H、宽为W的特征图；
若SKSBlock2D模块的输入标为X (in)，则经过SKSBlock2D模块并行分支部分不同并 行分支的卷积后，输出为
Figure 735936DEST_PATH_IMAGE003
，U k 为第k个并行分支的输出特征图组； 将SKSBlock2D模块中所有并行分支输出的输出特征图组进行逐元素相加得到特征图组
Figure 599987DEST_PATH_IMAGE004
，其中，k=1,2，…,K，
Figure 414360DEST_PATH_IMAGE005
；
接下来通过一个两层全连接网络层进行注意力权重的计算；具体的，对于特征图 组U中的每一个特征图求出一个均值，得到一个长度为C的特征向量s，
Figure 440084DEST_PATH_IMAGE006
，
Figure 175959DEST_PATH_IMAGE007
表示大小为1×C的二维实矩阵；
对于特征向量s的第c个分量s c 的计算为：
Figure 578122DEST_PATH_IMAGE008
，c=1, 2,…,C,其中，U c (i,j)为特征图组U中第c个特征图的第i行j列，i为特征图中的行数，j为特 征图中的列数；
接着通过第一层全连接网络层得到压缩后的长度为
Figure 450263DEST_PATH_IMAGE009
的特征向量 z，特征向量z为
Figure 443627DEST_PATH_IMAGE010
，其中，ReLU为ReLU激活函数，其计算为ReLU (x)=max(x,0)，
Figure 666797DEST_PATH_IMAGE011
，
Figure 607072DEST_PATH_IMAGE012
为任意实数；
Figure 599298DEST_PATH_IMAGE013
为批归一化；s为对于特征图组中的每一个特征 图求出一个均值，得到一个长度为C的特征向量z；W (1)为第一层全连接网络层计算的矩阵，b (1)为第一层全连接网络层计算所需的偏置向量；
最后经过第二层的总共K个全连接网络层，分别为SKSBlock2D模块的每一个并行分支得到一组注意力权重，并将得到的注意力权重通过softmax函数进行归一化，使得不同并行分支的同一个分量的注意力权重之和加起来为1；
对于第二层总共K个全连接网络层的第k个并行分支计算出的注意力权重，表示为
Figure 29143DEST_PATH_IMAGE014
，其中，W (2,k)为第二层全连接网络层中的第k 个全连接网络计算所需的矩阵，b (2,k)为第二层全连接网络层中的第k个全连接网络层计算 所需的偏置向量；a k (c)为最终计算出的第k个并行分支的注意力权重a k 的第c个分量。
更进一步的，softmax函数的自变量为一个向量，对于长度为n的向量x的每一个分 量xv，v=1,2,…n；经过softmax函数计算后的值为
Figure 471101DEST_PATH_IMAGE015
，其中，exp(x)=e x 代表以自然 常数e为底的指数函数运算。
更进一步的，利用得到的注意力权重作为软阈值化算法的阈值τ，来对各个U k 进行软阈值化算法处理；
对于第k个并行分支的第c个分量中的所有元素x∈U k,c ，U k,c 为特征图组U k 中第c个 分量中的特征图组；计算出来的注意力权重为a k (c)，对注意力权重a k (c)进行软阈值化的计 算为
Figure 215066DEST_PATH_IMAGE016
，对于特征图组U k 的软阈值化处理为
Figure 61799DEST_PATH_IMAGE017
，a k 为第k个并行分支 对应的注意力权重向量；其中，对于软阈值化算法用x表示输入、τ表示软阈值化算法的阈 值，软阈值化算法的表达式为
Figure 865807DEST_PATH_IMAGE018
；
这一层网络的输出为
Figure 594729DEST_PATH_IMAGE019
，为SKSBlock2D模块的最 终输出，得到的结果经过全局平均池化、全连接与softmax激活函数之后，得到最终的行为 数据属于不同的类别的概率y m ，m为从跑步开始进行采集得到的第m组时间段T内样本数据， 取概率最大的分量下标作为最终的类别判定p m =argmax(y m )。
进一步优选的，所述S5步骤中的相似度对比，是通过跑步开始和结束的时间戳，将不同用户全部样本组成的时间序列进行对齐，取出时间重合的部分，进而对8个特征计算皮尔森系数并求得均值，以此作为相似度的判断依据。
更进一步的，S5步骤中，将用户跑步期间获得的全部样本，与最近一段时间完成跑步的用户的数据进行相似度对比，相似度均小于0.95，则说明数据有效，否则，被认定为数据无效。
进一步的，所述设定时间间隔t为50ms。
进一步的，所述时间段T为5s。
进一步的，所述S3步骤中，时间序列的固定长度L=64。
进一步的，所述设定占比阈值为80%。
进一步的，所述设定相似度阈值为0.95。
本发明第二方面提供了一种基于卷积神经网络和加速度传感器的跑步行为识别装置，装置包括：
数据获取模块，用于在跑步过程中，实时获取用户携带的设备中的三轴加速度传感器的数据；
数据采样模块，用于以设定时间间隔t对数据获取模块获取得到的数据进行采样；连续收集一时间段T内的采样数据，并连续收集多个时间段T的采样数据，直至跑步结束；
数据预处理模块，用于对数据采样模块收集到的时间段T内的采样数据，通过三次样条插值进行拟合和重采样，得到固定长度为L的时间序列，将时间序列作为一个样本数据；处理多个时间段T的采样数据，得到多个时间段对应的时间序列，得到多个样本数据；
运动类别识别模块，用于将数据预处理模块的多个样本数据输入到一个卷积神经网络模型中，通过卷积神经网络模型对每个样本数据分别进行检测；卷积神经网络模型输出每个样本数据属于各运动类别的概率，并以概率最高的类别作为样本数据的识别结果；
若多个样本数据的识别结果中，被判别为跑步行为的样本数量占全部样本数量的占比超出设定占比阈值，则将对应的多个样本数据传输至相似度对比模块中；若未超出设定占比阈值，则被判定为跑步数据异常；
相似度对比模块，用于根据运动类别识别模块的识别结果，对跑步行为占比超出设定占比阈值的多个样本数据与其他用户的样本数据进行相似度对比，若相似度对比结果大于设定相似度阈值，则判定用户的跑步数据无效；若相似度对比结果小于设定相似度阈值，则判定用户的跑步数据有效。
进一步的，所述数据获取模块中，获取的三轴加速度传感器的数据包括8个特征，其中6个特征是基于含重力加速度和不含重力加速度的两个加速度向量的x、y、z轴分量得到的6个浮点型特征；另外2个特征是通过计算两个加速度向量的模长得到的2个额外特征。
进一步优选的，所述运动类别识别模块中，卷积神经网络模型的卷积神经网络为一个有4层卷积层和一层SKSBlock2D模块的轻量级网络，其中卷积层为卷积运算-批归一化-ReLU激活函数的组合。
更进一步的，所述卷积神经网络首先通过四层卷积和最大池化的组合来进行初步特征提取，然后将得到的特征图给SKSBlock2D模块进行多层次特征融合。
所述SKSBlock2D模块包含多层网络结构，包含了K=6个并行分支，第一个并行分支采用了1×1卷积核的卷积层，第二个并行分支经过了一个3×3卷积后，采用全局平均池化为输入的每一个特征图获得一个特征值，然后再用上采样恢复原来的特征图大小，用来代表全局信息，其余并行分支均采用3×3卷积核的卷积层。
更进一步的，输入数据经过SKSBlock2D模块并行分支部分不同并行分支的卷积 后，得到若干输出特征图租，对于其中第k个并行分支的输出特征图组，记为U k ；
Figure 876806DEST_PATH_IMAGE001
，其中，
Figure 578045DEST_PATH_IMAGE002
代表大小为H×W×C的三维实矩阵，k=1,2，…,K，K 为并行分支数量；每一个输出特征图组包含C个高为H、宽为W的特征图；
若SKSBlock2D模块的输入标为X (in)，则经过SKSBlock2D模块并行分支部分不同并 行分支的卷积后，输出为
Figure 818534DEST_PATH_IMAGE020
，U k 为第k个并行分支的输出特征图 组；将SKSBlock2D模块中所有并行分支输出的特征图组进行逐元素相加得到特征图组
Figure 769172DEST_PATH_IMAGE021
，其中，k=1,2…K、
Figure 854940DEST_PATH_IMAGE022
；
接下来通过一个两层全连接网络层进行注意力权重的计算；具体的，对于特征图 组U中的每一个特征图求出一个均值，得到一个长度为C的特征向量s，
Figure 676265DEST_PATH_IMAGE023
，
Figure 822076DEST_PATH_IMAGE024
表示大小为1×C的二维实矩阵；
对于特征向量s的第c个分量s c 的计算为
Figure 260011DEST_PATH_IMAGE025
，c= 1,2,…,C，其中，U c (i,j)为特征图组U中第c个特征图的第i行第j列，i为特征图中的行数，j 为特征图中的列数；
接着通过第一层全连接网络层得到压缩后的长度为
Figure 149469DEST_PATH_IMAGE026
的特征向 量z，特征向量z为
Figure 825301DEST_PATH_IMAGE027
，其中，ReLU为ReLU激活函数，其计 算为
Figure 407592DEST_PATH_IMAGE028
，
Figure 332823DEST_PATH_IMAGE029
，
Figure 757463DEST_PATH_IMAGE030
为任意实数；
Figure 22223DEST_PATH_IMAGE031
为批归一化；s为对于特征图 组U中的每一个特征图求出一个均值，得到一个长度为C的特征向量z；W(1)为第一层全连接 网络层计算的矩阵；b(1)为第一层全连接网络层计算所需的偏置向量；
最后经过第二层的总共K个全连接网络层，分别为SKSBlock2D模块的每一个并行分支得到一组注意力权重，并将得到的注意力权重通过softmax函数进行归一化，使得不同并行分支的同一个分量的注意力权重之和加起来为1；
对于第二层总共K个全连接网络层的第k个并行分支计算出的注意力权重，表示为
Figure 775415DEST_PATH_IMAGE032
，其中，W (2,k)为第二层全连接网络层 中的第k个全连接网络计算所需的矩阵，b (2,k)为第二层全连接网络层中的第k个全连接网络 层计算所需的偏置向量；a k (c)为最终计算出的第k个并行分支的注意力权重a k 的第c个分 量。
softmax函数的自变量为一个向量，对于长度为n的向量x的每一个分量xv，v=1, 2…,n；经过softmax函数计算后的值为
Figure 187942DEST_PATH_IMAGE033
，其中，exp(x)=e x 代表以自然常 数e为底的指数函数运算。
利用得到的注意力权重作为软阈值化算法的阈值τ，来对各个U k 进行软阈值化算法处理；
对于第k个并行分支的第c个分量中的所有元素x∈U k,c ，U k,c 为特征图组U k 中第c个 分量中的特征图组；计算出来的注意力权重为a k (c)，对注意力权重a k (c)进行软阈值化的计 算为
Figure 419203DEST_PATH_IMAGE034
，对于特征图组U k 的软阈值化处理为
Figure 69627DEST_PATH_IMAGE035
，a k 为第k个并行分支对应 的注意力权重向量；其中，对于软阈值化算法用x表示输入、τ表示软阈值化算法的阈值，软 阈值化算法的表达式为：
Figure 462562DEST_PATH_IMAGE036
；
这一层网络的输出为
Figure 362385DEST_PATH_IMAGE037
，为SKSBlock2D模块的最 终输出，得到的结果经过全局平均池化、全连接与softmax激活函数之后，得到最终的行为 数据属于不同的类别的概率向量ym，m为从跑步开始进行采集得到的第m组时间段T内样本 数据，取概率最大的分量下标作为最终的类别判定p m =argmax(y m )。
进一步优选的，相似度对比模块中的相似度对比，是通过跑步开始和结束的时间戳，将不同时间序列进行对齐，取出时间重合的部分，进而对8个特征计算皮尔森系数并求得均值，以此作为相似度的判断依据。
更进一步的，相似度对比模块将用户跑步期间获得的全部样本，与最近一段时间完成跑步的用户的数据进行相似度对比，相似度均小于0.95，则说明数据有效，否则，被认定为数据无效。
进一步的，所述设定时间间隔t为50ms。
进一步的，所述时间段T为5s。
进一步的，所述数据预处理模块中，时间序列的固定长度L=64。
进一步的，所述设定占比阈值为80%。
进一步的，所述设定相似度阈值为0.95。
本发明第三方面提供了一种计算机设备，包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本发明第一方面中所描述的部分或全部步骤。
本发明的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储有用于电子数据交换的计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行如本发明第一方面中所描述的部分或全部步骤。
与现有技术相比，本发明所带来的有益的技术效果表现在：
1、本发明可通过智能手机的三轴加速度传感器和人工智能的先进算法，对学生跑步行为是否存在作弊进行判别，本发明不需要任何额外的硬件设备，具有很好的成本优势，数据上伪造较为困难。
2、本发明提出了SKSBlock2D模块结构，以此构建卷积神经网络SKSNet，使用网络对于检测大学生跑步打卡行为的真实性上具有较高的准确率。
3、本发明提出的卷积神经网络比较轻量化，可以直接运行在手机本地进行实时进行检测，对跑步打卡软件提供方没有带来额外的服务器硬件成本。
4、本发明不需要第三人监督和操作，也不需要额外的硬件设备支持，而是利用了智能手机上本身就有的三轴加速度传感器，在方案成本上具有很大优势。
5、本发明所需的传感器数据难以伪造，对于跑步全过程进行持续的，全面的真实性判别，在检测准确率存在很大优势。
6、本发明可以通过加速度数据相似度判断出一个人同时带几个手机的代跑行为，其他方案很难做到这一点。
附图说明
图1为本发明中卷积神经网络模型图。
图2为本发明中卷积神经网络中SKSBlock2D模块结构示意图。
图3为本发明跑步行为识别方法流程图。
具体实施方式
下面结合具体实施例，对本发明的技术方案做出进一步详细地阐述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
作为本发明一较佳实施例，参照说明书附图3所示，本实施例公开了一种基于卷积神经网络和加速度传感器的跑步行为识别方法，包括以下步骤：
S1、跑步开始后，实时获取用户携带的设备中的三轴加速度传感器的数据；
S2、以设定时间间隔t对S1步骤获取到的数据进行采样；连续收集一时间段T内的采样数据，并连续收集多个时间段T的采样数据，直至跑步结束；
S3、对S2步骤连续收集到的多个时间段T内的采样数据分别通过三次样条插值进行拟合和重采样，每个时间段T对应得到一个固定长度为L的时间序列，得到多个时间段T对应的多个时间序列，将每一个时间序列作为一个样本数据，从而得到多个样本数据；
S4、将S3步骤得到的多个样本数据输入到一个卷积神经网络模型中，通过卷积神经网络模型分别对每个样本数据进行检测；卷积神经网络模型输出每个样本数据属于各运动类别的概率，并以概率最高的类别作为样本数据的识别结果；
若多个样本数据的识别结果中，被判别为跑步行为的样本数量占全部样本数量的占比超出设定占比阈值，则进行S5步骤；若未超出设定占比阈值，则被判定为跑步数据异常；
S5、将S3步骤得到的多个样本数据与其他用户的样本数据进行相似度对比，若相似度对比结果大于设定相似度阈值，则判定用户的跑步数据无效；若相似度对比结果小于设定相似度阈值，则判定用户的跑步数据有效。
作为本实施例的一种实施方式，所述S1步骤中，获取的三轴加速度传感器的数据包括8个特征，其中6个特征是基于含重力加速度和不含重力加速度的两个加速度向量的x、y、z轴分量得到的6个浮点型特征；另外2个特征是通过计算两个加速度向量的模长得到的2个额外特征。
作为本实施例的又一种实施方式，S4步骤中，所述卷积神经网络模型的卷积神经网络为一个有4层卷积层和一层SKSBlock2D模块的轻量级网络，其中卷积层为卷积运算-批归一化-ReLU激活函数的组合。更进一步的，所述卷积神经网络首先通过四层卷积和最大池化的组合来进行初步特征提取，然后将得到的特征图给SKSBlock2D模块进行多层次特征融合。
更进一步的，所述SKSBlock2D模块包含多层网络结构，包含了K=6个并行分支，第一个并行分支采用了1×1卷积核的卷积层，第二个并行分支经过了一个3×3卷积后，采用全局平均池化为输入的每一个特征图获得一个特征值，然后再用上采样恢复原来的特征图大小，用来代表全局信息；其余并行分支均采用3×3卷积核的卷积层，各参数设置如表1所示。
表1 卷积神经网络各参数设置
Figure 397337DEST_PATH_IMAGE039
作为本实施例的一种实施方式，输入数据经过SKSBlock2D模块并行分支部分不同 并行分支的卷积后，得到若干输出特征图组，对于其中第k个并行分支的输出特征图组，记 为U k ，
Figure 902268DEST_PATH_IMAGE040
，其中，
Figure 262842DEST_PATH_IMAGE041
代表大小为H×W×C的三维实矩阵，k=1,2… K，K为并行分支数量；每一个输出特征图组包含C个高为H、宽为W的特征图；
若SKSBlock2D模块的输入标为X (in)，则经过SKSBlock2D模块并行分支部分不同并 行分支的卷积后，输出为
Figure 853224DEST_PATH_IMAGE020
，U k 为第k个并行分支的输出特征图 组；将SKSBlock2D模块中所有并行分支输出的特征图组进行逐元素相加得到特征图组
Figure 691867DEST_PATH_IMAGE042
，其中，k=1,2…K、
Figure 785725DEST_PATH_IMAGE043
；
接下来通过一个两层全连接网络层进行注意力权重的计算；具体的，对于特征图 组U中的每一个特征图求出一个均值，得到一个长度为C的特征向量s，
Figure 582779DEST_PATH_IMAGE044
，
Figure 660457DEST_PATH_IMAGE024
表示大小为1×C的二维实矩阵；
对于特征向量s的第c个分量s c 的计算为
Figure 34282DEST_PATH_IMAGE045
，c=1, 2,…,C，其中，U c (i,j)为特征图组U中第c个特征图的第i行第j列，i为特征图中的行数，j为 特征图中的列数；
接着通过第一层全连接网络层得到压缩后的长度为
Figure 513805DEST_PATH_IMAGE026
的特征向 量z，特征向量z为
Figure 481761DEST_PATH_IMAGE046
，其中，ReLU为ReLU激活函数， 其计算为
Figure 781155DEST_PATH_IMAGE028
，
Figure 961601DEST_PATH_IMAGE047
，
Figure 30051DEST_PATH_IMAGE048
为任意实数；
Figure 168908DEST_PATH_IMAGE031
为批归一化；s为对于特 征图组U中的每一个特征图求出一个均值，得到一个长度为C的特征向量z；W(1)为第一层全 连接网络层计算的矩阵；b(1)为第一层全连接网络层计算所需的偏置向量；
最后经过第二层的总共K个全连接网络层，分别为SKSBlock2D模块的每一个并行分支得到一组注意力权重，并将得到的注意力权重通过softmax函数进行归一化，使得不同并行分支的同一个分量的注意力权重之和加起来为1；
对于第二层总共K个全连接网络层的第k个并行分支计算出的注意力权重，表示为
Figure 955598DEST_PATH_IMAGE049
，其中，W (2,k)为第二层全连接网络层中 的第k个全连接网络计算所需的矩阵，b (2,k)为第二层全连接网络层中的第k个全连接网络层 计算所需的偏置向量；a k (c)为最终计算出的第k个并行分支的注意力权重a k 的第c个分量。
其中，softmax函数的自变量为一个向量，对于长度为n的向量x的每一个分量xv，v= 1,2…,n；经过softmax函数计算后的值为
Figure 674156DEST_PATH_IMAGE050
，其中，exp(x)=e x 代表以自然常数e为底的指数函数运算。
利用得到的注意力权重作为软阈值化算法的阈值τ，来对各个U k 进行软阈值化算法处理；
对于第k个并行分支的第c个分量中的所有元素x∈U k,c ，U k,c 为特征图组U k 中第c个 分量中的特征图组；计算出来的注意力权重为a k (c)，对注意力权重a k (c)进行软阈值化的计 算为
Figure 862692DEST_PATH_IMAGE034
，对于特征图组U k 的软阈值化处理为
Figure 172450DEST_PATH_IMAGE035
，a k 为第k个并行分支对应 的注意力权重向量；其中，对于软阈值化算法用x表示输入、τ表示软阈值化算法的阈值，软 阈值化算法的表达式为：
Figure 712016DEST_PATH_IMAGE036
；
这一层网络的输出为
Figure 968685DEST_PATH_IMAGE037
，为SKSBlock2D模块的最 终输出，得到的结果经过全局平均池化、全连接与softmax激活函数之后，得到最终的行为 数据属于不同的类别的概率向量ym，m为从跑步开始进行采集得到的第m组时间段T内样本 数据，取概率最大的分量下标作为最终的类别判定p m =argmax(y m )。
作为本实施例的又一种实施方式，所述S5步骤中的相似度对比，是通过跑步开始和结束的时间戳，将不同用户全部样本组成的完整时间序列进行对齐，取出时间重合的部分，进而对8个特征计算皮尔森系数并求得均值，以此作为相似度的判断依据。
作为本实施例的又一种实施方式，将用户跑步期间获得的全部样本，与最近一段时间完成跑步的用户的数据进行相似度对比，相似度均小于0.95，则说明数据有效，否则，被认定为数据无效。
实施例2：
作为本发明又一较佳实施例，参照说明书附图1、附图2和附图3所示，本实施例公开了一种基于卷积神经网络和加速度传感器的跑步行为识别方法。在本实施例中，本方法配置为一种智能手机App，或者是运行于各高校跑步App中的一个插件模块。
可实时获取智能手机中的三轴加速度传感器的数据，数据由包含重力加速度和不包含重力加速度的两个加速度向量总共6个特征（为两个加速度向量的x、y、z轴分量）组成。通过计算这两个向量的模长得到2个额外特征并与6个特征合并，得到的数据总共具有8个特征。
以50ms的时间间隔进行采样，得到一条由加速度传感器数据构成的时间序列。时间序列是通过连续搜集5秒数据，并将其通过三次样条插值法进行拟合和重采样，得到固定时间间隔的长度为64的时间序列，可作为一个样本。
将样本通过一个卷积神经网络模型对手机使用者进行行为检测，模型会输出使用者分别属于正常跑步、骑自行车、滑滑板、静止不动这几种行为的概率，并以概率最高的类别作为识别结果。整个跑步过程将会得到若干5秒数据构成的样本，软件计算所有样本中的算法判别为正常跑步的样本数量，若80%的样本都被判别为正常跑步，那么软件会进一步将学生跑步的完整加速度等必要信息上传至云端服务器，服务器上会和上传时间最近10分钟其他用户提交数据进行相似度比对。经过600组不同用户5秒片段的数据样本计算，经过统计分析发现，不同样本之间相似度均小于0.5，说明两个不同的人跑步相似度大于0.5的概率极低，不大于0.2%，因此如果相似度大于0.95，说明几乎必然是存在一个人携带几个手机的带跑行为，此次提交成绩无效。
具体的，对于卷积神经网络模型部分（如图1所示），本实施例提出了一种基于SKSNet与软阈值化算法（SoftThreshold）的神经网络模型。SKSNet（SK-SoftThreshold-Net）。神经网络模型为一个有4层卷积和一层称为SKSBlock2D模块的轻量级网络。
本网络首先通过四层卷积和最大池化的组合来进行初步特征提取，然后将得到的特征图给SKSBlock2D模块进行多层次特征融合。
如图2所示，SKSBlock2D模块包含多层网络结构，包含了K=6个并行分支，第一个并行分支采用了1×1卷积核的卷积层，第二个并行分支经过了一个3×3卷积后，采用全局平均池化为输入的每一个特征图获得一个特征值，然后再用上采样恢复原来的特征图大小，用来代表全局信息；其余并行分支均采用3×3卷积核的卷积层。
输入数据经过SKSBlock2D模块并行分支部分不同并行分支的卷积后，得到若干输 出特征图组，对于其中第k个并行分支的输出特征图组，记为U k ，
Figure 808465DEST_PATH_IMAGE001
，其中，
Figure 757966DEST_PATH_IMAGE002
代表大小为H×W×C的三维实矩阵，k=1,2，…,K，K为并行分支数量；每一个输 出特征图组包含C个高为H、宽为W的特征图；
若SKSBlock2D模块的输入标为X (in)，则经过SKSBlock2D模块并行分支部分不同并 行分支的卷积后，输出为
Figure 253670DEST_PATH_IMAGE051
，U k 为第k个并行分支的输出特征图 组；将SKSBlock2D模块中所有并行分支输出的输出特征图组进行逐元素相加得到特征图组
Figure 579609DEST_PATH_IMAGE052
，k=1,2，…,K，
Figure 273895DEST_PATH_IMAGE005
；
接下来通过一个两层全连接网络层进行注意力权重的计算；具体的，对于特征图 组U中的每一个特征图求出一个均值，得到一个长度为C的特征向量s，
Figure 125789DEST_PATH_IMAGE006
,
Figure 374368DEST_PATH_IMAGE007
表示大小为1×C的二维实矩阵；
对于特征向量s的第c个分量s c 的计算为
Figure 238419DEST_PATH_IMAGE053
， 其中，U c (i,j)为特征图组U中第c个特征图的第i行j列，i为特征图中的行数，j为特征图中 的列数；
接着通过第一层全连接网络层得到压缩后的长度为
Figure 787212DEST_PATH_IMAGE054
的特征向量 z，特征向量z为
Figure 78516DEST_PATH_IMAGE010
，其中，ReLU为ReLU激活函数，其计算 为ReLU(x)=max(x,0)，
Figure 814391DEST_PATH_IMAGE011
，
Figure 216553DEST_PATH_IMAGE012
为任意实数；
Figure 619853DEST_PATH_IMAGE013
为批归一化；s为对于特征图组中的每一 个特征图求出一个均值，得到一个长度为C的特征向量；W(1)为第一层全连接网络层计算的 矩阵，b(1)为第一层全连接网络层计算所需的偏置向量；
最后经过第二层的总共K个全连接网络层，分别为SKSBlock2D模块的每一个并行分支得到一组注意力权重，并将得到的注意力权重通过softmax函数进行归一化，使得不同并行分支的同一个分量的注意力权重之和加起来为1；
对于第二层总共K个全连接网络层的第k个并行分支计算出的注意力权重，表示为
Figure 347637DEST_PATH_IMAGE014
，其中，W(2,k)为第二层全连接网络层中的第个 全连接网络计算所需的矩阵，b(2,k)为第二层全连接网络层中的第个全连接网络层计算所需 的偏置向量；a k (c)为最终计算出的第k个并行分支的注意力权重a k 的第c个分量。
其中，softmax函数的自变量为一个向量，对于长度为n的向量x的每一个分量xv，v= 1,2…,n；经过softmax函数计算后的值为
Figure 305229DEST_PATH_IMAGE055
，其中，exp(x)=e x 代表以自然常数e为底的指数函数运算。
软阈值阈值函数是大部分降噪方法的核心步骤，软阈值函数会将绝对值低于这个阈值的输入数据设置为零，并且将绝对值大于这个阈值的输入数据也朝着零收缩，其表达式为：
Figure 245503DEST_PATH_IMAGE056
本方案中利用得到的注意力权重作为软阈值化算法的阈值τ，来对各个U k 进行软阈值化算法处理；
对于第k个并行分支的第c个分量中的所有元素x∈U k,c ，U k,c 为特征图组U k 中第c个 分量中的特征图组；计算出来的注意力权重为a k (c)，对注意力权重a k (c)进行软阈值化的计 算为
Figure 768888DEST_PATH_IMAGE034
，对于特征图组U k,的软阈值化处理为
Figure 667574DEST_PATH_IMAGE035
，a k 为第k个并行分支对 应的注意力权重向量；其中，对于软阈值化算法用x表示输入、τ表示软阈值化算法的阈值， 软阈值化算法的表达式为：
Figure 846883DEST_PATH_IMAGE036
；
这一层网络的输出为
Figure 856427DEST_PATH_IMAGE037
，为SKSBlock2D模块的最 终输出，得到的结果经过全局平均池化、全连接与softmax激活函数之后，得到最终的行为 数据属于不同的类别的概率向量ym，m为从跑步开始进行采集得到的第m组时间段T内样本 数据，取概率最大的分量下标作为最终的类别判定p m =argmax(y m )。
对于相似度计算部分而言，一旦跑步开始按钮被点击，就会开始持续记录连续的记录加速度数据，直到跑步结束按钮被点击，因此可以通过开始与结束的时间戳，来将不同用户全部样本组成的完整时间序列进行对齐取出时间重合的部分，进而对8个特征计算皮尔森系数并求得均值，以此作为相似度的判断。
最后，将所有的检测结果进行统计，若超过80%的样本都被检测为正常跑步，且与其他最近十分钟提交的用户提交数据相似度均小于0.95，则说明数据有效，否则，大学生的跑步记录存在作弊行为。
实施例3：
作为本发明又一较佳实施例，本实施例可作为对上述实施例1和实施例2的具体应用实施例，将方法集成为一款手机APP之后，其具体使用过程如下所示：
（1）学生打开APP软件，开始进行跑步打卡；
（2）软件开始每隔50ms搜集一次当前的三轴加速度数据，并分别计算其模长，得到8个特征；
（3）当搜集了总共5s的数据后，得到了一个时间序列数据，采用三次插值法来拟合时间序列并重新进行采样，得到长度为64的时间序列数据；
（4）将时间序列输入卷积神经网络SKSNet；
（5）记录模型得到的行为检测结果；
（6）如学生跑步未点击结束，则重复步骤（1）至步骤（5）；
（7）学生在APP页面点击跑步结束，软件根据计算得到的跑步平均速度，GPS定位。数据进行初步判断，如不满足要求，则执行步骤（9）；
（8）统计所有的5s片段的行为检测结果，统计行为检测结果占比，如预测为正常跑步行为的样本占比大于80%，执行步骤（10），否则执行步骤（9）；
（9）如学生跑步数据存在异常，可能是通过骑自行车等其他方式进行打卡，因此软件认定本次跑步数据为无效；
（10）如学生此次跑步打卡数据无异常，软件上传完整的加速度数据、提交GPS位置信息、开始跑步和结束跑步的时间点上传至云端，云端将其与最近10分钟内且提交距离小于5米的其他用户提交的数据按照跑步开始时间和结束时间戳进行对齐后，取出重叠的部分进行相似度计算；
（11）如与其中某些用户提交数据的相似度大于0.95，执行步骤（12），否则执行步骤（13）；
（12）如用户提交数据与其他附近的用户提交的数据相似度非常高，极大可能是一个人携带多部手机的带跑行为，因此判定此次记录为无效数据；
（13）学生此次打卡记录被认定为记录有效。
实施例4：
作为本发明又一较佳实施例，本实施例公开了一种基于卷积神经网络的跑步行为识别装置，本装置可以集成在智能手机等智能设备中，也可以是一种单独的智能穿戴设备。具体的装置包括：
数据获取模块，用于在跑步过程中，实时获取用户携带的设备中的三轴加速度传感器的数据；
数据采样模块，用于以设定时间间隔t对数据获取模块获取得到的数据进行采样；连续收集一时间段T内的采样数据，并连续收集多个时间段T的采样数据，直至跑步结束；
数据预处理模块，用于对数据采样模块收集到的时间段T内的采样数据，通过三次样条插值进行拟合和重采样，得到固定长度为L的时间序列，将时间序列作为一个样本数据；处理多个时间段T的采样数据，得到多个时间段对应的时间序列，得到多个样本数据；
运动类别识别模块，用于将数据预处理模块的多个样本数据输入到一个卷积神经网络模型中，通过卷积神经网络模型对每个样本数据分别进行检测；卷积神经网络模型输出每个样本数据属于各运动类别的概率，并以概率最高的类别作为样本数据的识别结果；
若多个样本数据的识别结果中，被判别为跑步行为的样本数量占全部样本数量的占比超出设定占比阈值，则将对应的多个样本数据传输至相似度对比模块中；若未超出设定占比阈值，则被判定为跑步数据异常；
相似度对比模块，用于根据运动类别识别模块的识别结果，对跑步行为占比超出设定占比阈值的多个样本数据与其他用户的样本数据进行相似度对比，若相似度对比结果大于设定相似度阈值，则判定用户的跑步数据无效；若相似度对比结果小于设定相似度阈值，则判定用户的跑步数据有效。
作为本实施例的一种实施方式，所述数据获取模块中，获取的三轴加速度传感器的数据包括8个特征，其中6个特征是基于含重力加速度和不含重力加速度的两个加速度向量的x、y、z轴分量得到的6个浮点型特征；另外2个特征是通过计算两个速度向量的模长得到的2个额外特征。
作为本实施例的又一种实施方式，所述运动类别识别模块中，所述卷积神经网络模型的卷积神经网络为一个有4层卷积层和一层SKSBlock2D模块的轻量级网络，其中卷积层为卷积运算-批归一化-ReLU激活函数的组合。所述卷积神经网络首先通过四层卷积和最大池化的组合来进行初步特征提取，然后将得到的特征图给SKSBlock2D模块进行多层次特征融合。
所述SKSBlock2D模块包含多层网络结构，包含了K=6个并行分支，第一个并行分支采用了1×1卷积核的卷积层，第二个并行分支经过了一个3×3卷积后，采用全局平均池化为输入的每一个特征图获得一个特征值，然后再用上采样恢复原来的特征图大小，用来代表全局信息；其余并行分支均采用3×3卷积核的卷积层。
输入数据经过SKSBlock2D模块并行分支部分不同并行分支的卷积后，得到若干输 出特征图组，对于其中第k个并行分支的输出特征图组，记为U k ，
Figure 499898DEST_PATH_IMAGE057
，其中，
Figure 35397DEST_PATH_IMAGE058
代表大小为H×W×C的三维实矩阵，k=1,2…K，K为并行分支数量；每一个输出特 征图组包含C个高为H、宽为W的特征图；
若SKSBlock2D模块的输入标为X (in)，则经过SKSBlock2D模块并行分支部分不同并 行分支的卷积后，输出为
Figure 233160DEST_PATH_IMAGE020
，U k 为第k个并行分支的输出特征图 组；将SKSBlock2D模块中所有并行分支输出的特征图组进行逐元素相加得到特征图组
Figure 311975DEST_PATH_IMAGE021
，其中，k=1,2…K、
Figure 13215DEST_PATH_IMAGE022
；
接下来通过一个两层全连接网络层进行注意力权重的计算；具体的，对于特征图 组U中的每一个特征图求出一个均值，得到一个长度为C的特征向量s，
Figure 988124DEST_PATH_IMAGE023
，
Figure 407604DEST_PATH_IMAGE024
表示大小为1×C的二维实矩阵；
对于特征向量s的第c个分量S c 的计算为
Figure 493371DEST_PATH_IMAGE053
，c=1, 2,…,C，其中，U c (i,j)为特征图组U中第c个特征图的第i行第j列，i为特征图中的行数，j为 特征图中的列数；
接着通过第一层全连接网络层得到压缩后的长度为
Figure 845855DEST_PATH_IMAGE054
的特征向量 z，特征向量z为
Figure 257245DEST_PATH_IMAGE059
，其中，ReLU为ReLU激活函数，其计算 为
Figure 898442DEST_PATH_IMAGE028
，
Figure 787901DEST_PATH_IMAGE060
，
Figure 463733DEST_PATH_IMAGE061
为任意实数；
Figure 780445DEST_PATH_IMAGE031
为批归一化；s为对于特征图 组U中的每一个特征图求出一个均值，得到一个长度为C的特征向量z；W(1)为第一层全连接 网络层计算的矩阵；b(1)为第一层全连接网络层计算所需的偏置向量；
最后经过第二层的总共K个全连接网络层，分别为SKSBlock2D模块的每一个并行分支得到一组注意力权重，并将得到的注意力权重通过softmax函数进行归一化，使得不同并行分支的同一个分量的注意力权重之和加起来为1；
对于第二层总共K个全连接网络层的第k个并行分支计算出的注意力权重，表示为
Figure 705675DEST_PATH_IMAGE062
，其中，W(2,k)为第二层全连接网络层中 的第k个全连接网络计算所需的矩阵，b(2,k)为第二层全连接网络层中的第k个全连接网络层 计算所需的偏置向量；a k (c)为最终计算出的第k个并行分支的注意力权重a k 的第c个分量。
其中，softmax函数的自变量为一个向量，对于长度为n的向量x的每一个分量xv，v= 1,2…,n；经过softmax函数计算后的值为
Figure DEST_PATH_IMAGE063
，其中，exp(x)=e x 代表以自然常数e为底的指数函数运算。
利用得到的注意力权重作为软阈值化算法的阈值τ，来对各个U k 进行软阈值化算法处理；
对于第k个并行分支的第c个分量中的所有元素x∈U k,c ，U k,c 为特征图组U k 中第c个 分量中的特征图组；计算出来的注意力权重为a k (c)，对注意力权重a k (c)进行软阈值化的计 算为
Figure 602087DEST_PATH_IMAGE034
，对于特征图组U k,的软阈值化处理为
Figure 929163DEST_PATH_IMAGE035
，a k 为第k个并行分支对 应的注意力权重向量；其中，对于软阈值化算法用x表示输入、τ表示软阈值化算法的阈值， 软阈值化算法的表达式为：
Figure 413847DEST_PATH_IMAGE036
；
这一层网络的输出为
Figure 29636DEST_PATH_IMAGE037
，为SKSBlock2D模块的最 终输出，得到的结果经过全局平均池化、全连接与softmax激活函数之后，得到最终的行为 数据属于不同的类别的概率向量ym，m为从跑步开始进行采集得到的第m组时间段T内样本 数据，取概率最大的分量下标作为最终的类别判定p m =argmax(y m )。
进一步优选的，相似度对比模块中的相似度对比，是通过跑步开始和结束的时间戳，将不同用户的全部样本组成的完整时间序列进行对齐，取出时间重合的部分，进而对8个特征计算皮尔森系数并求得均值，以此作为相似度的判断依据。
更进一步的，相似度对比模块将用户跑步期间获得的全部样本，与最近一段时间完成跑步的用户的数据进行相似度对比，相似度均小于0.95，则说明数据有效，否则，被认定为数据无效。
进一步的，所述设定时间间隔t为50ms。所述时间段T为5s。所述数据预处理模块中，时间序列的固定长度L=64。所述设定占比阈值为80%。所述设定相似度阈值为0.95。
实施例5：
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述跑步行为识别方法的步骤。
在本实施例中处理器可以为中央处理器（Central Processing Unit，CPU）。处理器还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例1中的方法。
实施例6：
作为本发明又一较佳实施例，本实施例公开了一种计算机可读存储介质，所述计算机可读存储介质存储有用于电子数据交换的计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行上述实施例1的步骤。

Claims (7)

1.基于卷积神经网络和加速度传感器的跑步行为识别方法，其特征在于：包括以下步骤：
S1、跑步开始后，实时获取用户携带的设备中的三轴加速度传感器的数据；
S2、以设定时间间隔t对S1步骤获取到的数据进行采样；连续收集一时间段T内的采样数据，并连续收集多个时间段T的采样数据，直至跑步结束；
S3、对S2步骤连续收集到的多个时间段T内的采样数据分别通过三次样条插值进行拟合和重采样，每个时间段T对应得到一个固定长度为L的时间序列，得到多个时间段T对应的多个时间序列，将每一个时间序列作为一个样本数据，从而得到多个样本数据；
S4、将S3步骤得到的多个样本数据输入到一个卷积神经网络模型中，通过卷积神经网络模型分别对每个样本数据进行检测；卷积神经网络模型输出每个样本数据属于各运动类别的概率，并以概率最高的类别作为样本数据的识别结果；
若多个样本数据的识别结果中，被判别为跑步行为的样本数量占全部样本数量的占比超出设定占比阈值，则进行S5步骤；若未超出设定占比阈值，则被判定为跑步数据异常；
S4步骤中，所述卷积神经网络模型的卷积神经网络为一个有4层卷积层和一层SKSBlock2D模块的轻量级网络，其中卷积层为卷积运算-批归一化-ReLU激活函数的组合；卷积神经网络首先通过四层卷积和最大池化的组合来进行初步特征提取，然后将得到的特征图给SKSBlock2D模块进行多层次特征融合；所述SKSBlock2D模块包含多层网络结构，包含了K=6个并行分支，第一个并行分支采用了1×1卷积核的卷积层，第二个并行分支经过了一个3×3卷积后，采用全局平均池化为输入的每一个特征图获得一个特征值，然后再用上采样恢复原来的特征图大小，用来代表全局信息；其余并行分支均采用3×3卷积核的卷积层；
S5、将S3步骤得到的多个样本数据与其他用户的样本数据进行相似度对比，若相似度对比结果大于设定相似度阈值，则判定用户的跑步数据无效；若相似度对比结果小于设定相似度阈值，则判定用户的跑步数据有效。
2.如权利要求1所述的基于卷积神经网络和加速度传感器的跑步行为识别方法，其特征在于：S1步骤中，获取的三轴加速度传感器的数据包括8个特征，其中6个特征是基于含重力加速度和不含重力加速度的两个加速度向量的x、y、z轴分量得到的6个浮点型特征；另外2个特征是通过计算两个加速度向量的模长得到的2个额外特征。
3.如权利要求1所述的基于卷积神经网络和加速度传感器的跑步行为识别方法，其特征在于：输入数据经过SKSBlock2D模块并行分支部分不同并行分支的卷积后，得到若干输出特征图组，对于其中第k个并行分支的输出特征图组，记为U k ，
Figure DEST_PATH_IMAGE001
，其中，
Figure DEST_PATH_IMAGE002
代表大小为H×W×C的三维实矩阵，k=1,2…K，K为并行分支数量；每一个输出特征图组包含C个高为H、宽为W的特征图；
若SKSBlock2D模块的输入标为X (in)，则经过SKSBlock2D模块并行分支部分不同并行分支的卷积后，输出为
Figure DEST_PATH_IMAGE003
，U k 为第k个并行分支的输出特征图组；将SKSBlock2D模块中所有并行分支输出的特征图组进行逐元素相加得到特征图组
Figure DEST_PATH_IMAGE004
，其中，k=1,2…K、
Figure DEST_PATH_IMAGE005
；
接下来通过一个两层全连接网络层进行注意力权重的计算；具体的，对于特征图组U中的每一个特征图求出一个均值，得到一个长度为C的特征向量s，
Figure DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE007
表示大小为1×C的二维实矩阵；
对于特征向量s的第c个分量s c 的计算为
Figure DEST_PATH_IMAGE008
，c=1,2,…,C，其中，U c (i,j)为特征图组U中第c个特征图的第i行第j列，i为特征图中的行数，j为特征图中的列数；
接着通过第一层全连接网络层得到压缩后的长度为
Figure DEST_PATH_IMAGE009
的特征向量z，特征向量z为
Figure DEST_PATH_IMAGE010
，其中，ReLU为ReLU激活函数，其计算为
Figure DEST_PATH_IMAGE011
，
Figure DEST_PATH_IMAGE012
，
Figure DEST_PATH_IMAGE013
为任意实数；
Figure DEST_PATH_IMAGE014
为批归一化；s为对于特征图组U中的每一个特征图求出一个均值，得到一个长度为C的特征向量z；W(1)为第一层全连接网络层计算的矩阵；b(1)为第一层全连接网络层计算所需的偏置向量；
最后经过第二层的总共K个全连接网络层，分别为SKSBlock2D模块的每一个并行分支得到一组注意力权重，并将得到的注意力权重通过softmax函数进行归一化，使得不同并行分支的同一个分量的注意力权重之和为1；
对于第二层总共K个全连接网络层的第k个并行分支计算出的注意力权重，表示为
Figure DEST_PATH_IMAGE015
，其中，W(2,k)为第二层全连接网络层中的第k个全连接网络计算所需的矩阵，b(2,k)为第二层全连接网络层中的第k个全连接网络层计算所需的偏置向量；a k (c)为最终计算出的第k个并行分支的注意力权重a k 的第c个分量。
4.如权利要求3所述的基于卷积神经网络和加速度传感器的跑步行为识别方法，其特征在于：softmax函数的自变量为一个向量，对于长度为n的向量x的每一个分量xv，v=1,2…,n；经过softmax函数计算后的值为
Figure DEST_PATH_IMAGE016
，其中，exp(x)=e x 代表以自然常数e为底的指数函数运算。
5.如权利要求3或4所述的基于卷积神经网络和加速度传感器的跑步行为识别方法，其特征在于：利用得到的注意力权重作为软阈值化算法的阈值τ，对各个U k 进行软阈值化算法处理；
对于第k个并行分支的第c个分量中的所有元素x∈U k,c ，U k,c 为特征图组U k 中第c个分量中的特征图组；计算出来的注意力权重为a k (c)，对注意力权重a k (c)进行软阈值化的计算为
Figure DEST_PATH_IMAGE017
，对于特征图组U k 的软阈值化处理为
Figure DEST_PATH_IMAGE018
，a k 为第k个并行分支对应的注意力权重向量；其中，对于软阈值化算法用x表示输入、τ表示软阈值化算法的阈值，软阈值化算法的表达式为：
Figure DEST_PATH_IMAGE019
；
这一层网络的输出为
Figure DEST_PATH_IMAGE020
，为SKSBlock2D模块的最终输出，得到的结果经过全局平均池化、全连接与softmax激活函数之后，得到最终的行为数据属于不同的类别的概率向量ym，m为从跑步开始进行采集得到的第m组时间段T内样本数据，取概率最大的分量下标作为最终的类别判定p m =argmax(y m )。
6.如权利要求1～4任意一项所述的基于卷积神经网络和加速度传感器的跑步行为识别方法，其特征在于：S5步骤中的相似度对比，是通过跑步开始和结束的时间戳，将不同用户全部样本组成的完整时间序列进行对齐，取出时间重合的部分，进而对8个特征计算皮尔森系数并求得均值，以此作为相似度的判断依据。
7.如权利要求1～4任意一项所述的基于卷积神经网络和加速度传感器的跑步行为识别方法，其特征在于：S5步骤中，将用户跑步期间获得的全部样本，与最近一段时间完成跑步的用户的数据进行相似度对比，相似度均小于0.95，则说明数据有效，否则，被认定为数据无效。
CN202210708748.1A 2022-06-22 2022-06-22 基于卷积神经网络和加速度传感器的跑步行为识别方法 Expired - Fee Related CN114818991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210708748.1A CN114818991B (zh) 2022-06-22 2022-06-22 基于卷积神经网络和加速度传感器的跑步行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210708748.1A CN114818991B (zh) 2022-06-22 2022-06-22 基于卷积神经网络和加速度传感器的跑步行为识别方法

Publications (2)

Publication Number Publication Date
CN114818991A CN114818991A (zh) 2022-07-29
CN114818991B true CN114818991B (zh) 2022-09-27

Family

ID=82521531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210708748.1A Expired - Fee Related CN114818991B (zh) 2022-06-22 2022-06-22 基于卷积神经网络和加速度传感器的跑步行为识别方法

Country Status (1)

Country Link
CN (1) CN114818991B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997572A (zh) * 2014-06-03 2014-08-20 深圳市爱康伟达智能医疗科技有限公司 一种基于手机加速度传感器数据的计步方法和装置
CN109256187A (zh) * 2018-08-27 2019-01-22 爱动超越人工智能科技（北京）有限责任公司 一种基于多模运动传感器数据的跑步姿态建议系统及方法
CN110059582A (zh) * 2019-03-28 2019-07-26 东南大学 基于多尺度注意力卷积神经网络的驾驶员行为识别方法
CN111967362A (zh) * 2020-08-09 2020-11-20 电子科技大学 面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法
WO2021057810A1 (zh) * 2019-09-29 2021-04-01 深圳数字生命研究院 数据处理、训练、识别方法、装置和存储介质
CN114582018A (zh) * 2022-03-03 2022-06-03 吉林大学 基于改进卷积神经网络的步态识别方法、装置、智能终端

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11429883B2 (en) * 2015-11-13 2022-08-30 Microsoft Technology Licensing, Llc Enhanced computer experience from activity prediction
TWI617993B (zh) * 2017-03-03 2018-03-11 財團法人資訊工業策進會 辨識系統及辨識方法
KR102174658B1 (ko) * 2019-03-27 2020-11-05 연세대학교 산학협력단 비디오 행동 인식 및 행동 구간 탐지 장치 및 방법
CN111325153B (zh) * 2020-02-21 2023-05-12 青岛联合创智科技有限公司 一种基于多维数据的学生行为特征智能分析方法
US20210378579A1 (en) * 2020-06-04 2021-12-09 Biosense Webster (Israel) Ltd. Local noise identification using coherent algorithm
CN112464738B (zh) * 2020-11-05 2022-08-23 江苏集萃未来城市应用技术研究所有限公司 改进朴素贝叶斯算法基于手机传感器的用户行为识别方法
US11544177B2 (en) * 2020-11-19 2023-01-03 Ebay Inc. Mapping of test cases to test data for computer software testing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103997572A (zh) * 2014-06-03 2014-08-20 深圳市爱康伟达智能医疗科技有限公司 一种基于手机加速度传感器数据的计步方法和装置
CN109256187A (zh) * 2018-08-27 2019-01-22 爱动超越人工智能科技（北京）有限责任公司 一种基于多模运动传感器数据的跑步姿态建议系统及方法
CN110059582A (zh) * 2019-03-28 2019-07-26 东南大学 基于多尺度注意力卷积神经网络的驾驶员行为识别方法
WO2021057810A1 (zh) * 2019-09-29 2021-04-01 深圳数字生命研究院 数据处理、训练、识别方法、装置和存储介质
CN111967362A (zh) * 2020-08-09 2020-11-20 电子科技大学 面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法
CN114582018A (zh) * 2022-03-03 2022-06-03 吉林大学 基于改进卷积神经网络的步态识别方法、装置、智能终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习和MEMS状态机的动作识别研究;李鹏飞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220315(第3期);第7-11、19-34页 *

Also Published As

Publication number Publication date
CN114818991A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN107480178B (zh) 一种基于图像与视频跨模态比对的行人重识别方法
Deep et al. Hybrid model featuring CNN and LSTM architecture for human activity recognition on smartphone sensor data
CN112001347B (zh) 一种基于人体骨架形态与检测目标的动作识别方法
CN113705597A (zh) 一种图像处理方法、装置、计算机设备以及可读存储介质
CN111340105A (zh) 一种图像分类模型训练方法、图像分类方法、装置及计算设备
CN107092883A (zh) 物体识别追踪方法
Chandran et al. Missing child identification system using deep learning and multiclass SVM
CN104616002A (zh) 用于年龄段判断的面部识别设备
CN109801265A (zh) 一种基于卷积神经网络的实时输电设备异物检测系统
CN104376611A (zh) 一种基于人脸识别的下井考勤方法及其装置
CN111931616A (zh) 基于移动智能终端传感器设备的情绪识别方法及系统
CN113269903A (zh) 人脸识别课堂考勤系统
CN111709382A (zh) 人体轨迹处理方法、装置、计算机存储介质以及电子设备
CN108021693A (zh) 一种图像检索方法和装置
CN114818991B (zh) 基于卷积神经网络和加速度传感器的跑步行为识别方法
CN112183430B (zh) 一种基于双神经网络的手语识别方法及装置
CN112766305A (zh) 一种基于端到端度量网络的视觉slam闭环检测方法
CN112257559A (zh) 一种基于生物个体步态信息的身份识别方法
CN105469116A (zh) 一种基于人机交互的幼儿识图及数据扩充方法
CN115457366A (zh) 基于图卷积神经网络的中草药多标签识别模型
CN110610173A (zh) 基于Mobilenet的羽毛球动作分析系统及方法
CN111832622A (zh) 特定人物丑化图片识别方法及系统
CN111461248A (zh) 一种摄影构图线匹配方法、装置、设备及存储介质
CN111950575A (zh) 用于跌倒检测的设备及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220927