CN111062352A - 一种基于移动终端数据识别终端用户步态的方法和服务器 - Google Patents

一种基于移动终端数据识别终端用户步态的方法和服务器 Download PDF

Info

Publication number
CN111062352A
CN111062352A CN201911356761.XA CN201911356761A CN111062352A CN 111062352 A CN111062352 A CN 111062352A CN 201911356761 A CN201911356761 A CN 201911356761A CN 111062352 A CN111062352 A CN 111062352A
Authority
CN
China
Prior art keywords
data
gait
user
mobile terminal
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911356761.XA
Other languages
English (en)
Other versions
CN111062352B (zh
Inventor
董霖
杨玉春
曹克丹
叶新江
方毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Meiri Interdynamic Network Technology Co ltd
Original Assignee
Zhejiang Meiri Interdynamic Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Meiri Interdynamic Network Technology Co ltd filed Critical Zhejiang Meiri Interdynamic Network Technology Co ltd
Priority to CN201911356761.XA priority Critical patent/CN111062352B/zh
Publication of CN111062352A publication Critical patent/CN111062352A/zh
Application granted granted Critical
Publication of CN111062352B publication Critical patent/CN111062352B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于移动终端数据识别终端用户步态的方法,其通过采用窗口长度W大于终端用户的一个步态周期长度的矩形窗口,使得获取的终端用户步态特征数据至少包含该终端用户的一个完整步态周期中的所有信息数据,为终端用户的步态识别提供了较为全面、完整的信息;另外,由于本发明中的矩形窗口滑动长度ΔW小于窗口长度W,该方法还可以获取终端用户在特定行进方式下具有不同起始状态的运动分割数据,进而使得基于运动分割数据被再分割后得到的子数据而获取的用户步态特征数据能更充分地使用运动分割数据的内部信息,客观、全面地反应终端用户的步态特征,有利于提高用户步态识别的准确率。

Description

一种基于移动终端数据识别终端用户步态的方法和服务器
技术领域
本发明涉及步态识别技术,尤其涉及一种识别用户步态的方法和服务器。
背景技术
终端用户的个体或者群体识别受到了人们的高度关注,其中,根据终端用户独有的生物特征进行个体或者群体识别是现有技术中的一个重要识别方法,生物特征例如可以为用户的面部特征、指纹特征以及步态,而根据步态进行个体或群体识别是当前识别技术中比较新的一部分。
步态识别即是识别行进姿势的过程(行进姿势为特定行进方式下用户或者用户群体特有的姿势,其中行进方式例如可以包括走路、跑步等),由于步态为终端用户或终端用户群体特有,因此,也可以称为个体识别或群体识别。现有技术中,根据一段视频中的所有帧图像来识别行进姿势(例如走路姿势)是目前使用较多的方法,但是由于视频中通常包含的帧图像数量很大,使得在进行步态识别时需要输入的数据量很多,这在一定程度上限制了步态识别的应用。为了解决输入数据量过大的问题,出现了根据终端用户的加速度数据来进行步态识别的技术内容:采用峰值检测的方法来估计终端用户的步态周期(步态周期为从一只落地的脚开始抬起至该脚再次落地的时间段为一个步态周期),然后基于估计的步态周期分割用户的加速度数据,之后基于分割的合成加速度数据提取时频域特征以进行步态识别,其中,基于分割的合成加速度数据提取的时频域特征是进行步态识别的用户步态特征数据。然而,上述基于峰值检测方法获取估计的步态周期的方法只适用于实验室环境,也就是说,在比较理想的环境下,上述方法可以有较好的识别效果;在实际环境中,会存在道路不平(例如道路有坑洼)等多种情况,若采用峰值检测的方法来估计用户的步态周期,则会因为出现的假峰值使得估计的步态周期和准确的步态周期误差较大,此时若根据估计的步态周期来获取分割的合成加速度数据并提取时频域特征(即用户的步态特征数据),则获取的用户步态特征数据并不是用户一个步态周期内的完整步态特征数据,进而影响步态识别效果,导致用户步态识别的效果无法满足实际需求。
发明内容
为解决上述技术问题,本发明公开了一种基于移动终端数据识别终端用户步态的方法,包括:步骤100,获取移动终端的至少一个运动数据C1(n)、C2(n)、…、Cm(n),其中,第x个运动数据Cx(n)为时间段T=[t1,t2]内移动终端按照第一预设采集频率F采集的,1≤x≤m;步骤200,利用窗口长度为W的矩形窗口Rt按照预设滑动长度ΔW分别在C1(n)、C2(n)、…、Cm(n)上滑动以获取运动分割数据D10、D20、…、Dm0,D11、D21、…、Dm1,…,D1u、D2u、…、Dmu,其中,Dxi为矩形窗口Rt在Cx(n)上第i次滑动时对所述矩形窗口Rt内的数据进行处理而获得的数据,0≤i≤u,ΔW<W,
Figure BDA0002336133270000021
即u为(T-W)和ΔW的比值向下取整;步骤300,基于运动分割数据D10、D20、…、Dm0,D11、D21、…、Dm1,…,D1u、D2u、…、Dmu获取终端用户的第一步态特征数据K0,K1,…,Ku,其中,Ki通过提取运动分割数据D1i、D2i、…、Dmi的时域和/或频域特征而得到;步骤400,基于所述第一步态特征数据K0,K1,…,Ku和用户步态识别模型识别所述终端用户的步态;进一步,W≥标准步态周期长度,所述标准步态周期长度为多个已知步态周期长度中的最大值。
本发明通过采用窗口长度W大于终端用户的一个步态周期长度的矩形窗口,使得获取的终端用户步态特征数据至少包含该终端用户的一个完整步态周期中的所有信息数据,为终端用户的步态识别提供了较为全面、完整的信息;另外,相对于现有技术获取的单一类型的从一只脚抬起到该只脚落地的运动分割数据,由于本发明中的矩形窗口滑动长度ΔW小于窗口长度W,因此,本发明所述的方法还可以获取终端用户在特定行进方式下具有不同起始状态的运动分割数据(例如,一种运动分割数据的起始状态为一只脚在地上,另一个运动分割数据的起始状态为该只脚在抬起的最高点等等);进一步,通过将每个运动分割数据分割为多个运动分割子数据,并根据每个运动分割子数据获取时域/或频域特征,可以更充分地使用具有不同起始状态的运动分割数据的内部信息,相对于直接根据运动分割数据来获取时域和/或频域特征而言,根据运动分割子数据获取的终端用户第一步态特征数据更能客观、全面地反应终端用户的步态特征,从而有利于提高用户步态识别的准确率。
附图说明
图1是本发明的基于移动终端数据识别终端用户步态的方法流程图;
图2是本发明的基于移动终端数据识别终端用户步态的方法的另一流程图;
图3是本发明的获取移动终端运动数据的方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,将结合附图对本发明作进一步地详细描述。这种描述是通过示例而非限制的方式介绍了与本发明的原理相一致的具体实施方式,这些实施方式的描述是足够详细的,以使得本领域技术人员能够实践本发明,在不脱离本发明的范围和精神的情况下可以使用其他实施方式并且可以改变和/或替换各要素的结构。因此,不应当从限制性意义上来理解以下的详细描述。
本发明公开了一种基于移动终端数据识别终端用户步态的方法,如图1所示,该方法包括:步骤100,获取移动终端的至少一个运动数据C1(n)、C2(n)、…、Cm(n),其中,第x个运动数据Cx(n)为时间段T=[t1,t2]内移动终端按照第一预设采集频率F采集的,1≤x≤m。在本发明中,所述运动数据可以为移动终端在不同方向上的加速度数据、移动终端在不同方向上的运动速度数据、或者移动终端的旋转角度等,且以上所举示例不作为对本发明运动数据的具体限定,其还包括将来能够获取到的关于移动终端的其他运动数据。示例性的,m=3,此时,C1(n)为移动终端在移动终端坐标系X轴的加速度数据,C2(n)为移动终端在移动终端坐标系Y轴的加速度数据,C3(n)为移动终端在移动终端坐标系Z轴的加速度数据。
根据本发明,所述移动终端为手机和/或PAD设备等,且本领域技术人员知悉,所述移动终端集成有常用的传感器元件,例如用于测量所述移动终端在多个方向上加速度的加速度传感器、用于测量移动终端旋转角度的陀螺仪传感器等;且移动终端可通过调用特定接口来获取以上所述传感器的数据。
根据本发明,t2-t1的取值以及所述第一预设采集频率F的取值均可以自定义设置,在本发明的一个实施例中,t2-t1的取值使得在所述时间段T内可获取终端用户的至少一个矩形窗口内的加速度数据,示例性的,t2-t1的取值范围为[10秒,70秒],优选为60秒,且当所述t2-t1的取值较大时,获取的运动数据增多,使得矩形窗口在运动数据上的滑动次数也增多,进一步,由于矩形窗口的滑动长度小于矩形窗口的窗口长度,因此,当利用矩形窗口在运动数据上滑动时,可以获取终端用户在特定行进方式下具有不同起始状态的多种运动分割数据(例如,一种运动分割数据的起始状态为一只脚在地上,另一个运动分割数据的起始状态为该只脚在抬起的最高点等等)。
所述第一预设采集频率F的取值兼顾数据冗余度和数据完整性,当第一预设采集频率F取值很大时,会导致采集的数据量过大,造成数据冗余度高,即采集数据中包括的无用或重复信息过多;相反,当第一预设采集频率F取值很小时,会使得在所述时间段T内获取的数据量过少,进而使得获取的终端用户步态特征数据不完整。一个实施例中,所述第一预设采集频率F的取值范围为[80,150],更优选为100,即每秒内采集100次数据。示例性的,假设时间段T=[11:00,11:01],F取值为100,m=3且C1(n)、C2(n)、…、C3(n)分别为移动终端在移动终端坐标系的X、Y、Z三个不同方向上的加速度数据时,则根据上述内容可知,n的取值范围为1,2,…,6000,其中,6000为F和时间段T的时间差的乘积,即C1(n)={x1,x2,…,x6000},为移动终端在X轴方向上的加速度数据,C2(n)={y1,y2,…,y6000},为移动终端在Y轴方向上的加速度数据,C3(n)={z1,z2,…,z6000},为移动终端在Z轴方向上的加速度数据。本领域技术人员可以理解,运动数据C1(n)、C2(n)、…、Cm(n)为移动终端不同的时域离散信号。
步骤200,利用窗口长度为W的矩形窗口Rt按照预设滑动长度ΔW分别在C1(n)、C2(n)、…、Cm(n)上滑动以获取运动分割数据D10、D20、…、Dm0,D11、D21、…、Dm1,…,D1u、D2u、…、Dmu,其中,Dxi为矩形窗口Rt在Cx(n)上第i次滑动时对所述矩形窗口Rt内的数据进行处理而获得的数据,0≤i≤u,ΔW<W,
Figure BDA0002336133270000041
即u为(T-W)和ΔW的比值向下取整;进一步,W≥标准步态周期长度,所述标准步态周期长度为多个已知步态周期长度中的最大值。
根据本发明,对所述矩形窗口Rt内的数据进行处理可以为本领域中的常用的函数关系处理,例如,该处理为对所述矩形窗口Rt内的数据乘以一个固定数值,以便更有利于提取用户步态特征数据。
根据本发明,W和预设滑动长度ΔW可以自定义设置。在本发明中,所述标准步态周期长度的获取方式有多种:一方面可以根据移动终端自己上报的该移动终端的终端客户步态周期长度获取,在该方式中,移动终端的终端用户主动或被动地上传自己的步态周期长度,基于获取的所有终端客户步态周期长度,选取最大值作为标准步态周期长度;另一方面可以是在实验室环境下获取的,在该方式中,测量实验室环境下移动终端的终端用户的步态周期长度,取最大值作为标准步态周期长度;最后,其还可以是基于已知的足够多的终端用户步态周期长度来获取所述标准步态周期长度,同样,将已知的终端用户步态周期长度中的最大值作为标准步态周期长度。进一步,在本发明中,W的取值范围为[4秒,10秒],优选为5秒。根据本发明,W为ΔW的函数,优选的,W=ΔW/2,其中,预设滑动长度ΔW的取值范围为[2秒,5秒],优选为2.5秒。
根据本发明,矩形窗口Rt为取值固定的矩形窗口,其取值例如可以为1。当所述矩形窗口Rt在运动数据Cx(n)上滑动时,矩形窗口Rt最右端的首次滑动起点为W*F/2,其中W*F为该矩形窗口Rt内包含的数据量。为了更清楚地说明所述矩形窗口Rt在至少一个运动数据C1(n)、C2(n)、…、Cm(n)上滑动的原理,我们设定:矩形窗口Rt是取值为1的矩形窗口,且对所述矩形窗口Rt内的数据进行处理为对所述矩形窗口Rt内的数据乘以1,m=2,C1(n)={1,2,3,4,5},C2(n)={6,7,8,9,10},且W=ΔW/2,W和F的取值使得矩形窗口Rt内包含的数据量为2个,则矩形窗口Rt每次滑动的预设滑动长度ΔW中包含的数据量为1个。当矩形窗口Rt第0次在C1(n)上滑动时(即为首次滑动),该矩形窗口Rt最右端的滑动起点为1,滑动长度为1,可知,滑动后该矩形窗口Rt内包含的数据分别为1,2,即D10={1,2};当矩形窗口Rt第1次在C1(n)上滑动时,矩形窗口Rt最右端的滑动起点为上次该矩形窗口最右端停留的位置,为2,则经过滑动后,该矩形窗口Rt内包含的数据分别为2,3,即D11={2,3},以此类推。同样,矩形窗口在Rt在C2(n)上滑动的方式和其在C1(n)上滑动的方式相同。本领域技术人员可以理解,以上所举例子仅为示范性举例,不作为限定本发明的唯一示例。
步骤300,基于运动分割数据D10、D20、…、Dm0,D11、D21、…、Dm1,…,D1u、D2u、…、Dmu获取终端用户的第一步态特征数据K0,K1,…,Ku,其中,Ki通过提取运动分割数据D1i、D2i、…、Dmi的时域和/或频域特征而得到。在本发明中,所述步态特征数据为既可以反映终端用户个体行进姿势特征也可以反映终端用户群体行进姿势特征的数据。在本发明中,基于被分配不同标签的步态特征数据和具有不同目标的步态识别模型,可以识别终端用户个体的步态,也可以识别终端用户群体的步态。根据本发明,所述时域特征例如可以为时域信号取值的最大值、最小值、均值、方差等时域特征中的一个或多个,频域特征为本领域常用的频域特征,例如FFT变换的系数等,优选的,在本发明中,所述频域特征为MFCC特征。
根据本发明,通过提取运动分割数据D1i、D2i、…、Dmi的时域和/或频域特征得到Ki的获取方式包括:
步骤301,利用窗口长度为L的预设窗口Ht按照预设滑动长度ΔL分别在D1i、D2i、…、Dmi上滑动以获取运动分割子数据DD10,DD11,…,DD1v,DD20,DD21,…,DD2v,…,DDm0,DDm1,…,DDmv,其中,DDxy为预设窗口Ht在Dxi上第y次滑动时对所述预设窗口Ht内的数据进行处理而获得的数据,0≤y≤v,ΔL<L,
Figure BDA0002336133270000051
即p为(W-L)和ΔL的比值向下取整。根据本发明,所述预设窗口Ht为矩形窗口,优选地,所述预设窗口Ht为汉明窗口,以防止频谱泄露。在本发明中,ΔL<L<W,使得当所述预设窗口Ht在Dxi上至少可以滑动一次,优选地,ΔL/2=L,L=W/2。根据本发明,所述预设窗口Ht在Dxi上滑动时,该预设窗口Ht最右端的滑动起点为L*F/2,以使得当预设窗口Ht在Dxi上第0次滑动时,所述预设窗口Ht的整个窗口内均包含有数据。即在本发明中,预设窗口Ht和所述矩形窗口Rt的滑动方式类似,在此不再赘述。
步骤302,根据运动分割子数据DD10,DD11,…,DD1v,DD20,DD21,…,DD2v,…,DDm0,DDm1,…,DDmv,获取其对应的时域和/或频域特征AF10,AF11,…,AF1v,AF20,AF21,…,AF2v,…,AFm0,AFm1,…,AFmv,其中,AFxy为DDxy的时域和/或频域特征。根据本发明,当所述频域特征为MFCC特征时,所述MFCC特征包含的数据量的取值范围为[5个,20个],优选的,在本发明中,所述MFCC特征包含的数据量为13个。
步骤303,基于AF10,AF11,…,AF1v,AF20,AF21,…,AF2v,…,AFm0,AFm1,…,AFmv获取终端用户的第一步态特征数据Ki。在本发明的一个实施例中,可以将所述AF10,AF11,…,AF1v,AF20,AF21,…,AF2v,…,AFm0,AFm1,…,AFmv作为终端用户的第一步态特征数据Ki,在本发明的另一个实施例中,可以将AF10,AF11,…,AF1v,AF20,AF21,…,AF2v,…,AFm0,AFm1,…,AFmv中相同时域和/或频域特征的均值作为终端用户的第一步态特征数据Ki;在本发明优选的实施例中,可以将AF10,AF11,…,AF1v中相同时域和/或频域特征的均值、AF20,AF21,…,AF2v中相同时域和/或频域特征的均值、…、AFm0,AFm1,…,AFmv中相同时域和/或频域特征的均值共同作为终端用户的第一步态特征数据Ki。根据本发明,通过将每个运动分割数据分割为多个运动分割子数据,并根据每个运动分割子数据获取时域/或频域特征,可以更充分地使用具有不同起始状态的运动分割数据的内部信息,如果直接根据运动分割数据来获取时域和/或频域特征,则会因为提取的特征数据过于笼统而无法真实、全面地反应出终端用户的步态特征,因此,使用本发明上述方法获取的终端用户第一步态特征数据会更全面、充分和客观。
步骤400,基于所述第一步态特征数据K0,K1,…,Ku和用户步态识别模型识别所述终端用户的步态。根据本发明,所述用户步态识别模型由SVM、神经网络、自适应提升方法AdaBoost等训练得到。具体地,在本发明中,根据前述步骤100-步骤300获取用户步态识别模型用训练样本库中的每个移动终端在目标行进方式下的第一步态特征数据及其相应的用户步态标签,其中,所述用户步态标签和每个移动终端相对应,当对终端用户群的步态进行识别时,所述的用户步态标签和所述终端用户是否属于所述终端用户群相关,即当所述终端用户属于所述终端用户群时,可设置此时的用户步态标签为1,否则设置为0;或者当所述终端用户属于第1类终端用户群体时,可设置此时的用户步态标签为1,当所述终端用户属于第2类终端用户群体时,可设置此时的用户步态标签为2,等等,且本领域技术人员可知,以上所述用户步态标签设置方法仅为示例性方法,不作为限制本发明的唯一示例;当对终端用户个体本身的步态进行识别时,所述用户步态标签和所述终端用户本身相关,例如,用户步态识别模型用训练样本库中包含有num个移动终端,则可以设置用户步态标签分别为1,2,…,num,当第一步态特征数据为第q个移动终端在目标行进方式下的用户步态特征数据时,则该第一步态特征数据对应的用户步态标签为q,1≤q≤num。本领域技术人员可知,使用根据前述步骤100-步骤200获取的用户步态识别模型用训练样本库中的每个移动终端在目标行进方式下的第一步态特征数据及其相应的用户步态标签训练SVM、神经网络或者是AdaBoost,即可得到所述用户步态识别模型。
根据本发明,将所述第一步态特征数据K0,K1,…,Ku中的每一个输入到所述用户步态识别模型中,可以得到与所述第一步态特征数据K0,K1,…,Ku中的每一个对应的用户步态标签。具体地,在本发明的一个实施方式中,将与所述第一步态特征数据K0,K1,…,Ku中的任一个对应的用户步态标签作为该终端用户的步态识别结果,示例性的,获取用户步态标签为5的终端用户的共10个第一步态特征数据K0,K1,…,Ku,其中,所述用户步态识别模型可对8个第一步态特征数据正确识别为5,对剩余2个分别识别为1和3,当选择与所述10个第一步态特征数据K0,K1,…,Ku中的任一个对应的用户步态标签作为该终端用户的步态识别结果时,该实施方式的用户步态识别正确率为80%;在本发明优选的实施方式中,将具有最高得票的类别为该终端用户的步态识别结果,即,当使用投票方式获取终端用户的步态识别结果时可知,在上述示例中,所述终端用户的步态识别结果为5,输出结果正确,即该投票方法可进一步提高用户步态识别结果的准确度。
通过上述内容可知,本发明通过采用窗口长度W大于终端用户的一个步态周期长度的矩形窗口,使得获取的终端用户步态特征数据至少包含该终端用户的一个完整步态周期中的所有信息数据,为终端用户的步态识别提供了较为全面、完整的信息;另外,相对于现有技术获取的单一类型的从一只脚抬起到该只脚落地的运动分割数据,由于本发明中的矩形窗口滑动长度ΔW小于窗口长度W,因此,本发明所述的方法还可以获取终端用户在特定行进方式下具有不同起始状态的运动分割数据(例如,一种步态特征数据的起始状态为一只脚在地上,另一个步态特征数据的起始状态为该只脚在抬起的最高点等等);进一步,通过将每个运动分割数据分割为多个运动分割子数据,并根据每个运动分割子数据获取时域/或频域特征,可以更充分地使用具有不同起始状态的运动分割数据的内部信息,相对于直接根据运动分割数据来获取时域和/或频域特征而言,使用上述方法获取的终端用户第一步态特征数据更能客观、全面地反应终端用户的步态特征,从而有利于提高用户步态识别的准确率。
根据本发明优选的一个实施例,所述步骤400包括(如图2所示):步骤401,基于第一步态特征数据K0,K1,…,Ku和终端用户步态异常模型获取终端用户的第二步态特征数据VK1,VK2,…,VKs,其中,所述终端用户步态异常模型用于判断终端用户的第一步态特征数据Ki是否为目标行进方式下的正常数据,所述第二步态特征数据VK1,VK2,…,VKs均为所述目标行进方式下的正常数据,s≤u+1。步骤402,将所述第二步态特征数据VK1,VK2,…,VKs作为所述用户步态识别模型的输入数据,利用所述用户步态识别模型识别所述终端用户的步态。
根据本发明,所述步骤500包括:
步骤501,将所述第一步态特征数据K0,K1,…,Ku输入所述终端用户步态异常模型中,以获取所述第一步态特征数据K0,K1,…,Ku的异常标识信息L0,L2,…,Lu,其中Li为Ki的异常标识信息。在本发明中,目标行进方式下的正常数据包括终端用户按照目标行进方式行进过程中不同情况下获取的第一步态特征数据(例如,当目标行进方式为走路时,则按照目标行进方式行进过程中的不同情况可以包括:终端客户在走路过程中,移动终端始终位于衣物口袋、用户手中或者用户包中等多种情况),目标行进方式下的异常数据则包括终端用户未按照目标行进方式行进过程中不同情况下获取的第一步态特征数据(根据上面的示例,则目标行进方式下的异常数据包括:用户跑步、跳跃、站立等过程中不同情况下获取的第一步态特征数据,例如移动终端位于手中跑步、移动终端位于衣物口袋中的站立等)。
根据本发明,分别采用步骤100-步骤300所示的方法获取终端用户步态异常模型训练用移动终端群中的每个移动终端在目标行进方式下的作为正样本的全部第一步态特征数据和每个移动终端在非目标行进方式下的作为负样本的全部第一步态特征数据,将全部的正样本和负样本输入到SVM、BP神经网络、sequence to sequence等模型中进行模型训练,以获取所述终端用户步态异常模型。且本领域技术人员可知,将Ki输入到所述终端用户步态异常模型即可输出Ki的异常标识信息Li,其中Li可以根据需要进行定义,例如当Li为1时表示第一步态特征数据Ki为在目标行进方式下的正常数据,当Li为0时表示第一步态特征数据Ki为在目标行进方式下的异常数据。且本领域技术人员可知,Li还可以有其他的定义方式,且Li的定义方式不影响本发明的保护范围。
步骤502,基于K0,K1,…,Ku和L0,L2,…,Lu获取所述终端用户的第二步态特征数据VK1,VK2,…,VKs。具体地,在本发明中,当异常标识Li表示Ki为终端用户目标行进方式下的正常数据时,保留Ki,此时,保留的全部第一步态特征数据组成了终端用户的第二步态特征数据VK1,VK2,…,VKs
由上述内容可知,通过将获取的第一步态特征数据输入到终端用户步态异常模型,可以剔除第一步态特征数据中的异常数据,例如不是用户在目标行进方式下的异常数据,可以进一步提高终端用户步态识别的效果。
根据本发明,所述至少一个运动数据C1(n)、C2(n)、…、Cm(n)由移动终端第三线程通过接收移动终端第二线程按照第一预设采集频率F从第一数组中采集的数据并进行处理而得到的,其中,所述第一数组被设置以便保存移动终端主线程在时间段P=[p1,p2]内按照第二预设采集频率E获取的所述移动终端中至少一个目标对象的数据,且所述第一数组的数组大小为所述移动终端主线程每轮询一次所述至少一个目标对象获取到的数据总个数,所述至少一个目标对象和所述移动终端的运动相关。
根据本发明,所述至少一个目标对象为和移动终端运动相关的传感器,例如加速度传感器、重力传感器、地磁传感器、陀螺仪传感器等,且本领域技术人员可知,以上所举示例不作为本发明的限制性示例,其还可以包括将来和移动终端运动相关的其他元件。在本发明中,所述至少一个运动数据C1(n)、C2(n)、…、Cm(n)为同一目标对象在移动终端坐标系不同方向上采集的数据和/或另一个目标对象采集到的一维数据。示例性的,所述至少一个运动数据C1(n)、C2(n)、…、Cm(n)是移动终端中加速度传感器在移动终端坐标系的三个方向上分别采集的数据。根据本发明,所述第二预设采集频率E为所述第一预设采集频率F的函数,一个优选的实施例中,所述第二预设采集频率E为所述第一预设采集频率F的k倍,k的取值范围为[1,6],优选地,k的取值为3。
根据本发明的一个实施例,本发明还公开了一种基于移动终端数据识别终端用户步态的服务器,包括处理器和存储有计算机程序的非瞬时性计算机可读存储介质,当所述计算机程序被所述处理器执行时,实现如前所述的任一基于移动终端数据识别终端用户步态的方法,在此不再赘述。且本领域技术人员知晓,所述服务器可以是现有技术中的任意服务器,本领域技术人员可以理解,所述服务器的类型、品牌和/或配置等不作为限制本发明保护范围的条件。
根据本发明的另一个实施例,本发明还公开了一种存储有计算机程序的存储介质,当所述计算机程序被执行时,实现如前所述的任一基于移动终端数据识别终端用户步态的方法,在此不再赘述。
进一步,在本发明中,还公开了一种获取移动终端运动数据的方法,该方法包括(如图3所示):
步骤001,移动终端主线程按照第二预设采集频率E获取时间段P=[p1,p2]内所述移动终端中至少一个目标对象的数据并保存在第一数组中,其中,所述第一数组的数组大小为所述主线程每轮询一次所述至少一个目标对象获取的数据总个数,所述至少一个目标对象和所述移动终端的运动相关。
根据本发明,所述至少一个目标对象为和移动终端运动相关的传感器,例如加速度传感器、重力传感器、地磁传感器、陀螺仪传感器等,且本领域技术人员可知,以上所举示例不作为本发明的限制性示例,其还可以包括将来和移动终端运动相关的其他元件。在本发明中,所述运动数据可以为同一目标对象在移动终端坐标系不同方向上采集的数据和/或另一个目标对象采集到的一维数据,一个实施方式中,所述运动数据为移动终端中加速度传感器在移动终端坐标系的三个方向上分别采集的数据,另一个实施方式中,所述运动数据为移动终端中加速度传感器、重力传感器等在移动终端坐标系的三个方向上分别采集的数据。示例性的,当所述运动数据为移动终端中加速度传感器在移动终端坐标系的三个方向上分别采集的数据时,由于主线程分别采集加速度传感器在三个方向的数据,因此轮询一次所述加速度传感器可以得到3个数据,进而第一数组的大小为3。
根据本发明,所述第二预设采集频率E为所述第一预设采集频率F的函数,一个优选的实施例中,所述第二预设采集频率E为所述第一预设采集频率F的k倍,k的取值范围为[1,6],优选地,k的取值为3。在本发明中,设置较大的第二预设采集频率E是为了使所述移动终端的系统数据回调接口获取足够多的采样数值,以便后续进行重采样的第二线程也可以获取终端用户足够完整的运动数据。进一步,根据本发明,p2-p1的取值≥t2-t1的取值,从而获取终端用户在时间段T内的运动数据。
根据本发明,以所述至少一个目标对象为加速度传感器为例,由于获取的为加速度传感器三个方向的数值,且第一数组的大小为3,因此,所述第一数组中的数值会在主线程每轮询一次加速度传感器后被更新,即所述第一数组中始终保存的为主线程获取的最新的加速度传感器数据。
步骤002,第二线程按照所述第一预设采集频率F从所述第一数组中获取数据并传输给第三线程。其中,采用第一预设采集频率F兼顾了采集到的数据冗余度和数据量。
步骤003,第三线程根据接收到的数据获取所述移动终端的至少一个运动数据C1(n)、C2(n)、…、Cm(n)。具体地,在本发明中,所述主线程、第一线程和第二线程均为移动终端中的线程,且第一线程和第二线程为不同于主线程而设置的专用线程。根据本发明,第三线程基于接收到的数据,可以执行数据预处理以获取所述至少一个运动数据C1(n)、C2(n)、…、Cm(n),示例性的,当移动终端主线程采集的是加速度传感器在移动终端坐标系三个不同方向上的数据时,运动数据C1(n)为采集的加速度传感器在移动终端坐标系的X轴上的数据,运动数据C2(n)为采集的加速度传感器在移动终端坐标系的Y轴上的数据,运动数据C3(n)为采集的加速度传感器在移动终端坐标系的Z轴上的数据。进一步,所述预处理还可以包括数据坐标空间转换等,数据坐标空间转换等均可以采用本领域中相关的现有技术,在此不做赘述。
根据本发明,移动终端的操作系统或者是内置于移动终端APP内的SDK按照预设上传间隔将所述至少一个运动数据C1(n)、C2(n)、…、Cm(n)上传到所述服务器。其中所述预设上传间隔的取值可以自定义设置,一个实施例中,所述预设上传间隔的取值范围为[5分钟,15分钟]。
在移动终端中,主线程往往通过该移动终端中唯一的数据回调接口获取目标对象(例如传感器)数值,由于在移动终端同一时间段内需要获取数值的目标对象通常在一个以上,因此,即使设置了主线程获取指定目标对象数值的采集频率,但由于所述唯一的数据回调接口调用方式,往往获取的目标对象数据之间的时间间隔是不相同,有时会使得相邻两次数值采集之间的间隔很大,而为了消除相邻两次数值采集之间的较大间隔,现有技术通常会直接在两者之间进行插值,以减少噪声影响,然而这种不准确的数据插值,也会给步态的识别造成一定的影响。本发明通过借助具有较小数据采样频率的第二线程重采样具有较大数据采样频率的主线程获取的数据的方式,使得第二线程获取的数据之间的间隔为固定间隔,进而使得获取的运动数据之间数据间隔固定,减少了因为数据插值造成的不良影响,进一步,由于主线程的数据更新速度要比第二线程的读取速度快,因此,第二线程读取的内容也可以确保能够获取终端用户在一个步态周期内的完整运动数据。
此外,根据公开的本发明的说明书,本发明的其他实现对于本领域的技术人员是明显的。实施方式和/或实施方式的各个方面可以单独或者以任何组合用于本发明的系统和方法中。说明书和其中的示例应该是仅仅看作示例性,本发明的实际范围和精神由所附权利要求书表示。

Claims (10)

1.一种基于移动终端数据识别终端用户步态的方法,其特征在于,包括:
步骤100,获取移动终端的至少一个运动数据C1(n)、C2(n)、…、Cm(n),其中,第x个运动数据Cx(n)为时间段T=[t1,t2]内移动终端按照第一预设采集频率F采集的,1≤x≤m;
步骤200,利用窗口长度为W的矩形窗口Rt按照预设滑动长度ΔW分别在C1(n)、C2(n)、…、Cm(n)上滑动以获取运动分割数据D10、D20、…、Dm0,D11、D21、…、Dm1,…,D1u、D2u、…、Dmu,其中,Dxi为矩形窗口Rt在Cx(n)上第i次滑动时对所述矩形窗口Rt内的数据进行处理而获得的数据,0≤i≤u,ΔW<W,
Figure FDA0002336133260000011
即u为(T-W)和ΔW的比值向下取整;
步骤300,基于运动分割数据D10、D20、…、Dm0,D11、D21、…、Dm1,…,D1u、D2u、…、Dmu获取终端用户的第一步态特征数据K0,K1,…,Ku,其中,Ki通过提取运动分割数据D1i、D2i、…、Dmi的时域和/或频域特征而得到;
步骤400,基于所述第一步态特征数据K0,K1,…,Ku和用户步态识别模型识别所述终端用户的步态;
进一步,W≥标准步态周期长度,所述标准步态周期长度为多个已知步态周期长度中的最大值。
2.根据权利要求1所述的识别终端用户步态的方法,其特征在于,通过提取运动分割数据D1i、D2i、…、Dmi的时域和/或频域特征得到Ki的获取方式包括:
步骤301,利用窗口长度为L的预设窗口Ht按照预设滑动长度ΔL分别在D1i、D2i、…、Dmi上滑动以获取运动分割子数据DD10,DD11,…,DD1v,DD20,DD21,…,DD2v,…,DDm0,DDm1,…,DDmv,其中,DDxy为预设窗口Ht在Dxi上第y次滑动时对所述预设窗口Ht内的数据进行处理而获得的数据,0≤y≤v,ΔL<L,
Figure FDA0002336133260000012
即p为(W-L)和ΔL的比值向下取整;
步骤302,根据运动分割子数据DD10,DD11,…,DD1v,DD20,DD21,…,DD2v,…,DDm0,DDm1,…,DDmv,获取其对应的时域和/或频域特征AF10,AF11,…,AF1v,AF20,AF21,…,AF2v,…,AFm0,AFm1,…,AFmv,其中,AFxy为DDxy的时域和/或频域特征;
步骤303,基于AF10,AF11,…,AF1v,AF20,AF21,…,AF2v,…,AFm0,AFm1,…,AFmv获取终端用户的第一步态特征数据Ki
3.根据权利要求1或2所述的识别终端用户步态的方法,其特征在于,窗口长度W的取值范围为[4秒,10秒]。
4.根据权利要求3所述的识别终端用户步态的方法,其特征在于,预设滑动长度ΔW的取值范围为[2秒,5秒]。
5.根据权利要求1至3任一项所述的识别终端用户步态的方法,其特征在于,所述步骤400包括:
步骤401,基于第一步态特征数据K0,K1,…,Ku和终端用户步态异常模型获取终端用户的第二步态特征数据VK1,VK2,…,VKs,其中,所述终端用户步态异常模型用于判断终端用户的第一步态特征数据Ki是否为目标行进方式下的正常数据,所述第二步态特征数据VK1,VK2,…,VKs均为所述目标行进方式下的正常数据,s≤u+1;
步骤402,将所述第二步态特征数据VK1,VK2,…,VKs作为所述用户步态识别模型的输入数据,利用所述用户步态识别模型识别所述终端用户的步态。
6.根据权利要求5所述的识别终端用户步态的方法,其特征在于,步骤401包括:
步骤501,将所述第一步态特征数据K0,K1,…,Ku输入所述终端用户步态异常模型中,以获取所述第一步态特征数据K0,K1,…,Ku的异常标识信息L0,L1,…,Lu,其中Li为Ki的异常标识信息;
步骤502,基于K0,K1,…,Ku和L0,L1,…,Lu获取所述终端用户的第二步态特征数据VK1,VK2,…,VKs
7.根据权利要求1所述的识别终端用户步态的方法,其特征在于,t2-t1取值范围为[10秒,70秒]。
8.根据权利要求1所述的识别终端用户步态的方法,其特征在于,所述至少一个运动数据C1(n)、C2(n)、…、Cm(n)由移动终端第三线程通过接收移动终端第二线程按照第一预设采集频率F从第一数组中采集的数据并进行处理而得到的,其中,所述第一数组被设置以便保存移动终端主线程在时间段P=[p1,p2]内按照第二预设采集频率E获取的所述移动终端中至少一个目标对象的数据,且所述第一数组的数组大小为所述移动终端主线程每轮询一次所述至少一个目标对象获取到的数据总个数,所述至少一个目标对象和所述移动终端的运动相关。
9.一种基于移动终端数据识别终端用户步态的服务器,其特征在于,包括处理器和存储有计算机程序的非瞬时性计算机可读存储介质,当所述计算机程序被所述处理器执行时,实现如权利要求1-8中任一项所述的基于移动终端数据识别终端用户步态的方法。
10.一种存储有计算机程序的存储介质,其特征在于,当所述计算机程序被执行时,实现如权利要求1-8中任一项所述的基于移动终端数据识别终端用户步态的方法。
CN201911356761.XA 2019-12-25 2019-12-25 一种基于移动终端数据识别终端用户步态的方法和服务器 Active CN111062352B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911356761.XA CN111062352B (zh) 2019-12-25 2019-12-25 一种基于移动终端数据识别终端用户步态的方法和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911356761.XA CN111062352B (zh) 2019-12-25 2019-12-25 一种基于移动终端数据识别终端用户步态的方法和服务器

Publications (2)

Publication Number Publication Date
CN111062352A true CN111062352A (zh) 2020-04-24
CN111062352B CN111062352B (zh) 2023-07-14

Family

ID=70303428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911356761.XA Active CN111062352B (zh) 2019-12-25 2019-12-25 一种基于移动终端数据识别终端用户步态的方法和服务器

Country Status (1)

Country Link
CN (1) CN111062352B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122641A (zh) * 2017-04-25 2017-09-01 杭州安石信息技术有限公司 基于使用习惯的智能设备机主识别方法及机主识别装置
CN107831907A (zh) * 2017-12-07 2018-03-23 深圳先进技术研究院 基于步态识别的身份认证方法及装置
CN110209560A (zh) * 2019-05-09 2019-09-06 北京百度网讯科技有限公司 数据异常检测方法及检测装置
CN110399032A (zh) * 2019-07-09 2019-11-01 北京卡路里信息技术有限公司 穿戴设备的控制方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122641A (zh) * 2017-04-25 2017-09-01 杭州安石信息技术有限公司 基于使用习惯的智能设备机主识别方法及机主识别装置
CN107831907A (zh) * 2017-12-07 2018-03-23 深圳先进技术研究院 基于步态识别的身份认证方法及装置
CN110209560A (zh) * 2019-05-09 2019-09-06 北京百度网讯科技有限公司 数据异常检测方法及检测装置
CN110399032A (zh) * 2019-07-09 2019-11-01 北京卡路里信息技术有限公司 穿戴设备的控制方法和装置

Also Published As

Publication number Publication date
CN111062352B (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
CN110458061B (zh) 一种识别老年人跌倒的方法及陪伴机器人
CN111401265B (zh) 行人重识别方法、装置、电子设备和计算机可读存储介质
WO2017024963A1 (zh) 图像识别方法、度量学习方法、图像来源识别方法及装置
WO2021031817A1 (zh) 情绪识别方法、装置、计算机装置及存储介质
CN105590020B (zh) 改进的数据比较方法
CN108228684B (zh) 聚类模型的训练方法、装置、电子设备和计算机存储介质
CN111401339B (zh) 识别人脸图像中的人的年龄的方法、装置及电子设备
US20190205589A1 (en) Latent fingerprint ridge flow map improvement
CN116821809B (zh) 基于人工智能的生命体征数据采集系统
CN104679967B (zh) 一种判断心理测试可靠性的方法
CN111797861A (zh) 信息处理方法、装置、存储介质及电子设备
CN105844204B (zh) 人体行为识别方法和装置
CN112329810B (zh) 一种基于显著性检测的图像识别模型训练方法及装置
CN111126294A (zh) 一种基于移动终端数据识别终端用户步态的方法和服务器
CN109840513B (zh) 一种人脸微表情识别方法及识别装置
CN111062352A (zh) 一种基于移动终端数据识别终端用户步态的方法和服务器
CN111062353B (zh) 一种基于移动终端数据获取终端用户步态特征数据的方法和服务器
CN107194918B (zh) 数据分析方法及装置
CN110705971A (zh) 基于深度学习的考勤管理系统及方法
CN116958724A (zh) 一种产品分类模型的训练方法和相关装置
CN111061376B (zh) 一种基于移动终端数据识别终端用户换机的方法和服务器
CN110990819A (zh) 一种基于移动终端数据获取终端用户步态特征数据的方法和服务器
CN111142688B (zh) 一种基于移动终端数据识别终端用户换机的方法和服务器
CN112699908B (zh) 标注图片的方法、电子终端、计算机可读存储介质及设备
CN110717359B (zh) 基于数理统计的反向传播优化方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310012 Room 418, West District, Building A, 525 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant after: Daily interactive Co.,Ltd.

Address before: 310012 Room 418, West District, Building A, 525 Xixi Road, Xihu District, Hangzhou City, Zhejiang Province

Applicant before: ZHEJIANG MEIRI INTERDYNAMIC NETWORK TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant