CN110503065B - 一种基于距离度量的移动设备用户动作姿态识别方法 - Google Patents

一种基于距离度量的移动设备用户动作姿态识别方法 Download PDF

Info

Publication number
CN110503065B
CN110503065B CN201910802557.XA CN201910802557A CN110503065B CN 110503065 B CN110503065 B CN 110503065B CN 201910802557 A CN201910802557 A CN 201910802557A CN 110503065 B CN110503065 B CN 110503065B
Authority
CN
China
Prior art keywords
data
model
training
global
metric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910802557.XA
Other languages
English (en)
Other versions
CN110503065A (zh
Inventor
叶翰嘉
詹德川
姜�远
杨嘉祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201910802557.XA priority Critical patent/CN110503065B/zh
Publication of CN110503065A publication Critical patent/CN110503065A/zh
Application granted granted Critical
Publication of CN110503065B publication Critical patent/CN110503065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于距离度量的移动设备用户动作姿态识别方法，包括训练数据收集步骤，全局模型训练步骤，局部模型适配步骤和识别步骤；首先对于特定的动作姿态利用移动设备内置传感器进行数据收集，收集大量用户的动作数据后训练全局模型提取其中一致的度量特征，然后在具体用户上采用将全局度量模型适配到单用户小数据上的方式，最后通过适配后的模型在移动设备上进行行为识别。本发明的方法在实施过程中对于单一用户的数据需求量小，并能在具体用户上提高模型精度，对于用户特有的动作姿态进行准确建模和识别。

Description

一种基于距离度量的移动设备用户动作姿态识别方法
技术领域
本发明涉及一种基于距离度量的移动设备用户动作姿态识别方法，动作姿态识别和人机交互技术。
背景技术
目前，用户动作姿态识别已经在身份鉴别、生产控制、人机交互等方面得到了广泛应用。而动作姿态识别的效果严重依赖于硬件的数据采集技术，当前的动作姿态识别的硬件设备可以分为两类：基于影像技术的和基于特定输入设备的。前者如高速摄像机，这类设备对硬件设备要求高，识别系统往往占用大量的资源，并且容易收到背景光线的影响。基于特定输入设备的硬件如可穿戴的生物静电传感设备，这类特定输入设备往往造价高昂，不具备普遍适用性。
而具有无线接入、信息管理并装载开放性操作系统的手持移动设备，如智能手机近年来得到了极大的发展。特别是，大部分移动设备除了能够进行声音、图像信息的采集(如智能手机能够进行通话、拍摄)之外，还能够采集如重力加速度、光线强弱、距离、方向、磁场和温度等多种类型的信息。综合这些数据可以训练得到一个模型对于用户动作姿态进行判断，但是由于不同用户的动作习惯都有所不同，直接使用所有用户数据训练的全局模型在具体用户上可能效果不佳，因此需要一个方法能够综合利用大部分用户的共性以及具体用户的特性，以达到更精确的动作识别效果。
发明内容
发明目的：目前的动作姿态识别技术往往依赖于特定的硬件设备，或者占用大量资源或者不具备普适性，或者难以针对特定用户的动作习惯修正识别准则。针对上述问题，本发明提供一种基于距离度量的移动设备用户动作姿态识别方法，具体来说，首先对于大量用户的特定的动作姿态利用移动设备内置传感器进行数据收集，然后采用度量学习的方法学习全局数据的相似性关系，最后在实际使用中将全局度量模型适配到具体用户上，对采集到的多种传感数据进行分类和识别。
具体来说，首先对于特定的动作姿态利用移动设备内置传感器进行数据收集，然后采用度量学习的方法对于大量用户的动作数据之间的相似度进行学习，并以此进行分类学习。在应用中，用户提供自身的动作数据，通过特定的方法将全局的相似度度量针对该用户进行适配，进而提高对于该用户的行为识别准确率。
技术方案：一种基于距离度量的移动设备用户动作姿态识别方法，包括训练数据收集步骤，全局模型训练步骤，局部模型适配步骤和识别步骤；
所述训练数据收集步骤具体为：
步骤100，初始化移动设备；
步骤101，用户持该移动设备完成一个动作姿态，同时通过移动设备内置传感器采集信息；
步骤102，将移动设备内置传感器采集的信息进行数据预处理，得到处理后的数据作为行为姿态样本数据用于训练；
步骤103，用户在做完动作后，软件提示用户对行为姿态样本数据进行标记，用户根据提示给出刚才完成的动作的类型；判断是否已经取得预设数量(该预设数量可根据不同训练阶段(全局或局部)有所不同)的行为姿态样本数据；如果否，则转入步骤101。
步骤104，由于本方法存在两个不同的训练过程，均需要收集一定量的数据，但是二者的数据收集过程基本一致，所以只需在数据收集过程最后判断该数据的具体用途。如果用于训练局部模型M1则数据无需上传，如果用于训练全局模型M0则数据需要上传至服务器。
步骤105，如果数据用于训练全局模型M0，则需在大量不同用户的终端设备上重复步骤100～104。
识别步骤具体为：
步骤200，初始化移动设备；
步骤201，用户持该移动设备完成一个动作姿态，同时通过移动设备内置传感器采集信息；
步骤202，将移动设备内置传感器采集的信息进行数据预处理，得到处理后的数据作为行为姿态样本数据用于识别；
步骤203，使用局部度量模型M1计算收集到的姿态数据和各个类别的相似度。
步骤204，取最相似的类作为分类结果，输出刚才完成的动作姿态类别；
全局模型训练步骤具体为：
步骤300，通过数据收集步骤收集数据。
步骤301，随机初始化全局度量模型M0；
步骤302，使用数据构造数据集，数据集可以采样三元组即可；
步骤303，采样三元组优化目标函数；
步骤304，判断是否收敛，如果否则转入步骤303；
步骤305，保存模型M0；
局部模型的适配训练步骤具体为：
步骤400，通过数据收集步骤收集数据。
步骤401，使用全局模型M0初始化局部度量模型M1。
步骤402，通过局部度量适配算法将初始度量模型M0(即全局度量模型训练步骤得到的全局度量模型)利用该用户的数据适配为局部度量模型M1；
所述移动设备内置传感器包括但可不限于加速度传感器、方向传感器、光线传感器等。
所述数据预处理，包括对采集到的信息进行信号滤波、去噪、缺失传感器数据填补，以及数据的特征提取、归一化的处理。
所述全局度量模型M0的训练工作流程为：随机初始化全局度量模型参数θ0；通过数据收集过程收集训练数据，使用收集的数据和其标记构造数据集，每次从数据集中采样若干三元组(A,P,N)，其中A为锚样本，P为与A属同一类的样本，N为与A属异类的样本。优化全局度量模型M0使得A和P之间的距离在一个阈值(m1)范围内，同时使得A和N的距离大于一个阈值(m2)，该目标通过全局度量训练目标函数F0实现。重复该采样和优化过程直到训练误差收敛。
Figure BDA0002182745310000031
上式中，(A,P,N)～D表示三元组是从数据分布D中采样出的三元组，E表示对该分布取期望。dist(x,y)表示一个度量两个向量x和y相似度的函数，dist(x,y)越小表示x和y越相似，本例中dist(A,P)通过矩阵M0实现，有dist(A,P)＝(A-P)TM0(A-P)，矩阵中的参数集合即为参数集合θ0。但是dist函数的实现不限于此形式，也可采用人工神经网络等更复杂的形式。以下对于F1的定义类似，不再赘述。
所述局部度量模型M1的训练工作流程为：将模型M1的参数θ1初始化为全局模型M0的参数θ0；使用数据收集过程收集的数据和其标记构造数据集，每次从数据集中采样若干三元组(A,P,N)，其中A为锚样本，P为与A属同一类的样本，N为与A属异类的样本。在限制度量M1在M0基础上改变不太大的前提下(在目标函数F1中体现)，优化局部度量模型M1使得A和P之间的距离在一个阈值(m1)范围内，同时使得A和N的距离大于一个阈值(m2)，该目标通过局部度量训练目标函数F1实现。重复该采样和优化过程直到训练误差收敛。
Figure BDA0002182745310000041
有益效果：与现有技术相比，本发明所提供的基于距离度量的移动设备用户行为识别方法，能够利用大量用户的行为数据获得全局度量，然后利用少量个人用户的数据获得针对个人的更精确的模型，局部适配过程能够使用少量的数据将全局模型与具体用户的个性匹配，移动设备用户所使用的最终模型，既不是固定的全局模型，也不是仅使用本地数据训练的局部模型，而是通过模型重用技术综合了全局模型和局部数据；实施过程中占用资源少，适用性强，准确度高，对单一用户数据需求量小。
附图说明
图1为本发明实施例的全局度量模型M0和局部度量模型M1训练阶段数据采集工作流程图；
图2为本发明实施例的识别工作流程图；
图3为本发明实施例的全局度量模型M0训练工作流程图；
图4为本发明实施例的局部度量模型M1适配训练工作流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
在以下说明中，样本和数据的含义基本相同，均表示收集到的数据信息。一个样本或一个数据，就对应用户的一个动作所产生的数据。该数据根据处理的阶段可能有多种形式，具体文中所指数据处于处理的哪个阶段可由上下文得知。
如图1所示，在训练阶段需要收集一定数量的带标记的行为姿态样本用于训练，即为数据收集过程。具体来说，首先初始化移动设备(步骤101)；然后携带移动设备改变动作和姿态(步骤102)；分别提取重力加速度、光线强弱、距离、方向、磁场和温度等多种类型的信息，并进行预处理(信号滤波，去噪，缺失传感器数据填补，特征选择，归一化，形成训练样本，步骤103)；人工对训练样本的行为姿态进行标记(即人工输入刚才进行的动作类别)(步骤104)；判断是否已经取得预设数量的训练样本，如果足够，将训练样本作为行为姿态样本(步骤105)，进入步骤106；如果否，则转入步骤102；若此次数据收集过程用于训练M0，则上传收集到的数据至服务器(步骤108)，若用于训练M0则将数据上传到服务器(步骤108)，否则在本地训练局部模型M1(步骤107)。注：全局度量模型M0的训练过程会消耗大量的计算资源，本发明中可以在高性能计算机上使用导出的多种内置传感器信号数据对全局模型M0加以训练；局部模型训练对资源要求较低，可以直接在移动设备上计算。
识别阶段工作流程如图2所示。具体来说，首先初始化移动设备(步骤201)；然后携带移动设备改变动作和姿态(步骤202)；分别提取重力加速度、光线强弱、距离、方向、磁场和温度等多种类型的信息，并进行预处理(信号滤波，去噪，缺失传感器数据填补，特征选择，归一化，步骤203)；利用局部度量模型M1计算数据和各个类别之间的相似性(步骤204)；最相似的类别作为动作姿态识别结果，并输出(步骤205)。
全局度量模型的训练阶段工作流程如图3所示。具体来说，首先初始化服务器，准备训练环境，随机初始化全局模型M0参数(步骤301)；使用服务器上的所有可用数据构造训练数据集(该构造过程为训练机器学习模型的基本步骤，不站展开细节)(步骤302)；从数据集中采样若干三元组T用于优化步骤(步骤303)；使用T优化全局度量目标函数F0(步骤304)；判断是否达到收敛要求(步骤305)，若满足则保存模型(步骤306)，否则跳转到步骤303。
局部度量模型的训练阶段工作流程如图4所示。具体来说，首先初始化服务器(或移动设备)，准备训练环境，运行数据收集步骤得到本地数据(步骤401)；使用用户数据构造训练数据集(步骤402)；从数据集中采用若干三元组T用于训练(步骤403)；使用T优化局部度量目标函数F1(步骤404)；判断是否达到收敛要求(步骤405)若不满足收敛则跳转到步骤403；保存训练得到的局部模型M1(步骤406)。

Claims (5)

1.一种基于距离度量的移动设备用户动作姿态识别方法，其特征在于：包括训练数据收集步骤，全局模型训练步骤，局部模型适配步骤和识别步骤；
所述训练数据收集步骤具体为：
步骤100，初始化移动设备；
步骤101，用户持该移动设备完成一个动作姿态，同时通过移动设备内置传感器采集信息；
步骤102，将移动设备内置传感器采集的信息进行数据预处理，得到处理后的数据作为行为姿态样本数据用于训练；
步骤103，用户在做完动作后，软件提示用户对行为姿态样本数据进行标记，用户根据提示给出刚才完成的动作的类型；判断是否已经取得预设数量的行为姿态样本数据；如果否，则转入步骤101；
步骤104，如果用于训练局部模型M1则行为姿态样本数据无需上传，如果用于训练全局模型M0则将行为姿态样本数据需要上传至服务器；
步骤105，如果数据用于训练全局模型M0，则需在大量不同用户的移动设备上重复步骤100~104；
识别步骤具体为：
步骤200，初始化移动设备；
步骤201，用户持该移动设备完成一个动作姿态，同时通过移动设备内置传感器采集信息；
步骤202，将移动设备内置传感器采集的信息进行数据预处理，得到处理后的数据作为行为姿态样本数据用于识别；
步骤203，使用局部度量模型M1计算收集到的姿态数据和各个类别的相似度；
步骤204，取最相似的类作为分类结果，输出刚才完成的动作姿态类别；
全局模型训练步骤具体为：
步骤300，获取训练数据收集步骤收集的行为姿态样本数据；
步骤301，随机初始化全局度量模型M0；
步骤302，构造数据集，数据集采样三元组即可；
步骤303，采样三元组优化目标函数；
步骤304，判断是否收敛，如果否则转入步骤303；
步骤305，保存模型M0；
局部模型的适配训练步骤具体为：
步骤400，获取训练数据收集步骤收集的行为姿态样本数据；
步骤401，使用全局模型M0初始化局部度量模型M1；
步骤402，通过局部度量适配算法将度量模型M0利用该用户的数据适配为局部度量模型M1。
2.如权利要求1所述的基于距离度量的移动设备用户动作姿态识别方法，其特征在于：所述移动设备内置传感器为移动设备内置的环境数据收集设备，包括加速度传感器、方向传感器和光线传感器。
3.如权利要求1所述的基于距离度量的移动设备用户动作姿态识别方法，其特征在于：所述数据预处理，包括对采集到的信息进行信号滤波、去噪、缺失传感器数据填补，以及数据的特征提取、归一化、向量化的处理。
4. 如权利要求1所述的基于距离度量的移动设备用户动作姿态识别方法，其特征在于：所述全局度量模型M0的训练工作流程为：随机初始化全局度量模型M0，首先使用收集的行为姿态样本和其标记构造数据集，每次从数据集中采样若干三元组(A, P, N)，其中A为锚样本，P为与A属同一类的样本，N为与A属异类的样本；优化全局度量模型M0使得A和P之间的距离在一个阈值范围内，同时使得A和N的距离大于一个阈值，该目标通过全局度量训练目标函数F0实现；重复该训练工作流程直到训练误差收敛。
5. 如权利要求1所述的基于距离度量的移动设备用户动作姿态识别方法，其特征在于：所述局部度量模型M1的训练工作流程为：初始化局部度量模型M1参数为M0参数，首先使用本地新收集的行为姿态样本和其标记构造数据集，每次从数据集中采样若干三元组(A,P, N)，其中A为锚样本，P为与A属同一类的样本，N为与A属异类的样本；在限制度量M1在M0基础上改变不太大的前提下，优化局部度量模型M1使得A和P之间的距离在一个阈值范围内，同时使得A和N的距离大于一个阈值，该目标通过局部度量训练目标函数F1实现；重复该训练工作流程直到训练误差收敛。
CN201910802557.XA 2019-08-28 2019-08-28 一种基于距离度量的移动设备用户动作姿态识别方法 Active CN110503065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910802557.XA CN110503065B (zh) 2019-08-28 2019-08-28 一种基于距离度量的移动设备用户动作姿态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910802557.XA CN110503065B (zh) 2019-08-28 2019-08-28 一种基于距离度量的移动设备用户动作姿态识别方法

Publications (2)

Publication Number Publication Date
CN110503065A CN110503065A (zh) 2019-11-26
CN110503065B true CN110503065B (zh) 2023-04-07

Family

ID=68588709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910802557.XA Active CN110503065B (zh) 2019-08-28 2019-08-28 一种基于距离度量的移动设备用户动作姿态识别方法

Country Status (1)

Country Link
CN (1) CN110503065B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572828B2 (en) * 2015-10-28 2020-02-25 Qomplx, Inc. Transfer learning and domain adaptation using distributable data models
CN107861508B (zh) * 2017-10-20 2021-04-20 纳恩博（北京）科技有限公司 一种移动机器人局部运动规划方法及装置
CN109840466A (zh) * 2018-12-05 2019-06-04 华南理工大学 基于聚类及全局/局部距离综合的多重度量学习方法

Also Published As

Publication number Publication date
CN110503065A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
CN110348441B (zh) 增值税发票识别方法、装置、计算机设备及存储介质
CN108986801B (zh) 一种人机交互方法、装置及人机交互终端
CN103415825B (zh) 用于手势识别的系统和方法
CN110738247B (zh) 一种基于选择性稀疏采样的细粒度图像分类方法
CN102985897A (zh) 高效姿势处理
CN110069129B (zh) 确定系统和确定方法
CN112070058A (zh) 人脸面部复合情感表情识别方法及系统
CN111199202B (zh) 基于循环注意力网络的人体动作识别方法及识别装置
CN110674875A (zh) 一种基于深度混合模型的行人运动模式识别方法
CN110689535A (zh) 一种工件识别方法、装置及电子设备和存储介质
CN110705489B (zh) 目标识别网络的训练方法、装置、计算机设备和存储介质
CN112036261A (zh) 手势识别方法、装置、存储介质、电子装置
CN111797861A (zh) 信息处理方法、装置、存储介质及电子设备
CN111797288A (zh) 数据筛选方法、装置、存储介质及电子设备
CN105844204B (zh) 人体行为识别方法和装置
US10198613B2 (en) Latent fingerprint pattern estimation
CN110503065B (zh) 一种基于距离度量的移动设备用户动作姿态识别方法
CN109992106B (zh) 手势轨迹识别方法、电子设备及存储介质
CN109558883B (zh) 叶片特征提取方法及装置
CN115690514A (zh) 图像识别方法及相关设备
CN113591839B (zh) 一种特征提取模型构建方法、目标检测方法及其设备
CN115222047A (zh) 一种模型训练方法、装置、设备及存储介质
CN113963235A (zh) 一种跨类别图像识别模型重用方法和系统
CN112906724A (zh) 一种图像处理装置、方法、介质及系统
US11354935B2 (en) Object recognizer emulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant