CN113139499A - 一种基于轻量注意力卷积神经网络的步态识别方法和系统 - Google Patents

一种基于轻量注意力卷积神经网络的步态识别方法和系统 Download PDF

Info

Publication number
CN113139499A
CN113139499A CN202110506008.5A CN202110506008A CN113139499A CN 113139499 A CN113139499 A CN 113139499A CN 202110506008 A CN202110506008 A CN 202110506008A CN 113139499 A CN113139499 A CN 113139499A
Authority
CN
China
Prior art keywords
neural network
convolution
channel
lightweight
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110506008.5A
Other languages
English (en)
Inventor
孙方敏
李烨
黄浩华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202110506008.5A priority Critical patent/CN113139499A/zh
Publication of CN113139499A publication Critical patent/CN113139499A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开一种基于轻量注意力卷积神经网络的步态识别方法和系统。该方法包括：将采集的三轴加速度和三轴角速度步态数据输入轻量级卷积神经网络提取步态特征，该轻量级卷积神经网络在时间轴上进行一维卷积计算，分别提取加速度单轴信号和角速度单轴信号内的特征，并采用二维卷积对所提取的六轴信号特征融合；对于轻量级卷积神经网络输出的特征图，根据各通道的上下文编码信息计算各通道的注意力权重参数；对于轻量级卷积神经网络输出的每一个通道的特征图，使用深度可分离卷积进一步提取特征后与对应通道注意力权重参数进行相乘从而增强特征，增强后的特征被用于分类进而实现步态识别。利用本发明能够降低模型的复杂度并提高步态识别准确性。

Description

一种基于轻量注意力卷积神经网络的步态识别方法和系统
技术领域
本发明涉及计算机应用技术领域，更具体地，涉及一种基于轻量注意力卷积神经网络的步态识别方法和系统。
背景技术
近年来，可穿戴智能设备的种类(如智能手机、智能手表等)和数量取得了惊人的增长，其应用也变得越来越普遍，包括移动支付、即时通讯、社交娱乐、定位导航、远程办公和健康检测等。可穿戴智能设备的普及给人们的生活带来了极大的便利，但由于在使用过程中它们可能存储和收集了个人敏感信息，随之而来的是高度的隐私泄露风险，这使得可穿戴智能设备的安全问题备受关注和重视。身份识别作为保护信息安全的第一道关卡，具有举足轻重的作用。基于可穿戴智能设备的步态识别是一种有效的身份识别方法，它通过个体独特的行走方式来识别其身份，具有远距离、主动、实时和连续识别等优点。目前，采用深度学习技术进行步态识别已经实现了显着的性能提升，并成为一种新的有前途的趋势。然而，大多数现有研究只是着眼于提高识别精度，它们的网络模型通常具有较高的复杂度，忽略了轻量模型对计算能力和存储资源有限的可穿戴智能设备的重要性。
在现有技术中，生物识别技术是用于可穿戴智能设备访问控制的最新技术，它根据人类独特、稳定和可测量的生理特征或行为特征识别个体身份。生理特征主要包括人脸、指纹和虹膜等，而行为特征与一个人的行为模式有关，包括步态、签名等。尽管基于生理特征的生物识别技术已被广泛使用，但是它们也存在许多无法克服的缺点。首先，用于获取生理特征的传感器(例如指纹扫描仪，相机等)价格昂贵并且尺寸大，这增加了可穿戴智能设备的重量和成本。其次，生理特征如指纹、人脸等存在被复制的风险，如3D打印可轻易复制用户的指纹用于解锁设备等。最后，基于生理特征的生物识别技术需要用户与设备之间进行显式交互，无法实现远距离、主动、实时和连续的身份识别，当设备在解锁状态丢失时，安全风险是巨大的。
步态作为一种行为特征，指的是人体的步行姿态。研究表明，每个人的步态具有独特性和稳定性，很难被模仿或复制。基于步态的身份识别(步态识别)不需要用户和设备之间进行明确的交互，是一种主动、实时和连续的身份识别方法，具有很高的安全性。随着微电子技术的发展，体积小、低功耗和低成本的惯性传感器几乎集成在所有的可穿戴智能设备中，这使得使用可穿戴智能设备来获取步态信息，并通过相应的算法来实现用户身份识别成为可能。基于可穿戴智能设备的步态身份识别技术受到了国内外学者广泛的关注和研究。目前基于可穿戴智能设备的步态识别方法主要包括三类：模板匹配方法、机器学习方法和深度学习方法。
模板匹配方法通过计算并比较可穿戴智能设备中存储的步态模板和待检测的步态周期之间的相似度来识别用户的身份，如果相似度高于预先设定的阈值，则将用户识别为合法用户。用于计算相似度的方法主要包括动态时间规整(DTW)，皮尔逊相关系数(PCC)和互相关等。目前，已有许多研究提出了不同的模板匹配方法，并在实验室条件下取得了良好的性能。然而，模板匹配方法需要检测步态周期以构建步态模板和测试样本，而步态周期检测是一项具有挑战性的工作，因为它对噪声和设备位置很敏感，步速、道路条件和设备位置的变化都很容易导致步态周期检测失败或步态周期内的相位丢失，而这将导致错误的识别决策。因此，模板匹配方法在鲁棒性和准确性上尚不能满足实际应用的需求。
机器学习方法通过提取步态信号的特征进行分类来实现身份识别。现有的研究使用支持向量机(SVM)，最近邻居(KNN)和随机森林(RF)等算法进行步态身份识别，并获得了比模板匹配方法更好的性能。然而，机器学习方法的模型识别精度受手动提取的特征的影响很大，手动提取特征需要研究者具备相关领域丰富的专业知识和经验，具有专业性和一定程度的主观性，同时还要经过数据预处理、特征工程和不断的实验验证和改良才能获得好的结果，这是费时且困难的。
最近的研究表明，采用深度学习模型(如卷积神经网络(CNN))进行步态识别已经取得了显着的性能改善，并成为一种新的有希望的趋势。深度学习网络具有强大的非线性表征学习能力，它可以从输入数据中自动提取有用的特征进行分类和其他任务。现有研究提出了许多基于深度学习的步态识别方法，这些方法与传统的机器学习算法和模板匹配算法进行了广泛的比较，并在识别精度上取得了更好的性能提升。尽管深度学习方法能够从数据中自动提取有用的特征，相比模板匹配方法和机器学习方法具有更好的鲁棒性和更高的识别性能，但是现有研究所提出的模型具有较高的复杂度(模型参数量大)，不适合计算能力和容量有限的可穿戴智能设备。
发明内容
本发明的一个目的是提供轻量注意力卷积神经网络用于实现基于可穿戴智能设备的步态识别，能在占用更少内存资源的情况下获得更好的性能提升。
根据本发明的第一方面，提供一种基于轻量注意力卷积神经网络的步态识别方法。该方法包括以下步骤：
步骤S1：将采集的三轴加速度和三轴角速度步态数据输入轻量级卷积神经网络提取步态特征，该轻量级卷积神经网络在时间轴上进行一维卷积计算，分别提取加速度单轴信号和角速度单轴信号内的特征，并采用二维卷积对所提取到的六轴信号特征进行融合，获得输出特征图；
步骤S2：对于所述轻量级卷积神经网络输出的特征图，根据各通道的上下文编码信息计算各通道的注意力权重参数；
步骤S3：对于所述轻量级卷积神经网络输出的每一个通道的特征图，使用深度可分离卷积进一步提取特征后与对应通道注意力权重参数进行相乘，进而进行步态识别，其中所述深度可分离卷积仅在空间维度进行卷积操作。
根据本发明的第二方面，提供一种基于轻量注意力卷积神经网络的步态识别系统。该系统包括：
轻量卷积神经网络：用于以三轴加速度和三轴角速度步态数据作为输入，提取步态特征，获得输出特征图，其中该轻量级卷积神经网络在时间轴上进行一维卷积计算，分别提取加速度单轴信号和角速度单轴信号内的特征，并采用二维卷积对所提取到的六轴信号特征进行融合；
注意力模块：用于对于所述轻量级卷积神经网络输出的特征图，根据各通道的上下文编码信息计算各通道的注意力权重参数；以及对于所述轻量级卷积神经网络输出的每一个通道的特征图，使用深度可分离卷积进一步提取特征后与对应通道注意力权重参数进行相乘，获得增强特征，其中所述深度可分离卷积仅在空间维度进行卷积操作；
预测输出模块：用于根据所述增强特征进行步态识别。
与现有技术相比，本发明的优点在于，提出一种适合可穿戴智能设备的轻量神经网络模型，该模型能在占用更少的内存资源的情况下获得更高的识别精度，解决了现有研究需要复杂度高的模型才能获得高识别精度的问题。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的基于轻量注意力卷积神经网络的步态识别方法的流程图；
图2是根据本发明一个实施例的轻量注意力卷积神经网络的结构图；
图3是根据本发明一个实施例的深度可分离卷积实现对每个通道的特征图进行提取的示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明提出一种轻量注意力卷积神经网络，是实现基于可穿戴智能设备的步态识别的新技术方案。简言之，该技术方案首先采用轻量卷积神经网络(CNN)从可穿戴智能设备采集到的三轴加速度和三轴角速度数据中提取步态特征。然后，提出了一种新的注意力权重计算方法，并基于该注意力权重计算方法、上下文编码信息和深度可分离卷积设计了注意力模块，该模块被嵌入到轻量CNN中以增强步态特征并简化模型的复杂度。最后，增强后的步态特征被输入到例如Softmax分类器中进行分类，进而输出步态识别结果。
具体地，参见图1所示，所提供的基于轻量注意力卷积神经网络的步态识别方法包括以下步骤。
步骤S110，以三轴加速度和三轴角速度步态数据为输入，利用轻量卷积神经网络提取特征。
在一个实施例中，轻量注意力卷积神经网络如图2所示，整体上包括输入层、卷积神经网络、注意力模块(标记为Attention)和输出层(获得预测输出模块)。
输入层接收可穿戴智能设备采集到的三轴加速度和三轴角速度步态数据，卷积神经网络用于从步态数据中提取步态特征，注意力模块用于对提取到的步态特征进行增强，经过增强后的特征被输入到Softmax分类器中进行分类并输出识别结果。
图2中的卷积神经网络设计为轻量的网络结构，以下简称L-CNN(LightweightCNN)，它是整个网络的最前端，用于从输入数据中提取特征。例如，L-CNN包含四个卷积层和两个池化层。两个池化层分别放置在第一和第三个卷积层之后，用于进一步提取卷积层的主要特征。每一个卷积层或池化层后设置批归一化层(BatchNormalization，BN)和ReLU激活层，BN层和ReLU层可以加快网络训练和收敛的速度，并防止梯度消失或爆炸以及过拟合问题。L-CNN前面三层卷积层采用1D卷积，即在时间轴上进行卷积计算，分别提取加速度和角速度单轴信号内的特征，这种方式有利于获得单轴信号更好的特征表示。L-CNN的最后一层卷积层采用2D卷积对前面三层卷积层提取到的6轴信号特征进行融合，以获取更有用的潜在高级特征，从而有利于网络获得更好的识别性能。L-CNN的层次结构和参数设置参见下表1。
表1：L-CNN层次结构和参数设置
Figure BDA0003058413590000061
步骤S120，对于轻量卷积神经网络输出的特征图，利用通道注意力机制提取增强特征。
在图2中，注意力模块使用通道注意力机制，学习单个通道信息和全部通道信息之间的相关性，并将这种相关性作为不同通道的权重，用以和原来的特征图进行相乘，从而对重要通道的特征图进行增强，权重值越大，表明该通道的特征图所包含的信息越重要。在现有技术中，通常由全局平均池化(Global Average Pooling，GAP)和全连接层(FullyConnected Layers，FC)组成一个注意力权重计算模块来获取不同通道的权重，但这种方法由于全连接层的存在增加了网络的模型参数。
在一个实施例中，提出了一种新的通道权重计算方法。令F∈RH×W×C为L-CNN输出的一组特征图，其中H、W和C分别表示特征图的高度、宽度和通道维度，将第i个通道的权重计算公式定义为：
Figure BDA0003058413590000071
其中分子Fi表示第i个通道所包含的上下文编码信息，可以用一个数值或者一组数据的和来表示，
Figure BDA0003058413590000072
表示所有通道上下文编码信息的总和。
为了获取上下文编码信息，优选地，使用上下文编码模块(Context EncodingModule，CEM)用于捕获全局上下文信息和选择性的突出与类别相关的特征图。该模块可参见(“Deep TEN:Texture Encoding Network”.IEEE Conference on Computer Vision andPattern Recognition(CVPR),Honolulu,Hawaii,USA,July 21-26,2017，Zhang,H.；Xue,J.；Dana,K.)。由于该模块将字典学习和残差编码结合在一起，因此携带了特定域的信息，可以迁移到步态时序信号的处理上。整个CEM是可微分的，将该模块嵌入到卷积神经网络中可以实现端到端的学习优化。
例如，CEM包含了K个D维编码向量，这些编码向量的值一般随机初始化，并在网络不断训练的过程中自动学习到合理的数值。单个特征图经过CEM处理后得到一个新的固定长度为K的向量集合E，E中的每个元素都包含了上下文编码信息。在一个实施例中，令固有字典只包含一个编码向量，即K＝1，此时，单个特征图经过上下文编码模块后只得到一个包含上下文编码信息的权重参数，而含有C个通道的输入特征图将得到C个权重参数，记为γ＝{E1,E2,...,EC}。根据公式(1)和γ＝{E1,E2,...,EC}可以计算出每个通道的注意力权重。
在获得通道注意力权重后，本发明并没有直接将通道权重参数和原来特征图进行相乘，而是对其做了一些改进。通道注意力机制可以确定哪些通道是重要的并对重要通道的特征图进行增强，从而选择出和目标任务更相关的特征图。但是通道注意力机制忽略了在重要通道的特征图中，仍然可能存在一些无用或冗余的特征。针对通道注意力机制存在的这个问题，对每一个通道的特征图进一步提取特征后再和注意力权重参数进行相乘。
在一个实施例中，使用深度可分离卷积(Depthwise Separable Convolution，DS-Conv)实现对每个通道的特征图进行特征提取。深度可分离卷积是一种模型轻量化技术，与传统的卷积在空间和通道两个维度进行卷积操作的方式不同，深度可分离卷积仅在空间维度进行卷积操作。只在空间维度进行卷积计算使得深度可分离卷积并不需要指定卷积核的数量，从而显著减少了模型所需要学习的参数数量。
基于公式(1)、上下文编码模块和深度可分离卷积，本发明实施例提出了一种能有效提高模型识别性能并简化模型复杂度的通道注意力方法，将其命名为CEDS-A(Attentionwith Context Encodeing and Depthwise Separable Convolution)，其结构如图3所示。输入F(H,W,C)表示L-CNN输出的一组特征图，DS-Conv代表深度可分离卷积，γ(1,1,C)代表通道注意力权重，Y(H',W',C)是获得的一组新的特征图。
公式(2)是对图3的数学描述，其中，DC表示深度可分离卷积操作，例如将其卷积核大小设置为1x3，δN表示BN+Sigmoid。
Figure BDA0003058413590000081
步骤S130，利用增强特征进行步态识别。
基于上述提取的增强特征，可进一步利用分类器，例如Softmax分类器，判断对应的步态特征是否合法，从而实现个人的身份验证。通过本发明能够有效地提高步态身份认证的识别率，可以应用于各种场合的监控系统。
为进一步验证本发明的效果，进行实验。结果表明，与现有类似研究在识别准确度和模型参数量方面相比，本发明提出的模型在复杂度平均降低87.8％的情况下获得了更高的识别性能。具体实验过程如下。
1)、实验数据
在真实场景下采集的whuGait数据集和实验参与人数最多的OU-ISIR数据集上进行实验来评估所提出的网络模型的性能。whuGait数据集包含118名实验者在户外完全不受约束的情况下通过智能手机采集得到的步态数据，每个实验者何时、何地以及如何行走并不清楚。whuGait数据集由8个子数据集组成：数据集#1到数据集#4用于身份识别，数据集#5和数据集#6用于身份认证，数据集#7和数据集#8用于将行走数据和非行走数据分离。本发明仅使用数据集#1到数据集#2两个子数据集。OU-ISIR数据集是目前实验参与者最多的基于惯性传感器的步态数据集，它包括744名实验者(389名男性，355名女性，年龄范围从2岁到78岁)的步态数据。
OU-ISIR和whuGait数据集可参考GitHub网站(https://github.com/qinnzou/)上开源的处理之后的数据集。实验所使用的数据集的详细信息参见表2。实验所使用的训练集和测试集之间不存在交集，样本的重叠率指的是训练集和测试集内部样本之间的重叠。
表2：实验数据集信息
Figure BDA0003058413590000091
2)、实验方法
网络模型使用早停法(Early Stopping)控制网络训练的迭代次数。早停法是一种广泛使用的模型训练方法，其含义是在网络训练过程中如果网络在验证集上的性能连续N次迭代都没有得到提高则停止网络的学习训练。早停法通过监控性能指标(如准确率，平均误差等)有无提升来保存训练过程中网络在验证集上性能最好的模型或模型参数，可以防止网络过拟合问题，提高模型的泛化性能。在发明中使用准确率作为监控指标，并设置为N为50来控制网络的训练，即如果网络在验证集上的准确率连续50次迭代都没有提高则结束网络的训练。
3)、评估指标
为评估模型的性能，使用准确率(accuracy)、召回率(recall)和F1分数(F1-score)作为评估指标，这三个评估指标的值越大，模型的性能越好。
4)、实验结果和分析
在whuGait和OU-ISIR数据集上，本发明所提出的方法主要和现有技术方案“DeepLearning-Based Gait Recognition Using Smartphones in the Wild”(IEEETransactions on Information Forensics and Security,2020,15,3197-3212]，Zou,Q.；Wang,Y.；Wang,Q.；etc.)的实验结果进行对比。
实验对比结果参见下表3，可以看到：
(1)在识别准确率上，本发明所提出的方法(标记为L-CNN+CEDS-A)在数据集#1和数据集#2上比现有的CNN+LSTM的实验结果分别高出1.39％和0.95％，而在OU-ISIR数据集上要高出25.16％。
(2)在模型参数量上，本发明的模型的参数量比相比现有的CNN+LSTM模型的参数数量平均减少了87.8％，表现在模型大小上占用的内存资源更少。
上述实验结果表明，本发明所提出的方法相比已有研究的方法在模型更轻量的情况下获得了更高的识别准确率，这对于目前资源有限的的可穿戴智能设备来说是重要且有意义的。
表3：与现有研究结果的对比
Figure BDA0003058413590000101
Figure BDA0003058413590000111
相应地，本发明还提供一种基于轻量注意力卷积神经网络的步态识别系统，用于实现上述方法的一个方面或多个方面。例如，该系统包括：轻量卷积神经网络，其用于以三轴加速度和三轴角速度步态数据作为输入，提取步态特征，获得输出特征图，其中该轻量级卷积神经网络在时间轴上进行一维卷积计算，分别提取加速度单轴信号和角速度单轴信号内的特征，并采用二维卷积对所提取到的六轴信号特征进行融合；注意力模块，其用于对于所述轻量级卷积神经网络输出的特征图，根据各通道的上下文编码信息计算各通道的注意力权重参数；以及对于所述轻量级卷积神经网络输出的每一个通道的特征图，使用深度可分离卷积进一步提取特征后与对应通道注意力权重参数进行相乘，获得增强特征，其中所述深度可分离卷积仅在空间维度进行卷积操作；预测输出模块，其用于根据所述增强特征进行步态识别。
综上所述，本发明提出了一种新通道注意力权重计算方法，该方法简单有效，且几乎不增加模型的参数数量。基于所提出的通道注意力权重计算方法、上下文编码模块和深度可分离卷积，本发明提出了一种能有效提高模型识别性能并简化模型复杂度的通道注意力模块。本发明所设计的轻量卷积神经网络和通道注意力模块结合在一些形成一个完整的步态识别网络，在占用更少内存资源的情况下获得了更好的性能提升。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种基于轻量注意力卷积神经网络的步态识别方法，包括以下步骤：
步骤S1：将采集的三轴加速度和三轴角速度步态数据输入轻量级卷积神经网络提取步态特征，该轻量级卷积神经网络在时间轴上进行一维卷积计算，分别提取加速度单轴信号和角速度单轴信号内的特征，并采用二维卷积对所提取到的六轴信号特征进行融合，获得输出特征图；
步骤S2：对于所述轻量级卷积神经网络输出的特征图，根据各通道的上下文编码信息计算各通道的注意力权重参数；
步骤S3：对于所述轻量级卷积神经网络输出的每一个通道的特征图，使用深度可分离卷积进一步提取特征后与对应通道注意力权重参数进行相乘，进而进行步态识别，其中所述深度可分离卷积仅在空间维度进行卷积操作。
2.根据权利要求1所述的方法，其特征在于，在步骤S2中，对于一组特征图F∈RH×W×C，第i个通道的权重计算公式表示为：
Figure FDA0003058413580000011
其中，H、W和C分别表示特征图的高度，Fi表示第i个通道所包含的上下文编码信息，
Figure FDA0003058413580000012
表示所有通道上下文编码信息的总和。
3.根据权利要求1所述的方法，其特征在于，所述上下文编码信息根据以下步骤获得：：
单个特征图经过上下文编码处理后得到一个新的固定长度为K的向量集合E，E中的每个元素都包含上下文编码信息。
4.根据权利要求1所述的方法，其中，所述轻量级卷积神经网络包含四个卷积层和两个池化层，两个池化层分别设置在第一卷积层和第三卷积层之后，每一个卷积层或池化层后设置批归一化层和ReLU激活层，该轻量级卷积神经网络的前三层卷积层采用一维卷积，在时间轴上进行卷积计算，分别提取加速度和角速度单轴信号内的特征；最后一层卷积层采用二维卷积对前三层卷积层提取到的六轴信号特征进行融合。
5.根据权利要求1所述的方法，其特征在于，所述三轴加速度和三轴角速度步态数据利用可穿戴智能设备采集。
6.一种基于轻量注意力卷积神经网络的步态识别系统，包括：
轻量卷积神经网络：用于以三轴加速度和三轴角速度步态数据作为输入，提取步态特征，获得输出特征图，其中该轻量级卷积神经网络在时间轴上进行一维卷积计算，分别提取加速度单轴信号和角速度单轴信号内的特征，并采用二维卷积对所提取到的六轴信号特征进行融合；
注意力模块：用于对于所述轻量级卷积神经网络输出的特征图，根据各通道的上下文编码信息计算各通道的注意力权重参数；以及对于所述轻量级卷积神经网络输出的每一个通道的特征图，使用深度可分离卷积进一步提取特征后与对应通道注意力权重参数进行相乘，获得增强特征，其中所述深度可分离卷积仅在空间维度进行卷积操作；
预测输出模块：用于根据所述增强特征进行步态识别。
7.根据权利要求6所述的系统，其特征在于，所述注意力模块包括输入层、深度可分离卷积层、上下文编码模块以及批归一化层和激活层，输入输出之间的关系表示为：
Figure FDA0003058413580000021
其中，F(H,W,C)表示一组特征图，DC表示深度可分离卷积操作，卷积核大小设置为1x3，γ(1,1,C)代表通道注意力权重，Y(H′，W′，C)是获得的一组新的特征图，δN表示批归一化和激活处理。
8.根据权利要求6所述的系统，其特征在于，所述预测输出模块采用softmax分类器实现。
9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至5中任一项所述方法的步骤。
10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5中任一项所述的方法的步骤。
CN202110506008.5A 2021-05-10 2021-05-10 一种基于轻量注意力卷积神经网络的步态识别方法和系统 Pending CN113139499A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110506008.5A CN113139499A (zh) 2021-05-10 2021-05-10 一种基于轻量注意力卷积神经网络的步态识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110506008.5A CN113139499A (zh) 2021-05-10 2021-05-10 一种基于轻量注意力卷积神经网络的步态识别方法和系统

Publications (1)

Publication Number Publication Date
CN113139499A true CN113139499A (zh) 2021-07-20

Family

ID=76818013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110506008.5A Pending CN113139499A (zh) 2021-05-10 2021-05-10 一种基于轻量注意力卷积神经网络的步态识别方法和系统

Country Status (1)

Country Link
CN (1) CN113139499A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114580535A (zh) * 2022-03-04 2022-06-03 中国人民解放军空军军医大学 基于注意力多视角学习网络的多基雷达人体行为融合识别方法、装置及介质
CN114783063A (zh) * 2022-05-07 2022-07-22 杭州电子科技大学 一种融合拓展决策和注意力网络的行为动态识别方法
CN114818989A (zh) * 2022-06-21 2022-07-29 中山大学深圳研究院 基于步态的行为识别方法、装置、终端设备及存储介质
CN116070172A (zh) * 2022-11-16 2023-05-05 北京理工大学 增强时间序列的特征表达性的方法
CN116959035A (zh) * 2023-09-19 2023-10-27 深圳市博锐高科科技有限公司 一种基于步态的身份识别方法、装置、芯片及终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016065534A1 (zh) * 2014-10-28 2016-05-06 中国科学院自动化研究所 一种基于深度学习的歩态识别方法
CN111967326A (zh) * 2020-07-16 2020-11-20 北京交通大学 一种基于轻量化多尺度特征提取的步态识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016065534A1 (zh) * 2014-10-28 2016-05-06 中国科学院自动化研究所 一种基于深度学习的歩态识别方法
CN111967326A (zh) * 2020-07-16 2020-11-20 北京交通大学 一种基于轻量化多尺度特征提取的步态识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAOHUA HUANG 等: "A Lightweight Attention-Based CNN Model for Efficient Gait Recognition with Wearable IMU Sensors", 《SENSORS》 *
杨博雄: "《深度学习理论与实践》", 31 December 2020 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114580535A (zh) * 2022-03-04 2022-06-03 中国人民解放军空军军医大学 基于注意力多视角学习网络的多基雷达人体行为融合识别方法、装置及介质
CN114783063A (zh) * 2022-05-07 2022-07-22 杭州电子科技大学 一种融合拓展决策和注意力网络的行为动态识别方法
CN114783063B (zh) * 2022-05-07 2024-02-20 杭州电子科技大学 一种融合拓展决策和注意力网络的行为动态识别方法
CN114818989A (zh) * 2022-06-21 2022-07-29 中山大学深圳研究院 基于步态的行为识别方法、装置、终端设备及存储介质
CN116070172A (zh) * 2022-11-16 2023-05-05 北京理工大学 增强时间序列的特征表达性的方法
CN116070172B (zh) * 2022-11-16 2023-06-02 北京理工大学 增强时间序列的特征表达性的方法
CN116959035A (zh) * 2023-09-19 2023-10-27 深圳市博锐高科科技有限公司 一种基于步态的身份识别方法、装置、芯片及终端

Similar Documents

Publication Publication Date Title
CN113139499A (zh) 一种基于轻量注意力卷积神经网络的步态识别方法和系统
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
US20180218256A1 (en) Deep convolution neural network behavior generator
CN110909630A (zh) 一种异常游戏视频检测方法和装置
WO2021218238A1 (zh) 图像处理方法和图像处理装置
Santhalingam et al. Sign language recognition analysis using multimodal data
CN110222718B (zh) 图像处理的方法及装置
Almaslukh et al. A robust convolutional neural network for online smartphone-based human activity recognition
CN112801054B (zh) 人脸识别模型的处理方法、人脸识别方法及装置
Soni et al. Hybrid meta-heuristic algorithm based deep neural network for face recognition
WO2022012668A1 (zh) 一种训练集处理方法和装置
CN110968734A (zh) 一种基于深度度量学习的行人重识别方法及装置
CN115512005A (zh) 一种数据处理方法及其装置
CN113361549A (zh) 一种模型更新方法以及相关装置
Praseetha et al. Secure fingerprint authentication using deep learning and minutiae verification
CN113516227A (zh) 一种基于联邦学习的神经网络训练方法及设备
CN113742669B (zh) 一种基于孪生网络的用户认证方法
Wang et al. A hybrid deep neural networks for sensor-based human activity recognition
Jadhav et al. HDL-PI: hybrid DeepLearning technique for person identification using multimodal finger print, iris and face biometric features
EP3832542A1 (en) Device and method with sensor-specific image recognition
CN116935188A (zh) 模型训练方法、图像识别方法、装置、设备及介质
Cheng et al. Deep learning based face recognition with sparse representation classification
Begum et al. A novel approach for multimodal facial expression recognition using deep learning techniques
Parashar et al. A robust covariate‐invariant gait recognition based on pose features
Veerashetty et al. Texture-based face recognition using grasshopper optimization algorithm and deep convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210720