CN112766201A - 基于csi数据的行为跨域识别模型建立、识别方法及系统 - Google Patents

基于csi数据的行为跨域识别模型建立、识别方法及系统 Download PDF

Info

Publication number
CN112766201A
CN112766201A CN202110110788.1A CN202110110788A CN112766201A CN 112766201 A CN112766201 A CN 112766201A CN 202110110788 A CN202110110788 A CN 202110110788A CN 112766201 A CN112766201 A CN 112766201A
Authority
CN
China
Prior art keywords
data
behavior
behavior data
module
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110110788.1A
Other languages
English (en)
Inventor
冯筠
张拓
卜起荣
魏力健
胡景钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern University
Original Assignee
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern University filed Critical Northwestern University
Priority to CN202110110788.1A priority Critical patent/CN112766201A/zh
Publication of CN112766201A publication Critical patent/CN112766201A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于CSI数据的行为跨域识别模型建立、识别方法及系统，建立源域行为数据集和目标域行为数据集；对源域数据集和目标域数据集中的数据分别进行分割和重表示；将源域数据集中重表示的行为数据片段与目标域数据集中重表示的行为数据片段进行配对，获得多个数据对；对同类别行为形成的数据对和不同类别行为形成的数据对标注不同的标签；构建孪生网络模型；将数据对及其对应的标签输入至孪生网络模型中，训练该孪生网络模型，得到识别模型；采集测试对象的行为数据；进行分割处理以及数据配对后，将配对的数据对输入识别模型中，输出识别结果；经验证，采用本发明的识别方法可达到较高的跨域识别准确率。

Description

基于CSI数据的行为跨域识别模型建立、识别方法及系统
技术领域
本发明属于行为识别技术领域，涉及一种基于CSI数据的行为跨域识别模型建立、识别方法及系统。
背景技术
随着智能家居的逐渐普及，人机交互也在日常生活中愈发普遍，在与智能家具的交互中，行为识别就是其中的一种方式。其中基于无线传感方式的行为识别因其对人体无害、适用场景广泛、信号覆盖性好，且不会记录用户的隐私信息等特点而得到广泛使用。在无线设备中，常用的识别方法包括使用Wi-Fi设备以及雷达设备，其中雷达较为少见且昂贵，而Wi-Fi设备广泛应用在各种家庭以及办公场景中且较为廉价。使用Wi-Fi信号记录行为数据后识别分类时，需要借助使用其中的信号接收强度(RSSI)和CSI数据，由于CSI数据可以记录更细致的信号变化以及其中包含更丰富的信息，近几年的研究都是使用CSI数据进行识别分类。一般使用Wi-Fi CSI信号进行的行为识别是在待识别场景中收集大量有效数据后建立对应的分类器进行识别。但使用CSI信号在数据记录时除过对行为动作的记录，还包含四周的环境反射，与采集场景关联较大。一旦行为的场景发生改变，则已有的分类器无法很好的适配，导致模型失效，而再次在新场景中采集足够的数据训练新的分类器又会花费较大代价，并不合适。
近几年的研究在找寻一种在已有场景(源域)的数据上，结合新场景(目标域)中的部分数据实现目标域中行为识别(跨域识别)的方法。现有的通过CSI记录的行为跨域识别方法包括有通过源域中与目标域中的行为数据建立两个域的映射关系，使得目标域中的行为数据可以映射到源域中，再通过源域中的分类器实现行为数据的分类。还有使用迁移学习思想的模型调整方法，先在源域中训练生成分类器，然后结合目标域中的行为数据进行再训练以调整网络参数，使得分类器可以识别目标域中的行为数据。以上两类方法虽然可以实现目标域中的行为数据，但是仍需要较多的带标签目标域行为数据才能达到较好的模型调整效果。还有通过使用天线阵列进行数据记录以去除对应的域信息生成与域无关的分类器实现目标域行为数据识别的方法，此方法对设备及摆放方式有较高要求。
发明内容
为解决现有技术中存在的不足，本发明提供了一种基于CSI数据的行为跨域识别模型建立、识别方法及系统，解决现有方法难以通过极少数的目标域行为数据实现目标域行为识别的问题。
为了解决上述技术问题，本发明采用如下技术方案予以实现：
本发明公开了一种基于CSI数据的行为跨域识别模型建立方法，该方法包括以下步骤：
步骤1，建立源域行为数据集和目标域行为数据集，其中，源域行为数据集和目标域行为数据集中均包含N种类别的行为，且这两数据集中行为类别相同；N≥1；
步骤2，数据处理：
步骤2.1，对源域数据集和目标域数据集中的数据分别进行分割，得到源域数据集中所有独立的行为数据片段和目标域数据集中所有独立的行为数据片段；
步骤2.2，获取步骤2.1得到的每个独立的行为数据片段的时序信息、振幅信息和相位信息；基于时序信息、振幅信息和相位信息将每个独立的行为数据片段进行三维张量堆叠处理，得到源域数据集中所有重表示的行为数据集片段和目标域数据中所有重表示的行为数据片段；
步骤3，源域数据与目标域数据配对：
将源域数据集中重表示的行为数据片段与目标域数据集中重表示的行为数据片段进行配对，获得多个数据对；对同类别行为形成的数据对和不同类别行为形成的数据对标注不同的标签；
步骤4，构建孪生网络模型，所述孪生网络模型包括两个孪生模块和一个时空特征距离计算模块；两个孪生模块分别用于获得每一数据对中两个重表示的行为数据片段的时空特征；
每个孪生模块中均设置有时序特征提取模块、空间特征提取模块和特征融合模块；所述时序特征提取模块用于提取重表示的行为数据片段的时序特征；所述空间特征提取模块用于提取重表示的行为数据片段的空间特征；所述特征融合模块用于将重表示的行为数据片段的时序特征和空间特征进行拼接融合，得到重表示的行为数据片段的时空特征；
所述时空特征距离计算模块用于计算两个孪生模块输出的重表示的行为数据片段的时空特征之间的距离；
将步骤3得到的数据对及其对应的标签输入至孪生网络模型中，训练该孪生网络模型，得到识别模型。
优选的，所述步骤2.1中，首先对源域数据集和目标域数据集进行滤波降噪处理，然后再进行分割。
具体的，所述步骤2.2中，首先获取每个独立的行为数据片段的时序信息、振幅信息和相位信息，通过最小最大规范化原则缩放至统一数值范围[0,1]，再将每个独立的行为数据片段对应的二维矩阵的尺寸进行缩放处理，然后按照层维度堆叠成三维张量。
具体的，所述孪生网络模型中，时序特征提取模块包括四层依次堆叠的双向LSTM层；空间特征提取模块包括五个卷积块，其中前两个卷积块均包括两个卷积层和一个最大池化层，后三个卷积块均包括三个卷积层和一个最大池化层。
具体的，所述步骤5中，按照减小同类别、增大不同类别数据对中行为数据片段的时空特征之间距离的原则训练孪生网络模型。
本发明还公开了一种基于CSI数据的行为跨域识别模型建立系统，该系统包括：
样本数据构建模块，用于采集源域行为数据和目标域行为数据，每个数据集中均包含N种类别的行为，将所有源域行为数据保存至源域数据集，所有目标域行为数据保存至目标域数据集；
样本数据分割模块，用于对源域数据集和目标域数据集中的数据分别进行分割，得到源域数据集中所有独立的行为数据片段和目标域数据集中所有独立的行为数据片段；
样本数据重表示模块，用于提取每个独立的行为数据片段的时序信息、振幅信息和相位信息；并将每个独立的行为数据片段的时序信息、振幅信息和相位信息按照层的维度堆叠生成三维张量，将这些三维张量作为重表示的行为数据集片段；
数据配对模块，用于将源域数据集中重表示的行为数据片段与目标域数据集中重表示的行为数据片段进行配对，获得多个数据对；对同类别行为形成的数据对和不同类别行为形成的数据对分别标注不同的标签；
孪生模块，所述孪生模块包括两个，分别用于获得每一数据对中两个重表示的行为数据片段的时空特征；
每个孪生模块中均设置有时序特征提取模块、空间特征提取模块和特征融合模块；所述时序特征提取模块用于提取重表示的行为数据片段的时序特征；所述空间特征提取模块用于提取重表示的行为数据片段的空间特征；所述特征融合模块用于将重表示的行为数据片段的时序特征和空间特征进行拼接融合，得到重表示的行为数据片段的时空特征；
时空特征距离计算模块，用于计算每一数据对中两个重表示的行为数据片段的时空特征之间的距离；
模型训练模块，用于将数据配对模块的配对结果输入至孪生模块中，并根据时空特征距离计算模块的结果对时序特征提取模块和空间特征提取模块的参数进行调整，使得同类别行为数据对的空间特征更为接近，不同类别行为数据对的空间特征更为远离。
具体的，所述时序特征提取模块包括四层依次堆叠的双向LSTM层。
具体的，所述空间特征提取模块包括五个卷积块，其中前两个卷积块均包括两个卷积层和一个最大池化层，后三个卷积块均包括三个卷积层和一个最大池化层。
本发明还公开了一种基于CSI数据的行为跨域识别方法，该方法具体包括以下步骤：
步骤1，采集测试对象的行为数据，其中测试对象所在场景与权利要求1所记载的目标域为同一场景；
步骤2，采用权利要求1中步骤2记载的方法对测试对象的行为数据进行处理，获得重表示的行为数据片段；
步骤3，将重表示的行为数据片段与权利要求1的源域数据集中每种类别的重表示的行为数据片段进行配对，获得数据对；
步骤4，将步骤3得到的数据对输入至权利要求1所述的识别模型中，输出每一对数据对的时空特征距离；将时空特征距离最小的数据对中源域数据集对应的行为作为识别结果。
本发明还公开了一种基于CSI数据的行为跨域识别系统，该系统包括：
数据采集模块，用于采集测试对象的行为数据，其中测试对象所在场景与权利要求1所记载的目标域为同一场景；
数据处理模块，用于对测试对象的行为数据进行分割，并将每个分割后的行为数据片段重表示为三维张量；
数据配对模块，用于对重表示的行为数据片段与权利要求1的源域数据集中每种类别的重表示的行为数据片段进行配对，生成数据对；
跨域识别模块，用于将数据对输入至权利要求1所述的识别模型中，输出时空特征距离最小的数据对中源域数据集对应的行为。
与现有技术相比，本发明的有益效果是：
采用本发明的识别方法可达到较高的跨域识别准确率，具体体现在：
(1)本发明通过对数据进行信息重表示，将行为数据的时序信息、振幅以及相位信息堆叠成三维张量，可以有效的增加行为数据的可用信息。解决了对于在跨域识别中由于行为数据内的噪声信息太多使得行为信息占比不足从而难以识别的问题。
(2)本发明通过使用数据配对方法，可以在目标域仅有极少数行为数据时，完成对可训练数据集的扩充，强化模型对数据的学习过程。
(3)本发明通过孪生网络模型对数据对进行时空特征间的距离计算，在模型训练过程中根据数据对标签对时空特征距离的调整，使得同类行为数据更为接近。
(4)本发明借助在实验场景中采集的较多数据，结合不同实际场景(家庭、教室、办公场景等)中的极少数行为数据，实现该场景中的行为识别任务；可以快速高精度的实现对不同实际场景的模型适配，且不需要额外花费太多代价进行数据采集。
附图说明
图1是本发明的识别过程的流程图。
图2是本发明的数据信息重表示的流程图。
图3是本发明的数据配对的流程图。
图4是本发明的时空特征提取的流程图。
图5是本发明的识别模型训练过程中特征间距离调整的流程图。
图6是本发明的孪生模块的网络结构图。
具体实施方式
本发明中的“源域”和“目标域”是指测试对象所处的两个不同的场景，如家中、办公室、教室等。
本发明中，不同类别的行为是指测试对象的不同行为动作，如下蹲、弯腰、站立等。
以下给出本发明的具体实施例，需要说明的是，本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。
实施例1
本实施例公开了一种基于CSI数据的行为跨域识别模型建立方法，该方法用于构建跨域识别模型，主要包括以下步骤：
步骤1，建立源域行为数据集和目标域行为数据集，每个数据集中均包含N种类别的行为，N≥1；
本实施例中设定1名测试人员，在中型会议室、小型会议室、小型实验室或办公室均进行10种类别的行为动作，即N＝10，每个场景中每种类别的行为采集20个样本数据，每个场景中每个类别的数据记录在同一条长序列信号数据中；选取其中两个场景分别作为源域和目标域，每个域中的所有数据记为一个数据集，分别为源域行为数据集和目标域行为数据集。并且每个数据集中的行为数据均标注有对应的行为类别标签，如弯腰、下蹲、站立等行为标签。
本实施例中用于数据记录的是笔记本电脑(接收端)和TP-LINK路由器(发射端)。其中发射端共计使用1根天线，接收端使用3根天线，共组成3对天线对，每对天线对采集的CSI数据中有30条可用子载波。
步骤2，数据处理：
步骤2.1，首先对源域数据集和目标域数据集进行滤波降噪处理；然后再对源域数据集和目标域数据集中的数据分别进行分割，得到源域数据集中所有独立的行为数据片段和目标域数据集中所有独立的行为数据片段。
本实施例中对数据进行巴特沃斯低通滤波处理，消除数据噪声；再通过一维目标检测获取源域数据集和目标域数据集中每个独立的行为数据片段。本实施例选取源域数据集中所有行为数据片段与目标域数据集中每类别随机两个行为数据片段作为本实施例中的训练样本，剩余目标域数据集中的行为数据片段作为后面实施例3中的待识别数据。
步骤2.2，获取步骤2.1得到的每个独立的行为数据片段的时序信息、振幅信息和相位信息；基于时序信息、振幅信息和相位信息将每个独立的行为数据片段进行三维张量堆叠处理，得到源域数据集中所有重表示的行为数据集片段和目标域数据中所有重表示的行为数据片段。
具体的，首先获取每个独立的行为数据片段的时序信息矩阵、振幅信息矩阵和相位信息矩阵；其次通过最小最大规范化原则将这些矩阵统一数值范围[0,1]；然后将每个独立的行为数据片段对应的三个二维矩阵的尺寸缩放至[90,90]；最后将三个二维矩阵按照层的维度堆叠生成三维张量，每个三维张量代表一个重表示的行为数据片段。如图2所示。
步骤3，源域数据与目标域数据配对：
将源域数据集中重表示的行为数据片段与目标域数据集中重表示的行为数据片段按照全映射的关系进行配对，获得多个数据对；对同类别行为形成的数据对和不同类别行为形成的数据对分别标注不同的标签；
本实施例的训练过程如图3所示，本实施例中同种行为数据形成的数据对标签为1，不同种行为数据形成的数据对标签为0；本实施例的上述训练样本数据共计生成(20×10)×(1×10)＝2000个行为数据对，其中标签为1的同类别行为数据对有200个，标签为0的不同类行为数据对有1800个。
步骤4，构建孪生网络模型：
孪生网络模型包括两个孪生模块和一个时空特征距离计算模块；两个孪生模块分别用于获得每一数据对中两个重表示的行为数据片段的时空特征，其中，每个数据对中两个重表示的行为数据片段的时空特征分别为源域对应的时空特征和目标域对应的时空特征，如图4所示。每个孪生模块中均包含有时序特征提取模块、空间特征提取模块和特征融合模块，其中，
时序特征提取模块用于提取重表示的行为数据片段的时序特征。本实施例的时序特征提取模块包括四层依次堆叠的双向LSTM层，如图6所示。
空间特征提取模块用于提取重表示的行为数据片段的空间特征。本实施例的空间特征提取模块包括五个卷积块，其中前两个卷积块均包括两个卷积层和一个最大池化层，后三个卷积块均包括三个卷积层和一个最大池化层，如图6所示。每个卷积块处理后得到的特征尺寸缩小为原来的1/4。
特征融合模块用于将重表示的行为数据片段的时序特征和空间特征进行拼接融合，得到重表示的行为数据片段的时空特征。具体为：首先将时序特征和空间特征分别拉长成一维向量，然后进拼接成为一个更长的一维向量。
时空特征距离计算模块用于计算两个孪生模块输出的重表示的行为数据片段的时空特征之间的距离。对于两个孪生块中得到的时空特征，两个特征经过融合后成为一维向量且长度相同，在计算距离时，先计算两个时空特征中的数据差的平方和，再对求得的和求平方根作为两个特征间的距离。
将经步骤3配对的数据对及其对应的标签输入至孪生网络模型中训练该孪生网络模型，训练好的模型即为本发明的识别模型。
本实施例中，按照减小同类别、增大不同类别数据对中行为数据片段的时空特征之间距离的原则训练孪生网络模型，如图5所示。具体为：若数据对的标签为1，则向着特征间距离减小的方向调整时序特征提取模块和空间特征提取模块的参数，使下次训练同类别行为数据片段时该数据对的两个行为数据片段的时空特征更相似；若数据对的标签为0，则向着特征间距离增大的方向调整时序特征提取模块和空间特征提取模块的参数，使下次训练不同类别行为数据片段时该数据对的两个行为数据片段的时空特征更不同。
本实施例模型训练过程中的迭代次数设置为500次，将第500代孪生网络模型作为本实施例的识别模型。
在上述实施例的基础上，为了进一步加强同类别行为数据的空间特征的相似性和不同类别行为数据的空间特征的不同性。还可在空间特征提取模块输出端设置一个SE模块，用来调整空间特征的权重，使得同类别行为数据对的空间特征更为接近，不同类别行为数据对的空间特征更为不同。
本发明还可设置多个不同的场景，每次选取其中任意两个场景作为源域和目标域，重复上述实施例记载的步骤1至步骤5，这样可获得不同源域和目标域下的识别模型。
实施例2
本实施例公开了一种基于CSI数据的行为跨域识别模型建立系统，该系统包括样本数据构建模块、样本数据分割模块、样本数据重表示模块、数据配对模块、孪生模块、时空特征距离计算模块以及模型训练模块，其中，
样本数据构建模块用于采集源域行为数据和目标域行为数据。每个数据集中均包含N种类别的行为，将所有源域行为数据保存至源域数据集，所有目标域行为数据保存至目标域数据集。本实施例中TP-LINK路由器和笔记本电脑来采集样本数据。
样本数据分割模块用于对源域数据集和目标域数据集中的数据分别进行分割，得到源域数据集中所有独立的行为数据片段和目标域数据集中所有独立的行为数据片段。本实施例中采用巴特沃斯低通滤波器对源域数据集和目标域数据集中的数据进行滤波处理，再采用一维目标检测器提取源域数据集和目标域数据集中每个独立的行为数据片段。
样本数据重表示模块用于获取每个独立的行为数据片段的时序信息、振幅信息和相位信息；并将每个独立的行为数据片段的时序信息、振幅信息和相位信息按照层的维度堆叠生成三维张量，将这些三维张量作为重表示的行为数据集片段。
本实施例中样本数据重表示模块具体包括信息提取模块、数值统一模块、尺寸缩放模块和堆叠模块，其中，信息提取模块用于提取每个独立的行为数据片段的时序信息矩阵、振幅信息矩阵和相位信息矩阵；数值统一模块用于对三个矩阵统一数值范围为[0,1]；尺寸缩放模块用于将每个独立的行为数据片段对应的三个矩阵的尺寸缩放至一定大小，如[90,90]；堆叠模块用于将三个矩阵按照层的维度堆叠生成三维张量，这样每个三维张量对应一个重表示的行为数据片段。
数据配对模块用于将源域数据集中重表示的行为数据片段与目标域数据集中重表示的行为数据片段按照全映射关系进行一一配对，获得多个数据对；并对同类别行为形成的数据对和不同类别行为形成的数据对分别标注不同的标签。如同种行为数据形成的数据对可标注标签为1，不同种行为数据形成的数据对标签为0。
孪生模块设置有两个，分别用于获得每一数据对中两个重表示的行为数据片段的时空特征。两个孪生模块的结构相同，均设置有时序特征提取模块、空间特征提取模块和特征融合模块。
时序特征提取模块用于提取重表示的行为数据片段的时序特征，具体结构由四层依次堆叠的双向LSTM层组成。
空间特征提取模块用于提取重表示的行为数据片段的空间特征，具体由五个卷积块组成，其中前两个卷积块均包括两个卷积层和一个最大池化层，后三个卷积块均包括三个卷积层和一个最大池化层。
特征融合模块用于将重表示的行为数据片段的时序特征和空间特征进行拼接融合；经过特征融合模块可获得重表示的行为数据片段的时空特征。
时空特征距离计算模块，用于计算每一数据对中两个重表示的行为数据片段的时空特征之间的距离。该模块先计算两个孪生块中得到的时空特征中的数据差的平方和，再对求得的和求平方根作为两个特征间的距离。
模型训练模块，用于将数据配对模块的配对结果输入至孪生模块中，并根据时空特征距离计算模块的结果对时序特征提取模块和空间特征提取模块的参数进行调整，使得同类别行为数据对的空间特征更为接近，不同类别行为数据对的空间特征更为远离。
实施例3
本实施例公开了一种基于CSI数据的行为跨域识别方法，如图1所示，该方法具体包括以下步骤：
步骤1，采集测试对象的行为数据，其中测试对象所在场景与识别模型训练时的目标域为同一场景。
步骤2，采用实施例1中步骤2记载的方法对测试对象的行为数据进行处理，获得重表示的行为数据片段。本实施例选取实施例1的目标域数据集中的除去训练样本外的剩余行为数据片段作为待识别行为数据片段。
步骤3，将重表示的行为数据片段与实施例1的源域数据集中每种类别的重表示的行为数据片段进行配对，获得数据对。本实施例优选的，将重表示的行为数据片段与源域数据集中每种类别中的第一个重表示的行为数据片段进行配对，进而获得数据对，本实施例中的待识别行为数据片段共计生成10个数据对。
步骤4，将10个数据对输入至实施例1的识别模型中，输出每一对数据对的时空特征距离；然后取10组中特征距离最小的数据对，以该数据对中源域数据集对应的行为的标签作为识别结果。
实施例4
本实施例公开了一种基于CSI数据的行为跨域识别系统，该系统包括数据采集模块、数据处理模块、数据配对模块和跨域识别模块，其中，
数据采集模块用于采集测试对象的行为数据，具体的采用布置在相应场景中的发射端(如路由器等)以及接收端(如电脑)采集。其中测试对象所在场景与权利要求1所记载的目标域为同一场景。
数据处理模块用于对测试对象的行为数据进行分割，并将每个分割后的行为数据片段重表示为三维张量。具体包括滤波模块、数据分割模块、信息提取模块、数值统一模块、尺寸缩放模块和堆叠模块。
其中，滤波模块用于采用巴特沃斯低通滤波器对源域数据集和目标域数据集中的数据进行滤波处理；数据分割模块用于采用一维目标检测器提取源域数据集和目标域数据集中每个独立的行为数据片段；信息提取模块用于提取每个独立的行为数据片段的时序信息矩阵、振幅信息矩阵和相位信息矩阵；数值统一模块用于对三个矩阵统一数值范围为[0,1]；尺寸缩放模块用于将每个独立的行为数据片段对应的三个矩阵的尺寸缩放至一定大小；堆叠模块用于将三个矩阵按照层的维度堆叠生成三维张量。
数据配对模块用于对重表示的行为数据片段与识别模型构建中源域数据集中每种类别的重表示的行为数据片段进行配对，生成数据对；本实施例中，将重表示的行为数据片段与源域数据集中每种类别中的第一个重表示的行为数据片段进行配对即可。
跨域识别模块用于将数据对输入至识别模型中，输出时空特征距离最小的数据对中源域数据集对应的行为标签，如下蹲、弯腰等标签。
实施例5
为了验证本发明的识别方法的准确性，将本发明方法与现有的迁移学习、对抗学习两种跨域识别方法进行比较。其中，迁移学习是通过在已有网络上结合目标域行为数据再训练以调整网络权重的方法。对抗学习是通过目标域行为数据与源域行为数据对抗生成新的目标域中的数据，扩充数据集大小以增强学习的方法。在实验对比过程中，除方法外其他设置都相同。
本实施例选取自主采集的数据，共计在4个不同的域下分别采集10种不同的行为动作，在每个域中每种行为各进行20次，共计有行为样本800个。每次选取四个域中的一个域为目标域，其余的域分别作为源域，每次随机选取目标域每类一个样本参与训练，剩余数据进行测试。
在此次采集的数据中，在目标域仅有1个样本数据可用时，本发明的识别方法、迁移学习、对抗学习在目标域上的识别结果如下表1所示。
表1不同方法在目标域种行为识别准确率
Figure BDA0002918878910000161
从表1中可以看出，本发明在目标域仅有1个行为数据的条件下，识别准确率高于其余两种方法，可以在目标域中实现较准确的识别。

Claims (10)

1.基于CSI数据的行为跨域识别模型建立方法，其特征在于，包括以下步骤：
步骤1，建立源域行为数据集和目标域行为数据集，其中，源域行为数据集和目标域行为数据集中均包含N种类别的行为，且这两数据集中行为类别相同；N≥1；
步骤2，数据处理：
步骤2.1，对源域数据集和目标域数据集中的数据分别进行分割，得到源域数据集中所有独立的行为数据片段和目标域数据集中所有独立的行为数据片段；
步骤2.2，获取步骤2.1得到的每个独立的行为数据片段的时序信息、振幅信息和相位信息；基于时序信息、振幅信息和相位信息将每个独立的行为数据片段进行三维张量堆叠处理，得到源域数据集中所有重表示的行为数据集片段和目标域数据中所有重表示的行为数据片段；
步骤3，源域数据与目标域数据配对：
将源域数据集中重表示的行为数据片段与目标域数据集中重表示的行为数据片段进行配对，获得多个数据对；对同类别行为形成的数据对和不同类别行为形成的数据对标注不同的标签；
步骤4，构建孪生网络模型，所述孪生网络模型包括两个孪生模块和一个时空特征距离计算模块；
两个孪生模块分别用于获得每一数据对中两个重表示的行为数据片段的时空特征；
每个孪生模块中均设置有时序特征提取模块、空间特征提取模块和特征融合模块；所述时序特征提取模块用于提取重表示的行为数据片段的时序特征；所述空间特征提取模块用于提取重表示的行为数据片段的空间特征；所述特征融合模块用于将重表示的行为数据片段的时序特征和空间特征进行拼接融合，得到重表示的行为数据片段的时空特征；
所述时空特征距离计算模块用于计算两个孪生模块输出的重表示的行为数据片段的时空特征之间的距离；
将步骤3得到的数据对及其对应的标签输入至孪生网络模型中，训练该孪生网络模型，得到识别模型。
2.如权利要求1所述的基于CSI数据的行为跨域识别模型建立方法，其特征在于，所述步骤2.1中，首先对源域数据集和目标域数据集进行滤波降噪处理，然后再进行分割。
3.如权利要求1所述的基于CSI数据的行为跨域识别模型建立方法，其特征在于，所述步骤2.2中，首先获取每个独立的行为数据片段的时序信息、振幅信息和相位信息，通过最小最大规范化原则缩放至统一数值范围[0,1]，再将每个独立的行为数据片段对应的二维矩阵的尺寸进行缩放处理，然后按照层维度堆叠成三维张量。
4.如权利要求1所述的基于CSI数据的行为跨域识别模型建立方法，其特征在于，所述孪生网络模型中，时序特征提取模块包括四层依次堆叠的双向LSTM层；
空间特征提取模块包括五个卷积块，其中前两个卷积块均包括两个卷积层和一个最大池化层，后三个卷积块均包括三个卷积层和一个最大池化层。
5.如权利要求1所述的基于CSI数据的行为跨域识别模型建立方法，其特征在于，所述步骤4中，按照减小同类别、增大不同类别数据对中行为数据片段的时空特征之间距离的原则训练孪生网络模型。
6.基于CSI数据的行为跨域识别模型建立系统，其特征在于，包括：
样本数据构建模块，用于采集源域行为数据和目标域行为数据，每个数据集中均包含N种类别的行为，将所有源域行为数据保存至源域数据集，所有目标域行为数据保存至目标域数据集；
样本数据分割模块，用于对源域数据集和目标域数据集中的数据分别进行分割，得到源域数据集中所有独立的行为数据片段和目标域数据集中所有独立的行为数据片段；
样本数据重表示模块，用于提取每个独立的行为数据片段的时序信息、振幅信息和相位信息；并将每个独立的行为数据片段的时序信息、振幅信息和相位信息按照层的维度堆叠生成三维张量，将这些三维张量作为重表示的行为数据集片段；
数据配对模块，用于将源域数据集中重表示的行为数据片段与目标域数据集中重表示的行为数据片段进行配对，获得多个数据对；对同类别行为形成的数据对和不同类别行为形成的数据对分别标注不同的标签；
孪生模块，所述孪生模块包括两个，分别用于获得每一数据对中两个重表示的行为数据片段的时空特征；
每个孪生模块中均设置有时序特征提取模块、空间特征提取模块和特征融合模块；所述时序特征提取模块用于提取重表示的行为数据片段的时序特征；所述空间特征提取模块用于提取重表示的行为数据片段的空间特征；所述特征融合模块用于将重表示的行为数据片段的时序特征和空间特征进行拼接融合，得到重表示的行为数据片段的时空特征；
时空特征距离计算模块，用于计算每一数据对中两个重表示的行为数据片段的时空特征之间的距离；
模型训练模块，用于将数据配对模块的配对结果输入至孪生模块中，并根据时空特征距离计算模块的结果对时序特征提取模块和空间特征提取模块的参数进行调整，使得同类别行为数据对的空间特征更为接近，不同类别行为数据对的空间特征更为远离。
7.如权利要求6所述的基于CSI数据的行为跨域识别模型建立系统，其特征在于，所述时序特征提取模块包括四层依次堆叠的双向LSTM层。
8.如权利要求6所述的基于CSI数据的行为跨域识别模型建立系统，其特征在于，所述空间特征提取模块包括五个卷积块，其中前两个卷积块均包括两个卷积层和一个最大池化层，后三个卷积块均包括三个卷积层和一个最大池化层。
9.基于CSI数据的行为跨域识别方法，其特征在于，包括以下步骤：
步骤1，采集测试对象的行为数据，其中测试对象所在场景与权利要求1所记载的目标域为同一场景；
步骤2，采用权利要求1中步骤2记载的方法对测试对象的行为数据进行处理，获得重表示的行为数据片段；
步骤3，将重表示的行为数据片段与权利要求1的源域数据集中每种类别的重表示的行为数据片段进行配对，获得数据对；
步骤4，将步骤3得到的数据对输入至权利要求1所述的识别模型中，输出每一对数据对的时空特征距离；将时空特征距离最小的数据对中源域数据集对应的行为作为识别结果。
10.基于CSI数据的行为跨域识别系统，其特征在于，包括：
数据采集模块，用于采集测试对象的行为数据，其中测试对象所在场景与权利要求1所记载的目标域为同一场景；
数据处理模块，用于对测试对象的行为数据进行分割，并将每个分割后的行为数据片段重表示为三维张量；
数据配对模块，用于对重表示的行为数据片段与权利要求1的源域数据集中每种类别的重表示的行为数据片段进行配对，生成数据对；
跨域识别模块，用于将数据对输入至权利要求1所述的识别模型中，输出时空特征距离最小的数据对中源域数据集对应的行为。
CN202110110788.1A 2021-01-27 2021-01-27 基于csi数据的行为跨域识别模型建立、识别方法及系统 Pending CN112766201A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110110788.1A CN112766201A (zh) 2021-01-27 2021-01-27 基于csi数据的行为跨域识别模型建立、识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110110788.1A CN112766201A (zh) 2021-01-27 2021-01-27 基于csi数据的行为跨域识别模型建立、识别方法及系统

Publications (1)

Publication Number Publication Date
CN112766201A true CN112766201A (zh) 2021-05-07

Family

ID=75706101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110110788.1A Pending CN112766201A (zh) 2021-01-27 2021-01-27 基于csi数据的行为跨域识别模型建立、识别方法及系统

Country Status (1)

Country Link
CN (1) CN112766201A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792576A (zh) * 2021-07-27 2021-12-14 北京邮电大学 基于有监督域适应的人体行为识别方法、电子设备
CN114781463A (zh) * 2022-06-16 2022-07-22 深圳大学 一种跨场景鲁棒的室内摔倒无线检测方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766921A (zh) * 2018-12-19 2019-05-17 合肥工业大学 一种基于深度领域自适应的振动数据故障分类方法
US20200126241A1 (en) * 2018-10-18 2020-04-23 Deepnorth Inc. Multi-Object Tracking using Online Metric Learning with Long Short-Term Memory
CN111401267A (zh) * 2020-03-19 2020-07-10 山东大学 基于自学习局部特征表征的视频行人再识别方法及系统
CN111797814A (zh) * 2020-07-21 2020-10-20 天津理工大学 基于通道融合和分类器对抗的无监督跨域动作识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200126241A1 (en) * 2018-10-18 2020-04-23 Deepnorth Inc. Multi-Object Tracking using Online Metric Learning with Long Short-Term Memory
CN109766921A (zh) * 2018-12-19 2019-05-17 合肥工业大学 一种基于深度领域自适应的振动数据故障分类方法
CN111401267A (zh) * 2020-03-19 2020-07-10 山东大学 基于自学习局部特征表征的视频行人再识别方法及系统
CN111797814A (zh) * 2020-07-21 2020-10-20 天津理工大学 基于通道融合和分类器对抗的无监督跨域动作识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANFEI YANG: "Learning Gestures From WiFi: A Siamese Recurrent Convolutional Architecture", 《IEEE INTERNET OF THINGS JOURNAL》 *
MCLAUGHLIN N: "Recurrent convolutional network for video-based person reidentification", 《PROCEEDINGS OF THE 2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
李明: "一种用于分心驾驶监测的人工智能算法的研究与实现", 《中国优秀硕士学位论文全文数据库》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792576A (zh) * 2021-07-27 2021-12-14 北京邮电大学 基于有监督域适应的人体行为识别方法、电子设备
CN114781463A (zh) * 2022-06-16 2022-07-22 深圳大学 一种跨场景鲁棒的室内摔倒无线检测方法及相关设备

Similar Documents

Publication Publication Date Title
CN108564565A (zh) 一种基于深度学习的电力设备红外图像多目标定位方法
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN104537647A (zh) 一种目标检测方法及装置
CN112764024B (zh) 基于卷积神经网络和Bert的雷达目标识别方法
CN112766201A (zh) 基于csi数据的行为跨域识别模型建立、识别方法及系统
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN113095370A (zh) 图像识别方法、装置、电子设备及存储介质
CN108345900B (zh) 基于颜色纹理分布特征的行人重识别方法及其系统
CN111368635A (zh) 一种基于毫米波的多人步态识别方法及装置
CN108229413A (zh) 病虫害类型识别方法及装置
CN109544546A (zh) 一种基于多目标优化的红外热图像缺陷特征提取方法
CN112507893A (zh) 一种基于边缘计算的分布式无监督行人重识别方法
CN105160285A (zh) 基于立体视觉的自动人体跌倒识别方法及系统
CN114639169A (zh) 基于注意力机制特征融合与位置无关的人体动作识别系统
CN109271833A (zh) 基于栈式稀疏自编码器的目标识别方法、装置及电子设备
CN116385432B (zh) 一种轻量化解耦小麦赤霉病孢子检测方法
CN110580915B (zh) 基于可穿戴式设备的声源目标识别系统
CN117131436A (zh) 面向开放环境的辐射源个体识别方法
CN111325282A (zh) 适应多机型的乳腺x射线影像识别方法和装置
CN116311357A (zh) 基于MBN-Transformer模型的不平衡牛身数据的双边识别方法
CN109784244B (zh) 一种指定目标的低分辨率人脸精确识别方法
CN110738194A (zh) 一种基于点云有序编码的三维物体识别方法
CN113486734B (zh) 一种步态识别方法、系统、设备及存储介质
CN113723468B (zh) 一种三维点云的物体检测方法
CN116047418A (zh) 基于小样本的多模态雷达有源欺骗干扰识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210507

RJ01 Rejection of invention patent application after publication