CN117951614A - 基于信道状态信息的对象活动识别方法及装置 - Google Patents
基于信道状态信息的对象活动识别方法及装置 Download PDFInfo
- Publication number
- CN117951614A CN117951614A CN202410325639.0A CN202410325639A CN117951614A CN 117951614 A CN117951614 A CN 117951614A CN 202410325639 A CN202410325639 A CN 202410325639A CN 117951614 A CN117951614 A CN 117951614A
- Authority
- CN
- China
- Prior art keywords
- target
- feature
- matrix
- convolution
- object activity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 192
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 252
- 238000011176 pooling Methods 0.000 claims abstract description 85
- 230000011218 segmentation Effects 0.000 claims abstract description 78
- 230000002123 temporal effect Effects 0.000 claims abstract description 50
- 230000015654 memory Effects 0.000 claims abstract description 48
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 42
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 32
- 230000004913 activation Effects 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims abstract description 27
- 230000003213 activating effect Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 36
- 230000004927 fusion Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 5
- 230000006403 short-term memory Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了基于信道状态信息的对象活动识别方法，可应用于无线通信技术领域。获取关于目标对象的对象活动数据矩阵；使用滑动窗口沿时间序列方向对对象活动数据矩阵进行分割，得到分割矩阵；将分割矩阵依次输入至卷积神经网络模型和双向长短时记忆网络模型，以便进行下述操作；用多尺度卷积层对分割矩阵进行卷积操作，得到目标第一特征；用激活函数层对目标第一特征进行激活操作，得到目标第二特征；用池化层对目标第二特征进行随机池化操作，得到目标空间特征；用双向长短时记忆网络模型对分割矩阵进行特征提取，得到目标第一时间特征和目标第二时间特征；基于目标空间特征、目标第一时间特征和目标第二时间特征，确定对象活动分类结果。
Description
技术领域
本发明涉及无线通信技术领域，具体地涉及一种基于信道状态信息的对象活动识别方法及装置。
背景技术
随着科技的快速发展，人体动作识别可以应用的领域逐渐增加。例如，人体动作识别可以应用于医疗领域、智能家居领域等。在进行人体动作识别时，人体动作识别系统可以采用不同的技术，如基于可穿戴传感器、雷达、计算机视觉等。由于人体所做动作可以通过无线网络（Wireless Fidelity，WIFI ）信号来捕获，因此基于WiFi的动作识别引起了人们的关注。与其他人体动作识别技术相比，基于WiFi的技术具有成本低、无需穿戴设备、不涉及隐私问题等优势。WiFi信号包括接收信号强度指示（Received Signal StrengthIndicator，RSSI）和信道状态信息（Channel State Information，CSI）。RSSI广泛应用于基于WiFi的人体动作识别，它是多个信号路径的聚合信号强度，具有简单性和低硬件要求的优势，但它只是无线信道的粗略表示。而CSI信号可以从子载波中提取更丰富的多径信息，CSI以物理层为基础，描述了信道的幅度和相位特性，能够更好地反映细粒度的信道信息。
在输入形式上，不同于自然语言的一维序列，每个 CSI 数据输入是一个二维矩阵，二维矩阵的两个轴分别表示时间和信道。尽管许多传统的行为识别方法都取得了良好的性能，但这些方法在时间上没有明确的模型变化和相互依赖性。虽然直观上看，CSI 数据更像一幅二维图像，但由于 CSI 的两个维度的含义是完全不同的，如果使用如卷积神经网络（Convolutional Neural Networks, CNN）等二维卷积模型效果不佳。
发明内容
鉴于上述问题，本发明提供了提高的基于信道状态信息的对象活动识别方法及装置。
根据本发明的第一个方面，提供了一种基于信道状态信息的对象活动识别方法，包括：获取关于目标对象的对象活动数据矩阵，其中，对象活动数据矩阵包括多个对象活动数据单元，每个对象活动数据单元包括按照时间序列排列的多个对象活动数据，每个对象活动数据包括来自传感器的信道状态数据，多个对象活动数据单元分别来自不同的多个传感器，多个传感器同时作用于目标对象上；使用滑动窗口沿对象活动数据矩阵的时间序列方向对对象活动数据矩阵进行分割，得到分割矩阵；将分割矩阵依次输入至卷积神经网络模型和双向长短时记忆网络模型，以便进行下述操作，其中，卷积神经网络模型包括多尺度卷积层、激活函数层和池化层：利用多尺度卷积层对分割矩阵进行卷积操作，得到目标第一特征；利用激活函数层对目标第一特征进行激活操作，得到目标第二特征；利用池化层对目标第二特征进行随机池化操作，得到目标空间特征；将利用双向长短时记忆网络模型对分割矩阵进行特征提取，得到目标第一时间特征和目标第二时间特征；基于目标空间特征、目标第一时间特征和目标第二时间特征，确定对象活动分类结果。
根据本发明的实施例，多尺度卷积层包括多个卷积单元，分割矩阵的个数为多个；利用多尺度卷积层对分割矩阵进行卷积操作，得到目标第一特征，包括：针对第k个分割矩阵，分别利用多个卷积单元中每个卷积单元对第k个分割矩阵进行卷积操作，得到与每个卷积单元各自对应的目标卷积特征，其中，k为正整数；对多个目标卷积特征进行融合操作，得到第k个分割矩阵的融合特征；基于多个分割矩阵中每个分割矩阵的融合特征，确定目标第一特征。
根据本发明的实施例，分别利用多个卷积单元中每个卷积单元对第k个分割矩阵进行卷积操作，得到与每个卷积单元各自对应的目标卷积特征，包括：针对第j个卷积单元，利用第j个卷积单元的第一卷积核对第k个分割矩阵进行卷积操作，得到第j个卷积特征，其中，j为正整数；在确定第j个卷积单元具有第二卷积核的情况下，将第j个卷积单元的第二卷积核分解为第一中间卷积核和第二中间卷积核；利用第一中间卷积核对第j个卷积特征进行卷积操作，得到第j个中间卷积特征；利用第二中间卷积核对第j个第一中间特征进行卷积操作，得到与第j个卷积单元对应的目标卷积特征。
根据本发明的实施例，其中，基于目标空间特征、目标第一时间特征和目标第二时间特征，确定对象活动分类结果，包括：对目标空间特征、目标第一时间特征和目标第二时间特征进行融合操作，得到目标第三特征；将目标第三特征输入至全连接层进行全连接操作，得到目标第四特征；将目标第四特征输入至归一化层进行分类处理，得到对象活动分类结果。
根据本发明的实施例，其中，双向长短时记忆网络模型包括前向层和后向层；其中，将利用双向长短时记忆网络模型对分割矩阵进行特征提取，得到目标第一时间特征和目标第二时间特征，包括：针对第l个分割矩阵，利用前向层处理第l个分割矩阵，得到第l个分割矩阵的第一时间特征，其中，l为正整数；利用后向层处理第l个分割矩阵，得到第l个分割矩阵的第二时间特征；基于多个分割矩阵中每个分割矩阵的第一时间特征，确定目标第一时间特征；基于多个分割矩阵中每个分割矩阵的第二时间特征，确定目标第二时间特征。
根据本发明的实施例，其中，使用滑动窗口沿对象活动数据矩阵的时间序列方向对对象活动数据矩阵进行分割，得到分割矩阵，包括：将滑动窗口沿对象活动数据矩阵的时间序列方向对对象活动数据矩阵进行多次分割，得到多个目标第一分割矩阵；对多个目标第一分割矩阵进行筛选，得到多个分割矩阵。
根据本发明的实施例，其中，获取关于目标对象的对象活动数据矩阵，包括：对原始对象活动数据矩阵中的对象活动数据进行相位校准处理，得到校准后的对象活动数据矩阵；对校准后的对象活动数据矩阵中的对象活动数据进行振幅降噪处理，得到对象活动数据矩阵。
根据本发明的实施例，其中，利用池化层对目标第二特征进行随机池化操作，得到目标空间特征，包括：基于池化层的池化窗口对目标第二特征不同区域进行提取，得到多个池化矩阵；计算多个池化矩阵中每个池化矩阵的概率矩阵，其中，概率矩阵的概率元素是通过池化矩阵中的池化元素除以池化矩阵中所有池化元素之和得到的；针对多个概率矩阵中的每个概率矩阵，按照预设概率选取概率矩阵中的元素，得到目标空间特征。
根据本发明的实施例，其中，将利用双向长短时记忆网络模型对分割矩阵进行特征提取之前，还包括：
本发明的第二方面提供了一种基于信道状态信息的对象活动识别装置，包括：获取模块，用于获取关于目标对象的对象活动数据矩阵，其中，对象活动数据矩阵包括多个对象活动数据单元，每个对象活动数据单元包括按照时间序列排列的多个对象活动数据，每个对象活动数据包括来自传感器的信道状态数据，多个对象活动数据单元分别来自不同的多个传感器，多个传感器同时作用于目标对象上；分割模块，用于使用滑动窗口沿对象活动数据矩阵的时间序列方向对对象活动数据矩阵进行分割，得到分割矩阵；输入模块，用于将分割矩阵依次输入至卷积神经网络模型和双向长短时记忆网络模型，以便进行下述操作，其中，卷积神经网络模型包括多尺度卷积层、激活函数层和池化层：卷积模块，用于利用多尺度卷积层对分割矩阵进行卷积操作，得到目标第一特征；激活模块，用于利用激活函数层对目标第一特征进行激活操作，得到目标第二特征；池化模块，用于利用池化层对目标第二特征进行随机池化操作，得到目标空间特征；特征提取模块，用于利用双向长短时记忆网络模型对分割矩阵进行特征提取，得到目标第一时间特征和目标第二时间特征；确定模块，用于基于目标空间特征、目标第一时间特征和目标第二时间特征，确定对象活动分类结果。
根据本发明的实施例，通过将对象活动数据矩阵分割为分割矩阵，利用卷积神经网络模型和双向长短时记忆网络模型对分割矩阵进行处理，通过对分割矩阵进行处理，而非对整个对象活动数据矩阵进行处理，提升了基于信道状态信息的对象活动识别的效率。通过多尺度卷积层可以充分挖掘分割矩阵中的空间细节特征，提升基于信道状态信息的对象活动识别的准确率。通过目标空间特征、目标第一时间特征和目标第二时间特征三个维度而非单一维度确定对象活动分类结果，提升了对象分类结果的准确性。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
图1示出了根据本发明实施例的基于信道状态信息的对象活动识别方法的应用场景图；
图2示出了根据本发明实施例的基于信道状态信息的对象活动识别方法的流程图；
图3示出了根据本发明实施例的确定对象活动分类结果的流程图；
图4示出了根据本发明实施例的将利用双向长短时记忆网络模型对分割矩阵进行特征提取，得到目标第一时间特征和目标第二时间特征的流程图；
图5示出了根据本发明实施例的基于信道状态信息的对象活动识别方法的数据流图；
图6示出了根据本发明实施例的双向长短时记忆网络模型的结构示意图；
图7示出了根据本发明实施例的利用卷积神经网络模型对分割矩阵进行处理的数据流图；以及
图8示出了根据本发明实施例的基于信道状态信息的对象活动识别装置的结构框图。
具体实施方式
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。
在本发明的技术方案中，所涉及的用户信息（包括但不限于用户个人信息、用户图像信息、用户设备信息，例如位置信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、存储、使用、加工、传输、提供、公开和应用等处理，均遵守相关国家和地区的相关法律法规和标准，采取了必要保密措施，不违背公序良俗，并提供有相应的操作入口，供用户选择授权或者拒绝。
本发明的实施例提供了一种基于信道状态信息的对象活动识别方法，获取关于目标对象的对象活动数据矩阵，其中，对象活动数据矩阵包括多个对象活动数据单元，每个对象活动数据单元包括按照时间序列排列的多个对象活动数据，每个对象活动数据包括来自传感器的信道状态数据，多个对象活动数据单元分别来自不同的多个传感器，多个传感器同时作用于目标对象上；使用滑动窗口沿对象活动数据矩阵的时间序列方向对对象活动数据矩阵进行分割，得到分割矩阵；将分割矩阵依次输入至卷积神经网络模型和双向长短时记忆网络模型，以便进行下述操作，其中，卷积神经网络模型包括多尺度卷积层、激活函数层和池化层：利用多尺度卷积层对分割矩阵进行卷积操作，得到目标第一特征；利用激活函数层对目标第一特征进行激活操作，得到目标第二特征；利用池化层对目标第二特征进行随机池化操作，得到目标空间特征；将利用双向长短时记忆网络模型对分割矩阵进行特征提取，得到目标第一时间特征和目标第二时间特征；基于目标空间特征、目标第一时间特征和目标第二时间特征，确定对象活动分类结果。
图1示出了根据本发明实施例的基于信道状态信息的对象活动识别的应用场景图。
如图1所示，根据该实施例的应用场景可以包括第一终端设备101、第二终端设备102、第三终端设备103、第四终端设备104、网络105和服务器106。网络105用以在第一终端设备101、第二终端设备102、第三终端设备103、第四终端设备104和服务器106之间提供通信链路的介质。网络105可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第二终端设备102、第三终端设备103、第四终端设备104通过网络105与服务器106交互，以接收或发送消息等。用户可以使用第二终端设备102、第三终端设备103、第四终端设备104通过网络105与第一终端设备101交互，以接收或发送消息等。第二终端设备102、第三终端设备103、第四终端设备104上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等（仅为示例）。
第一终端设备101可以是通过网络105的流量进行路由或另外转发的任何网络设备。第二终端设备102、第三终端设备103、第四终端设备104可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器106可以是提供各种服务的服务器，例如对用户利用第二终端设备102、第三终端设备103、第四终端设备104所浏览的网站提供支持的后台管理服务器（仅为示例）。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果（例如根据用户请求获取或生成的网页、信息、或数据等）反馈给第二终端设备102、第三终端设备103、第四终端设备104。
需要说明的是，本发明实施例所提供的基于信道状态信息的对象活动识别方法一般可以由服务器106执行。相应地，本发明实施例所提供的基于信道状态信息的对象活动识别装置一般可以设置于服务器106中。本发明实施例所提供的基于信道状态信息的对象活动识别方法也可以由不同于服务器106且能够与第一终端设备101、第二终端设备102、第三终端设备103、第四终端设备104和/或服务器106通信的服务器或服务器集群执行。相应地，本发明实施例所提供的基于信道状态信息的对象活动识别装置也可以设置于不同于服务器106且能够与第一终端设备101、第二终端设备102、第三终端设备103、第四终端设备104和/或服务器106通信的服务器或服务器集群中。
根据本发明的实施例，第一终端设备101可以捕获目标对象的对象活动数据矩阵，并将对象活动数据矩阵传输至服务器106。第二终端设备102、第三终端设备103通过网络105向服务器106发送获取关于目标对象的对象活动数据矩阵的请求，服务器106获取关于目标对象的对象活动数据矩阵，其中，对象活动数据矩阵包括多个对象活动数据单元，每个对象活动数据单元包括按照时间序列排列的多个对象活动数据，每个对象活动数据包括来自传感器的信道状态数据，多个对象活动数据单元分别来自不同的多个传感器，多个传感器同时作用于目标对象上；使用滑动窗口沿对象活动数据矩阵的时间序列方向对对象活动数据矩阵进行分割，得到分割矩阵；将分割矩阵依次输入至卷积神经网络模型和双向长短时记忆网络模型，以便进行下述操作，其中，卷积神经网络模型包括多尺度卷积层、激活函数层和池化层：利用多尺度卷积层对分割矩阵进行卷积操作，得到目标第一特征；利用激活函数层对目标第一特征进行激活操作，得到目标第二特征；利用池化层对目标第二特征进行随机池化操作，得到目标空间特征；将利用双向长短时记忆网络模型对分割矩阵进行特征提取，得到目标第一时间特征和目标第二时间特征；基于目标空间特征、目标第一时间特征和目标第二时间特征，确定对象活动分类结果，通过网络105向第二终端设备102、第三终端设备103、第四终端设备104发送对象活动分类结果。第一终端设备101、第二终端设备102、第三终端设备103、第四终端设备104接收对象活动分类结果。
应该理解，图1中的第一终端设备、第二终端设备、第三终端设备、第四终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的第一终端设备、第二终端设备、第三终端设备、第四终端设备、网络和服务器。
以下将基于图1描述的场景，通过图2~图7对发明实施例的基于信道状态信息的对象活动识别方法进行详细描述。
图2示出了根据本发明实施例的基于信道状态信息的对象活动识别方法的流程图。
如图2所示，该方法包括操作S210~操作S280。
在操作S210，获取关于目标对象的对象活动数据矩阵，其中，对象活动数据矩阵包括多个对象活动数据单元，每个对象活动数据单元包括按照时间序列排列的多个对象活动数据，每个对象活动数据包括来自传感器的信道状态数据，多个对象活动数据单元分别来自不同的多个传感器，多个传感器同时作用于目标对象上。
根据本发明的实施例，目标对象可以是人、动物等具有活动能力的对象。
根据本发明的实施例，传感器可以是WiFi设备的天线，多个传感器可以是同一个WiFi设备的不同天线，也可以是不同WiFi设备的不同天线。
在操作S220，使用滑动窗口沿对象活动数据矩阵的时间序列方向对对象活动数据矩阵进行分割，得到分割矩阵。
根据本发明的实施例，分割矩阵的列数可以与对象活动数据矩阵的列数相同。
根据本发明的实施例，分割矩阵的个数可以是多个。
根据本发明的实施例，按照预设步长和预设滑动窗口的大小沿对象活动数据矩阵的时间序列方向对进行滑窗扫描，得到分割矩阵。
在操作S230，将分割矩阵依次输入至卷积神经网络模型和双向长短时记忆网络模型，以便进行下述操作，其中，卷积神经网络模型包括多尺度卷积层、激活函数层和池化层。
根据本发明的实施例，卷积神经网络模型可以为基于样本对象活动数据矩阵训练得到的，样本对象活动数据矩阵为与对象活动数据矩阵具有相同结构的样本。
根据本发明的实施例，多尺度卷积层可以包括多个具有不同尺度卷积核的卷积单元。
根据本发明的实施例，激活函数层可以使用例如RELU等激活函数。
根据本发明的实施例，池化层可以是随机池化层。
在操作S240，利用多尺度卷积层对分割矩阵进行卷积操作，得到目标第一特征。
根据本发明的实施例，可以分别利用多尺度卷积层的不同卷积单元分别对分割矩阵进行卷积操作，得到多个卷积特征。对多个卷积特征进行组合，得到目标第一特征。
在操作S250，利用激活函数层对目标第一特征进行激活操作，得到目标第二特征。
根据本发明的实施例，可以利用激活函数层的例如RELU等激活函数对目标第一特征进行激活操作，得到与目标第一特征对应的目标第二特征。
在操作S260，利用池化层对目标第二特征进行随机池化操作，得到目标空间特征。
根据本发明的实施例，可以利用池化层如随机池化层对目标第二特征进行随机池化操作，得到目标空间特征。
在操作S270，利用双向长短时记忆网络模型对分割矩阵进行特征提取，得到目标第一时间特征和目标第二时间特征。
根据本发明的实施例，双向长短时记忆网络模型可以为基于样本对象活动数据矩阵训练得到的，样本对象活动数据矩阵为与对象活动数据矩阵具有相同结构的样本。
根据本发明的实施例，目标第一时间特征与目标第二时间特征具有不同的输出方向。目标第一时间特征可以为基于双向长短时记忆网络模型输出的正向时间特征，目标第二时间特征可以为基于双向长短时记忆网络模型输出的反向时间特征。
在操作S280，基于目标空间特征、目标第一时间特征和目标第二时间特征，确定对象活动分类结果。
根据本发明的实施例，对象活动分类结果可以包括多个对象活动分类，对象活动分类可以是任意一种活动分类，例如可以是“躺下（bed）”、“跌倒（fall）”、“捡起（pickup）”、“奔跑（run）”、“坐下（sit down）”、“起立（stand up）”或“行走（walk）”。
根据本发明的实施例，可以将目标空间特征、目标第一时间特征和目标第二时间特征进行融合，得到中间特征，对中间特征进行分类，得到对象活动分类结果。
根据本发明的实施例，通过将对象活动数据矩阵分割为分割矩阵，利用卷积神经网络模型和双向长短时记忆网络模型对分割矩阵进行处理，通过对分割矩阵进行处理，而非对整个对象活动数据矩阵进行处理，提升了基于信道状态信息的对象活动识别的效率。通过多尺度卷积层可以充分挖掘分割矩阵中的空间细节特征，提升基于信道状态信息的对象活动识别的准确率。通过目标空间特征、目标第一时间特征和目标第二时间特征三个维度而非单一维度确定对象活动分类结果，提升了对象分类结果的准确性。
根据本发明的实施例，多尺度卷积层包括多个卷积单元，分割矩阵的个数为多个；利用多尺度卷积层对分割矩阵进行卷积操作，得到目标第一特征，可以包括如下操作：针对第k个分割矩阵，分别利用多个卷积单元中每个卷积单元对第k个分割矩阵进行卷积操作，得到与每个卷积单元各自对应的目标卷积特征，其中，k为正整数；对多个目标卷积特征进行融合操作，得到第k个分割矩阵的融合特征；基于多个分割矩阵中每个分割矩阵的融合特征，确定目标第一特征。
根据本发明的实施例，卷积单元可以包括多个卷积核，还可以包括单个卷积核，不同的卷积单元可以包括不同的卷积核。
根据本发明的实施例，多个卷积单元可以同时对分割矩阵进行卷积操作。在卷积单元包括多个卷积核的情况下，可以按照多个卷积核的顺序依次进行卷积操作，得到与卷积单元对应的目标卷积特征。
根据本发明的实施例，可以将多个分割矩阵中每个分割矩阵的融合特征，按照分割顺序进行组合，得到组合特征，将组合特征确定为目标第一特征。
根据本发明的实施例，分别利用多个卷积单元中每个卷积单元对第k个分割矩阵进行卷积操作，得到与每个卷积单元各自对应的目标卷积特征，可以包括如下操作：针对第j个卷积单元，利用第j个卷积单元的第一卷积核对第k个分割矩阵进行卷积操作，得到第j个卷积特征，其中，j为正整数；在确定第j个卷积单元具有第二卷积核的情况下，将第j个卷积单元的第二卷积核分解为第一中间卷积核和第二中间卷积核；利用第一中间卷积核对第j个卷积特征进行卷积操作，得到第j个中间卷积特征；利用第二中间卷积核对第j个第一中间特征进行卷积操作，得到与第j个卷积单元对应的目标卷积特征。
根据本发明的实施例，在利用第j个卷积单元的第一卷积核对第k个分割矩阵进行卷积操作之前，可以将第k个分割矩阵转换为满足第j个卷积单元的输入形式的输入特征，之后第j个卷积单元的第一卷积核对第k个分割矩阵进行卷积操作。
例如，第j个卷积单元的输入形式的输入特征为NN/>n_chanel，N可以表示输入形式的维度大小，n_chanel 可以表示第j个卷积单元的通道数。
根据本发明的实施例，第一卷积核可以为1×1卷积核。第二卷积核可以为n×n卷积核，第一中间卷积核可以为1×n卷积核，第二中间卷积核可以为n×1卷积核，n为大于1的正整数。通过第一中间卷积核和第二中间卷积核实现n×n卷积核的卷积操作，计算开销大约为（1n + n/>1) / (n/>n) = 2/n。
根据本发明的实施例，在确定第j个卷积单元不具有第二卷积核的情况下，可以使用第一卷积核对第k个分割矩阵进行卷积操作，得到第j个卷积特征，将第j个卷积特征作为第j个卷积单元的目标卷积特征。
根据本发明的实施例，在确定第j个卷积单元具有第二卷积核的情况下，利用第一中间卷积核对第j个卷积特征进行卷积操作，得到第j个中间卷积特征；利用第二中间卷积核对第j个第一中间特征进行卷积操作，得到与第j个卷积单元对应的目标卷积特征。
根据本发明的实施例，通过第一卷积核可以对分割矩阵进行降维，即限制输入通道数量，不仅可以减少卷积单元的参数量，还可以压缩卷积单元的通道数，提高卷积单元的计算效率。在确定卷积单元具有第二卷积核的情况下，先通过第一卷积核进行卷积操作，再通过第一中间卷积核和第二中间卷积核，减少计算开销的同时减少大量参数，提高卷积单元的运算速度，减少卷积单元的过拟合。同时由于将第二卷积核转换为第一中间卷积核和第二中间卷积核，增加了非线性结构，提升了卷积单元的表达能力。
图3示出了根据本发明实施例的确定对象活动分类结果的流程图。
如图3所示，在该实施例中，包括操作S341~操作S343。
在操作S341，对目标空间特征、目标第一时间特征和目标第二时间特征进行融合操作，得到目标第三特征。
根据本发明的实施例，目标第一时间特征与目标第二时间特征具有不同的输出方向。目标第一时间特征可以为基于双向长短时记忆网络模型输出的正向时间特征，目标第二时间特征可以为基于双向长短时记忆网络模型输出的反向时间特征。目标第一时间特征可以用于表示未来时间的特征，目标第二时间特征可以用于表示是过去时间的特征。
根据本发明的实施例，目标第一时间特征可以是多个正向时间特征的集合。目标第二时间特征可以是多个反向时间特征的集合。目标空间特征可以是多个空间特征的集合。对目标空间特征、目标第一时间特征和目标第二时间特征进行融合操作，可以是对目标空间特征、目标第一时间特征和目标第二时间特征分别对应的集合进行的融合操作。
在操作S342，将目标第三特征输入至全连接层进行全连接操作，得到目标第四特征。
在操作S343，将目标第四特征输入至归一化层进行分类处理，得到对象活动分类结果。
根据本发明的实施例，归一化层可以为softmax。
根据本发明的实施例，对象活动分类结果可以是任意一种活动的分类结果，例如可以是“躺下（bed）”、“跌倒（fall）”、“捡起（pick up）”、“奔跑（run）”、“坐下（sit down）”、“起立（stand up）”或“行走（walk）”。
根据本发明的实施例，目标第三特征依次经过全连接层和归一化层，即可得到对象活动分类结果。
根据本发明的实施例，利用目标空间特征、目标第一时间特征和目标第二时间特征多个维度的特征共同识别对象活动分类结果，提升了对象活动分类结果的准确性。
图4示出了根据本发明实施例的将利用双向长短时记忆网络模型对分割矩阵进行特征提取，得到目标第一时间特征和目标第二时间特征的流程图。
如图4所示，在该实施例中，包括操作S471~操作S474。
在操作S471，针对第l个分割矩阵，利用前向层处理第l个分割矩阵，得到第l个分割矩阵的第一时间特征，其中，l为正整数。
根据本发明的实施例，前向层可以包括多个前向子层，每个前向子层的输入特征包括前一个前向子层的输出特征以及第l个分割矩阵的部分数据。
根据本发明的实施例，第一时间特征可以是前向层的多个前向子层输出特征的融合特征。
在操作S472，利用后向层处理第l个分割矩阵，得到第l个分割矩阵的第二时间特征。
根据本发明的实施例，后向层可以包括多个后向子层，每个后向子层的输入特征包括对应的前向子层的输出特征以及后一个后向子层的输出特征。
根据本发明的实施例，第一时间特征可以是后向层的多个后向子层输出特征的融合特征。
在操作S473，基于多个分割矩阵中每个分割矩阵的第一时间特征，确定目标第一时间特征。
根据本发明的实施例，目标第一时间特征可以用于表示未来时间的特征，目标第二时间特征可以用于表示是过去时间的特征。
根据本发明的实施例，可以对多个分割矩阵中每个分割矩阵的第一时间特征进行编号，得到编号顺序。将多个分割矩阵中每个分割矩阵的第一时间特征，按照编号顺序进行组合，得到目标第一时间特征。
在操作S474，基于多个分割矩阵中每个分割矩阵的第二时间特征，确定目标第二时间特征。
根据本发明的实施例，将多个分割矩阵中每个分割矩阵的第二时间特征，按照编号顺序进行组合，得到目标第二时间特征。
根据本发明的实施例，通过前向层获取分割矩阵的目标第一时间特征，通过后向层获取分割矩阵的目标第二时间特征，得到两个维度的时间特征，充分挖掘分割矩阵中对象活动数据的时间特征。
图5示出了根据本发明实施例的基于信道状态信息的对象活动识别方法的数据流图。
如图5所示，在该实施例中，对象活动识别方法的数据流图包括对象活动数据矩阵510、双向长短时记忆网络模型520、卷积神经网络模型530、目标第三特征540、全连接层550、归一化层560。卷积神经网络模型530包括多尺度卷积层530_1、多尺度卷积层530_1对应的目标卷积特征530_2以及目标空间特征530_3。
根据本发明的实施例，使用滑动窗口沿对象活动数据矩阵的时间序列方向对对象活动数据矩阵510进行分割，并分别转换为适合双向长短时记忆网络模型520和卷积神经网络模型530输入形式的输入特征的分割矩阵。将分割矩阵依次输入至卷积神经网络模型530和双向长短时记忆网络模型520，分别得到目标空间特征530_3和双向长短时记忆网络模型520的输出特征，双向长短时记忆网络模型520的输出特征包括目标第一时间特征和目标第二时间特征。
根据本发明的实施例，分割矩阵经过多尺度卷积层530_1，得到目标卷积特征530_2，对目标卷积特征530_2依次进行激活操作和随机池化操作，得到目标空间特征530_3。
根据本发明的实施例，多尺度卷积层530_1包括多个卷积单元，不同卷积单元具有不同的卷积核。目标卷积特征530_2包括与多尺度卷积层530_1的多个卷积单元对应的目标卷积特征。目标空间特征530_3包括与多尺度卷积层530_1的多个卷积单元对应的目标空间特征。
根据本发明的实施例，目标空间特征530_3与双向长短时记忆网络模型520的目标第一时间特征和目标第二时间特征进行融合，得到目标第三特征540，将目标第三特征540依次输入至全连接层550、归一化层560，得到对象活动分类结果。
根据本发明的实施例，双向长短时记忆网络模型还可以包括输出层，用于输出目标第一时间特征和目标第二时间特征。
图6示出了根据本发明实施例的双向长短时记忆网络模型的结构示意图。
如图6所示，双向长短时记忆网络模型的示意图包括分割矩阵610、前向层620、后向层630和输出层640。
根据本发明的实施例，X_t、X_t+1、X_t+n分别表示t时刻、t+1时刻、t+n时刻的分割矩阵的对象活动数据。LSTM1_t、LSTM1_t+1、LSTM1_t+n分别表示t时刻、t+1时刻、t+n时刻的前向层的前向子层。LSTM2_t、LSTM2_t+1、LSTM2_t+n分别表示t时刻、t+1时刻、t+n时刻的后向层的后向子层。h_t、h_t+1、h_t+n分别表示t时刻、t+1时刻、t+n时刻的输出层的输出子层。
根据本发明的实施例，针对t时刻的前向层的前向子层LSTM1_t，其输入特征包括t-1时刻的前向子层的输出特征以及t时刻的分割矩阵的对象活动数据X_t。t+1时刻的前向子层LSTM1_t+1的输入特征和t+n时刻的前向子层LSTM1_t+n的输入特征与t时刻的前向子层LSTM1_t的输入特征类似。
根据本发明的实施例，针对t时刻的后向层的后向子层LSTM2_t，其输入特征包括t时刻的前向子层LSTM1_t的输出特征以及t+1时刻的后向子层LSTM2_t+1的输出特征。t+1时刻的后向子层LSTM2_t+1的输入特征和t+n时刻的后向子层LSTM2_t+n的输入特征与t时刻的后向子层LSTM2_t的输入特征类似。
根据本发明的实施例，针对t时刻的输出层的输出子层h_t，其输出特征包括t时刻的前向子层LSTM1_t的输出特征以及t时刻的后向子层LSTM2_t的输出特征，即分别为目标第一时间特征和目标第二时间特征。t+1时刻的输出子层h_t+1的输出特征和t+n时刻的输出子层h_t+n的输出特征与t时刻的输出子层h_t的输出特征类似。
图7示出了根据本发明实施例的利用卷积神经网络模型对分割矩阵进行处理的数据流图。
如图7所示，卷积神经网络模型的示意图包括分割矩阵710、卷积神经网络模型720、全连接层730和归一化层740。卷积神经网络模型720包括多尺度卷积层720_1、激活函数层720_2和池化层720_3。
根据本发明的实施例，可以将分割矩阵710转换为满足多尺度卷积层的卷积单元的输入形式的输入特征。利用多尺度卷积层720_1对分割矩阵710进行卷积操作，得到目标第一特征。利用激活函数层720_2对目标第一特征进行激活操作，得到目标第二特征。利用池化层720_3对目标第二特征进行随机池化操作，得到目标空间特征。
根据本发明的实施例，通过将目标空间特征、目标第一时间特征和目标第二时间特征进行融合，得到目标第三特征。将目标第三特征输入至全连接层进行全连接操作，得到目标第四特征。将目标第四特征输入至归一化层进行分类处理，得到对象活动分类结果。
根据本发明的实施例，其中，使用滑动窗口沿对象活动数据矩阵的时间序列方向对对象活动数据矩阵进行分割，得到分割矩阵，可以包括如下操作：将滑动窗口沿对象活动数据矩阵的时间序列方向对对象活动数据矩阵进行多次分割，得到多个目标第一分割矩阵；对多个目标第一分割矩阵进行筛选，得到多个分割矩阵。
根据本发明的实施例，滑动窗口可以设置为50090的滑动窗口。目标第一分割矩阵的维度可以与滑动窗口的维度相同。
根据本发明的实施例，可以对目标第一分割矩阵的对象活动数据进行数据清洗，数据清洗的活动阈值设置为0.6，在目标第一分割矩阵满足活动阈值的情况下，将目标第一分割矩阵确定为分割矩阵。在目标第一分割矩阵不满足活动阈值的情况下，将目标第一分割矩阵舍弃。
根据本发明的实施例，通过对多个目标第一分割矩阵中每个目标第一分割矩阵的对象活动数据进行数据清洗，从多个目标第一分割矩阵筛选满足活动阈值的目标第一分割矩阵，得到多个分割矩阵。
根据本发明的实施例，其中，获取关于目标对象的对象活动数据矩阵，可以包括如下操作：对原始对象活动数据矩阵中的对象活动数据进行相位校准处理，得到校准后的对象活动数据矩阵；对校准后的对象活动数据矩阵中的对象活动数据进行振幅降噪处理，得到对象活动数据矩阵。
根据本发明的实施例，振幅降噪处理可以为中值滤波降噪。
根据本发明的实施例，可以获取接收端的WiFi网卡数据中的WiFi信道状态信息矩阵，即WIFI CSI矩阵，将WiFi信道状态信息矩阵的振幅部分和相位部分构成为原始对象活动数据矩阵。
根据本发明的实施例，可以对原始对象活动数据矩阵中相位偏移的对象活动数据进行相位校准处理，得到校准后的对象活动数据矩阵。对校准后的对象活动数据矩阵中振幅衰减的对象活动数据进行振幅降噪处理，得到对象活动数据矩阵。
根据本发明的实施例，其中，利用池化层对目标第二特征进行随机池化操作，得到目标空间特征，可以包括如下操作：基于池化层的池化窗口对目标第二特征不同区域进行提取，得到多个池化矩阵；计算多个池化矩阵中每个池化矩阵的概率矩阵，其中，概率矩阵的概率元素是通过池化矩阵中的池化元素除以池化矩阵中所有池化元素之和得到的；针对多个概率矩阵中的每个概率矩阵，按照预设概率选取概率矩阵中的元素，得到目标空间特征。
根据本发明的实施例，通过池化层的随机池化操作而非最大值池化操作，使得池化层具有更强的泛化能力。
根据本发明的实施例，其中，将利用双向长短时记忆网络模型对分割矩阵进行特征提取之前，还可以包括如下操作：对分割矩阵进行扁平化处理，得到双向长短时记忆网络模型的输入矩阵，其中，输入矩阵为一维矩阵。
根据本发明的实施例，通过对分割矩阵进行扁平化处理，得到满足双向长短时记忆网络模型的输入形式的输入矩阵。例如，输入矩阵的列数为Mn_chanel个，M 可以表示输入形式的维度大小，n_chanel 可以表示双向长短时记忆网络模型的通道数。
根据本发明的实施例，通过对分割矩阵进行扁平化处理，得到满足双向长短时记忆网络模型的输入形式的输入矩阵，无需双向长短时记忆网络模型对分割矩阵进行处理，进而提升双向长短时记忆网络模型的处理效率。
根据本发明的实施例，利用基于信道状态信息的对象活动识别方法对公开数据集Office Room进行了实验，得到对象活动分类结果，将对象活动分类结果与公开数据集Office Room对应的分类标签进行比较验证，得到实验结果，以验证基于信道状态信息的对象活动识别方法的有效性。公开数据集Office Room通过Linux 802.11n CSI设备采集CSI数据，CSI设备包含3根天线，每根天线有30个子载波，公开数据集Office Room中CSI维度为330/>T，其中T表示时间序列。对象活动分类包括“躺下（bed）”、“跌倒（fall）”、“捡起（pick up）”、“奔跑（run）”、“坐下（sit down）”、“起立（stand up）”或“行走（walk）”。
根据本发明的实施例，将基于信道状态信息的对象活动识别方法的实验结果与本领域经典的深度学习感知算法进行比较，包括多层感知机（Multilayer Perceptron，MLP）、CNN、长短期记忆网络（Long Short-Term Memory，LSTM）。表1显示了比较结果，根据表1内容可知，基于信道状态信息的对象活动识别方法的实验结果为97.4，表明基于信道状态信息的对象活动识别方法具有高有效性。
表1 Office Room数据集实验结果
基于上述基于信道状态信息的对象活动识别方法，本发明还提供了一种基于信道状态信息的对象活动识别装置。
图8示出了根据本发明实施例的基于信道状态信息的对象活动识别装置的结构框图。
如图8所示，该实施例的基于信道状态信息的对象活动识别装置包括获取模块810、分割模块820、输入模块830、卷积模块840、激活模块850、池化模块860、特征提取模块870和确定模块880。
获取模块810，用于获取关于目标对象的对象活动数据矩阵，其中，对象活动数据矩阵包括多个对象活动数据单元，每个对象活动数据单元包括按照时间序列排列的多个对象活动数据，每个对象活动数据包括来自传感器的信道状态数据，多个对象活动数据单元分别来自不同的多个传感器，多个传感器同时作用于目标对象上。
分割模块820，用于使用滑动窗口沿对象活动数据矩阵的时间序列方向对对象活动数据矩阵进行分割，得到分割矩阵。
输入模块830，用于将分割矩阵依次输入至卷积神经网络模型和双向长短时记忆网络模型，以便进行下述操作，其中，卷积神经网络模型包括多尺度卷积层、激活函数层和池化层。
卷积模块840，用于利用多尺度卷积层对分割矩阵进行卷积操作，得到目标第一特征。
激活模块850，用于利用激活函数层对目标第一特征进行激活操作，得到目标第二特征。
池化模块860，用于利用池化层对目标第二特征进行随机池化操作，得到目标空间特征。
特征提取模块870，用于利用双向长短时记忆网络模型对分割矩阵进行特征提取，得到目标第一时间特征和目标第二时间特征。
确定模块880，用于基于目标空间特征、目标第一时间特征和目标第二时间特征，确定对象活动分类结果。
根据本发明的实施例，卷积模块840可以包括卷积单元、融合单元和确定单元。
卷积单元，用于针对第k个分割矩阵，分别利用多个卷积单元中每个卷积单元对第k个分割矩阵进行卷积操作，得到与每个卷积单元各自对应的目标卷积特征。
第一融合单元，用于对多个目标卷积特征进行融合操作，得到第k个分割矩阵的融合特征。
第一确定单元，用于基于多个分割矩阵中每个分割矩阵的融合特征，确定目标第一特征。
根据本发明的实施例，卷积单元可以包括第一卷积子单元、分解子单元、第二卷积子单元和第三卷积子单元。
第一卷积子单元，用于针对第j个卷积单元，利用第j个卷积单元的第一卷积核对第k个分割矩阵进行卷积操作，得到第j个卷积特征。
分解子单元，用于在确定第j个卷积单元具有第二卷积核的情况下，将第j个卷积单元的第二卷积核分解为第一中间卷积核和第二中间卷积核。
第二卷积子单元，用于利用第一中间卷积核对第j个卷积特征进行卷积操作，得到第j个中间卷积特征。
第三卷积子单元，用于利用第二中间卷积核对第j个第一中间特征进行卷积操作，得到与第j个卷积单元对应的目标卷积特征
根据本发明的实施例，确定模块880可以包括第二融合单元、全连接操作单元和分类单元。
第二融合单元，用于对目标空间特征、目标第一时间特征和目标第二时间特征进行融合操作，得到目标第三特征。
全连接操作单元，用于将目标第三特征输入至全连接层进行全连接操作，得到目标第四特征。
分类单元，用于将目标第四特征输入至归一化层进行分类处理，得到对象活动分类结果。
根据本发明的实施例，特征提取模块870可以包括第一处理单元、第二处理单元、第二确定单元和第三确定单元。
第一处理单元，用于针对第l个分割矩阵，利用前向层处理第l个分割矩阵，得到第l个分割矩阵的第一时间特征。
第二处理单元，用于利用后向层处理第l个分割矩阵，得到第l个分割矩阵的第二时间特征。
第二确定单元，用于基于多个分割矩阵中每个分割矩阵的第一时间特征，确定目标第一时间特征。
第三确定单元，用于基于多个分割矩阵中每个分割矩阵的第二时间特征，确定目标第二时间特征。
根据本发明的实施例，分割模块820可以包括分割单元和筛选单元。
分割单元，用于将滑动窗口沿对象活动数据矩阵的时间序列方向对对象活动数据矩阵进行多次分割，得到多个目标第一分割矩阵。
筛选单元，用于对多个目标第一分割矩阵进行筛选，得到多个分割矩阵。
根据本发明的实施例，获取模块810可以包括校准单元和降噪单元。
校准单元，用于对原始对象活动数据矩阵中的对象活动数据进行相位校准处理，得到校准后的对象活动数据矩阵。
降噪单元，用于对校准后的对象活动数据矩阵中的对象活动数据进行振幅降噪处理，得到对象活动数据矩阵。
根据本发明的实施例，池化模块860可以包括提取单元、计算单元和选取单元。
提取单元，用于基于池化层的池化窗口对目标第二特征不同区域进行提取，得到多个池化矩阵。
计算单元，用于计算多个池化矩阵中每个池化矩阵的概率矩阵，其中，概率矩阵的概率元素是通过池化矩阵中的池化元素除以池化矩阵中所有池化元素之和得到的。
选取单元，用于针对多个概率矩阵中的每个概率矩阵，按照预设概率选取概率矩阵中的元素，得到目标空间特征。
根据本发明的实施例，特征提取模块870之前还包括：扁平化处理单元。
扁平化处理单元，用于对分割矩阵进行扁平化处理，得到双向长短时记忆网络模型的输入矩阵，其中，输入矩阵为一维矩阵。
根据本发明的实施例，获取模块810、分割模块820、输入模块830、卷积模块840、激活模块850、池化模块860、特征提取模块870和确定模块880中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，获取模块810、分割模块820、输入模块830、卷积模块840、激活模块850、池化模块860、特征提取模块870和确定模块880中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块810、分割模块820、输入模块830、卷积模块840、激活模块850、池化模块860、特征提取模块870和确定模块880中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。
Claims (10)
1.一种基于信道状态信息的对象活动识别方法，其特征在于，所述方法包括：
获取关于目标对象的对象活动数据矩阵，其中，所述对象活动数据矩阵包括多个对象活动数据单元，每个所述对象活动数据单元包括按照时间序列排列的多个对象活动数据，每个对象活动数据包括来自传感器的信道状态数据，所述多个对象活动数据单元分别来自不同的多个所述传感器，多个所述传感器同时作用于所述目标对象上；
使用滑动窗口沿所述对象活动数据矩阵的时间序列方向对所述对象活动数据矩阵进行分割，得到分割矩阵；
将所述分割矩阵依次输入至卷积神经网络模型和双向长短时记忆网络模型，以便进行下述操作，其中，所述卷积神经网络模型包括多尺度卷积层、激活函数层和池化层：
利用所述多尺度卷积层对所述分割矩阵进行卷积操作，得到目标第一特征；
利用所述激活函数层对所述目标第一特征进行激活操作，得到目标第二特征；
利用所述池化层对所述目标第二特征进行随机池化操作，得到目标空间特征；
利用所述双向长短时记忆网络模型对所述分割矩阵进行特征提取，得到目标第一时间特征和目标第二时间特征；
基于所述目标空间特征、所述目标第一时间特征和所述目标第二时间特征，确定对象活动分类结果。
2.根据权利要求1所述的方法，其特征在于，所述多尺度卷积层包括多个卷积单元，所述分割矩阵的个数为多个；
所述利用所述多尺度卷积层对所述分割矩阵进行卷积操作，得到目标第一特征，包括：
针对第k个分割矩阵，分别利用所述多个卷积单元中每个卷积单元对所述第k个分割矩阵进行卷积操作，得到与所述每个卷积单元各自对应的目标卷积特征，其中，k为正整数；
对多个所述目标卷积特征进行融合操作，得到所述第k个分割矩阵的融合特征；
基于所述多个分割矩阵中每个分割矩阵的融合特征，确定所述目标第一特征。
3.根据权利要求2所述的方法，其特征在于，所述分别利用所述多个卷积单元中每个卷积单元对所述第k个分割矩阵进行卷积操作，得到与所述每个卷积单元各自对应的目标卷积特征，包括：
针对第j个卷积单元，利用所述第j个卷积单元的第一卷积核对所述第k个分割矩阵进行卷积操作，得到第j个卷积特征，其中，j为正整数；
在确定所述第j个卷积单元具有第二卷积核的情况下，将所述第j个卷积单元的第二卷积核分解为第一中间卷积核和第二中间卷积核；
利用所述第一中间卷积核对所述第j个卷积特征进行卷积操作，得到第j个中间卷积特征；
利用所述第二中间卷积核对所述第j个第一中间特征进行卷积操作，得到与所述第j个卷积单元对应的目标卷积特征。
4.根据权利要求1所述的方法，其特征在于，所述基于所述目标空间特征、所述目标第一时间特征和所述目标第二时间特征，确定对象活动分类结果，包括：
对所述目标空间特征、所述目标第一时间特征和所述目标第二时间特征进行融合操作，得到目标第三特征；
将所述目标第三特征输入至全连接层进行全连接操作，得到目标第四特征；
将所述目标第四特征输入至归一化层进行分类处理，得到对象活动分类结果。
5.根据权利要求1或2所述的方法，其特征在于，所述双向长短时记忆网络模型包括前向层和后向层；
其特征在于，所述利用所述双向长短时记忆网络模型对所述分割矩阵进行特征提取，得到目标第一时间特征和目标第二时间特征，包括：
针对第l个分割矩阵，利用所述前向层处理所述第l个分割矩阵，得到所述第l个分割矩阵的第一时间特征，其中，l为正整数；
利用所述后向层处理所述第l个分割矩阵，得到所述第l个分割矩阵的第二时间特征；
基于所述多个分割矩阵中每个分割矩阵的第一时间特征，确定目标第一时间特征；
基于所述多个分割矩阵中每个分割矩阵的第二时间特征，确定目标第二时间特征。
6.根据权利要求1或2所述的方法，其特征在于，所述使用滑动窗口沿所述对象活动数据矩阵的时间序列方向对所述对象活动数据矩阵进行分割，得到分割矩阵，包括：
将滑动窗口沿所述对象活动数据矩阵的时间序列方向对所述对象活动数据矩阵进行多次分割，得到多个目标第一分割矩阵；
对所述多个目标第一分割矩阵进行筛选，得到多个分割矩阵。
7.根据权利要求1所述的方法，其特征在于，所述获取关于目标对象的对象活动数据矩阵，包括：
对原始对象活动数据矩阵中的对象活动数据进行相位校准处理，得到校准后的对象活动数据矩阵；
对所述校准后的对象活动数据矩阵中的对象活动数据进行振幅降噪处理，得到对象活动数据矩阵。
8.根据权利要求1所述的方法，其特征在于，所述利用所述池化层对所述目标第二特征进行随机池化操作，得到目标空间特征，包括：
基于所述池化层的池化窗口对所述目标第二特征不同区域进行提取，得到多个池化矩阵；
计算所述多个池化矩阵中每个池化矩阵的概率矩阵，其中，所述概率矩阵的概率元素是通过所述池化矩阵中的池化元素除以所述池化矩阵中所有池化元素之和得到的；
针对所述多个概率矩阵中的每个概率矩阵，按照预设概率选取概率矩阵中的元素，得到目标空间特征。
9.根据权利要求1所述的方法，其特征在于，所述将所述利用双向长短时记忆网络模型对分割矩阵进行特征提取之前，还包括：
对所述分割矩阵进行扁平化处理，得到所述双向长短时记忆网络模型的输入矩阵，其中，所述输入矩阵为一维矩阵。
10.一种基于信道状态信息的对象活动识别装置，其特征在于，所述装置包括：
获取模块，用于获取关于目标对象的对象活动数据矩阵，其中，所述对象活动数据矩阵包括多个对象活动数据单元，每个所述对象活动数据单元包括按照时间序列排列的多个对象活动数据，每个对象活动数据包括来自传感器的信道状态数据，所述多个对象活动数据单元分别来自不同的多个所述传感器，多个所述传感器同时作用于所述目标对象上；
分割模块，用于使用滑动窗口沿所述对象活动数据矩阵的时间序列方向对所述对象活动数据矩阵进行分割，得到分割矩阵；
输入模块，用于将所述分割矩阵依次输入至卷积神经网络模型和双向长短时记忆网络模型，以便进行下述操作，其中，所述卷积神经网络模型包括多尺度卷积层、激活函数层和池化层：
卷积模块，用于利用所述多尺度卷积层对所述分割矩阵进行卷积操作，得到目标第一特征；
激活模块，用于利用所述激活函数层对所述目标第一特征进行激活操作，得到目标第二特征；
池化模块，用于利用所述池化层对所述目标第二特征进行随机池化操作，得到目标空间特征；
特征提取模块，用于利用所述双向长短时记忆网络模型对所述分割矩阵进行特征提取，得到目标第一时间特征和目标第二时间特征；
确定模块，用于基于所述目标空间特征、所述目标第一时间特征和所述目标第二时间特征，确定对象活动分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410325639.0A CN117951614A (zh) | 2024-03-21 | 2024-03-21 | 基于信道状态信息的对象活动识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410325639.0A CN117951614A (zh) | 2024-03-21 | 2024-03-21 | 基于信道状态信息的对象活动识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117951614A true CN117951614A (zh) | 2024-04-30 |
Family
ID=90805356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410325639.0A Pending CN117951614A (zh) | 2024-03-21 | 2024-03-21 | 基于信道状态信息的对象活动识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117951614A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110598585A (zh) * | 2019-08-27 | 2019-12-20 | 南京理工大学 | 基于卷积神经网络的起坐动作识别方法 |
| CN111597991A (zh) * | 2020-05-15 | 2020-08-28 | 南京邮电大学 | 一种基于信道状态信息和BiLSTM-Attention的康复检测方法 |
| CN111914709A (zh) * | 2020-07-23 | 2020-11-10 | 河南大学 | 针对WiFi信号行为识别的基于深度学习的动作分割框架构建方法 |
| CN113051972A (zh) * | 2019-12-27 | 2021-06-29 | 陈良银 | 一种基于WiFi的手势识别系统 |
| CN114626419A (zh) * | 2022-03-21 | 2022-06-14 | 南京邮电大学 | 一种基于wifi中信道状态信息和改进卷积神经网络的动作识别方法 |
| CN114639169A (zh) * | 2022-03-28 | 2022-06-17 | 合肥工业大学 | 基于注意力机制特征融合与位置无关的人体动作识别系统 |
| CN114973330A (zh) * | 2022-06-16 | 2022-08-30 | 深圳大学 | 一种跨场景鲁棒的人员疲劳状态无线检测方法及相关设备 |
| CN115661938A (zh) * | 2022-11-07 | 2023-01-31 | 浙江工业大学 | 一种基于无线信号的老人摔倒检测方法 |
| CN116304888A (zh) * | 2023-05-17 | 2023-06-23 | 山东海看新媒体研究院有限公司 | 基于信道状态信息的连续人体活动感知识别方法及系统 |
-
2024
- 2024-03-21 CN CN202410325639.0A patent/CN117951614A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110598585A (zh) * | 2019-08-27 | 2019-12-20 | 南京理工大学 | 基于卷积神经网络的起坐动作识别方法 |
| CN113051972A (zh) * | 2019-12-27 | 2021-06-29 | 陈良银 | 一种基于WiFi的手势识别系统 |
| CN111597991A (zh) * | 2020-05-15 | 2020-08-28 | 南京邮电大学 | 一种基于信道状态信息和BiLSTM-Attention的康复检测方法 |
| CN111914709A (zh) * | 2020-07-23 | 2020-11-10 | 河南大学 | 针对WiFi信号行为识别的基于深度学习的动作分割框架构建方法 |
| CN114626419A (zh) * | 2022-03-21 | 2022-06-14 | 南京邮电大学 | 一种基于wifi中信道状态信息和改进卷积神经网络的动作识别方法 |
| CN114639169A (zh) * | 2022-03-28 | 2022-06-17 | 合肥工业大学 | 基于注意力机制特征融合与位置无关的人体动作识别系统 |
| CN114973330A (zh) * | 2022-06-16 | 2022-08-30 | 深圳大学 | 一种跨场景鲁棒的人员疲劳状态无线检测方法及相关设备 |
| CN115661938A (zh) * | 2022-11-07 | 2023-01-31 | 浙江工业大学 | 一种基于无线信号的老人摔倒检测方法 |
| CN116304888A (zh) * | 2023-05-17 | 2023-06-23 | 山东海看新媒体研究院有限公司 | 基于信道状态信息的连续人体活动感知识别方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| MINJIE WU1 等: "Research on User Action Recognition Method Based on parallel CNN-BiLSTM neural network", 《2021 IEEE》, 31 December 2021 (2021-12-31), pages 2003 - 2007 * |
| 袁红春 等主编: "《人工智能应用与开发》", 31 October 2022, 上海：上海交通大学出版社, pages: 207 - 209 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sultana et al. | IoT-guard: Event-driven fog-based video surveillance system for real-time security management | |
| US8463025B2 (en) | Distributed artificial intelligence services on a cell phone | |
| US20220122356A1 (en) | Methods for providing information about a person based on facial recognition | |
| US20190057244A1 (en) | Method for determining target through intelligent following of unmanned aerial vehicle, unmanned aerial vehicle and remote control | |
| CN103052962B (zh) | 粗糙小波粒化空间和多光谱遥感图像的分类 | |
| CN114611705A (zh) | 数据处理方法、机器学习的训练方法及相关装置、设备 | |
| CN114359738B (zh) | 一种跨场景鲁棒的室内人数无线检测方法及系统 | |
| CA2952453A1 (en) | Device localization based on a learning model | |
| Nisar et al. | Indoor roaming activity detection and analysis of elderly people using RFID technology | |
| KR102333143B1 (ko) | 무인 계수 서비스 제공 시스템 | |
| CN112446244A (zh) | 人体动作的识别方法、神经网络的训练方法及相关装置、设备 | |
| Li et al. | Vehicle detection in remote sensing images using denoizing-based convolutional neural networks | |
| Venkatesvara Rao et al. | Real-time video object detection and classification using hybrid texture feature extraction | |
| Cao et al. | A lightweight deep learning algorithm for WiFi-based identity recognition | |
| CN108830377B (zh) | 一种神经网络电路及其自循环多级迭代方法 | |
| CN117951614A (zh) | 基于信道状态信息的对象活动识别方法及装置 | |
| CN116644300A (zh) | 一种基于信道状态信息的穿墙目标行为识别方法及其装置 | |
| O'Gorman et al. | Balancing video analytics processing and bandwidth for edge-cloud networks | |
| CN114764902A (zh) | 一种行为识别方法、装置和存储介质 | |
| CN113256556A (zh) | 一种图像选择方法及装置 | |
| US11321568B1 (en) | Method for real-time integrated t+2D DWT video compression and low-level video analysis within an intelligent camera optionally embedded in an end-to-end AAL system | |
| Li et al. | A lightweight bus passenger detection model based on YOLOv5 | |
| Cong et al. | Salient man-made object detection based on saliency potential energy for unmanned aerial vehicles remote sensing image | |
| CN115984635B (zh) | 多源遥感数据分类模型训练方法、分类方法和电子设备 | |
| CN116912951B (zh) | 人体姿态的评估方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |