CN116561649B - 基于多源传感器数据的潜水员运动状态识别方法和系统 - Google Patents
基于多源传感器数据的潜水员运动状态识别方法和系统 Download PDFInfo
- Publication number
- CN116561649B CN116561649B CN202310832974.5A CN202310832974A CN116561649B CN 116561649 B CN116561649 B CN 116561649B CN 202310832974 A CN202310832974 A CN 202310832974A CN 116561649 B CN116561649 B CN 116561649B
- Authority
- CN
- China
- Prior art keywords
- data
- diver
- event
- sensor
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000000694 effects Effects 0.000 claims abstract description 81
- 239000013598 vector Substances 0.000 claims abstract description 59
- 239000011159 matrix material Substances 0.000 claims abstract description 49
- 230000004913 activation Effects 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000011176 pooling Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 210000003128 head Anatomy 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 6
- 210000004394 hip joint Anatomy 0.000 claims description 6
- 210000000629 knee joint Anatomy 0.000 claims description 6
- 210000000323 shoulder joint Anatomy 0.000 claims description 6
- 210000003857 wrist joint Anatomy 0.000 claims description 6
- 239000000284 extract Substances 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000007246 mechanism Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Remote Sensing (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Radar, Positioning & Navigation (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Software Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Automation & Control Theory (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
基于多源传感器数据的潜水员运动状态识别方法和系统，解决了基于视觉方法在低光场景下的人体识别效果差的问题。涉及水下潜水员运动状态识别领域。方法包括：通过惯性传感器采集潜水员的水下活动的数据，并将数据存储在数据库中；对数据进行分割组成事件序列，并嵌入活动级上下文信息；建立词典，将事件序列中的每一个传感器事件转化为词索引，并建立嵌入矩阵；基于Transformer的GIF特征提取模块提取嵌入矩阵的特征，获得特征向量；利用一维平均池化层和带Softmax激活函数的全连接层对特征向量进行处理，获取识别模型，输出每个类别的预测概率，最终得到潜水员的姿态识别结果。本发明应用于水下目标识别领域。
Description
技术领域
本发明涉及水下潜水员运动状态识别领域，尤其涉及一种基于多源传感器数据的潜水员运动状态识别方法。
背景技术
随着社会的发展和科技的进步，针对海洋领域的研究课题层出不穷，潜水员在海洋探索扮演不可或缺的角色。其中，潜水员运动状态识别是进行水下任务起到重要作用。目前，有研究人员对潜水员的运动状态识别提出了基于机器视觉方法。然而，水下视觉光照条件较差，尤其深海环境，能见度较低，摄像头难以获取到高质量图像和视频，使得摄像头开展水下视觉任务较为困难，例如水下目标检测、识别等任务。
目前，通常采用声学式和电磁式运动状态分类系统进行人体运动状态的数据分类，且声学式和电磁式运动状态分类系统因其准确性较差且容易受环境干扰的影响，只能在某些特定场合下使用。尽管光学式测量系统具有较高的分类准确性和不易受常规外界条件的影响，但其系统过于复杂，成本也相应较高。机械式测量系统存在穿戴过于复杂的问题，会影响人体的自由运动。
发明内容
本发明针对基于视觉方法在低光场景下的人体识别效果差的问题，提出了一种基于多源传感器数据的潜水员运动状态识别方法，所述方案具体为：
本发明所述的一种基于多源传感器数据的潜水员运动状态识别方法，所述方法包括：
S1：通过惯性传感器采集潜水员的水下活动的数据，并将所述数据存储在数据库中；
S2：对所述数据进行分割获取事件序列，并将所述事件序列嵌入活动级上下文信息；
S3：根据所述嵌入上下文信息的事件序列建立词典，将所述事件序列中的每一个传感器事件转化为词索引，并根据所述词索引建立嵌入矩阵；
S4：根据Transformer的GIF特征提取模块提取所述嵌入矩阵的特征，获得特征向量；
S5：利用一维平均池化层和带Softmax激活函数的全连接层对所述特征向量进行处理，获取识别模型，通过所述识别模型输出每个类别的预测概率，最终得到潜水员的姿态识别结果。
进一步的，还提供一种优选方式，所述步骤S1包括：
在潜水员员各节点佩戴惯性传感器，所述节点包括：人体的头部、肩关节、腕关节、髋关节、膝关节和踝关节；
所述惯性传感器采集各节点的运动数据并以数据帧格式发送所述数据至上位机，所述上位机将所述数据存储在数据库中。
进一步的，还提供一种优选方式，所述步骤S2包括：
采用显性窗口从传感器记录的激活流中将数据分割成事件序列，每个序列对应于一个活动实例，每个序列的长度不固定；
在数据分割成事件序列后，对每个事件序列进行处理，将活动级上下文信息嵌入其中，所述上下文信息包括与当前事件相关的上一项活动标识和下一项活动标识。
进一步的，还提供一种优选方式，所述步骤S3包括：
根据所述嵌入上下文信息的事件序列建立词典，将所述事件序列中的每一个传感器事件转化为词索引，再为每一个词索引初始化一个维向量，最终得到一个传感器事件嵌入矩阵。
进一步的，还提供一种优选方式，所述步骤S4包括：
将嵌入矩阵的特征输入到特征抽取模块，特征抽取部分堆叠了三个GIF模块，GIF模块经过自注意力进行特征提取，输出特征向量，所述自注意力提取为：
，
其中，为查询矩阵，表示当前特征的重要性，/>为键矩阵，表示各个特征之间的关系，/>为值矩阵，表示每个特征的实际内容，/>为表示的特征的维度。
进一步的，还提供一种优选方式，所述步骤S5包括：
将所述特征向量进行一维平均池化层处理；
采用Softmax激活函数的全连接层处理所述池化层处理后的特征向量，输出每个类别的预测概率，最终得到潜水员的运动状态的识别结果；
所述Softmax激活函数为：
其中，为第i个节点的输出值，C为输出节点的个数，/>为第c个节点的输出值，即模型对于第c个类别的原始预测得分，/>为第i个节点的输出值经过指数函数转换后的结果，/>为第c个节点的输出值经过指数函数转换后的结果。
基于同一发明构思，本发明还提供一种基于多源传感器数据的潜水员运动状态识别系统，所述系统包括：
数据采集单元：通过惯性传感器采集潜水员的水下活动的数据，并将所述数据存储在数据库中；
分割单元：对所述数据进行分割组成事件序列，并嵌入活动级上下文信息；
嵌入矩阵建立单元：根据所述嵌入上下文信息的事件序列建立词典，将所述事件序列中的每一个传感器事件转化为词索引，并建立嵌入矩阵；
特征向量获取单元：基于Transformer的GIF特征提取模块提取嵌入矩阵的特征，获得特征向量；
输出单元：利用一维平均池化层和带Softmax激活函数的全连接层对特征向量进行处理，获取识别模型，通过所述识别模型输出每个类别的预测概率，输出每个类别的预测概率，最终得到潜水员的姿态识别结果。
进一步的，还提供一种优选方式，所述数据采集单元包括：
在潜水员员各节点佩戴惯性传感器，所述节点包括：人体的头部、肩关节、腕关节、髋关节、膝关节和踝关节；
所述惯性传感器采集各节点的运动数据并以数据帧格式发送所述数据至上位机，所述上位机将所述数据存储在数据库中。
基于同一发明构思，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行上述任一项所述的一种基于多源传感器数据的潜水员运动状态识别方法。
基于同一发明构思，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行上述中任一项所述的一种基于多源传感器数据的潜水员运动状态识别方法。
本发明的有益之处在于：
本发明解决了基于视觉方法在低光场景下的人体识别效果差的问题。
本发明所述的一种基于多源传感器数据的潜水员运动状态识别方法，采用惯性传感器进行潜水员水下数据的采集，所述的惯性传感器由加速度计和陀螺仪组成，其能够采集潜水员水下活动的加速度、角速度等关键数据；通过对采集到的惯性传感器数据进行分割，可以将连续的运动数据划分为不同的活动事件，便于后续分析，且消除噪声和无关运动对活动识别结果的干扰；通过嵌入活动级上下文信息使得每个活动事件与其上下文进行关联，从而捕捉到活动之间的时序关系和依赖关系；通过嵌入上下文信息的事件序列建立词典，为不同的活动定义标签，使得模型能够理解不同的活动类型；通过将活动序列嵌入为矩阵形式，可以将序列数据转化为能够被机器学习算法处理的形式；通过对嵌入矩阵进行特征提取，可以抽取出具有代表性的特征向量，减少了数据维度，去除冗余信息；一维平均池化层可以提取出特征向量的重要统计特征，而带Softmax激活函数的全连接层可以通过学习权重和偏置来将特征向量映射到各个活动类别的预测概率。具有较好的表达能力和非线性映射能力，能够准确识别潜水员的姿态。本发明应用于水下目标识别领域。
附图说明
图1为实施方式一所述的一种基于多源传感器数据的潜水员运动状态识别方法的流程示意图；
图2为实施方式三所述的活动级上下文示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。
实施方式一、参见图1说明本实施方式，本实施方式所述的一种基于多源传感器数据的潜水员运动状态识别方法，所述方法包括：
S1：通过惯性传感器采集潜水员的水下活动的数据，并将所述数据存储在数据库中；
S2：对所述数据进行分割获取事件序列，并将所述事件序列嵌入活动级上下文信息；
S3：根据所述嵌入上下文信息的事件序列建立词典，将所述事件序列中的每一个传感器事件转化为词索引，并根据所述词索引建立嵌入矩阵；
S4：根据Transformer的GIF特征提取模块提取所述嵌入矩阵的特征，获得特征向量；
S5：利用一维平均池化层和带Softmax激活函数的全连接层对所述特征向量进行处理，获取识别模型，通过所述识别模型输出每个类别的预测概率，最终得到潜水员的姿态识别结果。
本实施方式解决了摄像头难以获取到高质量图像和视频，使得摄像头开展水下视觉任务较为困难的问题，采用惯性传感器进行潜水员水下数据的采集，所述的惯性传感器由加速度计和陀螺仪组成，其能够采集潜水员水下活动的加速度、角速度等关键数据；通过对采集到的惯性传感器数据进行分割，可以将连续的运动数据划分为不同的活动事件，便于后续分析，且消除噪声和无关运动对活动识别结果的干扰；通过嵌入活动级上下文信息使得每个活动事件与其上下文进行关联，从而捕捉到活动之间的时序关系和依赖关系；通过嵌入上下文信息的事件序列建立词典，为不同的活动定义标签，使得模型能够理解不同的活动类型；通过将活动序列嵌入为矩阵形式，可以将序列数据转化为能够被机器学习算法处理的形式；通过对嵌入矩阵进行特征提取，可以抽取出具有代表性的特征向量，减少了数据维度，去除冗余信息；一维平均池化层可以提取出特征向量的重要统计特征，而带Softmax激活函数的全连接层可以通过学习权重和偏置来将特征向量映射到各个活动类别的预测概率。具有较好的表达能力和非线性映射能力，能够准确识别潜水员的姿态。
本实施方式结合了传感器数据采集、数据预处理、特征提取和分类等多个环节，能够对潜水员的水下活动进行准确识别，解决了基于视觉方法在低光场景下的人体识别效果差的问题。本实施方式所述的基于传感器数据的姿态识别方法具有实时性好、准确度高、能够捕捉到活动的时序关系等优点，对于潜水员的活动监测和安全保障具有重要意义。
实施方式二、本实施方式是对实施方式一所述的一种基于多源传感器数据的潜水员运动状态识别方法的进一步限定，所述步骤S1包括：
在潜水员员各节点佩戴惯性传感器，所述节点包括：人体的头部、肩关节、腕关节、髋关节、膝关节和踝关节；
所述惯性传感器采集各节点的运动数据并以数据帧格式发送所述数据至上位机，所述上位机将所述数据存储在数据库中。
本实施方式所述的惯性传感器内装有陀螺仪和加速度计，用来采集水下潜水员的水下活动的数据。若惯性传感器被触发，则日期、时间、传感器ID和传感器值的记录就会被捕获并存储在数据库中，记录被称为一个传感器事件，再分割为事件序列，一个事件序列由一组传感器事件组成。
实施方式三、参见图2说明本实施方式。本实施方式是对实施方式一所述的一种基于多源传感器数据的潜水员运动状态识别方法的进一步限定，所述步骤S2包括：
采用显性窗口从传感器记录的激活流中将数据分割成事件序列，每个序列对应于一个活动实例，每个序列的长度不固定；
在数据分割成事件序列后，对每个事件序列进行处理，将活动级上下文信息嵌入其中，所述上下文信息包括与当前事件相关的上一项活动标识和下一项活动标识。
本实施方式所述的一个事件序列与一个活动是完整对应的，有效避免了利用时间窗口和传感器事件窗口进行分割造成的窗口尺寸太小导致包含的信息不足以代表一个活动，而窗口尺寸太大导致包含与多个活动相关的信息的问题。
本实施方式将将活动级上下文信息嵌入每个事件序列的目的是为了捕捉到活动之间的时序关系和依赖关系。嵌入上下文信息后，每个事件序列不仅包含当前事件的信息，还包含与之前和之后的活动相关的信息。这样做可以使特征表示更加丰富，包含更多的上下文信息，从而提高模型对活动的理解和表征能力。通过嵌入上下文信息，可以捕捉到活动之间的时序关系。模型可以通过学习到的上一项和下一项活动标识之间的依赖关系，理解不同活动之间的先后顺序，进而更好地解读和识别潜水员的姿态。活动级上下文信息可以提供更多的背景和上下文信息，有助于消除可能的歧义和干扰。这样可以有效地提高对不同活动的分类准确性，尤其是当某些活动在特定上下文条件下具有相似的运动模式时。将上下文信息嵌入到每个事件序列中可以增强模型的泛化能力。模型能够通过学习上下文关系来适应不同的活动序列，从而提高对新的潜水员姿态的泛化能力，更好地适应不同的场景和实际应用。
实施方式四、本实施方式是对实施方式一所述的一种基于多源传感器数据的潜水员运动状态识别方法的进一步限定，所述步骤S3包括：
根据所述嵌入上下文信息的事件序列建立词典，将所述事件序列中的每一个传感器事件转化为词索引，再为每一个词索引初始化一个维向量，最终得到一个传感器事件嵌入矩阵。
本实施方式对事件序列中的每个传感器事件进行词索引化。可以使用一种词汇表，将每个传感器事件映射为唯一的词索引。该词汇表可以是事先定义好的，也可以根据当前数据集动态生成。然后为每个词索引初始化一个维向量。可以使用随机初始化、预训练的词向量、或者根据其他任务学得的向量。初始化的维向量可以具有较低的维度，但仍然能够保留一定的语义和上下文信息。将每个传感器事件的维向量按照时间顺序组合成一个传感器事件嵌入矩阵，目的是将事件序列转化为一个可以被机器学习算法处理的矩阵形式。
本实施方式通过建立传感器事件嵌入矩阵，每个传感器事件都被表示为一个维向量，能够更好地表达传感器事件之间的相似性和差异性。每个维向量包含了与该传感器事件相关的语义和上下文信息，能够更好地表示不同传感器事件的特征。建立词典和初始化维向量可以提供表示传感器事件的多样化表达方式。通过使用不同的词索引和维向量，可以捕捉到传感器事件的不同方面和含义。这样可以提高模型对传感器事件的区分能力和理解能力。词索引和维向量的引入可以降低传感器事件嵌入矩阵的维度。相比于原始的传感器数据，嵌入矩阵可以更有效地表示传感器事件的关键特征，减少了数据的冗余和噪声，提高了模型的泛化能力和效率。传感器事件嵌入矩阵的形式便于进行后续的特征提取和模型训练。矩阵形式的数据可以更高效地进行矩阵运算和张量计算，加快模型的训练和推理速度。
实施方式五、本实施方式是对实施方式一所述的一种基于多源传感器数据的潜水员运动状态识别方法的进一步限定，所述步骤S4包括：
将嵌入矩阵的特征输入到特征抽取模块，特征抽取部分堆叠了三个GIF模块，GIF模块经过自注意力进行特征提取，输出特征向量，所述自注意力提取为：
，
其中，为查询矩阵，表示当前特征的重要性，/>为键矩阵，表示各个特征之间的关系，/>为值矩阵，表示每个特征的实际内容，/>为表示的特征的维度。
本实施方式将实施方式五中建立的传感器事件嵌入矩阵作为输入，该矩阵已经将传感器事件转换为特征向量表示；采用堆叠了三个的GIF模块进行特征提取。GIF模块是一种图同构网络，采用自注意力机制自适应地学习传感器事件之间的关联和依赖关系。通过GIF模块中的自注意力层用于捕捉传感器事件序列中的内在依赖关系和语义相关性。利用自注意力机制，模型可以自动学习传感器事件之间的权重和重要性，并更加注重与当前特征相关的事件。
经过堆叠的三个GIF模块后，最终得到一个特征向量。这个特征向量可以是将每个传感器事件的特征在时间维度上进行整合后得到的，或者是通过最后一个GIF模块输出的特征向量。
本实施方式通过GIF模块中的自注意力机制，可以捕捉到传感器事件之间的关联和依赖关系。这样可以更全面地理解传感器事件序列中的动态变化和语义关系。自注意力机制具有自适应性，可以根据不同传感器事件之间的重要性和相关性来调整特征的权重。这有助于模型更好地关注与特定任务相关的传感器事件，提高特征表达的质量和准确性。GIF模块采用自注意力机制，相比于传统的卷积神经网络，参数量较少，并且能够非局部地进行特征提取。这可以减少模型的计算复杂度，提高训练和推理的效率。通过堆叠的GIF模块，可以在特征提取过程中保留时间维度的信息。这使得模型能够更好地理解传感器事件序列的动态变化和演化趋势。
总之，上述步骤利用GIF模块进行传感器事件特征提取，通过自注意力机制建模传感器事件之间的关联性，从而获得更具表达力和代表性的特征向量。这为后续的姿态识别任务提供了更丰富和准确的特征表示，提高了模型的性能和识别能力。
实施方式六、本实施方式是对实施方式一所述的一种基于多源传感器数据的潜水员运动状态识别方法的进一步限定，所述步骤S5包括：
将所述特征向量进行一维平均池化层处理；
采用Softmax激活函数的全连接层处理所述池化层处理后的特征向量，获取识别模型，通过所述识别模型输出每个类别的预测概率，最终得到潜水员的运动状态的识别结果；
所述Softmax激活函数为：
其中，为第i个节点的输出值，C为输出节点的个数，/>为第c个节点的输出值，即模型对于第c个类别的原始预测得分，/>为第i个节点的输出值经过指数函数转换后的结果，/>为第c个节点的输出值经过指数函数转换后的结果。
本实施方式将特征向量进行一维平均池化。一维平均池化的目的是对整个特征向量进行降维和汇总，得到一个全局的汇总特征。这可以帮助模型关注整体特征而不仅仅是局部信息，减少特征的冗余性，提取特征的稳定性和鲁棒性。采用全连接层对经过池化层处理后的特征向量进行进一步的特征映射和转换。全连接层将每个特征都与权重进行线性组合，并通过激活函数（如Softmax）将结果映射到0到1之间的概率分布。这一步的目的是学习从汇总的特征向量到具体运动状态类别之间的非线性映射关系。将全连接层输出连接到输出层，形成一个完整的识别模型。这个模型将用于对潜水员的运动状态进行分类。识别模型的结构和参数将根据具体问题和数据进行优化和训练。通过识别模型的输出层，利用Softmax函数将最终的特征向量映射为每个类别的预测概率。这些预测概率表示模型对每个类别的置信度或潜在的属于某个类别的可能性。
本实施方式通过一维平均池化，可以在保留主要特征的同时大幅减少特征的维度，提高模型的计算效率和泛化能力：通过全连接层的处理，模型可以学习到更复杂的特征表示和分类边界，提高分类的准确性和泛化能力通过Softmax激活函数的全连接层输出，可以得到每个类别的预测概率，提供了对模型预测的置信度估计，有助于对识别结果进行解释和可靠性评估采用全连接层处理特征向量可以构建灵活的识别模型，并且可以通过优化训练过程来提高模型性能。
实施方式七、本实施方式所述的一种基于多源传感器数据的潜水员运动状态识别系统，所述系统包括：
数据采集单元：通过惯性传感器采集潜水员的水下活动的数据，并将所述数据存储在数据库中；
分割单元：对所述数据进行分割获取事件序列，并将所述事件序列嵌入活动级上下文信息；
嵌入矩阵建立单元：根据所述嵌入上下文信息的事件序列建立词典，将所述事件序列中的每一个传感器事件转化为词索引，并根据所述词索引建立嵌入矩阵；
特征向量获取单元：根据Transformer的GIF特征提取模块提取所述嵌入矩阵的特征，获得特征向量；
输出单元：利用一维平均池化层和带Softmax激活函数的全连接层对特征向量进行处理，获取识别模型，通过所述识别模型输出每个类别的预测概率，最终得到潜水员的姿态识别结果。
实施方式八、本实施方式是对实施方式七所述的一种基于多源传感器数据的潜水员运动状态识别系统的进一步限定，所述数据采集单元包括：
在潜水员员各节点佩戴惯性传感器，所述节点包括：人体的头部、肩关节、腕关节、髋关节、膝关节和踝关节；
所述惯性传感器采集各节点的运动数据并以数据帧格式发送所述数据至上位机，所述上位机将所述数据存储在数据库中。
实施方式九、本实施方式所述的一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行实施方式一至实施方式六任一项所述的一种基于多源传感器数据的潜水员运动状态识别方法。
实施方式十、本实施方式所述的一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据实施方式一至实施方式六中任一项所述的一种基于多源传感器数据的潜水员运动状态识别方法。
实施方式十一、本实施方式是对实施方式一所述的一种基于多源传感器数据的潜水员运动状态识别方法提供一个具体实施例，同时也用于解释实施方式二至实施方式六，具体的：
本实施方式通过采集多个传感器数据作为输入，预测水下潜水员的运动状态。
本实施方式所述的方法具体包括如下步骤：
步骤1、在人体各部位佩戴惯性传感器，实时采集相应的加速度、角速度等数据；并以数据帧格式将各节点的运动数据发送至主机。
具体的，传感器位于人体的头部、肩关节、腕关节、髋关节、膝关节、踝关节等部位。
步骤2、传感器采集水下潜水员的水下活动的数据，分割成事件序列。
具体的，数据分割采用显性窗口从传感器记录的激活流中将数据集分割成事件序列，每个序列对应于一个活动实例，每个序列的长度是不固定的。这种数据分割的优点是一个事件序列与一个活动是完整对应的，不存在像利用时间窗口和传感器事件窗口进行分割造成的窗口尺寸太小导致包含的信息不足以代表一个活动，而窗口尺寸太大导致包含与多个活动相关的信息。缺点是无法进行实时的活动识别，只能作为离线阶段使用。
步骤3、对传感器事件序列、上一项活动标识以和下一项活动标识进行嵌入，活动级上下文用上一项活动标识以和下一项活动标识来表示。利用事件序列建立词典，将事件序列中的每一个传感器事件转化为词索引，并建立嵌入矩阵。
具体的，通过传感器事件来建立词典，将事件序列中的每一个传感器事件转化为词索引，再为每一个词索引初始化一个维向量，最终得到一个传感器事件嵌入矩阵。活动标识的嵌入事件序列，将活动标识转化为词典中的词，得到两个嵌入矩阵，。最后利用广播机制，将这三部分的结果进行相加得到最终的嵌入矩阵。
步骤4、利用基于自注意力的GIF特征提取模块，将嵌入矩阵进行特征提取，处理后得到特征向量。
具体的，自注意力机制(self-attention)可以捕捉序列中的依赖关系，同时self-attention支持并行计算，self-attention中的每个位置都可以独立地计算自己与其他位置的关联权重。另外，self-attention对于不同位置的输入具有不同的重要性，self-attention能够根据不同位置的输入计算不同的权重，从而将不同位置的输入加权求和，使得对于输入中的每个位置都能够得到适当的关注。其次，传统的CNN只能在局部范围内捕捉信息，难以捕捉全局信息，self-attention可以在整个序列中进行关联计算，从而能够捕捉全局信息，其计算公式如下：
式中，对于输入，/>，/>经过线性变换得到，/>，/>,。/>，/>，/>，都是随机初始化的权重矩阵，参数随着网络训练而更新。
需要说明的是，采用绝对位置编码，这种编码方式使用了一些预定义的函数，例如正弦函数和余弦函数，将序列中的每个位置进行编码，从而提供了有序的位置信息。本实施方式只在第一个self-attention模块添加了位置信息。通过引入位置信息来学习序列的顺序信息，让模型了解序列中每个传感器事件的相对或绝对位置。
还需要说明的是，考虑到序列之间的数据存在依赖关系，因此本实施方式采用层归一化。同时使用GELU激活函数，GELU激活函数的主要特点是在保持ReLU的性质的同时，对负值也有一定的响应。相比于ReLU，GELU能够更好地适应不同的输入数据分布，从而提高模型的性能。此外，GELU的导数在整个实数轴上都是连续的，因此可以更容易地进行反向传播。GELU激活函数的近似计算公式如下：
式中，x为输入，tanh为双曲正切函数。
步骤5、利用一维平均池化层和带Softmax激活函数的全连接层依次对特征向量进行处理，获取识别模型，通过所述识别模型输出每个类别的预测概率，最终得到潜水员的姿态识别结果。Softmax激活函数的计算公式如下：
式中，为第i个节点的输出值，C为输出节点的个数，通过Softmax函数处理，可将数据分布归一化到[0-1]。
具体的，在特征抽取模块提取特征后，特征被输入到一维全局平均池化层，它加强了特征和类别之间的对应关系，并极大地减少了参数的数量，然后用带Softmax激活函数的全连接层输出每个类别的预测概率。
本实施例的技术方案，通过对多源传感数据的收集和处理，建立了深度学习模型，提高了对潜水员实时运动状态分类的准确性和鲁棒性。
尽管已描述了本公开的优选实施方式，但本领域内的技术人员一旦得知了基本创造性概念， 则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施方式以及落入本公开范围的所有变更和修改。
显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备（系统）和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用于说明本公开的技术方案而非对其保护范围的限制，尽管参照上述实施例对本公开进行了详细的说明，所属领域的普通技术人员应当理解：本领域技术人员阅读本公开后依然可对发明的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在公开待批的权利要求保护范围之内。
Claims (9)
1.一种基于多源传感器数据的潜水员运动状态识别方法，其特征在于，所述方法包括：
S1：通过惯性传感器采集潜水员的水下活动的数据，并将所述数据存储在数据库中；
S2：对所述数据进行分割获取事件序列，并将所述事件序列嵌入活动级上下文信息；
S3：根据嵌入上下文信息的事件序列建立词典，将所述事件序列中的每一个传感器事件转化为词索引，并根据所述词索引建立嵌入矩阵；
S4：根据Transformer的GIF特征提取模块提取所述嵌入矩阵的特征，获得特征向量；
S5：利用一维平均池化层和带Softmax激活函数的全连接层对所述特征向量进行处理，获取识别模型，通过所述识别模型输出每个类别的预测概率，最终得到潜水员的姿态识别结果；
所述步骤S2包括：
采用显性窗口从传感器记录的激活流中将数据分割成事件序列，每个序列对应于一个活动实例，每个序列的长度不固定；
在数据分割成事件序列后，对每个事件序列进行处理，将活动级上下文信息嵌入其中，所述上下文信息包括与当前事件相关的上一项活动标识和下一项活动标识。
2.根据权利要求1所述的一种基于多源传感器数据的潜水员运动状态识别方法，其特征在于，所述步骤S1包括：
在潜水员员各节点佩戴惯性传感器，所述节点包括：人体的头部、肩关节、腕关节、髋关节、膝关节和踝关节；
所述惯性传感器采集各节点的运动数据并以数据帧格式发送所述数据至上位机，所述上位机将所述数据存储在数据库中。
3.根据权利要求1所述的一种基于多源传感器数据的潜水员运动状态识别方法，其特征在于，所述步骤S3包括：
根据嵌入上下文信息的事件序列建立词典，将所述事件序列中的每一个传感器事件转化为词索引，再为每一个词索引初始化一个维向量，最终得到一个传感器事件嵌入矩阵。
4.根据权利要求1所述的一种基于多源传感器数据的潜水员运动状态识别方法，其特征在于，所述步骤S4包括：
将嵌入矩阵的特征输入到特征抽取模块，特征抽取部分堆叠了三个GIF模块，GIF模块经过自注意力进行特征提取，输出特征向量，所述自注意力提取为：
，
其中，为查询矩阵，表示当前特征的重要性，/>为键矩阵，表示各个特征之间的关系，/>为值矩阵，表示每个特征的实际内容，/>为表示的特征的维度。
5.根据权利要求1所述的一种基于多源传感器数据的潜水员运动状态识别方法，其特征在于，所述步骤S5包括：
将所述特征向量进行一维平均池化层处理；
采用Softmax激活函数的全连接层处理所述池化层处理后的特征向量，输出每个类别的预测概率，最终得到潜水员的运动状态的识别结果；
所述Softmax激活函数为：
其中，为第i个节点的输出值，C为输出节点的个数，/>为第c个节点的输出值，即模型对于第c个类别的原始预测得分，/>为第i个节点的输出值经过指数函数转换后的结果，/>为第c个节点的输出值经过指数函数转换后的结果。
6.一种基于多源传感器数据的潜水员运动状态识别系统，其特征在于，所述系统包括：
数据采集单元：通过惯性传感器采集潜水员的水下活动的数据，并将所述数据存储在数据库中；
分割单元：对所述数据进行分割获取事件序列，并将所述事件序列嵌入活动级上下文信息；
嵌入矩阵建立单元：根据嵌入上下文信息的事件序列建立词典，将所述事件序列中的每一个传感器事件转化为词索引，并根据所述词索引建立嵌入矩阵；
特征向量获取单元：根据Transformer的GIF特征提取模块提取所述嵌入矩阵的特征，获得特征向量；
输出单元：利用一维平均池化层和带Softmax激活函数的全连接层对特征向量进行处理，获取识别模型，通过所述识别模型输出每个类别的预测概率，最终得到潜水员的姿态识别结果；
所述分割单元包括：
采用显性窗口从传感器记录的激活流中将数据分割成事件序列，每个序列对应于一个活动实例，每个序列的长度不固定；
在数据分割成事件序列后，对每个事件序列进行处理，将活动级上下文信息嵌入其中，所述上下文信息包括与当前事件相关的上一项活动标识和下一项活动标识。
7.根据权利要求6所述的一种基于多源传感器数据的潜水员运动状态识别系统，其特征在于，所述数据采集单元包括：
在潜水员员各节点佩戴惯性传感器，所述节点包括：人体的头部、肩关节、腕关节、髋关节、膝关节和踝关节；
所述惯性传感器采集各节点的运动数据并以数据帧格式发送所述数据至上位机，所述上位机将所述数据存储在数据库中。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序执行权利要求1-5任一项所述的一种基于多源传感器数据的潜水员运动状态识别方法。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据权利要求1-5中任一项所述的一种基于多源传感器数据的潜水员运动状态识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310832974.5A CN116561649B (zh) | 2023-07-10 | 2023-07-10 | 基于多源传感器数据的潜水员运动状态识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310832974.5A CN116561649B (zh) | 2023-07-10 | 2023-07-10 | 基于多源传感器数据的潜水员运动状态识别方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116561649A CN116561649A (zh) | 2023-08-08 |
| CN116561649B true CN116561649B (zh) | 2023-09-12 |
Family
ID=87486501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310832974.5A Active CN116561649B (zh) | 2023-07-10 | 2023-07-10 | 基于多源传感器数据的潜水员运动状态识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116561649B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117576784B (zh) * | 2024-01-15 | 2024-03-26 | 吉林大学 | 一种融合事件和rgb数据潜水员手势识别方法及其系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086704A (zh) * | 2018-07-23 | 2018-12-25 | 杭州电子科技大学 | 一种基于稀疏表示和Softmax分类的人体活动识别方法 |
| CN110503686A (zh) * | 2019-07-31 | 2019-11-26 | 三星（中国）半导体有限公司 | 基于深度学习的物体位姿估计方法及电子设备 |
| KR20220045391A (ko) * | 2020-10-05 | 2022-04-12 | 경희대학교 산학협력단 | 통신 네트워크에서 센서 데이터를 처리하기 위한 프레임 워크 및 이의 운영 방법 |
| CN114831784A (zh) * | 2022-04-15 | 2022-08-02 | 中国科学技术大学先进技术研究院 | 基于多源信号的下肢义肢地形识别系统及方法 |
| CN114972412A (zh) * | 2022-05-12 | 2022-08-30 | 深圳锐视智芯科技有限公司 | 一种姿态估计方法、装置、系统及可读存储介质 |
| CN115761905A (zh) * | 2023-01-09 | 2023-03-07 | 吉林大学 | 一种基于骨骼关节点的潜水员动作识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11488320B2 (en) * | 2019-07-31 | 2022-11-01 | Samsung Electronics Co., Ltd. | Pose estimation method, pose estimation apparatus, and training method for pose estimation |
-
2023
- 2023-07-10 CN CN202310832974.5A patent/CN116561649B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086704A (zh) * | 2018-07-23 | 2018-12-25 | 杭州电子科技大学 | 一种基于稀疏表示和Softmax分类的人体活动识别方法 |
| CN110503686A (zh) * | 2019-07-31 | 2019-11-26 | 三星（中国）半导体有限公司 | 基于深度学习的物体位姿估计方法及电子设备 |
| KR20220045391A (ko) * | 2020-10-05 | 2022-04-12 | 경희대학교 산학협력단 | 통신 네트워크에서 센서 데이터를 처리하기 위한 프레임 워크 및 이의 운영 방법 |
| CN114831784A (zh) * | 2022-04-15 | 2022-08-02 | 中国科学技术大学先进技术研究院 | 基于多源信号的下肢义肢地形识别系统及方法 |
| CN114972412A (zh) * | 2022-05-12 | 2022-08-30 | 深圳锐视智芯科技有限公司 | 一种姿态估计方法、装置、系统及可读存储介质 |
| CN115761905A (zh) * | 2023-01-09 | 2023-03-07 | 吉林大学 | 一种基于骨骼关节点的潜水员动作识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| Diver’s hand gesture recognition and segmentation for human–robot interaction on AUV;Yu Jiang et al;《Signal, Image and Video Processing》;第1899-1906页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116561649A (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110414432B (zh) | 对象识别模型的训练方法、对象识别方法及相应的装置 | |
| Nadeem et al. | Human actions tracking and recognition based on body parts detection via Artificial neural network | |
| Fayaz et al. | Underwater object detection: architectures and algorithms–a comprehensive review | |
| CN112148128B (zh) | 一种实时手势识别方法、装置及人机交互系统 | |
| Wang et al. | Gan-knowledge distillation for one-stage object detection | |
| CN116561649B (zh) | 基于多源传感器数据的潜水员运动状态识别方法和系统 | |
| CN116579616B (zh) | 一种基于深度学习的风险识别方法 | |
| CN111914643A (zh) | 一种基于骨骼关键点检测的人体动作识别方法 | |
| CN111967433A (zh) | 一种基于自监督学习网络的动作识别办法 | |
| CN113516005A (zh) | 一种基于深度学习和姿态估计的舞蹈动作评价系统 | |
| JP2022120775A (ja) | オンデバイスでの活動認識 | |
| CN112861808A (zh) | 动态手势识别方法、装置、计算机设备及可读存储介质 | |
| CN115937975A (zh) | 一种基于多模态序列融合的动作识别方法及系统 | |
| CN116110089A (zh) | 一种基于深度自适应度量学习的面部表情识别方法 | |
| CN117407772A (zh) | 监督对比学习网络模型训练多元时序数据分类方法及系统 | |
| CN116092127A (zh) | 基于并联式特征融合网络人体动作识别的行人重识别方法 | |
| CN111797705A (zh) | 一种基于人物关系建模的动作识别方法 | |
| Özbay et al. | 3D Human Activity Classification with 3D Zernike Moment Based Convolutional, LSTM-Deep Neural Networks. | |
| Batool et al. | Fundamental recognition of ADL assessments using machine learning engineering | |
| CN113516232A (zh) | 一种基于自注意力机制的神经网络模型的训练方法 | |
| CN111626417A (zh) | 一种基于无监督深度学习的闭环检测方法 | |
| CN114495265B (zh) | 多跨域场景下基于活动图加权的人体行为识别方法 | |
| CN115761877A (zh) | 一种智能看护的人体异常行为识别系统、方法、计算机及存储介质 | |
| CN113408356A (zh) | 基于深度学习的行人重识别方法、装置、设备及存储介质 | |
| CN112699954A (zh) | 一种基于深度学习和词袋模型的闭环检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |