CN117441980A - 一种基于多传感信息智能计算的智能头盔系统及方法 - Google Patents
一种基于多传感信息智能计算的智能头盔系统及方法 Download PDFInfo
- Publication number
- CN117441980A CN117441980A CN202311776468.5A CN202311776468A CN117441980A CN 117441980 A CN117441980 A CN 117441980A CN 202311776468 A CN202311776468 A CN 202311776468A CN 117441980 A CN117441980 A CN 117441980A
- Authority
- CN
- China
- Prior art keywords
- user
- digital twin
- data
- module
- intelligent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013135 deep learning Methods 0.000 claims abstract description 43
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 230000003993 interaction Effects 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000011176 pooling Methods 0.000 claims description 29
- 230000001133 acceleration Effects 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 21
- 210000004556 brain Anatomy 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 15
- 230000000007 visual effect Effects 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A42—HEADWEAR
- A42B—HATS; HEAD COVERINGS
- A42B3/00—Helmets; Helmet covers ; Other protective head coverings
- A42B3/04—Parts, details or accessories of helmets
- A42B3/0406—Accessories for helmets
- A42B3/0433—Detecting, signalling or lighting devices
- A42B3/046—Means for detecting hazards or accidents
-
- A—HUMAN NECESSITIES
- A42—HEADWEAR
- A42B—HATS; HEAD COVERINGS
- A42B3/00—Helmets; Helmet covers ; Other protective head coverings
- A42B3/04—Parts, details or accessories of helmets
- A42B3/0406—Accessories for helmets
- A42B3/0433—Detecting, signalling or lighting devices
- A42B3/0453—Signalling devices, e.g. auxiliary brake or indicator lights
-
- A—HUMAN NECESSITIES
- A42—HEADWEAR
- A42B—HATS; HEAD COVERINGS
- A42B3/00—Helmets; Helmet covers ; Other protective head coverings
- A42B3/04—Parts, details or accessories of helmets
- A42B3/30—Mounting radio sets or communication systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于多传感信息智能计算的智能头盔系统及方法，通过数据采集模块采集数据并传输到深度学习模块与数字孪生模块；利用深度学习模块捕捉用户数据中的长程依赖关系和时序信息，将长程依赖关系和时序信息整合，作为监测任务的分析结果传输至数字孪生模块；在数字孪生平台上显示接收的数据；数字孪生体根据接收的用户数据，实时生成相应的体态并进行展示；当判断用户处于危险状态时或者监测到危险时，对用户进行警告，同时在数字孪生平台上展示，达到可视化的作用，通过结合数字孪生技术和智能穿戴技术，实时获取用户当前状态和环境，当遇到危险时系统能迅速做出准确判断，并利用语音交互功能实施救援工作，以保障用户的生命安全。
Description
技术领域
本发明属于智能穿戴技术领域，更具体地，涉及一种基于多传感信息智能计算的智能头盔系统及方法。
背景技术
智能穿戴设备正在为监测领域带来新的可能性。与传统的监测系统相比，智能穿戴设备能够实时、无缝地获取用户的状态数据，并结合先进的传感技术进行分析和识别。这种方式使得监测更加直观和精准，能够及时发现用户的异常状况。
随着数字孪生技术和深度学习技术的发展，智能穿戴领域也得到了显著的改进。深度学习技术可以通过准确实时地对采集到的用户状态和周围环境情况进行分析。同时，数字孪生技术可以实时展示用户的行为和状况。将深度学习技术和数字孪生技术结合起来的智能穿戴系统在工业、军事、医疗健康等领域具有广泛的应用前景。这样的系统可以实时采集用户数据，准确判断危险，并更好地展示用户的状态，与用户进行交互，为相关行业提供关键的安全保障。
在现有技术中，公开号为CN117014471A的中国专利公开了“一种基于人工智能的工程物联网安全监测系统”，采用工程物联网和自动化技术进行监测，但该方法在对用户危险施工进行监测时，没有对周围环境及用户数据做出及时的判断来确保用户当前的状态，且用户状态无法可视化。
因此，亟待设计一种准确性高、时效性强的可视化实时监测智能头盔系统，解决上述现有技术存在的问题。
发明内容
有鉴于此，本发明提供了一种基于多传感信息智能计算的智能头盔系统及方法，目的在于解决当前对于危险环境下无法及时获得用户状态和无法展示用户的真实情况，对突发状况无法做出最佳判断的安全问题。
为实现上述目的，本发明采用了如下技术方案：
一种基于多传感信息智能计算的智能头盔系统，包括数据采集模块、深度学习模块和数字孪生模块；
所述数据采集模块用于实时采集用户数据与环境数据，并实时传输用户数据与环境数据到深度学习模块和数字孪生模块；所述数据采集模块包括头盔、通讯设备和数据采集设备，所述数据采集设备包括摄像头、十轴加速度传感器、脑电波传感器和超宽带定位芯片；通讯设备、摄像头、十轴加速度传感器、脑电波传感器和超宽带定位芯片均安装在头盔上；
所述深度学习模块对采集到的用户数据做监测分析，来判断用户的状态，并将分析结果传输至数字孪生模块；
所述数字孪生模块使用虚拟引擎创建数字孪生平台与数字孪生体，所述数字孪生平台与数据采集模块和深度学习模块建立连接，实时接收传输的数据，并在数字孪生平台上显示数据采集模块采集到的用户数据和深度学习模块得到的分析结果；所述数字孪生体根据接收到的用户数据，生成相应的体态，并实时展示用户体态。
进一步的，所述摄像头实时监控周围环境，并利用深度学习模块对周围环境进行监测；所述十轴加速度传感器采集用户的三轴加速度、三轴角速度和三轴磁场，用于判断当前用户的运动状态；所述脑电波传感器采集脑电波，用于判断用户的专注度和放松度；超宽带定位芯片对用户进行实时定位和测距，用于获取用户当前的定位坐标；
所述通讯设备将数据采集设备采集的用户数据与环境数据传输至深度学习模块和数字孪生模块；所述通讯设备具备语音交互功能，用于与用户实时交互。
本发明还提供了一种基于上述智能头盔系统的方法，包括如下步骤：
S1.通过数据采集模块中的数据采集设备采集用户数据和环境数据，并通过通讯设备将数据采集设备采集的用户数据和环境数据传输到深度学习模块与数字孪生模块；
S2.利用深度学习模块捕捉用户数据中的长程依赖关系和时序信息，将长程依赖关系和时序信息进行整合，作为监测任务的分析结果，传输至数字孪生模块；
S3.在数字孪生平台上显示数据采集模块采集到的用户数据和深度学习模块得到的分析结果；数字孪生体根据接收的用户数据，实时生成相应的体态，并进行实时展示；
S4.当深度学习模块通过采集到的数据判断用户处于危险状态时或者摄像头监测到危险时，通讯设备中的语音交互功能会对用户进行警告，同时会实时发送用户当前状态与定位坐标到数字孪生平台，达到可视化的作用。
进一步的，所述步骤S1中的数据采集设备采集用户数据和环境数据，具体如下：
通过脑电波传感器实时获取用户当前的脑电波，通过十轴加速度传感器获取用户当前的三轴加速度、三轴角速度、三轴磁场，通过超宽带定位芯片获取用户当前的定位坐标，通过摄像头获取用户当前的周围环境。
进一步的，所述步骤S2具体如下：
S2-1.将数据采集模块采集的用户数据形成初始数据序列特征矩阵，将初始数据序列特征矩阵依次进行卷积操作、最大池化操作获取特征图；
S2-2.将经过最大池化操作得到的特征图进行Flatten操作，用于将二维特征图转化为一维特征序列；
S2-3.分别捕捉一维特征序列中的长程依赖关系和时序信息；
S2-4.将长程依赖关系与时序信息进行整合，依次使用全连接层、softmax激活函数输出分析结果；
S2-5.将分析结果通过通讯设备实时传输至数字孪生模块的数字孪生平台。
进一步的，所述步骤S2-1中将初始数据序列特征矩阵依次进行卷积操作、最大池化操作获取特征图，具体如下：
所述卷积操作的卷积公式如下：
；
其中，[i,j]表示在卷积操作中输出特征图中的每个像素位置坐标；m和n是大小不超过特征图中像素范围的随机值，是特征图经卷积操作之后输出的位置结果，是卷积操作中输入特征图的位置，/>是滤波器的权重，/>是偏差项；
所述最大池化操作的最大值池化公式如下：
；
其中，[p,q]表示在最大池化操作中特征输出图中每一个像素的坐标，m和n是大小不超过特征图中像素范围的随机值，是特征图经最大池化操作之后的输出的位置结果，/>是最大池化操作中输入特征图的位置，s是池化窗口的大小。
进一步的，所述步骤S2-3中的捕捉一维特征序列中的长程依赖关系具体为：
A-1.将一维特征序列引入编码器层中，对一维特征序列进行位置编码，所述编码器层包含注意力机制和前馈网络，利用编码器层中的注意力机制，计算指定位置与其他位置的注意力权重，然后将其他位置的特征向量按照注意力权重进行加权求和，得到该位置的表示，将注意力机制应用到多个通过对输入特征进行线性变换得到的子空间中，并将子空间的结果拼接起来，使一维特征序列建立相关性，注意力机制公式如下：
；
其中，a、b、c分别为查询、键和值的输入特征；为归一化函数，用于将查询和键之间的相识度得分转换为注意力权重；/>为特征维度；
A-2.在每个子空间之间，使用残差连接将原始输入和子空间的输出结果相加，在对子空间进行残差连接之前对上一层子空间的输出进行归一化处理，使得该子空间的输出在每个维度上的均值为0，方差为1，避免梯度消失和加速训练过程；
A-3.再使用编码器层中的前馈网络通过全连接层对通过注意力机制得到的每个位置的表示进行非线性变换和特征提取，增强特征的表达能力和模型的学习能力，前馈网络对每个位置的表示进行非线性变换和映射的计算公式如下：
；
其中，表示前馈网络的输入，/>是第一个线性变换的权重矩阵，/>是第二个线性变换的权重矩阵，/>是第一个线性变换的偏置向量，/>是第二个线性变换的偏置向量，是非线性激活函数；
A-4.将多个编码器层堆叠在一起，将每个编码器层的输出作为下一层编码器层的输入，堆叠的编码器层逐步提取和融合一维特征序列中的不同层次的特征和依赖关系。
进一步的，所述步骤S2-3中的捕捉一维特征序列中的时序信息具体为：
B-1.初始化一维特征序列中的参数与隐藏状态；
B-2.将一维特征序列在当前时间步进行判断是否需要重置前一时间步的隐藏状态的部分内容，以及判断是否更新当前时间步的隐藏状态；
所述判断是否需要重置前一时间步的隐藏状态的部分内容，判断重置公式如下：
；
其中，是输入，/>是上一个时间步的隐藏状态，/>是判断重置过程中对输入进行线性变换的权重矩阵，/>是判断重置过程中对隐藏状态/>进行线性变换的权重矩阵，/>是偏置，/>表示是否将上一个时间步的隐藏状态/>纳入当前时间步的计算中；
所述判断是否更新当前时间步的隐藏状态，判断更新公式如下：
；
其中，是输入，/>是上一个时间步的隐藏状态，/>是判断更新过程中对输入进行线性变换的权重矩阵，/>是判断更新过程中对隐藏状态/>进行线性变换的权重矩阵，/>是偏置，/>表示是否使用当前时间步的更新值/>来更新隐藏状态/>；
B-3.判断要使用当前时间步的更新值来更新隐藏状态/>，第一部分为计算更新值，计算更新值公式如下：
；
其中，为更新值，/>是输入，/>是上一个时间步的隐藏状态，/>是更新过程中对输入/>进行线性变换的权重矩阵，/>是更新过程中对隐藏状态/>进行线性变换的权重矩阵，/>是偏置，/>表示是否将上一个时间步的隐藏状态/>纳入当前时间步的计算中；
第二部分是计算更新隐藏状态，计算更新隐藏状态公式如下：
；
其中，为更新值，/>是上一个时间步的隐藏状态，/>为更新隐藏状态，/>表示是否使用当前时间步的更新值/>来更新隐藏状态/>；
B-4.将计算得到的隐藏状态序列作为输出，这些隐藏状态捕捉了一维特征序列中的时序信息，并在后续任务中进行进一步的处理和应用。
与现有技术相比，本发明的有益效果是：
（1）通过设置具有多种不同数据采集方式的数据采集设备，多角度精确采集各项用户数据和环境数据，为保证对用户体征与危险进行准确识别和判断打好了基础。
（2）通过在深度学习模块中利用卷积操作将初始数据序列特征矩阵每一行看作一个序列，每列表示序列中的一个时间步，对于每个时间步，卷积操作将其与其相邻的时间步进行加权平均，以提取出序列中的局部结构信息，通过在整个序列上进行卷积操作，可以提取出整个序列的各种特征。此外，利用最大池化操作减小序列的长度，同时保留序列中最有代表性的特征从而降低计算量，提高模型的鲁棒性。
（3）通过对特征图进行降维操作后，分别捕捉一维特征序列中的长程依赖关系和时序信息来得到一个对用户体征和环境数据判断准确度高，稳定性强的分析系统。为了避免梯度消失并加快训练过程，在捕捉长程依赖关系时，使用残差连接和层归一化。同时，在编码器层中使用前馈网络来增强特征的表达能力和模型的学习能力。为了提取和融合一维特征序列中不同层次的特征和依赖关系，我们将多个编码器层逐步堆叠在一起。而在捕捉时序信息的过程中，我们将判断是否需要重置前一时间步的隐藏状态的一部分内容，以及判断是否需要更新当前时间步的隐藏状态，最终计算出隐藏状态序列作为输出。将两部分输出结果进行整合，依次使用全连接层、softmax激活函数输出分析结果。
（4）通过数字孪生技术创建数字孪生模块，数字孪生模块使用虚拟引擎创建数字孪生平台与数字孪生体，数字孪生平台与数据采集模块和深度学习模块建立连接，实时接受传输的数据，并在在数字孪生平台上显示数据采集模块采集到的用户数据和深度学习模块得到的分析结果；数字孪生体根据所接收的用户数据，生成相应的体态，并实时展示用户体态。对用户状态达到可视化的效果，及时判断出用户状态，在第一时间做出警报和有效措施。
（5）通过结合数字孪生技术和智能穿戴技术，能够实时获取用户当前状态和环境，当遇到危险时，系统能够迅速做出准确的判断，并利用语音交互功能更好地实施救援工作，以保障用户的生命安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1 示出了本发明实施例基于多传感信息智能计算的智能头盔系统的模块示意图；
图2示出了本发明实施例基于多传感信息智能计算的智能头盔系统方法的流程图；
图3示出了本发明实施例基于多传感信息智能计算的智能头盔系统的深度学习模块流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供了一种基于多传感信息智能计算的智能头盔系统，如图1所示，所述基于多传感信息智能计算的智能头盔系统，包括数据采集模块、深度学习模块和数字孪生模块；
所述数据采集模块用于实时采集用户数据与环境数据，并实时传输用户数据与环境数据到深度学习模块和数字孪生模块；所述数据采集模块包括头盔、通讯设备和数据采集设备，所述数据采集设备包括摄像头、十轴加速度传感器、脑电波传感器和超宽带定位芯片；通讯设备、摄像头、十轴加速度传感器、脑电波传感器和超宽带定位芯片均安装在头盔上；
所述深度学习模块对采集到的用户数据做监测分析，来判断用户的状态，并将分析结果传输至数字孪生模块；
所述数字孪生模块使用虚拟引擎创建数字孪生平台与数字孪生体，所述数字孪生平台与数据采集模块和深度学习模块建立连接，实时接收传输的数据，并在数字孪生平台上显示数据采集模块采集到的用户数据和深度学习模块得到的分析结果；所述数字孪生体根据接收到的用户数据，生成相应的体态，并实时展示用户体态。
优选的，所述虚幻引擎选用虚幻引擎UE5。
数字孪生体通过接受到的信息做出与用户同步的的运动状态，如站立、行走、奔跑等，当用户走到危险区域时，数字孪生体的位置也会同步，并在平台上及时发出警报。
所述摄像头实时监控周围环境，并利用深度学习模块对周围环境进行监测；所述十轴加速度传感器采集用户的三轴加速度、三轴角速度和三轴磁场，用于判断当前用户的运动状态；所述脑电波传感器采集脑电波（EEG信号），用于判断用户的专注度和放松度；超宽带定位芯片对用户进行实时定位和测距，用于获取用户当前的定位坐标。
十轴加速度传感器可以确定物体在各个轴上的加速度，便于对用户的运动状态做出精确的判断；脑电波传感器通过电极接触头皮，感知和记录大脑产生的电信号，准确获取用户信息；超宽带定位芯片利用大带宽的短脉冲信号在室内或复杂环境中进行准确的位置测量，利用超宽带信号在时域上的特性进行距离测量，可提供非常高的定位准确性和信号穿透性。
通讯设备将数据采集设备采集的用户数据与环境数据传输至深度学习模块和数字孪生模块；通讯设备具备语音交互功能，用于与用户实时交互。
本发明还提供了一种基于上述智能头盔系统的方法，如图2所示，包括如下步骤：
S1.通过数据采集模块中的数据采集设备采集用户数据和环境数据，并通过通讯设备将数据采集设备采集的用户数据和环境数据传输到深度学习模块与数字孪生模块；
S2.利用深度学习模块捕捉用户数据中的长程依赖关系和时序信息，将长程依赖关系和时序信息进行整合，作为监测任务的分析结果，传输至数字孪生模块；
S3.在数字孪生平台上显示数据采集模块采集到的用户数据和深度学习模块得到的分析结果；数字孪生体根据接收的用户数据，实时生成相应的体态，并进行实时展示；
S4.当深度学习模块通过采集到的数据判断用户处于危险状态时或者摄像头监测到危险时，通讯设备中的语音交互功能会对用户进行警告，同时会实时发送用户当前状态与定位坐标到数字孪生平台，达到可视化的作用。
所述步骤S1中的数据采集设备采集用户数据和环境数据，具体如下：
通过脑电波传感器实时获取用户当前的脑电波（EEG信号），通过十轴加速度传感器获取用户当前的三轴加速度、三轴角速度、三轴磁场，通过超宽带定位芯片获取用户当前的定位坐标，通过摄像头获取用户当前的周围环境。
通过设置具有多种不同数据采集方式的数据采集设备，多角度精确采集各项用户数据和环境数据，为保证对用户体征与危险进行准确识别和判断打好了基础。
如图3所示，所述步骤S2具体如下：
S2-1.将数据采集模块采集的用户数据形成初始数据序列特征矩阵，将初始数据序列特征矩阵依次进行卷积操作、最大池化操作获取特征图；
S2-2.将经过最大池化操作得到的特征图进行Flatten操作，用于将二维特征图转化为一维特征序列；
S2-3.分别捕捉一维特征序列中的长程依赖关系和时序信息；
S2-4.将长程依赖关系与时序信息进行整合，依次使用全连接层、softmax激活函数输出分析结果，所述分析结果为类别概率；
S2-5.将分析结果通过通讯设备实时传输至数字孪生模块的数字孪生平台。
所述步骤S2-1中将初始数据序列特征矩阵依次进行卷积操作、最大池化操作获取特征图，具体如下：
所述卷积操作的卷积公式如下：
；
其中，[i,j]表示在卷积操作中输出特征图中的每个像素位置坐标；m和n是大小不超过特征图中像素范围的随机值，是特征图经卷积操作之后输出的位置结果，是卷积操作中输入特征图的位置，/>是滤波器的权重，/>是偏差项。
所述最大池化操作的最大值池化公式如下：
；
其中，[p,q]表示在最大池化操作中特征输出图中每一个像素的坐标，是特征图经最大池化操作之后的输出的位置结果，/>是最大池化操作中输入特征图的位置，s是池化窗口的大小。
通过在深度学习模块中利用卷积操作将初始数据序列特征矩阵每一行看作一个序列，每列表示序列中的一个时间步，对于每个时间步，卷积操作将其与其相邻的时间步进行加权平均，以提取出序列中的局部结构信息，通过在整个序列上进行卷积操作，可以提取出整个序列的各种特征。此外，利用最大池化操作减小序列的长度，同时保留序列中最有代表性的特征从而降低计算量，提高模型的鲁棒性。
所述步骤S2-3中的捕捉一维特征序列中的长程依赖关系具体为：
A-1.将一维特征序列引入编码器层中，对一维特征序列进行位置编码，所述编码器层包含注意力机制和前馈网络，利用编码器层中的注意力机制，计算指定位置与其他位置的注意力权重，然后将其他位置的特征向量按照注意力权重进行加权求和，得到该位置的表示，将注意力机制应用到多个通过对输入特征进行线性变换得到的子空间中，并将子空间的结果拼接起来，使一维特征序列建立相关性，注意力机制公式如下：
；
其中，a、b、c分别为查询、键和值的输入特征；为归一化函数，用于将查询和键之间的相识度得分转换为注意力权重；/>为特征维度；
A-2.在每个子空间之间，使用残差连接将原始输入和子空间的输出结果相加，在对子空间进行残差连接之前对上一层子空间的输出进行归一化处理，使得该子空间的输出在每个维度上的均值为0，方差为1，避免梯度消失和加速训练过程；
A-3.再使用编码器层中的前馈网络通过全连接层对通过注意力机制得到的每个位置的表示进行非线性变换和特征提取，增强特征的表达能力和模型的学习能力，前馈网络对每个位置的表示进行非线性变换和映射的计算公式如下：
；
其中，表示前馈网络的输入，/>是第一个线性变换的权重矩阵，/>是第二个线性变换的权重矩阵，/>是第一个线性变换的偏置向量，/>是第二个线性变换的偏置向量，是非线性激活函数；
A-4.将多个编码器层堆叠在一起，将每个编码器层的输出作为下一层编码器层的输入，堆叠的编码器层逐步提取和融合一维特征序列中的不同层次的特征和依赖关系。
通过对特征图进行降维操作后，分别捕捉一维特征序列中的长程依赖关系和时序信息来得到一个对用户体征和环境数据判断准确度高，稳定性强的分析系统。为了避免梯度消失并加快训练过程，在捕捉长程依赖关系时，使用残差连接和层归一化。同时，在编码器层中使用前馈网络来增强特征的表达能力和模型的学习能力。为了提取和融合一维特征序列中不同层次的特征和依赖关系，我们将多个编码器层逐步堆叠在一起。
所述步骤S2-3中的捕捉一维特征序列中的时序信息具体为：
B-1.初始化一维特征序列中的参数与隐藏状态；
B-2.将一维特征序列在当前时间步进行判断是否需要重置前一时间步的隐藏状态的部分内容，以及判断是否更新当前时间步的隐藏状态；
所述判断是否需要重置前一时间步的隐藏状态的部分内容，判断重置公式如下：
；
其中，是输入，/>是上一个时间步的隐藏状态，/>是判断重置过程中对输入进行线性变换的权重矩阵，/>是判断重置过程中对隐藏状态/>进行线性变换的权重矩阵，/>是偏置，/>表示是否将上一个时间步的隐藏状态/>纳入当前时间步的计算中。
所述判断是否更新当前时间步的隐藏状态，判断更新公式如下：
；
其中，是输入，/>是上一个时间步的隐藏状态，/>是判断更新过程中对输入进行线性变换的权重矩阵，/>是判断更新过程中对隐藏状态/>进行线性变换的权重矩阵，/>是偏置，/>表示是否使用当前时间步的更新值/>来更新隐藏状态/>。
通过将输入特征和上一个时间步的隐藏状态/>经过线性变换后，使用sigmoid函数作用于它们的加权和，输出值/>表示是否将上一个时间步的隐藏状态/>纳入当前时间步的计算中，输出值/>表示是否使用当前时间步的更新值/>来更新隐藏状态/>。
B-3.判断要使用当前时间步的更新值来更新隐藏状态/>，第一部分为计算更新值，计算更新值公式如下：
；
其中，为更新值，/>是输入，/>是上一个时间步的隐藏状态，/>是更新过程中对输入/>进行线性变换的权重矩阵，/>是更新过程中对隐藏状态/>进行线性变换的权重矩阵，/>是偏置，/>表示是否将上一个时间步的隐藏状态/>纳入当前时间步的计算中。
第二部分是计算更新隐藏状态，计算更新隐藏状态公式如下：
；
其中，为更新值，/>是上一个时间步的隐藏状态，/>为更新隐藏状态，/>表示是否使用当前时间步的更新值/>来更新隐藏状态/>。
B-4.将计算得到的隐藏状态序列作为输出，这些隐藏状态捕捉了一维特征序列中的时序信息，并在后续任务中进行进一步的处理和应用。
在捕捉时序信息的过程中，我们将判断是否需要重置前一时间步的隐藏状态的一部分内容，以及判断是否需要更新当前时间步的隐藏状态，最终计算出隐藏状态序列作为输出。将两部分输出结果进行整合，依次使用全连接层、softmax激活函数输出分析结果。
通过结合数字孪生技术和智能穿戴技术，能够实时获取用户当前状态和环境，当遇到危险时，系统能够迅速做出准确的判断，并利用语音交互功能更好地实施救援工作，以保障用户的生命安全。
以上所述仅为本领域技术人员理解本发明的较佳实施例，并不打算对本发明施加任何限制。本领域的技术人员可以在不违背本申请的精神和范围的情况下，对本申请进行各种修改和变型。因此，如果这些改动和变型属于本发明权利要求的范围内或者等效技术的范围内，那么本申请也包含了对这些改动和变型的保护意图。
Claims (8)
1.一种基于多传感信息智能计算的智能头盔系统，其特征在于，所述智能头盔系统包括数据采集模块、深度学习模块和数字孪生模块；
所述数据采集模块用于实时采集用户数据与环境数据，并实时传输用户数据与环境数据到深度学习模块和数字孪生模块；所述数据采集模块包括头盔、通讯设备和数据采集设备，所述数据采集设备包括摄像头、十轴加速度传感器、脑电波传感器和超宽带定位芯片；通讯设备、摄像头、十轴加速度传感器、脑电波传感器和超宽带定位芯片均安装在头盔上；
所述深度学习模块对采集到的用户数据做监测分析，来判断用户的状态，并将分析结果传输至数字孪生模块；
所述数字孪生模块使用虚拟引擎创建数字孪生平台与数字孪生体，所述数字孪生平台与数据采集模块和深度学习模块建立连接，实时接收传输的数据，并在数字孪生平台上显示数据采集模块采集到的用户数据和深度学习模块得到的分析结果；所述数字孪生体根据接收到的用户数据，生成相应的体态，并实时展示用户体态。
2.如权利要求1所述的基于多传感信息智能计算的智能头盔系统，其特征在于，所述摄像头实时监控周围环境，并利用深度学习模块对周围环境进行监测；所述十轴加速度传感器采集用户的三轴加速度、三轴角速度和三轴磁场，用于判断当前用户的运动状态；所述脑电波传感器采集脑电波，用于判断用户的专注度和放松度；超宽带定位芯片对用户进行实时定位和测距，用于获取用户当前的定位坐标；
所述通讯设备将数据采集设备采集的用户数据与环境数据传输至深度学习模块和数字孪生模块；所述通讯设备具备语音交互功能，用于与用户实时交互。
3.一种如权利要求1或2所述的基于多传感信息智能计算的智能头盔系统的方法，其特征在于，包括如下步骤：
S1.通过数据采集模块中的数据采集设备采集用户数据和环境数据，并通过通讯设备将数据采集设备采集的用户数据和环境数据传输到深度学习模块与数字孪生模块；
S2.利用深度学习模块捕捉用户数据中的长程依赖关系和时序信息，将长程依赖关系和时序信息进行整合，作为监测任务的分析结果，传输至数字孪生模块；
S3.在数字孪生平台上显示数据采集模块采集到的用户数据和深度学习模块得到的分析结果；数字孪生体根据接收的用户数据，实时生成相应的体态，并进行实时展示；
S4.当深度学习模块通过采集到的数据判断用户处于危险状态时或者摄像头监测到危险时，通讯设备中的语音交互功能会对用户进行警告，同时会实时发送用户当前状态与定位坐标到数字孪生平台，达到可视化的作用。
4.如权利要求3所述的基于多传感信息智能计算的智能头盔系统的方法，其特征在于，所述步骤S1中的数据采集设备采集用户数据和环境数据，具体如下：
通过脑电波传感器实时获取用户当前的脑电波，通过十轴加速度传感器获取用户当前的三轴加速度、三轴角速度、三轴磁场，通过超宽带定位芯片获取用户当前的定位坐标，通过摄像头获取用户当前的周围环境。
5.如权利要求4所述的基于多传感信息智能计算的智能头盔系统的方法，其特征在于，所述步骤S2具体如下：
S2-1.将数据采集模块采集的用户数据形成初始数据序列特征矩阵，将初始数据序列特征矩阵依次进行卷积操作、最大池化操作获取特征图；
S2-2.将经过最大池化操作得到的特征图进行Flatten操作，用于将二维特征图转化为一维特征序列；
S2-3.分别捕捉一维特征序列中的长程依赖关系和时序信息；
S2-4.将长程依赖关系与时序信息进行整合，依次使用全连接层、softmax激活函数输出分析结果；
S2-5.将分析结果通过通讯设备实时传输至数字孪生模块的数字孪生平台。
6.如权利要求5所述的基于多传感信息智能计算的智能头盔系统的方法，其特征在于，所述步骤S2-1中将初始数据序列特征矩阵依次进行卷积操作、最大池化操作获取特征图，具体如下：
所述卷积操作的卷积公式如下：
；
其中，[i,j]表示在卷积操作中输出特征图中的每个像素位置坐标；m和n是大小不超过特征图中像素范围的随机值，是特征图经卷积操作之后输出的位置结果，是卷积操作中输入特征图的位置，/>是滤波器的权重，/>是偏差项；
所述最大池化操作的最大值池化公式如下：
；
其中，[p,q]表示在最大池化操作中特征输出图中每一个像素的坐标，m和n是大小不超过特征图中像素范围的随机值，是特征图经最大池化操作之后的输出的位置结果，是最大池化操作中输入特征图的位置，s是池化窗口的大小。
7.如权利要求5所述的基于多传感信息智能计算的智能头盔系统的方法，其特征在于，所述步骤S2-3中的捕捉一维特征序列中的长程依赖关系具体为：
A-1.将一维特征序列引入编码器层中，对一维特征序列进行位置编码，所述编码器层包含注意力机制和前馈网络，利用编码器层中的注意力机制，计算指定位置与其他位置的注意力权重，然后将其他位置的特征向量按照注意力权重进行加权求和，得到该位置的表示，将注意力机制应用到多个通过对输入特征进行线性变换得到的子空间中，并将子空间的结果拼接起来，使一维特征序列建立相关性，注意力机制公式如下：
；
其中，a、b、c分别为查询、键和值的输入特征；为归一化函数，用于将查询和键之间的相识度得分转换为注意力权重；/>为特征维度；
A-2.在每个子空间之间，使用残差连接将原始输入和子空间的输出结果相加，在对子空间进行残差连接之前对上一层子空间的输出进行归一化处理，使得该子空间的输出在每个维度上的均值为0，方差为1，避免梯度消失和加速训练过程；
A-3.再使用编码器层中的前馈网络通过全连接层对通过注意力机制得到的每个位置的表示进行非线性变换和特征提取，增强特征的表达能力和模型的学习能力，前馈网络对每个位置的表示进行非线性变换和映射的计算公式如下：
；
其中，表示前馈网络的输入，/>是第一个线性变换的权重矩阵，/>是第二个线性变换的权重矩阵，/>是第一个线性变换的偏置向量，/>是第二个线性变换的偏置向量，/>是非线性激活函数；
A-4.将多个编码器层堆叠在一起，将每个编码器层的输出作为下一层编码器层的输入，堆叠的编码器层逐步提取和融合一维特征序列中的不同层次的特征和依赖关系。
8.如权利要求5所述的基于多传感信息智能计算的智能头盔系统的方法，其特征在于，所述步骤S2-3中的捕捉一维特征序列中的时序信息具体为：
B-1.初始化一维特征序列中的参数与隐藏状态；
B-2.将一维特征序列在当前时间步进行判断是否需要重置前一时间步的隐藏状态的部分内容，以及判断是否更新当前时间步的隐藏状态；
所述判断是否需要重置前一时间步的隐藏状态的部分内容，判断重置公式如下：
；
其中，是输入，/>是上一个时间步的隐藏状态，/>是判断重置过程中对输入/>进行线性变换的权重矩阵，/>是判断重置过程中对隐藏状态/>进行线性变换的权重矩阵，/>是偏置，/>表示是否将上一个时间步的隐藏状态/>纳入当前时间步的计算中；
所述判断是否更新当前时间步的隐藏状态，判断更新公式如下：
；
其中，是输入，/>是上一个时间步的隐藏状态，/>是判断更新过程中对输入/>进行线性变换的权重矩阵，/>是判断更新过程中对隐藏状态/>进行线性变换的权重矩阵，/>是偏置，/>表示是否使用当前时间步的更新值/>来更新隐藏状态/>；
B-3.判断要使用当前时间步的更新值来更新隐藏状态/>，第一部分为计算更新值，计算更新值公式如下：
；
其中，为更新值，/>是输入，/>是上一个时间步的隐藏状态，/>是更新过程中对输入/>进行线性变换的权重矩阵，/>是更新过程中对隐藏状态/>进行线性变换的权重矩阵，/>是偏置，/>表示是否将上一个时间步的隐藏状态/>纳入当前时间步的计算中；
第二部分是计算更新隐藏状态，计算更新隐藏状态公式如下：
；
其中，为更新值，/>是上一个时间步的隐藏状态，/>为更新隐藏状态，/>表示是否使用当前时间步的更新值/>来更新隐藏状态/>；
B-4.将计算得到的隐藏状态序列作为输出，这些隐藏状态捕捉了一维特征序列中的时序信息，并在后续任务中进行进一步的处理和应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311776468.5A CN117441980B (zh) | 2023-12-20 | 2023-12-20 | 一种基于多传感信息智能计算的智能头盔系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311776468.5A CN117441980B (zh) | 2023-12-20 | 2023-12-20 | 一种基于多传感信息智能计算的智能头盔系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117441980A true CN117441980A (zh) | 2024-01-26 |
| CN117441980B CN117441980B (zh) | 2024-03-22 |
Family
ID=89589468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311776468.5A Active CN117441980B (zh) | 2023-12-20 | 2023-12-20 | 一种基于多传感信息智能计算的智能头盔系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117441980B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110089796A (zh) * | 2019-06-06 | 2019-08-06 | 北京田一科技有限公司 | 一种智能工程头盔 |
| CN112418764A (zh) * | 2020-11-24 | 2021-02-26 | 上海治云智能科技有限公司 | 一种5g可视化仓管系统 |
| DE102020215630A1 (de) * | 2019-12-23 | 2021-06-24 | Robert Bosch Gesellschaft mit beschränkter Haftung | System und verfahren zur fahrzeugbewussten gestenerkennung in fahrzeugen mit smart-helmen |
| AU2021105086A4 (en) * | 2021-08-07 | 2022-05-19 | Aakash Amarnath | System and method for automatic helmet detection to enhance the rider safety using deep learning |
| CN114637262A (zh) * | 2022-03-10 | 2022-06-17 | 广东泰云泽科技有限公司 | 基于5g驱动的智能工厂数字孪生信息的决策控制方法及系统 |
| CN114678097A (zh) * | 2022-05-25 | 2022-06-28 | 武汉纺织大学 | 一种面向智慧服装的人工智能与数字孪生系统及方法 |
| CN114821006A (zh) * | 2022-06-23 | 2022-07-29 | 盾钰（上海）互联网科技有限公司 | 交互式间接推理的孪生体态检测方法及系统 |
| CA3177620A1 (en) * | 2021-05-06 | 2022-11-06 | Strong Force Iot Portfolio 2016, Llc | Quantum, biological, computer vision, and neural network systems for industrial internet of things |
| WO2023287969A1 (en) * | 2021-07-14 | 2023-01-19 | Strong Force TX Portfolio 2018, LLC | Systems and methods with integrated gaming engines and smart contracts |
| CN115641426A (zh) * | 2022-10-21 | 2023-01-24 | 燧光科技(北京)有限公司 | 环境信息的显示方法、装置和计算机可读存储介质 |
| KR20230128994A (ko) * | 2022-02-28 | 2023-09-05 | 주식회사 한국산업기술원 | 이동형 CCTV, 카메라, 촬영기, 녹화기, 시스템, 안전시스템, IoT시스템, 안전관리시스템 |
| CN117056874A (zh) * | 2023-08-17 | 2023-11-14 | 国网四川省电力公司营销服务中心 | 一种基于深度孪生自回归网络的无监督窃电检测方法 |
| CN117252904A (zh) * | 2023-11-15 | 2023-12-19 | 南昌工程学院 | 基于长程空间感知与通道增强的目标跟踪方法与系统 |
-
2023
- 2023-12-20 CN CN202311776468.5A patent/CN117441980B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110089796A (zh) * | 2019-06-06 | 2019-08-06 | 北京田一科技有限公司 | 一种智能工程头盔 |
| DE102020215630A1 (de) * | 2019-12-23 | 2021-06-24 | Robert Bosch Gesellschaft mit beschränkter Haftung | System und verfahren zur fahrzeugbewussten gestenerkennung in fahrzeugen mit smart-helmen |
| CN112418764A (zh) * | 2020-11-24 | 2021-02-26 | 上海治云智能科技有限公司 | 一种5g可视化仓管系统 |
| CA3177620A1 (en) * | 2021-05-06 | 2022-11-06 | Strong Force Iot Portfolio 2016, Llc | Quantum, biological, computer vision, and neural network systems for industrial internet of things |
| WO2023287969A1 (en) * | 2021-07-14 | 2023-01-19 | Strong Force TX Portfolio 2018, LLC | Systems and methods with integrated gaming engines and smart contracts |
| AU2021105086A4 (en) * | 2021-08-07 | 2022-05-19 | Aakash Amarnath | System and method for automatic helmet detection to enhance the rider safety using deep learning |
| KR20230128994A (ko) * | 2022-02-28 | 2023-09-05 | 주식회사 한국산업기술원 | 이동형 CCTV, 카메라, 촬영기, 녹화기, 시스템, 안전시스템, IoT시스템, 안전관리시스템 |
| CN114637262A (zh) * | 2022-03-10 | 2022-06-17 | 广东泰云泽科技有限公司 | 基于5g驱动的智能工厂数字孪生信息的决策控制方法及系统 |
| CN114678097A (zh) * | 2022-05-25 | 2022-06-28 | 武汉纺织大学 | 一种面向智慧服装的人工智能与数字孪生系统及方法 |
| CN114821006A (zh) * | 2022-06-23 | 2022-07-29 | 盾钰（上海）互联网科技有限公司 | 交互式间接推理的孪生体态检测方法及系统 |
| CN115641426A (zh) * | 2022-10-21 | 2023-01-24 | 燧光科技(北京)有限公司 | 环境信息的显示方法、装置和计算机可读存储介质 |
| CN117056874A (zh) * | 2023-08-17 | 2023-11-14 | 国网四川省电力公司营销服务中心 | 一种基于深度孪生自回归网络的无监督窃电检测方法 |
| CN117252904A (zh) * | 2023-11-15 | 2023-12-19 | 南昌工程学院 | 基于长程空间感知与通道增强的目标跟踪方法与系统 |
Non-Patent Citations (2)
| Title |
|---|
| 闫志明;付加留;朱友良;段元美;: "整合人工智能技术的学科教学知识（AI-TPACK）：内涵、教学实践与未来议题", 远程教育杂志, no. 05, 20 September 2020 (2020-09-20) * |
| 陈飞;程合彬;王伟光;: "基于CNN-LSTMs混合模型的人体行为识别方法", 信息技术与信息化, no. 04, 25 April 2019 (2019-04-25) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117441980B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | Shallow convolutional neural networks for human activity recognition using wearable sensors | |
| Fakhrulddin et al. | Convolutional neural networks (CNN) based human fall detection on body sensor networks (BSN) sensor data | |
| Liu et al. | Human inertial thinking strategy: A novel fuzzy reasoning mechanism for IoT-assisted visual monitoring | |
| CN113111767A (zh) | 一种基于深度学习3d姿态评估的跌倒检测方法 | |
| CN112507861A (zh) | 一种多层卷积特征融合的行人检测方法 | |
| CN107943276A (zh) | 基于大数据平台的人体行为检测和预警 | |
| CN115511255A (zh) | 一种智慧园区的立体智能管理方法及系统 | |
| Mohan et al. | Non-invasive technique for real-time myocardial infarction detection using faster R-CNN | |
| Shi et al. | DSFNet: a distributed sensors fusion network for action recognition | |
| Chen et al. | Vision-based skeleton motion phase to evaluate working behavior: case study of ladder climbing safety | |
| Liu et al. | Automatic fall risk detection based on imbalanced data | |
| Zhang et al. | Human deep squat detection method based on MediaPipe combined with Yolov5 network | |
| CN117036082B (zh) | 一种智慧矿山管理系统及方法 | |
| CN117441980B (zh) | 一种基于多传感信息智能计算的智能头盔系统及方法 | |
| CN112686111B (zh) | 基于注意力机制多视角自适应网络的交警手势识别方法 | |
| CN113627326A (zh) | 一种基于可穿戴设备和人体骨架的行为识别方法 | |
| Qu et al. | Convolutional neural network for human behavior recognition based on smart bracelet | |
| CN111623797B (zh) | 一种基于深度学习的步数测量方法 | |
| Chang et al. | Safety risk assessment of electric power operation site based on variable precision rough set | |
| CN111597881B (zh) | 基于数据分离多尺度特征结合的人体复杂行为识别方法 | |
| Wang | Data feature extraction method of wearable sensor based on convolutional neural network | |
| Song et al. | Behavior Recognition of the Elderly in Indoor Environment Based on Feature Fusion of Wi-Fi Perception and Videos | |
| Ma et al. | Research on human motion recognition system based on MEMS sensor network | |
| Zong et al. | Privacy-preserving automatic slipping detection method for elderly in bathroom using depth sensors | |
| Cao et al. | An FPGA-based Fall Detection System Using Millimeter-wave Radar and Convolutional Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |