CN117574090A - 一种基于多模态的自动煤气监控预警方法及系统 - Google Patents

Abstract

本发明公开了一种基于多模态的自动煤气监控预警方法及系统，包括如下步骤：S1、采集温度数据、湿度数据以及多种类型的煤气浓度数据；S2、基于温度与煤气浓度数据相关性矫正煤气浓度数据N_rectify1、基于湿度与煤气浓度数据相关性矫正煤气浓度数据N_rectify2，基于矫正后的煤气浓度数据N_rectify1、N_rectify2进行煤气风险预测并输出预测风险值；S3、基于预测风险值进行监控预警判断并输出对应的预警信号。本发明的优点在于：采用多种传感器浓度结合温度、湿度共同对煤气进行监控预警，监控预警更加准确可靠；考虑到温度、湿度和煤气浓度进行风险监控预警，避免了温度、湿度的影响，提高了稳定性。

Description

一种基于多模态的自动煤气监控预警方法及系统

技术领域

本发明涉及煤气检测领域，特别涉及一种基于多模态的自动煤气监控预警方法及系统。

背景技术

传统的煤气检测方法一般是将单一的煤气浓度数据与阈值进行比较，如专利申请号为201310605654.2的一种家庭煤气浓度报警装置，包括微控制器、与微控制器连接的电源模块和煤气浓度传感器，还包括LED灯、蜂鸣器和复位开关，所述煤气浓度传感器与微控制器的A/D口相连，LED灯与微控制器的I/O口相连，蜂鸣器与微控制器的I/O口相连，复位开关与微控制器的I/O口相连。该专利公开了通过煤气浓度传感器采集的数据进行检测，当当检测到有煤气的浓度达到了一定程度，发出煤气报警信号。

由上述专利公开的现有技术可以看出，现有技术对煤气检测，采用单一类型的煤气传感器，如甲烷传感器或一氧化碳传感器。这些传感器主要用于监测特定类型的气体浓度，以便及时发现潜在的危险或安全问题。但是这种单一数据的浓度比对进行风险预警的方案存在如下缺陷:

境条件影响：单一传感器的性能可能受到环境条件的影响，例如温度、湿度等变化。这些因素可能导致传感器输出的数据产生误差，降低了系统的准确性。

数据处理局限性：传统系统在数据处理方面可能相对简单，通常采用基本的阈值判断。这可能使系统对于环境变化的适应性相对较低，可能导致误报或漏报的问题。

缺乏动态调整：传统系统通常缺乏动态调整的能力，无法根据环境的实时变化来进行自适应性调整。这使得系统可能在某些条件下表现不佳。

因此现有技术采用单一传感器的浓度数据比对进行煤气风险检测预警的方案存在缺陷，无法准确可靠的进行风险检测和预警。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于多模态的自动煤气监测控制方法及系统，采用多种传感器浓度结合温度、湿度共同对煤气进行监控预警。

为了实现上述目的，本发明采用的技术方案为：一种基于多模态的自动煤气监控预警方法，包括如下步骤：

S1、采集温度数据、湿度数据以及多种类型的煤气浓度数据；

S2、基于温度与煤气浓度数据相关性矫正煤气浓度数据N_rectify1、基于湿度与煤气浓度数据相关性矫正煤气浓度数据N_rectify2，基于矫正后的煤气浓度数据N_rectify1、N_rectify2进行煤气风险预测并输出预测风险值；

S3、基于预测风险值进行监控预警判断并输出对应的预警信号。

步骤S1中，对采集的温度数据、湿度数据以及多种类型的煤气浓度数据进行预处理，包括对多种类型的煤气浓度数据进行过滤处理，以及对温度数据、湿度数据以及过滤处理后的煤气浓度数据进行归一化处理。

在步骤S2，采用搭建的多模态神经网络模型进行煤气浓度的矫正和风险预测输出。

所述的多模态神经网络模型首先将温度、湿度以及多个类型的煤气浓度数据转换成机器语言；

然后分别计算出温度和湿度对煤气浓度的影响，得到响应因子：

其中，T表示传感器温度数据，S表示传感器湿度数据，N₁，N₂，N₃…N_n则表示各个煤气浓度数据，K1、K2表示维度转换矩阵，其目的就是将结果转换成统一的维度，α和β分别表示温度对煤气浓度值测定的影响因子、湿度对煤气浓度值测定的影响因子；

然后分别基于温度和湿度数据对煤气浓度数据进行矫正，如下：

N_rectify1＝Linear(α*T+N_i)；

N_rectify2＝Linear(β*S+N_i)；

其中α和β是上一步获得的影响因子，N_i表示煤气浓度，Linear是一种线性转换函数，N_rectify1、N_rectify2表示矫正之后的数据，此时这两组数据中就包含了温度和湿度的影响；

最后将矫正之后的数据N_rectify1、N_rectify2进行感知融合得到预测输出Pre为：

Pre＝Softmax(Concat(N_rectify1，N_rectify2)+M)；

其中，N_rectify1、N_rectify2表示矫正之后的数据，M表示超参数，Concat表示拼接函数，将，N_rectify1、N_rectify2通过第0轴进行拼接，Softmax表示概率转换函数，将拼接好的数据进行预测输出得到输出结果。

搭建的多模态神经网络模型包Embedding层、Transfarmer层、Linear层、concat层和Softmax层，Embedding层作为模型的输入层，对输入的数据进行转换处理，其输出连接至Transfarmer层，Transfarmer层对数据进行矫正处理后得到的矫正数据经Linear层、concat层后送入到Softmax层，由Softmax层进行预测输出。

搭建的多模态神经网络模型在使用前，通过建立的训练样本对模型进行训练以更新模型中的阈值和参数，在训练完成后用于对煤气浓度的矫正和风险预测输出。

对多种类型的煤气浓度数据采用Filter过滤进行过滤处理以去除异常的浓度数据，对温度数据、湿度数据以及过滤处理后的煤气浓度数据进行归一化处理采用GN正则化处理。

步骤S3中，基于步骤S2输出的预测风险值进行监控预警：

当预测值小于或等于阈值Δ1时，则判断煤气浓度安全；当预测值大于阈值Δ1且小于阈值Δ2，则判断煤气浓度有安全风险，此时发出降温除湿提醒；当预测值大于阈值Δ2，则判断此时煤气浓度处于泄露风险状态，此时发出预警提醒信号以提醒停止使用煤气并做检修。

针对多模态神经网络模型，周期定时对其进行训练以更新其参数和阈值。

一种基于多模态的自动煤气监控预警系统，包括传感器模块、预处理模块、基于多模态煤气浓度矫正模块和预警模块，其中传感器模块被配置为对煤气使用环境下的温度数据、湿度数据和多类型的煤气浓度数据进行检测；

预处理模块用于对传感器模块采集的数据进行预处理后送入到基于多模态煤气浓度矫正模块，所述的基于多模态煤气浓度矫正模块基于多模态神经网络模型对输入的数据进行矫正处理后进行预测输出风险预测值，所述预警模块根据风险预测值发出预警监控提醒。

本发明的优点在于：采用多种传感器浓度结合温度、湿度共同对煤气进行监控预警，监控预警更加准确可靠；考虑到温度、湿度和煤气浓度进行风险监控预警，避免了温度、湿度的影响，提高了稳定性，减少了误报、漏保的可能性。同时也具备如下特点：

多传感器阵列的优势：本发明采用多传感器阵列，包括温度传感器、湿度传感器和多类型煤气传感器，从而实现了对多种煤气的全面监测。相比于单一传感器系统，这种综合性的监测方案提高了系统的覆盖范围，能够有效检测多种潜在的危险气体。

智能数据处理和矫正：通过采用数据预处理和多模态神经网络模型进行矫正，本发明有效解决了传统系统在环境条件变化下的性能波动问题。智能的数据处理手段使系统更加适应复杂的环境，提高了煤气浓度检测的准确性。

实时反馈和调整：通过设定三种级别(正常、预警、严重警告)，本发明在检测到煤气浓度异常时能够实时提供用户警报信息。这种实时反馈机制有助于及早采取必要的措施，保障人们的生命安全。

系统维护和学习能力：本发明要求用户定期更新维护系统，包括系统重启和环境传感器数据更新。这确保了系统能够学习到最新的环境信息，保持高效稳定运行，减少了误报和漏报的可能性。

附图说明

下面对本发明说明书各幅附图表达的内容及图中的标记作简要说明：

图1为本发明预警监控方法的原理图；

图2为本发明神经网络模型的原理图。

具体实施方式

下面对照附图，通过对最优实施例的描述，对本发明的具体实施方式作进一步详细的说明。

实施例1：

针对现有技术没有考虑到温度、湿度，且只有一种类型的煤气浓度数据进行预警监控的缺陷，本方案提供了一种基于多模态的自动煤气监控预警方法，包括如下步骤：

S1、采集温度数据、湿度数据以及多种类型的煤气浓度数据；

S2、基于温度与煤气浓度数据相关性矫正煤气浓度数据N_rectify1、基于湿度与煤气浓度数据相关性矫正煤气浓度数据N_rectify2，基于矫正后的煤气浓度数据N_rectify1、N_rectify2进行煤气风险预测并输出预测风险值；

S3、基于预测风险值进行监控预警判断并输出对应的预警信号。

步骤S1中，对采集的温度数据、湿度数据以及多种类型的煤气浓度数据进行预处理，包括对多种类型的煤气浓度数据进行过滤处理，以及对温度数据、湿度数据以及过滤处理后的煤气浓度数据进行归一化处理。在煤气使用场景的环境中，设置有温度传感器、湿度传感器以及多个类型煤气浓度传感器，分别检测实时温度数据、实时湿度数据、多个类型的煤气浓度数据，这里的多个类型的煤气浓度数据包括一氧化碳浓度数据、甲烷浓度数据、硫化氢浓度数据、氮气浓度数据等与煤气泄露安全风险相关的煤气浓度数据，对应的则是各个类型的煤气浓度传感器，如一氧化碳浓度传感器、甲烷浓度传感器、硫化氢浓度传感器、氮气浓度传感器等。由于本申请对于风险预警采用的煤气浓度为多个类型的浓度数据作为输入，其更加真实准确的反映了煤气浓度数据，其次输入监控考虑到了温度、湿度的影响，进一步提高了数据的可靠性和后续判断的准确性。

将采集的温度数据、湿度数据以及多个不同类型的煤气浓度传感器进行预处理，预处理主要有两个目的：一是去除明显错误的数据，二是将数据转换以实现后续处理。首先对多种类型的煤气浓度数据采用Filter过滤进行过滤处理以去除异常的浓度数据，避免明显异常错误的煤气浓度数据对于后续判断的影响。对温度数据、湿度数据以及过滤处理后的煤气浓度数据进行归一化处理采用GN正则化处理，GN正则化处理是归一化处理的一种方式，为后续的采用模型进行风险概率预测提供基础数据。

本实施例中采用搭建的多模态神经网络模型进行煤气浓度的矫正和风险预测输出，该模型采用多种类型的煤气浓度数据以及温度、湿度数据作为输入，以预测的风险概率值作为输出，模型对于输入数据的处理并输出预测值数据的方法流程如下：

首先，多模态神经网络模型首先将温度、湿度以及多个类型的煤气浓度数据转换成机器语言，在本实施例中采用Embedding方式进行转换，数据转换成计算机可以识别的语言，使用python内置的函数库，表现为：

New_X＝nn.Embedding(X)；

其中，nn.Embedding是Python内置的函数库，可以直接调用，X表示传感器获取的数据，New_X表示转换之后的数据。

然后，分别计算出温度和湿度对煤气浓度的影响，得到响应因子：

其中，T表示传感器温度数据，S表示传感器湿度数据，N₁，N₂，N₃…N_n则表示各个煤气浓度数据，K1、K2表示维度转换矩阵，其目的就是将结果转换成统一的维度，α和β分别表示温度对煤气浓度值测定的影响因子、湿度对煤气浓度值测定的影响因子；

再然后，分别基于温度和湿度数据对煤气浓度数据进行矫正，如下：

N_rectify1＝Linear(α*T+N_i)；

N_rectify2＝Linear(β*S+N_i)；

其中α和β是上一步获得的影响因子，N_i表示煤气浓度，Linear是一种线性转换函数，N_rectify1、N_rectify2表示矫正之后的数据，此时这两组数据中就包含了温度和湿度的影响；

最后，将矫正之后的数据N_rectify1、N_rectify2进行感知融合并基于softmax进行多分类处理得到预测输出Pre为：

Pre＝Softmax(Concat(N_rectify1，N_rectify2)+M)；

其中，N_rectify1、N_rectify2表示矫正之后的数据，M表示超参数，Concat表示拼接函数，将，N_rectify1、N_rectify2通过第0轴进行拼接，Softmax表示概率转换函数，将拼接好的数据进行预测输出得到输出结果。

本实施例中采用了神经网络模型进行风险预估的处理和输出，搭建的多模态神经网络模型如图2所示，包括Embedding层、Transfarmer层、Linear层、concat层和Softmax层，Embedding层作为模型的输入层，对输入的数据进行转换处理，其输出连接至Transfarmer层，Transfarmer层对数据进行矫正处理后得到的矫正数据经Linear层、concat层后送入到Softmax层，由Softmax层进行预测输出。搭建的多模态神经网络模型在使用前，通过建立的训练样本对模型进行训练以更新模型中的阈值和参数，在训练完成后用于对煤气浓度的矫正和风险预测输出。

在本实施例中，步骤S3中，基于步骤S2输出的预测风险值进行监控预警：

当预测值小于或等于阈值Δ1时，则判断煤气浓度安全；当预测值大于阈值Δ1且小于阈值Δ2，则判断煤气浓度有安全风险，此时发出降温除湿提醒；当预测值大于阈值Δ2，则判断此时煤气浓度处于泄露风险状态，此时发出预警提醒信号以提醒停止使用煤气并做检修。由于softmax输出的概率值是风险概率，因此可以设置阈值Δ1、阈值Δ2，然后基于阈值对风险进行预警判断，阈值的设置可以预先标定，然后基于阈值进行风险判断而后发出风险预警信号。

为了保证模型预测输出结果的准确性，优选的针对多模态神经网络模型，周期定时对其进行训练以更新其参数和阈值，训练采用的训练集数据为新获取得到的数据，这样定期训练可使得模型更加接近准确的场景，提高预测输出的准确信。

如图1所示，一种基于多模态的自动煤气监控预警系统，包括传感器模块、预处理模块、基于多模态煤气浓度矫正模块和预警模块，其中传感器模块被配置为对煤气使用环境下的温度数据、湿度数据和多类型的煤气浓度数据进行检测；

预处理模块用于对传感器模块采集的数据进行预处理后送入到基于多模态煤气浓度矫正模块，基于多模态煤气浓度矫正模块基于多模态神经网络模型对输入的数据进行矫正处理后进行预测输出风险预测值，所述预警模块根据风险预测值发出预警监控提醒。

其中传感器模块为温度传感器、湿度传感器、以及多种类型的煤气浓度传感器；

预处理模块为：将采集的温度数据、湿度数据以及多个不同类型的煤气浓度传感器进行预处理，预处理主要有两个目的：一是去除明显错误的数据，二是将数据转换以实现后续处理。首先对多种类型的煤气浓度数据采用Filter过滤进行过滤处理以去除异常的浓度数据，避免明显异常错误的煤气浓度数据对于后续判断的影响。对温度数据、湿度数据以及过滤处理后的煤气浓度数据进行归一化处理采用GN正则化处理，GN正则化处理是归一化处理的一种方式，为后续的采用模型进行风险概率预测提供基础数据。

基于多模态煤气浓度矫正模块则采用搭建的多模态神经网络模型进行煤气浓度的矫正和风险预测输出，该模型采用多种类型的煤气浓度数据以及温度、湿度数据作为输入，以预测的风险概率值作为输出。基于温度与煤气浓度数据相关性矫正煤气浓度数据N_rectify1、基于湿度与煤气浓度数据相关性矫正煤气浓度数据N_rectify2，基于矫正后的煤气浓度数据N_rectify1、N_rectify2进行煤气风险预测并输出预测风险值；

预警模块被配置为基于预测风险值进行监控预警：当预测值小于或等于阈值Δ1时，则判断煤气浓度安全；当预测值大于阈值Δ1且小于阈值Δ2，则判断煤气浓度有安全风险，此时发出降温除湿提醒；当预测值大于阈值Δ2，则判断此时煤气浓度处于泄露风险状态，此时发出预警提醒信号以提醒停止使用煤气并做检修。由于softmax输出的概率值是风险概率，因此可以设置阈值Δ1、阈值Δ2，然后基于阈值对风险进行预警判断，阈值的设置可以预先标定，然后基于阈值进行风险判断而后发出风险预警信号。

实施例2：

一种基于多模态的自动煤气检测及优化方法，包括以下模块：

传感器模块，用于获取实时的测定数据；

预处理模块，用于对传感器获取的数据进行过滤优化，消除不必要的数据；

基于多模态煤气浓度矫正模块，由于空气中湿度和温度的变化会导致传感器性能的波动，这对于最后的检测具有较大的影响，因此通过多模态模型进行煤气浓度的矫正可以帮助系统更好地理解环境条件，从而提高安全性。

一种基于多模态的自动煤气检测及优化方法，包括如下方法步骤：

S1、基于温度传感器获取当前空间内的实时温度，基于湿度传感器获取当前空间内的实时湿度，使用多个不同类型的煤气传感器，形成传感器阵列，用于初步感知当前环境的各煤气浓度，并形成如下的数据列表：

x＝{S，T，N₁，N₂，N₃…N_n}；

其中T表示传感器温度数据，S表示传感器湿度数据，N₁，N₂，N₃…N_n则表示各个煤气浓度数据，主要包含一氧化碳(CO)、甲烷(CH₄)、硫化氢(H₂S)、氮气(N₂)等。

S2、对传感器获取的数据进行预处理，主要包含Filter过滤以及GN正则化处理；

其中Filter过滤的目的是清理和传感器获取的信号数据，以便更好地适应模型。这可能包括去除过低的传感器数据，有助于改善模型的性能，并提高对数据的理解能力。本专利提供的Filter过滤公式如下：

其中，i表示每个传感器，w_i表示每个传感器数据的权重系数，w表示所有权重w_i的均值，x_i表示传感器数据，表示所有数据的平均值，y表示阈值。如果接收到的传感器数据小于阈值y，就过滤掉，如果大于阈值就保留。

区别于以往，本次数据过滤操作首次采用加权样本的方式，加权方差将每个观测值乘以对应的权重，以反映其在方差计算中的重要程度。以防止错误的过滤掉有用的数据集

GN正则化是一种神经网络的技术，旨在加速训练过程并提高模型的稳定性。它通过在每个训练批次中对输入进行归一化，使得输出保持一定的分布，例如将所有的传感器数据统一进行缩放，防止过大的数据影响模型的使用。

S3、基于多模态煤气浓度矫正模块。在这一步，由于空气中湿度和温度的变化，传感器性能可能会出现波动。这种波动对最终的检测结果产生较大的影响。因此本专利提出采用多模态神经网络模型，基于空气中的温度以及湿度变化，对传感器测定的煤气浓度做出矫正。如图2所示为本专利提供的多模态煤气浓度矫正训练网络结构图，主要包含Embedding+Transfarmer+Softmax这几层算子组成，相较于传统的多模态模型，本次专利所提出的网络结构具有反馈效果，也就是获得预测矫正的煤气浓度可以反馈到原始煤气浓度进行修改，基于修改的数据再次重复上述模型直至数值准确。下面详细介绍具体实现原理：

首先，将步骤S2处理过的数据转换成计算机可以识别的语言，使用python内置的函数库，表现为：

New_X＝nn.Embedding(X)；

其中，nn.Embedding是Python内置的函数库，可以直接调用，X表示传感器获取的数据，New_X表示转换之后的数据。

接着进入Transformer层，分别计算温度和湿度对煤气浓度的影响，具体表示为：

其中，T表示传感器温度数据，S表示传感器湿度数据，N₁，N₂，N₃…N_n则表示各个煤气(一氧化碳、甲烷、硫化氢、氮气)浓度数据，K1、K2表示维度转换矩阵，其目的就是将结果转换成统一的维度，α和β分别表示温度对煤气浓度值测定的影响因子、湿度对煤气浓度值测定的影响因子。

然后分别基于温度和湿度数据对煤气浓度数据进行矫正，如下：

N_rectify1＝Linear(α*T+N_i)；

N_rectify2＝Linear(β*S+N_i)；

其中α和β是上一步获得的影响因子，N_i表示煤气浓度，Linear是一种线性转换函数，N_rectify1、N_rectify2表示矫正之后的数据，此时这两组数据中就包含了温度和湿度的影响。

最后，将上述两组数据进行感知融合，具体实现原理是：

Pre＝Softmax(Concat(N_rectify1，N_rectify2)+M)；

其中，N_rectify1、N_rectify2表示矫正之后的数据，M表示超参数(超参数M为格式大小调整对应的超参数，比如前项获得的是维度是500*200、范围是0-1000的一组数据，然而需要的是500*250、且范围是0-100的一组数据，这时候就需要M定义为500*50的这样一组数据，初始值赋予为0，将其拼接成500*250的格式，后续基于反向传播调整M内每个数据的大小)，Concat表示拼接函数(这俩拼接完不一定是想要的格式，因此需要超参数M进行调整)，将N_rectify1、N_rectify2通过第0轴进行拼接，Softmax表示概率转换函数，将拼接好的数据进行预测输出。并基于预测结果调整初始煤气浓度再次重复上述模型直至数值准确。

在这一步中，主要是训练该模型，使模型拥有准确的预测能力，需要学习的参数主要是α和β这两个影响因子，当模型训练完成后，在实际使用中，通过将温度、湿度、煤气浓度相关数据传递进模型中便可直接获得矫正后的结果。将训练集的数据对模型进行训练后反馈调节更新模型参数，进行训练直至训练的损失函数或训练次数达到设定要求才停止并更新训练后的模型参数。

S4、将步骤S3矫正后的数据传输回传感器中，进行数据更新，本专利对该数据做出调整，设定3种情形，正常、预警、严重警告3种级别，具体表现为：

通常煤气浓度达到0.04％～0.06％会使人产生危害，因此在这里设置0.03％作为Δ1，0.05％作为Δ2，如果预测结果没有超出阈值Δ1，那么判定此时是安全的，监测灯是绿色，如果大于Δ1但是小于Δ2，那么认为此时有风险，监测灯是黄色，提醒用户进行降温除湿，如果预测值大于Δ2，监测灯显示红色，表示此时风险极大，用户必须停止使用煤气并做出检查。

S5、用户需定期更新维护系统，每隔一段时间对系统进行重启操作，清理系统和缓存，并对环境温度和湿度传感器数据进行更新，使模型学习到最新的内容。

本发明相较于传统煤气检测系统和其他现有技术，具有一系列显著的优点和效果，以下是一些可能的优点和效果：

多传感器阵列的优势：本发明采用多传感器阵列，包括温度传感器、湿度传感器和多类型煤气传感器，从而实现了对多种煤气的全面监测。相比于单一传感器系统，这种综合性的监测方案提高了系统的覆盖范围，能够有效检测多种潜在的危险气体。

智能数据处理和矫正：通过采用数据预处理和多模态神经网络模型进行矫正，本发明有效解决了传统系统在环境条件变化下的性能波动问题。智能的数据处理手段使系统更加适应复杂的环境，提高了煤气浓度检测的准确性。

实时反馈和调整：通过设定三种级别(正常、预警、严重警告)，本发明在检测到煤气浓度异常时能够实时提供用户警报信息。这种实时反馈机制有助于及早采取必要的措施，保障人们的生命安全。

系统维护和学习能力：本发明要求用户定期更新维护系统，包括系统重启和环境传感器数据更新。这确保了系统能够学习到最新的环境信息，保持高效稳定运行，减少了误报和漏报的可能性。

本方案具有以下特点：

1.多传感器阵列的综合应用：本发明采用温度传感器、湿度传感器和多类型煤气传感器形成传感器阵列。这个关键技术点在于综合利用多种传感器，实现对不同环境参数和煤气种类的全面监测。

2.数据预处理：通过采用Filter过滤和GN正则化处理，对传感器获取的数据进行预处理。这一步关键在于提高数据质量、减少噪声，为后续的数据矫正和分析提供更可靠的基础。

3.多模态神经网络模型的煤气浓度矫正：本发明引入了多模态神经网络模型，基于空气中的温度和湿度变化，对传感器测得的煤气浓度进行矫正。这个关键技术点在于通过智能算法，提高煤气浓度测量的准确性，同时对环境条件的变化进行自适应调整。

4.实时反馈和调整系统：通过将矫正后的数据传输回传感器中，设定三种级别(正常、预警、严重警告)，实现实时反馈和调整系统。这个关键技术点在于提供用户及时的警报信息，使其能够迅速采取必要的措施。

显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，均在本发明的保护范围之内。

Claims (10)

1.一种基于多模态的自动煤气监控预警方法，其特征在于：包括如下步骤：

S1、采集温度数据、湿度数据以及多种类型的煤气浓度数据；

S2、基于温度与煤气浓度数据相关性矫正煤气浓度数据N_rectify1、基于湿度与煤气浓度数据相关性矫正煤气浓度数据N_rectify2，基于矫正后的煤气浓度数据N_rectify1、N_rectify2进行煤气风险预测并输出预测风险值；

S3、基于预测风险值进行监控预警判断并输出对应的预警信号。

2.如权利要求1所述的一种基于多模态的自动煤气监控预警方法，其特征在于：步骤S1中，对采集的温度数据、湿度数据以及多种类型的煤气浓度数据进行预处理，包括对多种类型的煤气浓度数据进行过滤处理，以及对温度数据、湿度数据以及过滤处理后的煤气浓度数据进行归一化处理。

3.如权利要求1所述的一种基于多模态的自动煤气监控预警方法，其特征在于：

在步骤S2，采用搭建的多模态神经网络模型进行煤气浓度的矫正和风险预测输出。

4.如权利要求3所述的一种基于多模态的自动煤气监控预警方法，其特征在于：

所述的多模态神经网络模型首先将温度、湿度以及多个类型的煤气浓度数据转换成机器语言；

然后分别计算出温度和湿度对煤气浓度的影响，得到响应因子：

其中，T表示传感器温度数据，S表示传感器湿度数据，N₁，N₂，N₃...N_n则表示各个煤气浓度数据，K1、K2表示维度转换矩阵，其目的就是将结果转换成统一的维度，α和β分别表示温度对煤气浓度值测定的影响因子、湿度对煤气浓度值测定的影响因子；

然后分别基于温度和湿度数据对煤气浓度数据进行矫正，如下：

N_rectify1＝Linear(α*T+N_i)；

N_rectify2＝Linear(β*S+N_i)；

其中α和β是上一步获得的影响因子，N_i表示煤气浓度，Linear是一种线性转换函数，N_rectify1、N_rectify2表示矫正之后的数据，此时这两组数据中就包含了温度和湿度的影响；

最后将矫正之后的数据N_rectify1、N_rectify2进行感知融合得到预测输出Pre为：

Pre＝Softmax(Concat(N_rectify1，N_rectify2)+M)；

其中，N_rectify1、N_rectify2表示矫正之后的数据，M表示超参数，Concaf表示拼接函数，将，N_rectify1、N_rectify2通过第0轴进行拼接，Softmax表示概率转换函数，将拼接好的数据进行预测输出得到输出结果。

5.如权利要求3或4所述的一种基于多模态的自动煤气监控预警方法，其特征在于：

搭建的多模态神经网络模型包Embedding层、Transfarmer层、Linear层、concat层和Softmax层，Embedding层作为模型的输入层，对输入的数据进行转换处理，其输出连接至Transfarmer层，Transfarmer层对数据进行矫正处理后得到的矫正数据经Linear层、concat层后送入到Softmax层，由Softmax层进行预测输出。

6.如权利要求5所述的一种基于多模态的自动煤气监控预警方法，其特征在于：

搭建的多模态神经网络模型在使用前，通过建立的训练样本对模型进行训练以更新模型中的阈值和参数，在训练完成后用于对煤气浓度的矫正和风险预测输出。

7.如权利要求2-6任一所述的基于多模态的自动煤气监控预警方法，其特征在于：

对多种类型的煤气浓度数据采用Filter过滤进行过滤处理以去除异常的浓度数据，对温度数据、湿度数据以及过滤处理后的煤气浓度数据进行归一化处理采用GN正则化处理。

8.如权利要求1-6任一所述的基于多模态的自动煤气监控预警方法，其特征在于：

步骤S3中，基于步骤S2输出的预测风险值进行监控预警：

当预测值小于或等于阈值Δ1时，则判断煤气浓度安全；当预测值大于阈值Δ1且小于阈值Δ2，则判断煤气浓度有安全风险，此时发出降温除湿提醒；当预测值大于阈值Δ2，则判断此时煤气浓度处于泄露风险状态，此时发出预警提醒信号以提醒停止使用煤气并做检修。

9.如权利要求3-6任一所述的基于多模态的自动煤气监控预警方法，其特征在于：针对多模态神经网络模型，周期定时对其进行训练以更新其参数和阈值。

10.一种基于多模态的自动煤气监控预警系统，其特征在于：包括传感器模块、预处理模块、基于多模态煤气浓度矫正模块和预警模块，其中传感器模块被配置为对煤气使用环境下的温度数据、湿度数据和多类型的煤气浓度数据进行检测；

预处理模块用于对传感器模块采集的数据进行预处理后送入到基于多模态煤气浓度矫正模块，所述的基于多模态煤气浓度矫正模块基于多模态神经网络模型对输入的数据进行矫正处理后进行预测输出风险预测值，所述预警模块根据风险预测值发出预警监控提醒。