CN115906624A - 危化品气体光谱生成方法、终端设备及存储介质 - Google Patents
危化品气体光谱生成方法、终端设备及存储介质 Download PDFInfo
- Publication number
- CN115906624A CN115906624A CN202211415168.XA CN202211415168A CN115906624A CN 115906624 A CN115906624 A CN 115906624A CN 202211415168 A CN202211415168 A CN 202211415168A CN 115906624 A CN115906624 A CN 115906624A
- Authority
- CN
- China
- Prior art keywords
- spectrum
- network model
- chemical substance
- hazardous chemical
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 106
- 239000000383 hazardous chemical Substances 0.000 title claims abstract description 42
- 239000000126 substance Substances 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000003595 spectral effect Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 8
- 238000002329 infrared spectrum Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 12
- 238000005259 measurement Methods 0.000 abstract description 11
- 238000012360 testing method Methods 0.000 abstract description 5
- 238000013136 deep learning model Methods 0.000 abstract description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000000513 principal component analysis Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004566 IR spectroscopy Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种危化品气体光谱生成方法、终端设备及存储介质,产生大量用于深度学习危化品气体光谱识别模型的训练和测试的生成光谱数据,解决深度学习框架识别危化品气体光谱数据集过小,多样性很差的问题,能有效的提高深度学习框架识别危化品气体光谱的准确率。本发明可以大大提高光谱多样性,训练更加稳定,收敛更快,同时能够生成更高质量的样本;能为深度学习模型的训练提供大量训练数据和测试数据;无需大量实测数据,特别是降低危险化学气体的使用,降低测量风险,降低测量人力成本和时间成本;所需设备简单,操作非常方便。
Description
技术领域
本发明涉及危险化学品光谱生成领域,用于自动产生大量危险化学品生成光谱,具体为一种危化品气体光谱生成方法、终端设备及存储介质。
背景技术
深度学习网络随着计算能力的提高,训练更大、更深的网络有明显的趋势。然而,对于采用深度学习框架识别危化品气体光谱而言,最大的制约因素是缺乏大的数据集。在实验室只测量危化品气体的标准光谱数据,无法同时测量不同环境条件下的背景,加之危化品气体通常是易燃易爆剧毒物质,购买困难并且遥测风险极大,使得几乎不可能生成大规模的数据集。比如在实验室长程气体池中,只能少量的测量危化品气体标准红外光谱数据,由于标准数据和实际数据之间的域差距,在简单的合成方法生成的数据上训练的模型(如CN108257119A)不能很好地推广到真实场景。
发明内容
本发明所要解决的技术问题是,针对现有技术不足,提供一种危化品气体光谱生成方法、终端设备及存储介质,解决深度学习框架识别危化品气体光谱数据集过小,多样性差的问题,有效的提高深度学习框架识别危化品气体光谱的准确率。
为解决上述技术问题,本发明所采用的技术方案是:一种危化品气体光谱生成方法,包括以下步骤:
S1、采集待测危化品气体的原始标准光谱;
S2、将所述原始标准光谱输入生成网络模型,得到原始生成光谱;
S3、利用原始标准光谱和原始生成光谱构建数据集,训练判别网络模型,获得判别网络模型的参数;
S4、共享判别网络模型的参数,利用原始标准光谱训练所述生成网络模型;
S5、将原始标准光谱作为训练后的生成网络模型的输入,对训练后的生成网络模型输出的生成光谱与原始标准光谱的相似度进行判断,若相似度低于阈值,则返回步骤S3;否则,将训练后的生成网络模型作为最终的生成模型,结束。
本发明采用生成网络模型和判别网络模型生成光谱,极大地提高了光谱多样性,训练更加稳定,收敛速度快,且可以生成更高质量的光谱。在训练过程中,本发明共享判别网络模型的参数对生成网络模型进行训练,无需大量实测数据,降低了危险化学气体的使用频率,降低了测量风险,降低了测量人力成本和时间成本。本发明解决了深度学习框架识别危化品气体光谱数据集过小,多样性差的问题,有效地提高了深度学习框架识别危化品气体光谱的准确率。
步骤S1中,利用红外光谱仪对导入长程气体池实验装置的危化品气体进行检测并采集危化品气体红外光谱,得到原始标准光谱。
步骤S2中,所述生成网络模型采用人工神经网络。
步骤S3中,所述判别网络模型采用卷积神经网络。
判别网络模型训练过程中,将原始标准光谱和生成光谱视为不同类样本,所述判别网络模型的损失函数为:
其中,为判别网络模型在生成网络生成的原始生成光谱数据集上的输出,为判别网络模型在原始标准光谱数据集上的输出,为生成网络的原始生成光谱数据集概率分布,为原始标准光谱数据集概率分布,为原始标准光谱和原始生成光谱之间的逐点插值,为插值的概率分布,为L2范数,是鉴别器输出相对于插值的梯度,λ代表梯度惩罚与D(x)损失的比例,λ通常取10。
本发明中,判别网络模型在原始标准光谱数据集上的输出,是指将原始标准光谱数据集作为判别网络模型的输入得到的输出。
作为一个发明构思,本发明还提供了一种终端设备,包括存储器、处理器及存储在存储器上的计算机程序;所述处理器执行所述计算机程序,以实现本发明上述方法的步骤。
作为一个发明构思,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序/指令;所述计算机程序/指令被处理器执行时实现本发明上述方法的步骤。
与现有技术相比,本发明所具有的有益效果为:
1)本发明可以大大提高光谱多样性,训练更加稳定,收敛更快,同时能够生成更高质量的样本;
2)本发明能为深度学习模型的训练提供大量训练数据和测试数据;
3)本发明无需大量实测数据,特别是降低危险化学气体的使用,降低测量风险,降低测量人力成本和时间成本;
4)本发明所需设备简单,操作非常方便。
附图说明
图1为本发明实施例1方法流程图;
图2为本发明实施例1中Herriott型长程气体池光谱测量系统构成示意图;
图3(a)和图3(b)为本发明实施例1中典型危化品气体乙醇(C2H6O)的生成光谱与实测光谱对比图,其中:图3(a)为实测光谱,图3(b)为生成光谱;
图4为本发明实施例1中典型危化品气体乙醇(C2H6O)的红外光谱生成光谱与原始光谱采用PCA聚类分析结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地说明,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本文中,术语“第一”、“第二”和其它类似词语并不意在暗示任何顺序、数量和重要性,而是仅仅用于对不同的元件进行区分。在本文中,术语“一”、“一个”和其它类似词语并不意在表示只存在一个所述事物,而是表示有关描述仅仅针对所述事物中2的一个,所述事物可能具有一个或多个。在本文中,术语“包含”、“包括”和其它类似词语意在表示逻辑上的相互关系,而不能视作表示空间结构上的关系。例如,“A包括B”意在表示在逻辑上B属于A,而不表示在空间上B位于A的内部。另外,术语“包含”、“包括”和其它类似词语的含义应视为开放性的,而非封闭性的。例如,“A包括B”意在表示B属于A,但是B不一定构成A的全部,A还可能包括C、D、E等其它元素。
实施例1
本实施例采用基于WGANGP-IRS的危化品气体光谱生成方法(带瓦瑟斯坦距离W与梯度惩罚GP的红外光谱对抗生成网络的危化品气体光谱生成方法),产生大量用于深度学习危化品气体光谱识别模型的训练和测试的生成光谱数据,解决深度学习框架识别危化品气体光谱数据集过小,多样性很差的问题,能有效的提高深度学习框架识别危化品气体光谱的准确率和召回率,并且WGANGP-IRS训练更加稳定,收敛更快,同时能够生成更高质量的样本。
如图1所示,本实施例提供的危化品气体光谱生成方法包括以下步骤:
步骤1:进行危化品气体光谱数据采集;
搭建危化品气体光谱采集的Herriott型长程气体池光谱测量系统,对待测危化品气体的光谱数据进行采集。
步骤2:构建生成网络模型G;
使用人工神经网络模型构造生成网络模型G,根据步骤1所采集的原始标准光谱,指定生成网络模型G需要使用的噪声,随机产生同样精度的正态分布光谱序列,作为原始生成光谱。
步骤3:构建判别网络模型D;
判别网络模型D为一个二分类的神经网络模型,采用101层的深度残差网络ResNet-101,最后一层为输出层,输出层节点数为1。使用判别网络模型D对实测光谱(即步骤1采集的原始标准光谱)和步骤2生成网络模型得到的生成光谱进行判别分析,将实测光谱和生成光谱视为不同类样本,得到D网络(即判别网络模型D)的训练参数。对判别网络模型D进行训练时设定损失函数如下:
其中,为判别网络模型在生成网络生成的原始生成光谱数据集上的输出,为判别网络模型在原始标准光谱数据集上的输出,为生成网络的原始生成光谱数据集概率分布,为原始标准光谱数据集概率分布,为原始标准光谱和原始生成光谱之间的逐点插值,为插值的概率分布,为L2范数,是鉴别器输出相对于插值的梯度,λ代表梯度惩罚与D(x)损失的比例,λ通常取10。
步骤4:训练判别网络模型D;
在训练WGANGP-IRS的判别网络模型D的过程中,判别网络模型D的损失函数由三个部分的loss来组成的:
4)将以上1)~3)的三个部分相加,进行反向传播;
步骤5:共享判别网络模型D的训练参数对生成网络模型G进行训练;
步骤6:采用不限于机器学习方法例如SVM(支持向量机)、PCA(主成分分析)等,对生成光谱和实测光谱的相似度进行判断。若不满足要求,则重复步骤3~5;若满足要求,停止训练。
本实施例中,当相似度低于设定阈值时,认为不满足要求。阈值可以根据实际使用需要设置。
以下以典型危化品气体乙醇(C2H6O)的红外光谱为例,说明基于WGANGP-IRS的危化品气体光谱生成方法在危化品气体红外光谱中的应用。
搭建如图2所示的长程气体池实验装置,利用超高分辨红外光谱仪对导入长程气体池实验装置的危化品气体乙醇(C2H6O)进行检测并采集其红外光谱,测量范围在4000cm-1~400cm-1之间,分辨率为0.715cm-1,共5035波束的光谱数据,共收集50个红外光谱。
如图2所示,气体经第一组截止阀、第一三通转换器流入长程气体池,长程气体池通过第二三通转换器与第二组截止阀连通,第二组截止阀中的一个截止阀与真空泵连通,气体池内充满样品后,测量出气体光谱数据。
构造生成网络模型G,首次生成光谱,根据检测的乙醇(C2H6O)实测光谱,产生100个相同维度(5035波束)并自动添加了随机噪声的光谱序列。
利用生成光谱和实测光谱构建判别网络模型D,并共享D网络的训练参数对G进行训练。
当迭代次数为6800次的时候,生成光谱与实测光谱如图3(a)和图3(b)所示,PCA机器学习方法分析结果如图4所示。此时SVM和PCA等机器学习方法已将生成光谱与实测光谱识别为同一类光谱,没有明显区别。
结果可以证明生成光谱不仅从肉眼上看来与实测光谱极为相似,通过机器学习方法例如PCA等也不能分辨两种数据,本实施例可以为深度学习模型的训练提供大量训练数据和测试数据。
实施例2
本发明实施例2提供一种对应上述实施例1的终端设备,终端设备可以是用于客户端的处理设备,例如手机、笔记本电脑、平板电脑、台式机电脑等,以执行上述实施例的方法。
本实施例的终端设备包括存储器、处理器及存储在存储器上的计算机程序;处理器执行存储器上的计算机程序,以实现上述实施例1方法的步骤。
在一些实现中,存储器可以是高速随机存取存储器(RAM:Random AccessMemory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。
在另一些实现中,处理器可以为中央处理器(CPU)、数字信号处理器(DSP)等各种类型通用处理器,在此不做限定。
实施例3
本发明实施例3提供了一种对应上述实施例1的计算机可读存储介质,其上存储有计算机程序/指令。计算机程序/指令被处理器执行时,实现上述实施例1方法的步骤。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现,例如,面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (9)
1.一种危化品气体光谱生成方法,其特征在于,包括以下步骤:
S1、采集待测危化品气体的原始标准光谱;
S2、将所述原始标准光谱输入生成网络模型,得到原始生成光谱;
S3、利用原始标准光谱和原始生成光谱构建数据集,训练判别网络模型,获得判别网络模型的参数;
S4、共享判别网络模型的参数,利用原始标准光谱训练所述生成网络模型;
S5、将原始标准光谱作为训练后的生成网络模型的输入,对训练后的生成网络模型输出的生成光谱与原始标准光谱的相似度进行判断,若相似度低于阈值,则将训练后的生成网络模型输出的生成光谱作为原始生成光谱,返回步骤S3;否则,将训练后的生成网络模型作为最终的生成模型,结束。
2.根据权利要求1所述的危化品气体光谱生成方法,其特征在于,步骤S1中,利用红外光谱仪对导入长程气体池实验装置的危化品气体进行检测并采集危化品气体红外光谱,得到原始标准光谱。
3.根据权利要求1所述的危化品气体光谱生成方法,其特征在于,步骤S2中,所述生成网络模型采用人工神经网络。
4.根据权利要求1所述的危化品气体光谱生成方法,其特征在于,步骤S3中,所述判别网络模型采用卷积神经网络。
5.根据权利要求4所述的危化品气体光谱生成方法,其特征在于,所述卷积神经网络为深度残差网络ResNet-101。
8.一种终端设备,包括存储器、处理器及存储在存储器上的计算机程序;其特征在于,所述处理器执行所述计算机程序,以实现权利要求1~7之一所述方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序/指令;其特征在于,所述计算机程序/指令被处理器执行时实现权利要求1~7之一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211415168.XA CN115906624A (zh) | 2022-11-11 | 2022-11-11 | 危化品气体光谱生成方法、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211415168.XA CN115906624A (zh) | 2022-11-11 | 2022-11-11 | 危化品气体光谱生成方法、终端设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115906624A true CN115906624A (zh) | 2023-04-04 |
Family
ID=86493321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211415168.XA Pending CN115906624A (zh) | 2022-11-11 | 2022-11-11 | 危化品气体光谱生成方法、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115906624A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116502117A (zh) * | 2023-04-13 | 2023-07-28 | 厦门市帕兰提尔科技有限公司 | 一种基于ResNet的危险化学品识别方法、装置以及设备 |
-
2022
- 2022-11-11 CN CN202211415168.XA patent/CN115906624A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116502117A (zh) * | 2023-04-13 | 2023-07-28 | 厦门市帕兰提尔科技有限公司 | 一种基于ResNet的危险化学品识别方法、装置以及设备 |
CN116502117B (zh) * | 2023-04-13 | 2023-12-15 | 厦门市帕兰提尔科技有限公司 | 一种基于ResNet的危险化学品识别方法、装置以及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110110529B (zh) | 一种基于复杂网络的软件网络关键节点挖掘方法 | |
CN109034140A (zh) | 基于深度学习结构的工业控制网络信号异常检测方法 | |
CN111460446A (zh) | 基于模型的恶意文件检测方法及装置 | |
CN108388751B (zh) | 基于虚拟试验系统与实际系统的虚实比对分析方法 | |
CN107390259A (zh) | 一种基于svd和svm的核素识别方法 | |
CN115906624A (zh) | 危化品气体光谱生成方法、终端设备及存储介质 | |
Zou et al. | Nonparametric detection of geometric structures over networks | |
CN113052577A (zh) | 一种区块链数字货币虚拟地址的类别推测方法及系统 | |
CN107886113B (zh) | 一种基于卡方检验的电磁频谱噪声提取和滤波方法 | |
CN111291779A (zh) | 一种车辆信息识别方法、系统、存储器及处理器 | |
CN115484112A (zh) | 支付大数据安全防护方法、系统及云平台 | |
Gundry et al. | Inclusion of multiple cycling of potential in the deep neural network classification of voltammetric reaction mechanisms | |
CN117686442B (zh) | 一种氯离子扩散浓度检测方法、系统、介质及设备 | |
CN114389843A (zh) | 一种基于变分自编码器的网络异常入侵检测系统和方法 | |
Vutov et al. | Multiple two‐sample testing under arbitrary covariance dependency with an application in imaging mass spectrometry | |
CN112200254A (zh) | 一种网络入侵检测模型生成方法、检测方法及电子设备 | |
CN114861800B (zh) | 模型训练方法、概率确定方法、装置、设备、介质及产品 | |
CN107506824B (zh) | 一种配电网的不良观测数据检测方法及装置 | |
KR102548321B1 (ko) | 효율적인 악성 위협 탐지를 위한 valuable alert 선별 방법 | |
CN109521176B (zh) | 一种基于改进深度极限学习机的虚拟水质监测方法 | |
CN113253354A (zh) | 一种核磁t2谱截止值的确定方法、装置、介质及电子设备 | |
CN113032726A (zh) | 基于核概率密度估计的加权上采样方法用于流化床结块故障监测方法 | |
Hou et al. | The primordial non-Gaussianity of local type (f localNL) in the WMAP 5-year data: the length distribution of CMB skeleton | |
Wan et al. | Object‐based method for optical and SAR images change detection | |
CN109596558B (zh) | 一种基于移动最小二乘法的谱图基础维度校正及差示分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |