CN111046824A - 一种时间序列信号高效去噪和高精度重构建模方法及系统 - Google Patents
一种时间序列信号高效去噪和高精度重构建模方法及系统 Download PDFInfo
- Publication number
- CN111046824A CN111046824A CN201911317622.6A CN201911317622A CN111046824A CN 111046824 A CN111046824 A CN 111046824A CN 201911317622 A CN201911317622 A CN 201911317622A CN 111046824 A CN111046824 A CN 111046824A
- Authority
- CN
- China
- Prior art keywords
- model
- noise reduction
- denoising
- pulse wave
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供了一种时间序列信号高效去噪和高精度重构建模方法及系统,包括:对原始的脉搏波信号进行数据预处理;选择预设的信号时长,将数据预处理后的脉搏波信号分为预测集、训练集和测试集;选择卷积神经网络作为深度降噪自编码机的基础模型,根据信号去噪要求,得到深度卷积降噪自编码机模型;将训练集输入深度卷积降噪自编码机模型进行训练,利用正则化参数以及测试集进行深度卷积降噪自编码机模型参数的调优和选取,得到最优深度学习模型;将含噪脉搏波信号预测集输入到最优深度学习模型中获取深度结构特征,进行信号重构和去噪处理,评估模型性能。本发明有效进行脉搏波信号的去噪和重构,为滤除脉搏波信号中的同频噪声干扰提供了新思路。
Description
技术领域
本发明涉及信号去噪以及机器学习领域,具体地,涉及一种时间序列信号去噪和重构建模方法及系统,更为具体地,涉及一种时间序列信号高效去噪和高精度重构建模方法及系统。
背景技术
光电容积脉搏波描记法是可穿戴设备监测人体健康状况的重要医学手段,对心血管疾病的检测和及时治疗有重大意义。随着光电技术的高速发展,可穿戴设备也被广泛应用于临床和体育锻炼中。但是由于其设备的便携性,脉搏波信号在实际场景中极易受到噪声的污染,这将增加心率、呼吸速率等特征参数提取的不准确性以及进一步疾病诊断的复杂性。因此为了保证人体健康情况监测时的信号波形质量,对脉搏波信号进行去噪和重构处理就显得必不可少。
目前常用的时间序列信号降噪办法有奇异值分解、自适应滤波器和小波变换算法。奇异值分解是一种矩阵分析方法,利用信号重采样进行矩阵分解并选择合适的奇异值来重构信号,但是运算过程较复杂,且无法剔除和脉搏波频率相近的运动伪差。自适应滤波器是信号处理过程中常用的一种滤波器,在时间序列信号的去噪中也取得了较好的效果,但是这类滤波器对参数的调整过于敏感,因此很不稳定。小波变换算法是传统信号去噪处理中最为广泛应用的算法,通过小波系数分解的软阈值可以有效滤除脉搏波信号中的肌电干扰和基线漂移成分,但是对由于物体移动产生的运动伪影噪声,由于其频率范围恰好与脉搏波信号的频率范围重叠,因此传统的信号处理方法很难发挥作用。
随着神经网络技术的不断发展,为复杂环境下的脉搏波降噪提供了新可能。由稀疏降噪自编码机构建的深度神经网络模型被广泛应用于图像和语音信号的降噪处理,自动编码机模型能够有效提取原始信号的特征并从含有噪声的图像中重构出原始图像,也能够在嘈杂环境中实现目标信道语音信号的分离和识别。可见,深度学习方法在数据处理方面具备更好的优势,也脉搏波信号的降噪提供了新思路。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种一种时间序列信号高效去噪和高精度重构建模方法及系统。
根据本发明提供的一种时间序列信号高效去噪和高精度重构建模方法,包括:
步骤M1:对原始的脉搏波信号进行数据预处理;
步骤M2:选择预设的信号时长,将数据预处理后的脉搏波信号按照预设比例分为预测集、训练集和测试集;
步骤M3:选择卷积神经网络作为深度降噪自编码机的基础模型,根据信号去噪要求,设计深度卷积降噪自编码机模型,得到深度卷积降噪自编码机模型;
步骤M4:将训练集输入深度卷积降噪自编码机模型进行训练,利用正则化参数以及测试集进行深度卷积降噪自编码机模型参数的调优和选取,得到最优深度学习模型;
步骤M5:将含噪脉搏波信号预测集输入到最优深度学习模型中获取深度结构特征,利用深度结构特征进行信号重构和去噪处理,并评估模型性能。
优选地,所述步骤M1包括:
步骤M1.1:对原始脉搏波信号进行重采样,统一信号采样频率;
步骤M1.2:准备不含噪的无标签脉搏波数据以及相应的随机叠加实际场景噪声的有标签含噪脉搏波数据;
通过在原始信号中添加噪声的形式模拟实际场景中脉搏波信号受噪声干扰的情况;不含噪的无标签脉搏波数据用于预训练以及深度卷积降噪自编码机模型去噪效果的对比,验证模型去噪性能。
步骤M1.3:对脉搏波信号中出现的噪声进行分析和分类,对不同特征的噪声类型使用不同的去噪方法;
所述实际场景噪声包括基线漂移、工频干扰和/或运动伪影。
优选地,所述步骤M1.3包括:
针对非同频干扰噪声,采用奇异值分解的传统方法进行去噪;
针对同频干扰噪声,采用深度卷积降噪自编码机模型方法进行去噪;
所述奇异值分解包括:使用奇异值分解方法,对脉搏波信息进行去噪预处理,奇异值分解使用矩阵分解的方法对原始信号进行子成分分解,并选择信号频率不处于非同频噪声干扰范围内的子成分进行信号重构,滤除不与脉搏波信号频率范围重叠的噪声。
优选地,所述步骤M3包括:
所述深度卷积降噪自编码机模型包括编码器模块和解码器模块;
所属编码器模块包括:用于高维时间序列信号的低维映射以及进一步提取信号的隐藏特征;编码器模块包括:一维卷积单元、激活单元和池化层;
所属解码器模块包括:用于信号维度的重构以及根据隐藏单元进行信号特征的重构;解码器模块包括一维卷积单元、激活单元和上采样层。
优选地,所述步骤M4包括:
步骤M4.1:在深度卷积降噪自编码机模型训练的方案设计中,使用傅里叶变换获取脉搏波信号的频率特征,并根据先验医学知识,在深度卷积降噪自编码机模型训练过程的损失函数中增加正则化参数,损失函数公式如下:
在损失函数中增加频域正则化特征,用于深度卷积降噪自编码机模型训练过程中的参数调优,其中,x表示输入的无标签脉搏波信号,y表示对应的模型输出信号,表示信号的频域特征,a表示可调预设超参数,θ表示模型训练中的超参数,用L表示模型输出与输入时域差异,用KL描述信号的频域差异;
步骤M4.2:在深度卷积降噪自编码机模型的超参数初始值选择过程中,使用无标签预训练的方法,通过输入无标签的脉搏波信号进行深度卷积降噪自编码机模型训练,并将深度卷积降噪自编码机模型参数作为深度卷积降噪自编码机模型正式训练中超参数初始值,进一步降低深度卷积降噪自编码机模型训练过程中的复杂性;
步骤M4.3:将测试集输入到深度卷积降噪自编码机模型进行训练,通过深度卷积降噪自编码机模型训练中损失函数的变化趋势,动态选取模型的迭代次数;采用交叉验证方法,使用测试集在调优后的多个深度卷积降噪自编码机模型中综合选择最优深度学习模型。
根据本发明提供的一种时间序列信号高效去噪和高精度重构建模系统,包括:
模块M1:对原始的脉搏波信号进行数据预处理;
模块M2:选择预设的信号时长,将数据预处理后的脉搏波信号按照预设比例分为预测集、训练集和测试集;
模块M3:选择卷积神经网络作为深度降噪自编码机的基础模型,根据信号去噪要求,设计深度卷积降噪自编码机模型,得到深度卷积降噪自编码机模型;
模块M4:将训练集输入深度卷积降噪自编码机模型进行训练,利用正则化参数以及测试集进行深度卷积降噪自编码机模型参数的调优和选取,得到最优深度学习模型;
模块M5:将含噪脉搏波信号预测集输入到最优深度学习模型中获取深度结构特征,利用深度结构特征进行信号重构和去噪处理,并评估模型性能。
优选地,所述模块M1包括:
模块M1.1:对原始脉搏波信号进行重采样,统一信号采样频率;
模块M1.2:准备不含噪的无标签脉搏波数据以及相应的随机叠加实际场景噪声的有标签含噪脉搏波数据;
通过在原始信号中添加噪声的形式模拟实际场景中脉搏波信号受噪声干扰的情况;不含噪的无标签脉搏波数据用于预训练以及深度卷积降噪自编码机模型去噪效果的对比,验证模型去噪性能。
模块M1.3:对脉搏波信号中出现的噪声进行分析和分类,对不同特征的噪声类型使用不同的去噪方法;
所述实际场景噪声包括基线漂移、工频干扰和/或运动伪影。
优选地,所述模块M1.3包括:
针对非同频干扰噪声,采用奇异值分解的传统方法进行去噪;
针对同频干扰噪声,采用深度卷积降噪自编码机模型方法进行去噪;
所述奇异值分解包括:使用奇异值分解方法,对脉搏波信息进行去噪预处理,奇异值分解使用矩阵分解的方法对原始信号进行子成分分解,并选择信号频率不处于非同频噪声干扰范围内的子成分进行信号重构,滤除不与脉搏波信号频率范围重叠的噪声。
优选地,所述模块M3包括:
所述深度卷积降噪自编码机模型包括编码器模块和解码器模块;
所属编码器模块包括:用于高维时间序列信号的低维映射以及进一步提取信号的隐藏特征;编码器模块包括:一维卷积单元、激活单元和池化层;
所属解码器模块包括:用于信号维度的重构以及根据隐藏单元进行信号特征的重构;解码器模块包括一维卷积单元、激活单元和上采样层。
优选地,所述模块M4包括:
模块M4.1:在深度卷积降噪自编码机模型训练的方案设计中,使用傅里叶变换获取脉搏波信号的频率特征,并根据先验医学知识,在深度卷积降噪自编码机模型训练过程的损失函数中增加正则化参数,损失函数公式如下:
在损失函数中增加频域正则化特征,用于深度卷积降噪自编码机模型训练过程中的参数调优,其中,x表示输入的无标签脉搏波信号,y表示对应的模型输出信号,表示信号的频域特征,a表示可调预设超参数,θ表示模型训练中的超参数,用L表示模型输出与输入时域差异,用KL描述信号的频域差异;
模块M4.2:在深度卷积降噪自编码机模型的超参数初始值选择过程中,使用无标签预训练的方法,通过输入无标签的脉搏波信号进行深度卷积降噪自编码机模型训练,并将深度卷积降噪自编码机模型参数作为深度卷积降噪自编码机模型正式训练中超参数初始值,进一步降低深度卷积降噪自编码机模型训练过程中的复杂性;
模块M4.3:将测试集输入到深度卷积降噪自编码机模型进行训练,通过深度卷积降噪自编码机模型训练中损失函数的变化趋势,动态选取模型的迭代次数;采用交叉验证方法,使用测试集在调优后的多个深度卷积降噪自编码机模型中综合选择最优深度学习模型。
与现有技术相比,本发明具有如下的有益效果:
在复杂情况下,传统去噪方法无法有效的去除脉搏波信号中的同频噪声干扰时,本发明可有效进行脉搏波信号的去噪和重构,为滤除脉搏波信号中的同频噪声干扰提供了新思路
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为脉搏波信号去噪流程示意图;
图2为降噪自编码机示意图;
图3为SCDAE模型架构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明针对脉搏波等时序信号在复杂环境下受噪声干扰较严重的问题。提出了一种结合传统方法的深度卷积降噪自编码机模型,用于脉搏波信号的去噪和重构。本发明使用传统的奇异值分解方法作为信号去噪的预处理环节,并设计基于卷积神经网络的降噪自编码机模型,深度神经网络可在模型训练的过程中充分学习时序信号周期性变化的规律性特征,并完成从复杂含噪信号中重构出原始脉搏波信号特征的任务。
本方法的深度学习模型架构如图1所示,其中模型主要由编码器和解码器两个模块组成。编码器部分用于高维时间序列信号的低维映射以及进一步提取信号的隐藏特征,该方法的编码器模块主要由一维卷积单元、激活单元以及池化层组成。模型的解码器部则用于信号维度的重构以及根据隐藏单元进行信号特征的重构,主要由一维卷积单元、激活单元以及上采样层组成。并结合先验正则化技术进行模型调优。
整个信号去噪的模型工作示意图如图2所示,首先使用奇异值分解方法对信号进行去噪预处理,滤除部分噪声。对其他难以滤除的复杂噪声,进行深度学习模型的训练和调优,最后综合得到最优模型并进行脉搏波信号的去噪和重构。
本发明设计一种基于时间序列信号,例如脉搏波信号、心电信号去噪和重构的深度神经网络模型。该方法结合先验医学知识以及深度卷积神经网络,构建深度卷积降噪自编码机(SCDAE)模型,以脉搏波信号为例,可用于时间序列信号的特征提取和信号重构,从而有效完成复杂环境下的信号去噪任务。
根据本发明提供的一种时间序列信号高效去噪和高精度重构建模方法,包括:
步骤M1:对原始的脉搏波信号进行数据预处理;
具体地,所述步骤M1包括:
步骤M1.1:对原始脉搏波信号进行重采样,统一信号采样频率;
步骤M1.2:准备不含噪的无标签脉搏波数据以及相应的随机叠加三种实际场景噪声的有标签含噪脉搏波数据;
通过在原始信号中添加噪声的形式模拟实际场景中脉搏波信号受噪声干扰的情况;不含噪的无标签脉搏波数据用于预训练以及深度卷积降噪自编码机模型去噪效果的对比,验证模型去噪性能。
步骤M1.3:对脉搏波信号中出现的噪声进行分析和分类,对不同特征的噪声类型使用不同的去噪方法;
所述实际场景噪声包括基线漂移、工频干扰和/或运动伪影。
具体地,所述步骤M1.3包括:
针对非同频干扰噪声,采用奇异值分解的传统方法进行去噪;
针对同频干扰噪声,采用深度卷积降噪自编码机模型方法进行去噪;
所述奇异值分解包括:使用奇异值分解方法,对脉搏波信息进行去噪预处理,奇异值分解使用矩阵分解的方法对原始信号进行子成分分解,并选择信号频率不处于非同频噪声干扰范围内的子成分进行信号重构,滤除不与脉搏波信号频率范围重叠的噪声。
步骤M2:选择预设的信号时长,将数据预处理后的脉搏波信号按照预设比例分为预测集、训练集和测试集;
步骤M3:选择卷积神经网络作为深度降噪自编码机的基础模型,根据信号去噪要求,设计深度卷积降噪自编码机模型,得到深度卷积降噪自编码机模型;
具体地,所述步骤M3包括:
所述深度卷积降噪自编码机模型包括编码器模块和解码器模块;
所属编码器模块包括:部分用于高维时间序列信号的低维映射以及进一步提取信号的隐藏特征;编码器模块包括:一维卷积单元、激活单元和池化层;
所属解码器模块包括:用于信号维度的重构以及根据隐藏单元进行信号特征的重构;解码器模块包括一维卷积单元、激活单元和上采样层。
使用卷积神经网络作为深度降噪自编码机的基础模型。其中,相比于全连接神经网络和循环神经网路,卷积神经网络在信号的局部特征学习任务中有着优越的性能,适用于以脉搏波为例的周期性规律变化的时序信号处理。
步骤M4:将训练集输入深度卷积降噪自编码机模型进行训练,利用正则化参数以及测试集进行深度卷积降噪自编码机模型参数的调优和选取,得到最优深度学习模型;
具体地,所述步骤M4包括:
步骤M4.1:在深度卷积降噪自编码机模型训练的方案设计中,使用傅里叶变换获取脉搏波信号的频率特征,并根据先验医学知识,在深度卷积降噪自编码机模型训练过程的损失函数中增加正则化参数,可降低模型训练中产生过拟合的可能性并进一步提高模型的可扩展性。损失函数公式如下:
在损失函数中增加频域正则化特征,用于深度卷积降噪自编码机模型训练过程中的参数调优,其中,x表示输入的无标签脉搏波信号,y表示对应的模型输出信号,表示信号的频域特征,a表示可调预设超参数,θ表示模型训练中的超参数,用L表示模型输出与输入时域差异,用KL描述信号的频域差异;
步骤M4.2:在深度卷积降噪自编码机模型的超参数初始值选择过程中,使用无标签预训练的方法,通过输入无标签的脉搏波信号进行深度卷积降噪自编码机模型训练,并将深度卷积降噪自编码机模型参数作为深度卷积降噪自编码机模型正式训练中超参数初始值,进一步降低深度卷积降噪自编码机模型训练过程中的复杂性,进一步降低模型训练的难度;
步骤M4.3:将测试集输入到深度卷积降噪自编码机模型进行训练,通过深度卷积降噪自编码机模型训练中损失函数的变化趋势,动态选取模型的迭代次数;采用交叉验证方法,使用测试集在调优后的多个深度卷积降噪自编码机模型中综合选择最优深度学习模型,并用于最后复杂含噪信号的去噪和波形重构任务。
步骤M5:将含噪脉搏波信号预测集输入到最优深度学习模型中获取深度结构特征,利用深度结构特征进行信号重构和去噪处理,并评估模型性能。
根据本发明提供的一种时间序列信号高效去噪和高精度重构建模系统,包括:
模块M1:对原始的脉搏波信号进行数据预处理;
具体地,所述模块M1包括:
模块M1.1:对原始脉搏波信号进行重采样,统一信号采样频率;
模块M1.2:准备不含噪的无标签脉搏波数据以及相应的随机叠加三种实际场景噪声的有标签含噪脉搏波数据;
通过在原始信号中添加噪声的形式模拟实际场景中脉搏波信号受噪声干扰的情况;不含噪的无标签脉搏波数据用于预训练以及深度卷积降噪自编码机模型去噪效果的对比,验证模型去噪性能。
模块M1.3:对脉搏波信号中出现的噪声进行分析和分类,对不同特征的噪声类型使用不同的去噪方法;
所述实际场景噪声包括基线漂移、工频干扰和/或运动伪影。
具体地,所述模块M1.3包括:
针对非同频干扰噪声,采用奇异值分解的传统方法进行去噪;
针对同频干扰噪声,采用深度卷积降噪自编码机模型方法进行去噪;
所述奇异值分解包括:使用奇异值分解方法,对脉搏波信息进行去噪预处理,奇异值分解使用矩阵分解的方法对原始信号进行子成分分解,并选择信号频率不处于非同频噪声干扰范围内的子成分进行信号重构,滤除不与脉搏波信号频率范围重叠的噪声。
模块M2:选择预设的信号时长,将数据预处理后的脉搏波信号按照预设比例分为预测集、训练集和测试集;
模块M3:选择卷积神经网络作为深度降噪自编码机的基础模型,根据信号去噪要求,设计深度卷积降噪自编码机模型,得到深度卷积降噪自编码机模型;
具体地,所述模块M3包括:
所述深度卷积降噪自编码机模型包括编码器模块和解码器模块;
所属编码器模块包括:部分用于高维时间序列信号的低维映射以及进一步提取信号的隐藏特征;编码器模块包括:一维卷积单元、激活单元和池化层;
所属解码器模块包括:用于信号维度的重构以及根据隐藏单元进行信号特征的重构;解码器模块包括一维卷积单元、激活单元和上采样层。
使用卷积神经网络作为深度降噪自编码机的基础模型。其中,相比于全连接神经网络和循环神经网路,卷积神经网络在信号的局部特征学习任务中有着优越的性能,适用于以脉搏波为例的周期性规律变化的时序信号处理。
模块M4:将训练集输入深度卷积降噪自编码机模型进行训练,利用正则化参数以及测试集进行深度卷积降噪自编码机模型参数的调优和选取,得到最优深度学习模型;
具体地,所述模块M4包括:
模块M4.1:在深度卷积降噪自编码机模型训练的方案设计中,使用傅里叶变换获取脉搏波信号的频率特征,并根据先验医学知识,在深度卷积降噪自编码机模型训练过程的损失函数中增加正则化参数,可降低模型训练中产生过拟合的可能性并进一步提高模型的可扩展性。损失函数公式如下:
在损失函数中增加频域正则化特征,用于深度卷积降噪自编码机模型训练过程中的参数调优,其中,x表示输入的无标签脉搏波信号,y表示对应的模型输出信号,表示信号的频域特征,a表示可调预设超参数,θ表示模型训练中的超参数,用L表示模型输出与输入时域差异,用KL描述信号的频域差异;
模块M4.2:在深度卷积降噪自编码机模型的超参数初始值选择过程中,使用无标签预训练的方法,通过输入无标签的脉搏波信号进行深度卷积降噪自编码机模型训练,并将深度卷积降噪自编码机模型参数作为深度卷积降噪自编码机模型正式训练中超参数初始值,进一步降低深度卷积降噪自编码机模型训练过程中的复杂性,进一步降低模型训练的难度;
模块M4.3:将测试集输入到深度卷积降噪自编码机模型进行训练,通过深度卷积降噪自编码机模型训练中损失函数的变化趋势,动态选取模型的迭代次数;采用交叉验证方法,使用测试集在调优后的多个深度卷积降噪自编码机模型中综合选择最优深度学习模型,并用于最后复杂含噪信号的去噪和波形重构任务。
模块M5:将含噪脉搏波信号预测集输入到最优深度学习模型中获取深度结构特征,利用深度结构特征进行信号重构和去噪处理,并评估模型性能。
以下优选例对本发明作进一步详细说明:
模型设计
本发明提供了一种结合深度学习方法和先验正则化技术的时间序列数据去噪方法。首先针对脉搏波信号中可能出现的噪声做分析,脉搏波中以运动伪影最为难滤除,因为其频段范围与脉搏波信号重叠,因此传统的去噪方法很难发挥作用。本发明将脉搏波的去噪任务分为两个环节,首先选择奇异值分解方法做为信号去噪的预处理环节,滤除不在目标范围内的子成分并重构信号。然后对于难以滤除的运动伪影噪声,选择深度神经网络方法进行信号去噪的模型训练和调优。
该方法首先通过大量的临床脉搏波信号训练SCDAE模型,然后将含噪的脉搏波信号输入到训练好的卷积神经网络模型中用于获取深度结构特征,接着利用此深度特征进行信号的维度重构和去噪。
模型训练
详细的SCDAE模型如图3所示,编码器部分由4层卷积层和4层池化层组成,解码器则由4层上采样层以及4层卷积层组成。其中每一层一维卷积单元之后,都对应RELU激活函数,用于保留信号中更多的细节信息。在深度学习模型的训练和调优过程中,有损失函数:
Φ(θ,φ)=L(θ)+αKL(x(φ),y(φ))
在损失函数中增加频域正则化特征,用于模型训练过程中的参数调优,其中x表示输入信号,y表示输出信号,a表示可调超参数,用L表示模型输出与输入时域差异,用KL描述信号的频域差异。在最优模型的选择中,可选择交叉验证方法,以提高深度学习模型的可扩展性。其中,θ表示模型训练中的超参数,表示信号的频域特征。
模型调优
在模型调优的环节,神经网络模型中存在众多的超参数,首先使用无标签预训练的方式进行超参数起始点的设置,然后使用梯度下降法求解模型超参数的最优值,并在模型选择的过程中,采用交叉验证方法,综合选择最优深度学习模型。
深度神经网络模型可以在模型训练的过程中充分学习脉搏波信号的周期性变化的规律性特征,从而能够在含有复杂噪声的情况下进行脉搏波信号的去噪和重构。这将为复杂噪声环境下的信号重构和降噪提供了可行的方向,同时也将进一步提高生理参数提取以及疾病诊断的精确度。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种时间序列信号高效去噪和高精度重构建模方法,其特征在于,包括:
步骤M1:对原始的脉搏波信号进行数据预处理;
步骤M2:选择预设的信号时长,将数据预处理后的脉搏波信号按照预设比例分为预测集、训练集和测试集;
步骤M3:选择卷积神经网络作为深度降噪自编码机的基础模型,根据信号去噪要求,设计深度卷积降噪自编码机模型,得到深度卷积降噪自编码机模型;
步骤M4:将训练集输入深度卷积降噪自编码机模型进行训练,利用正则化参数以及测试集进行深度卷积降噪自编码机模型参数的调优和选取,得到最优深度学习模型;
步骤M5:将含噪脉搏波信号预测集输入到最优深度学习模型中获取深度结构特征,利用深度结构特征进行信号重构和去噪处理,并评估模型性能。
2.根据权利要求1所述的一种时间序列信号高效去噪和高精度重构建模方法,其特征在于,所述步骤M1包括:
步骤M1.1:对原始脉搏波信号进行重采样,统一信号采样频率;
步骤M1.2:准备不含噪的无标签脉搏波数据以及相应的随机叠加实际场景噪声的有标签含噪脉搏波数据;
通过在原始信号中添加噪声的形式模拟实际场景中脉搏波信号受噪声干扰的情况;不含噪的无标签脉搏波数据用于预训练以及深度卷积降噪自编码机模型去噪效果的对比,验证模型去噪性能。
步骤M1.3:对脉搏波信号中出现的噪声进行分析和分类,对不同特征的噪声类型使用不同的去噪方法;
所述实际场景噪声包括基线漂移、工频干扰和/或运动伪影。
3.根据权利要求2所述的一种时间序列信号高效去噪和高精度重构建模方法,其特征在于,所述步骤M1.3包括:
针对非同频干扰噪声,采用奇异值分解的传统方法进行去噪;
针对同频干扰噪声,采用深度卷积降噪自编码机模型方法进行去噪;
所述奇异值分解包括:使用奇异值分解方法,对脉搏波信息进行去噪预处理,奇异值分解使用矩阵分解的方法对原始信号进行子成分分解,并选择信号频率不处于非同频噪声干扰范围内的子成分进行信号重构,滤除不与脉搏波信号频率范围重叠的噪声。
4.根据权利要求1所述的一种时间序列信号高效去噪和高精度重构建模方法,其特征在于,所述步骤M3包括:
所述深度卷积降噪自编码机模型包括编码器模块和解码器模块;
所属编码器模块包括:用于高维时间序列信号的低维映射以及进一步提取信号的隐藏特征;编码器模块包括:一维卷积单元、激活单元和池化层;
所属解码器模块包括:用于信号维度的重构以及根据隐藏单元进行信号特征的重构;解码器模块包括一维卷积单元、激活单元和上采样层。
5.根据权利要求1所述的一种时间序列信号高效去噪和高精度重构建模方法,其特征在于,所述步骤M4包括:
步骤M4.1:在深度卷积降噪自编码机模型训练的方案设计中,使用傅里叶变换获取脉搏波信号的频率特征,并根据先验医学知识,在深度卷积降噪自编码机模型训练过程的损失函数中增加正则化参数,损失函数公式如下:
在损失函数中增加频域正则化特征,用于深度卷积降噪自编码机模型训练过程中的参数调优,其中,x表示输入的无标签脉搏波信号,y表示对应的模型输出信号,表示信号的频域特征,a表示可调预设超参数,θ表示模型训练中的超参数,用L表示模型输出与输入时域差异,用KL描述信号的频域差异;
步骤M4.2:在深度卷积降噪自编码机模型的超参数初始值选择过程中,使用无标签预训练的方法,通过输入无标签的脉搏波信号进行深度卷积降噪自编码机模型训练,并将深度卷积降噪自编码机模型参数作为深度卷积降噪自编码机模型正式训练中超参数初始值,进一步降低深度卷积降噪自编码机模型训练过程中的复杂性;
步骤M4.3:将测试集输入到深度卷积降噪自编码机模型进行训练,通过深度卷积降噪自编码机模型训练中损失函数的变化趋势,动态选取模型的迭代次数;采用交叉验证方法,使用测试集在调优后的多个深度卷积降噪自编码机模型中综合选择最优深度学习模型。
6.一种时间序列信号高效去噪和高精度重构建模系统,其特征在于,包括:
模块M1:对原始的脉搏波信号进行数据预处理;
模块M2:选择预设的信号时长,将数据预处理后的脉搏波信号按照预设比例分为预测集、训练集和测试集;
模块M3:选择卷积神经网络作为深度降噪自编码机的基础模型,根据信号去噪要求,设计深度卷积降噪自编码机模型,得到深度卷积降噪自编码机模型;
模块M4:将训练集输入深度卷积降噪自编码机模型进行训练,利用正则化参数以及测试集进行深度卷积降噪自编码机模型参数的调优和选取,得到最优深度学习模型;
模块M5:将含噪脉搏波信号预测集输入到最优深度学习模型中获取深度结构特征,利用深度结构特征进行信号重构和去噪处理,并评估模型性能。
7.根据权利要求6所述的一种时间序列信号高效去噪和高精度重构建模系统,其特征在于,所述模块M1包括:
模块M1.1:对原始脉搏波信号进行重采样,统一信号采样频率;
模块M1.2:准备不含噪的无标签脉搏波数据以及相应的随机叠加实际场景噪声的有标签含噪脉搏波数据;
通过在原始信号中添加噪声的形式模拟实际场景中脉搏波信号受噪声干扰的情况;不含噪的无标签脉搏波数据用于预训练以及深度卷积降噪自编码机模型去噪效果的对比,验证模型去噪性能。
模块M1.3:对脉搏波信号中出现的噪声进行分析和分类,对不同特征的噪声类型使用不同的去噪方法;
所述实际场景噪声包括基线漂移、工频干扰和/或运动伪影。
8.根据权利要求7所述的一种时间序列信号高效去噪和高精度重构建模系统,其特征在于,所述模块M1.3包括:
针对非同频干扰噪声,采用奇异值分解的传统方法进行去噪;
针对同频干扰噪声,采用深度卷积降噪自编码机模型方法进行去噪;
所述奇异值分解包括:使用奇异值分解方法,对脉搏波信息进行去噪预处理,奇异值分解使用矩阵分解的方法对原始信号进行子成分分解,并选择信号频率不处于非同频噪声干扰范围内的子成分进行信号重构,滤除不与脉搏波信号频率范围重叠的噪声。
9.根据权利要求6所述的一种时间序列信号高效去噪和高精度重构建模系统,其特征在于,所述模块M3包括:
所述深度卷积降噪自编码机模型包括编码器模块和解码器模块;
所属编码器模块包括:用于高维时间序列信号的低维映射以及进一步提取信号的隐藏特征;编码器模块包括:一维卷积单元、激活单元和池化层;
所属解码器模块包括:用于信号维度的重构以及根据隐藏单元进行信号特征的重构;解码器模块包括一维卷积单元、激活单元和上采样层。
10.根据权利要求6所述的一种时间序列信号高效去噪和高精度重构建模系统,其特征在于,所述模块M4包括:
模块M4.1:在深度卷积降噪自编码机模型训练的方案设计中,使用傅里叶变换获取脉搏波信号的频率特征,并根据先验医学知识,在深度卷积降噪自编码机模型训练过程的损失函数中增加正则化参数,损失函数公式如下:
在损失函数中增加频域正则化特征,用于深度卷积降噪自编码机模型训练过程中的参数调优,其中,x表示输入的无标签脉搏波信号,y表示对应的模型输出信号,表示信号的频域特征,a表示可调预设超参数,θ表示模型训练中的超参数,用L表示模型输出与输入时域差异,用KL描述信号的频域差异;
模块M4.2:在深度卷积降噪自编码机模型的超参数初始值选择过程中,使用无标签预训练的方法,通过输入无标签的脉搏波信号进行深度卷积降噪自编码机模型训练,并将深度卷积降噪自编码机模型参数作为深度卷积降噪自编码机模型正式训练中超参数初始值,进一步降低深度卷积降噪自编码机模型训练过程中的复杂性;
模块M4.3:将测试集输入到深度卷积降噪自编码机模型进行训练,通过深度卷积降噪自编码机模型训练中损失函数的变化趋势,动态选取模型的迭代次数;采用交叉验证方法,使用测试集在调优后的多个深度卷积降噪自编码机模型中综合选择最优深度学习模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911317622.6A CN111046824B (zh) | 2019-12-19 | 2019-12-19 | 一种时间序列信号高效去噪和高精度重构建模方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911317622.6A CN111046824B (zh) | 2019-12-19 | 2019-12-19 | 一种时间序列信号高效去噪和高精度重构建模方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111046824A true CN111046824A (zh) | 2020-04-21 |
CN111046824B CN111046824B (zh) | 2023-04-28 |
Family
ID=70237275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911317622.6A Active CN111046824B (zh) | 2019-12-19 | 2019-12-19 | 一种时间序列信号高效去噪和高精度重构建模方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111046824B (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111769844A (zh) * | 2020-06-24 | 2020-10-13 | 中国电子科技集团公司第三十六研究所 | 一种单通道同频干扰消除方法和装置 |
CN111950503A (zh) * | 2020-06-16 | 2020-11-17 | 中国科学院地质与地球物理研究所 | 航空瞬变电磁数据处理方法、装置及计算设备 |
CN112053421A (zh) * | 2020-10-14 | 2020-12-08 | 腾讯科技(深圳)有限公司 | 信号降噪处理方法、装置、设备及存储介质 |
CN112149617A (zh) * | 2020-10-13 | 2020-12-29 | 中国工程物理研究院计算机应用研究所 | 一种基于深度学习的脉冲波形去噪方法 |
CN112187318A (zh) * | 2020-08-31 | 2021-01-05 | 南京理工大学 | 基于深度学习的脉冲噪声削减方法 |
CN112562656A (zh) * | 2020-12-16 | 2021-03-26 | 咪咕文化科技有限公司 | 一种信号分类方法、装置、设备及存储介质 |
CN113065387A (zh) * | 2021-02-03 | 2021-07-02 | 中国船级社 | 一种机泵系统的小波降噪方法及系统 |
CN113935378A (zh) * | 2021-10-14 | 2022-01-14 | 山东省人工智能研究院 | 一种基于对抗性深度全卷积网络的ecg降噪方法 |
CN114018334A (zh) * | 2021-11-10 | 2022-02-08 | 桂林恒创光电科技有限公司 | 一种城市综合管廊安全监测系统及方法 |
CN114098679A (zh) * | 2021-12-30 | 2022-03-01 | 中新国际联合研究院 | 基于深度学习和射频感知的生命体征监测波形的恢复方法 |
CN114186583A (zh) * | 2021-12-02 | 2022-03-15 | 国家石油天然气管网集团有限公司 | 一种储油罐罐壁腐蚀检测异常信号恢复方法及系统 |
CN114358094A (zh) * | 2022-03-18 | 2022-04-15 | 成都迅翼卫通科技有限公司 | 基于雷达通信系统的信号去噪方法及系统 |
CN114689700A (zh) * | 2022-04-14 | 2022-07-01 | 电子科技大学 | 一种基于栈式自编码器的低功率emat信号降噪方法 |
CN115381438A (zh) * | 2022-08-24 | 2022-11-25 | 华南师范大学 | 生命体征信号的重建方法、装置、计算机设备和存储介质 |
CN115865129A (zh) * | 2022-12-01 | 2023-03-28 | 电子科技大学 | 一种基于去噪自编码器的窄带干扰智能消除方法 |
CN116058803A (zh) * | 2023-03-10 | 2023-05-05 | 南开大学 | 一种面向多类型噪声伪迹的eeg信号去噪方法 |
CN117218149A (zh) * | 2023-11-08 | 2023-12-12 | 南通度陌信息科技有限公司 | 一种基于自编码神经网络的图像重建方法及系统 |
US11979311B2 (en) | 2021-12-10 | 2024-05-07 | Cisco Technology, Inc. | User-assisted training data denoising for predictive systems |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9192333B1 (en) * | 2010-12-30 | 2015-11-24 | University Of Main System Board Of Trustees | System and method for early detection of mild traumatic brain injury |
CN107495959A (zh) * | 2017-07-27 | 2017-12-22 | 大连大学 | 一种基于一维卷积神经网络的心电信号分类方法 |
CN107798349A (zh) * | 2017-11-03 | 2018-03-13 | 合肥工业大学 | 一种基于深度稀疏自编码机的迁移学习方法 |
CN108398268A (zh) * | 2018-03-15 | 2018-08-14 | 哈尔滨工业大学 | 一种基于堆叠去噪自编码器和自组织映射的轴承性能退化评估方法 |
CN109784242A (zh) * | 2018-12-31 | 2019-05-21 | 陕西师范大学 | 基于一维残差卷积神经网络的脑电信号去噪方法 |
CN109965885A (zh) * | 2019-04-24 | 2019-07-05 | 中国科学院电子学研究所 | 一种基于去噪自动编码器的bcg信号降噪方法及装置 |
-
2019
- 2019-12-19 CN CN201911317622.6A patent/CN111046824B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9192333B1 (en) * | 2010-12-30 | 2015-11-24 | University Of Main System Board Of Trustees | System and method for early detection of mild traumatic brain injury |
CN107495959A (zh) * | 2017-07-27 | 2017-12-22 | 大连大学 | 一种基于一维卷积神经网络的心电信号分类方法 |
CN107798349A (zh) * | 2017-11-03 | 2018-03-13 | 合肥工业大学 | 一种基于深度稀疏自编码机的迁移学习方法 |
CN108398268A (zh) * | 2018-03-15 | 2018-08-14 | 哈尔滨工业大学 | 一种基于堆叠去噪自编码器和自组织映射的轴承性能退化评估方法 |
CN109784242A (zh) * | 2018-12-31 | 2019-05-21 | 陕西师范大学 | 基于一维残差卷积神经网络的脑电信号去噪方法 |
CN109965885A (zh) * | 2019-04-24 | 2019-07-05 | 中国科学院电子学研究所 | 一种基于去噪自动编码器的bcg信号降噪方法及装置 |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111950503A (zh) * | 2020-06-16 | 2020-11-17 | 中国科学院地质与地球物理研究所 | 航空瞬变电磁数据处理方法、装置及计算设备 |
CN111769844A (zh) * | 2020-06-24 | 2020-10-13 | 中国电子科技集团公司第三十六研究所 | 一种单通道同频干扰消除方法和装置 |
CN112187318A (zh) * | 2020-08-31 | 2021-01-05 | 南京理工大学 | 基于深度学习的脉冲噪声削减方法 |
CN112187318B (zh) * | 2020-08-31 | 2022-02-18 | 南京理工大学 | 基于深度学习的脉冲噪声削减方法 |
CN112149617A (zh) * | 2020-10-13 | 2020-12-29 | 中国工程物理研究院计算机应用研究所 | 一种基于深度学习的脉冲波形去噪方法 |
CN112053421A (zh) * | 2020-10-14 | 2020-12-08 | 腾讯科技(深圳)有限公司 | 信号降噪处理方法、装置、设备及存储介质 |
CN112053421B (zh) * | 2020-10-14 | 2023-06-23 | 腾讯科技(深圳)有限公司 | 信号降噪处理方法、装置、设备及存储介质 |
CN112562656A (zh) * | 2020-12-16 | 2021-03-26 | 咪咕文化科技有限公司 | 一种信号分类方法、装置、设备及存储介质 |
CN113065387B (zh) * | 2021-02-03 | 2022-03-18 | 中国船级社 | 一种机泵系统的小波降噪方法及系统 |
CN113065387A (zh) * | 2021-02-03 | 2021-07-02 | 中国船级社 | 一种机泵系统的小波降噪方法及系统 |
CN113935378A (zh) * | 2021-10-14 | 2022-01-14 | 山东省人工智能研究院 | 一种基于对抗性深度全卷积网络的ecg降噪方法 |
CN114018334A (zh) * | 2021-11-10 | 2022-02-08 | 桂林恒创光电科技有限公司 | 一种城市综合管廊安全监测系统及方法 |
CN114186583A (zh) * | 2021-12-02 | 2022-03-15 | 国家石油天然气管网集团有限公司 | 一种储油罐罐壁腐蚀检测异常信号恢复方法及系统 |
US11979311B2 (en) | 2021-12-10 | 2024-05-07 | Cisco Technology, Inc. | User-assisted training data denoising for predictive systems |
CN114098679A (zh) * | 2021-12-30 | 2022-03-01 | 中新国际联合研究院 | 基于深度学习和射频感知的生命体征监测波形的恢复方法 |
CN114098679B (zh) * | 2021-12-30 | 2024-03-29 | 中新国际联合研究院 | 基于深度学习和射频感知的生命体征监测波形的恢复方法 |
CN114358094A (zh) * | 2022-03-18 | 2022-04-15 | 成都迅翼卫通科技有限公司 | 基于雷达通信系统的信号去噪方法及系统 |
CN114358094B (zh) * | 2022-03-18 | 2022-06-03 | 成都迅翼卫通科技有限公司 | 基于雷达通信系统的信号去噪方法及系统 |
CN114689700B (zh) * | 2022-04-14 | 2023-06-06 | 电子科技大学 | 一种基于栈式自编码器的低功率emat信号降噪方法 |
CN114689700A (zh) * | 2022-04-14 | 2022-07-01 | 电子科技大学 | 一种基于栈式自编码器的低功率emat信号降噪方法 |
CN115381438B (zh) * | 2022-08-24 | 2023-04-18 | 华南师范大学 | 生命体征信号的重建方法、装置、计算机设备和存储介质 |
CN115381438A (zh) * | 2022-08-24 | 2022-11-25 | 华南师范大学 | 生命体征信号的重建方法、装置、计算机设备和存储介质 |
CN115865129A (zh) * | 2022-12-01 | 2023-03-28 | 电子科技大学 | 一种基于去噪自编码器的窄带干扰智能消除方法 |
CN115865129B (zh) * | 2022-12-01 | 2024-03-29 | 电子科技大学 | 一种基于去噪自编码器的窄带干扰智能消除方法 |
CN116058803A (zh) * | 2023-03-10 | 2023-05-05 | 南开大学 | 一种面向多类型噪声伪迹的eeg信号去噪方法 |
CN116058803B (zh) * | 2023-03-10 | 2024-04-19 | 南开大学 | 一种面向多类型噪声伪迹的eeg信号去噪方法 |
CN117218149B (zh) * | 2023-11-08 | 2024-02-20 | 南通度陌信息科技有限公司 | 一种基于自编码神经网络的图像重建方法及系统 |
CN117218149A (zh) * | 2023-11-08 | 2023-12-12 | 南通度陌信息科技有限公司 | 一种基于自编码神经网络的图像重建方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111046824B (zh) | 2023-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111046824B (zh) | 一种时间序列信号高效去噪和高精度重构建模方法及系统 | |
CN109784242B (zh) | 基于一维残差卷积神经网络的脑电信号去噪方法 | |
Djemal et al. | EEG-based computer aided diagnosis of autism spectrum disorder using wavelet, entropy, and ANN | |
Hramov et al. | Wavelets in neuroscience | |
CN107811649B (zh) | 一种基于深度卷积神经网络的心音多分类方法 | |
CN111310570B (zh) | 一种基于vmd和wpd的脑电信号情感识别方法及系统 | |
CN108567418A (zh) | 一种基于PCANet的脉搏信号亚健康检测方法及检测系统 | |
Hansen et al. | Unmixing oscillatory brain activity by EEG source localization and empirical mode decomposition | |
CN114648048A (zh) | 基于变分自编码和PixelCNN模型的心电信号降噪方法 | |
CN115034254A (zh) | 基于hht频带能量特征和卷积神经网络的核素识别方法 | |
CN111370120A (zh) | 一种基于心音信号的心脏舒张功能障碍的检测方法 | |
Narmada et al. | A novel adaptive artifacts wavelet Denoising for EEG artifacts removal using deep learning with Meta-heuristic approach | |
Loza et al. | A marked point process framework for extracellular electrical potentials | |
CN116712056A (zh) | 心电图数据的特征图像生成与识别方法、设备及存储介质 | |
Li et al. | sEMG signal filtering study using synchrosqueezing wavelet transform with differential evolution optimized threshold | |
Cheikh et al. | Fetal phonocardiogram signals denoising using improved complete ensemble (EMD) with adaptive noise and optimal thresholding of wavelet coefficients | |
CN115293210A (zh) | 一种基于脑电波的指令预测输出控制方法 | |
CN111493864B (zh) | Eeg信号混合噪声处理方法、设备和存储介质 | |
Gabardi et al. | A multi-artifact EEG denoising by frequency-based deep learning | |
AU2020103949A4 (en) | EEG Signal Mixed Noise Processing Method, Equipment and Storage Medium | |
Zhang et al. | Application of translation wavelet transform with new threshold function in pulse wave signal denoising | |
Karar et al. | Embedded heart sounds and murmurs generator based on discrete wavelet transform | |
AL-Jobouri et al. | From biomedical signal processing techniques to fMRI parcellation | |
Lee et al. | Removing ECG artifacts from the EMG: A comparison between combining empirical-mode decomposition and independent component analysis and other filtering methods | |
NSVN et al. | Optimal threshold estimation using cultural algorithm for EMD-DWT based ECG denoising |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |