CN113255777A - 基于多模态敏感特征选取融合的设备故障预警方法及系统 - Google Patents

基于多模态敏感特征选取融合的设备故障预警方法及系统 Download PDF

Info

Publication number
CN113255777A
CN113255777A CN202110590228.0A CN202110590228A CN113255777A CN 113255777 A CN113255777 A CN 113255777A CN 202110590228 A CN202110590228 A CN 202110590228A CN 113255777 A CN113255777 A CN 113255777A
Authority
CN
China
Prior art keywords
data
feature
modal
early warning
sensitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110590228.0A
Other languages
English (en)
Other versions
CN113255777B (zh
Inventor
张玉彦
文笑雨
李�浩
王昊琪
孙春亚
乔东平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University of Light Industry
Original Assignee
Zhengzhou University of Light Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University of Light Industry filed Critical Zhengzhou University of Light Industry
Priority to CN202110590228.0A priority Critical patent/CN113255777B/zh
Publication of CN113255777A publication Critical patent/CN113255777A/zh
Application granted granted Critical
Publication of CN113255777B publication Critical patent/CN113255777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/185Electrical failure alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Complex Calculations (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明提出一种基于多模态敏感特征选取融合的设备故障预警方法及系统,用于解决基于单模态特征的预警系统存在准确率低、适用范围窄的技术问题。其方法的步骤为:首先,提取采集的历史设备正常状态的参数运行数据的特征向量,并对特征向量进行标准化;其次,运用基于Mercer内核的核PCA获取标准化的特征数据的敏感特征,并根据敏感特征训练GMM模型;然后在线获取设备运行时的实时状态数据,并根据上述步骤选取多模态敏感特征;最后,将多模态敏感特征输入到训练好的GMM模型,依据得到的概率值是否小于预设的阈值决定是否报警。本发明通过设备多模态特征选取与融合,提升设备故障预警系统的准确率,实现了离线预警模型构建、在线实时故障预警。

Description

基于多模态敏感特征选取融合的设备故障预警方法及系统
技术领域
本发明涉及设备故障预警的技术领域,特别是指一种基于多模态敏感特征选取融合的设备故障预警方法及系统。
背景技术
设备维修费用占据设备产出收益的极大比例,传统设备维修方法采用定期维修和事后维修:前者会增加非必要的维修费用,后者会导致设备长时间停机并影响产品质量和交货期。基于大数据的视情维修方法能够在故障形成的初期发出预警,为提前采取维修措施提供充裕的缓冲时间,避免发生灾难性的重大事故,变被动为主动,从而降低企业设备的维护成本。
常规基于大数据的视情维修方法采用单模态数据进行特征提取、分析、识别,如振动信号、电信号、声发射信号等。然而,单一模态信号具有极大的局限性,如振动信号的信噪比低,不利于发现早期故障的弱特征;电信号仅仅在机械故障被调制到发电机的电信号上时,会产生变化,适用范围窄;声发射信号只能监测由材料内部结构变化引发内应力重布的对象。因此,针对复杂设备,以单模态数据为分析对象的状态监测方法表现出准确率低、适用范围窄的缺点。
随着故障特征提取、大数据挖掘、跨模态融合、分布式计算的发展,基于多模态敏感特征选取与融合的方法能够有效解决上述问题。通过利用多模态特征的互补性、完备性提升设备故障预警系统的准确性和适用范围,通过不同模态特征提取,敏感特征选择,跨模态特征融合,实现新的故障预警方法和系统。
发明内容
针对上述背景技术中存在的不足,本发明提出了一种基于多模态敏感特征选取融合的设备故障预警方法及系统,解决了现有基于单模态特征的预警系统存在准确率低、适用范围窄的技术问题。
本发明的技术方案是这样实现的:
一种基于多模态敏感特征选取融合的设备故障预警方法,其步骤如下:
步骤一:采集不同工况下设备正常状态的参数运行数据;
步骤二:采用特征提取方法对步骤一中的参数运行数据进行提取,得到M维特征向量;
步骤三:采用标准化预处理方法对M维特征向量进行尺度缩放,得到标准化的特征数据;
步骤四:运用基于Mercer内核的核PCA对步骤三中的标准化的特征数据进行分析,基于最大协方差理论,计算每个特征的贡献率,选取前95%贡献率的特征作为敏感特征;
步骤五:将步骤四中的敏感特征输入到GMM模型,拟合敏感特征在高维空间的概率分布,得到训练好的GMM模型;
步骤六:在线获取设备运行时的实时状态数据,并利用步骤二中的特征提取方法对实时状态数据进行特征提取,得到设备在线状态的M维特征向量;
步骤七:利用步骤三中的标准化预处理方法对设备在线状态的M维特征向量进行规整后,并利用步骤四中的基于Mercer内核的核PCA选取多模态敏感特征;
步骤八:将步骤七中的多模态敏感特征输入到步骤五中训练好的GMM模型,得到设备属于正常状态的概率值,当概率值大于预设的阈值时,设备出现故障,进行报警,否则,设备运行正常,不报警。
所述步骤一中的参数运行数据包括振动数据、声发射数据、温度数据、视频监控数据、电信号数据和热成像数据;所述步骤二中的特征提取方法包括统计值、频谱值、直方图、二维空域信息和卷积神经网络;所述步骤六中的实时状态数据包括振动数据、声发射数据、温度数据、视频监控数据、电信号数据和热成像数据。
所述M维特征向量的获得方法为:
分别提取振动数据、声发射数据、温度数据和电信号数据的12个时域统计特征,包括标准差、均方根、平均值、偏度、峭度、中值、峰峰值、最大梯度值、波形因子、峰值因子、脉冲指标和裕度指标,共48维特征向量;
分别提取振动数据和电信号数据的傅里叶变换后的频谱值,分别为固有频率的1倍频、2倍频、3倍频,共6维特征向量;
分别提取振动数据和电信号数据的小波包分解的能量及能量熵,共18维特征向量;
分别提取振动数据和电信号数据的经验模式分解的能量及能量熵,共18维特征向量;
分别提取视频监控数据和热成像数据的RGB三个通道的灰度直方图,每个通道256个值,共768×2维特征向量;
采用卷积神经网络提取热成像数据的100维特征,共100维特征向量;
将所有维度特征向量连接到一个特征向量,共1726维特征向量,即M=1726。
所述分别提取振动数据和电信号数据的小波包分解的能量及能量熵的计算方法为:
Figure BDA0003089229190000021
Figure BDA0003089229190000022
Figure BDA0003089229190000023
其中,Eq,i为q类数据的小波包分解的第i个信号分量的能量,q∈[振动数据,电信号数据],i=1,2,…,N,N为小波包分解的信号分量的个数,Aq,ij为q类数据的小波包分解的第i个信号分量的第j个电压值/幅值,j=1,2,…,L,L表示信号长度,Pq,i为q类数据的小波包分解的第i个信号分量的能量占比,Entropyq为q类数据的小波包分解的能量熵,Qq,i为q类数据的小波包分解的第i个信号分量的真实的能量占比。
所述分别提取振动数据和电信号数据的经验模式分解的能量及能量熵的计算方法为:
Figure BDA0003089229190000031
Figure BDA0003089229190000032
Figure BDA0003089229190000033
其中,Eq',i'为q类数据的经验模式分解的第i'个信号分量的能量,i'=1,2,…,N',N'为经验模式分解的信号分量的个数,Aq,i'j'为q类数据的经验模式分解的第i'个信号分量的第j'个电压值/幅值,j'=1,2,…,L',L'表示信号长度,Pq,i'为q类数据的经验模式分解的第i'个信号分量的能量占比,Entropy'q为q类数据的经验模式分解的能量熵,Qq,i'为q类数据的经验模式分解的第i'个信号分量的真实的能量占比。
所述采用标准化预处理方法对M维特征向量进行尺度缩放的方法为:
Figure BDA0003089229190000034
其中,
Figure BDA0003089229190000035
为特征向量Xp的标准化值,Xp∈R1×n为M维特征向量中的第p维特征向量,p=1,2,…,M,n为样本数,Xp,mean为特征向量Xp的均值,Xp,std为特征向量Xp的标准差。
所述敏感特征获得方法为:
标准化处理后的样本数据为
Figure BDA0003089229190000036
通过式(2)计算不同模态特征之间的协方差Cov:
Figure BDA0003089229190000037
其中,φ(·)为单模态特征向高维空间映射函数,p≠p',p'=1,2,…,M,令
Figure BDA0003089229190000038
则:
Figure BDA0003089229190000041
计算协方差矩阵的特征向量:
Figure BDA0003089229190000042
其中,v为特征向量,λ为特征值,
Figure BDA0003089229190000043
a=[a1 a2 ... aM]T表示各个分量的系数,
Figure BDA0003089229190000044
进一步可得:
Figure BDA0003089229190000045
将式(5)左右两边同时乘以
Figure BDA0003089229190000046
得:
Figure BDA0003089229190000047
根据Mercer核函数可知,通过核函数替代隐式高维空间映射方法,令
Figure BDA0003089229190000048
则式(6)可转换为K'·K'a=λK'a,其中,K'为正定内核函数;
计算得到矩阵的特征值,并从大到小排序得到λ={λ12,...,λM},λp≥λp+1,依据式(7)选取前95%贡献率的K个特征值:
1,...,λK},满足
Figure BDA0003089229190000049
将K个特征值对应的特征向量作为敏感特征。
所述将步骤四中的敏感特征输入到GMM模型,拟合敏感特征在高维空间的概率分布的方法为:
将敏感特征表述为D={X'1,X'2,...,X'K},并将该敏感特征重写为矩阵D∈RK×n,GMM模型实现概率分布拟合方法为:
Figure BDA00030892291900000410
其中,p(x)为多模态特征x下设备状态正常的概率,p(k)为混合高斯模型中第k个高斯成分的概率,p(x|k)为多模态特征x在第k个高斯成分下的概率值,C为高斯成分的个数,p(k)=πk,N(x|μk,∑k)为多元高斯分布。
依据概率值是否小于预设的阈值决定是否报警的表达式为:
Figure BDA00030892291900000411
其中,阈值threshold∈[0,1]。
一种基于多模态敏感特征选取与融合的设备故障预警系统,包括多模态数据采集模块、工业物联网数据传输模块、数据库模块、数据格式规范化及数据统计信息可视化模块、多模态特征提取模块、特征可视化模块和预警模块;所述多模态数据采集模块与工业物联网数据传输模块相连接,工业物联网数据传输模块与数据库模块相连接,数据库模块分别与数据格式规范化及数据统计信息可视化模块、多模态特征提取模块相连接,多模态特征提取模块与特征可视化模块相连接,特征可视化模块与预警模块相连接;
所述多模态数据采集模块用于采集车间设备的多模态数据,包括机械数据、工艺数据、电气数据、视频数据;其中,机械数据包括振动数据和声发射数据;工艺数据包括温度数据、压力数据和流量数据;电气数据包括电流数据和电压数据;视频数据包括视频监控数据和热成像数据;
工业互联网数据传输模块是架起多模态数据采集模块和数据库模块的桥梁;
数据格式规范化模块定义对多模态数据的要求、数据的范围和统计信息分布;
数据统计信息可视化模块包含车间设备状态数据的统计信息,分别为数据的维度、采集时长、采集周期、数据的总量;
多模态特征提取模块根据特征提取方法构建多模态特征向量;
特征可视化模块对提取的多模态特征进行筛选得到敏感特征,并将敏感特征进行可视化;
预警模块负责发出预警、输出预警结果及生成预警报告。
与现有技术相比,本发明产生的有益效果为:本发明通过设备多模态特征选取与融合,提升设备故障预警系统的准确率,且可实现离线预警模型构建、在线实时故障预警。通过本发明,可利用不同模态特征的互补特性,解决单模态特征的缺点(如无法用于早期故障弱信号的检测、信噪比低带来的误识别率高等);进一步,实现不同模态特征的有效融合以及无效特征的剔除,并解决不同模态特征量纲差异带来的特征失效问题,保证预警系统的准确率和可靠性;依据经验设定阈值,并对敏感特征进行故障概率估计,实现专家知识和模型的综合分析,得到准确可靠的预警结果。最终,利用可视化技术和交互技术,为设备维护人员呈现简单、清晰、易懂的预警结果,实现设备故障早发现早维护。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明方法的流程图。
图2为某型号风机叶片多模态数据。
图3为某型号风机叶片开裂故障样本。
图4为提取二维空域特征的卷积网络模型。
图5为基于多模态敏感特征选取与融合的设备故障预警系统。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1,如图1所示,一种基于多模态敏感特征选取融合的设备故障预警方法,具体步骤如下:
步骤一:采集不同工况下设备正常状态的参数运行数据,其中,参数运行数据包括振动数据、声发射数据、温度数据、视频监控数据、电信号数据和热成像数据;在设备的长期运行过程中,积累历史样本数据,包括振动数据、声发射数据、电信号数据、视频监控数据、热成像数据。通过数据规整,数据清洗去噪,去除异常值和缺失值等操作,形成高质量结构化数据,建立“随用随取”的多模态数据库。构建的多模态数据库如图2所示,图2给出了某型号风机叶片多模态数据。
步骤二:采用特征提取方法对步骤一中的参数运行数据进行提取,得到M维特征向量,其中,特征提取方法包括统计值、频谱值、直方图、二维空域信息和卷积神经网络;
本实施例中M=1726,M维特征向量如下:分别提取振动数据、声发射数据、温度数据和电信号数据的12个时域统计特征,包括标准差、均方根、平均值、偏度、峭度、中值、峰峰值、最大梯度值、波形因子、峰值因子、脉冲指标和裕度指标,共48维特征向量;分别提取振动数据和电信号数据的傅里叶变换后的频谱值,分别为固有频率的1倍频、2倍频、3倍频,共6维特征向量;分别提取振动数据和电信号数据的小波包分解的能量及能量熵,共18维特征向量;分别提取振动数据和电信号数据的经验模式分解的能量及能量熵,共18维特征向量;分别提取视频监控数据和热成像数据的RGB三个通道的灰度直方图,每个通道256个值,共768×2维特征向量;采用卷积神经网络提取热成像数据的100维特征,共100维特征向量;将所有维度特征向量连接到一个特征向量,共1726维特征向量,即M=1726。图3给出了某型号风机叶片开裂故障的50个样本,每个样本展示了前75维特征。
采用小波包分解和经验模式分别对时序数据进行分解,得到不同带宽范围内的信号成分;所述分别提取振动数据和电信号数据的小波包分解的能量及能量熵的计算方法为:
Figure BDA0003089229190000071
Figure BDA0003089229190000072
Figure BDA0003089229190000073
其中,Eq,i为q类数据的小波包分解的第i个信号分量的能量,q∈[振动数据,电信号数据],i=1,2,…,N,N为小波包分解的信号分量的个数,Aq,ij为q类数据的小波包分解的第i个信号分量的第j个电压值/幅值,j=1,2,…,L,L表示信号长度,Pq,i为q类数据的小波包分解的第i个信号分量的能量占比,Entropyq为q类数据的小波包分解的能量熵,Qq,i为q类数据的小波包分解的第i个信号分量的真实的能量占比,但考虑到真实情况往往未知,且未出现故障时,各信号分量的能量占比相对均匀,Qq,i取1/N。
所述分别提取振动数据和电信号数据的经验模式分解的能量及能量熵的计算方法为:
Figure BDA0003089229190000074
Figure BDA0003089229190000075
Figure BDA0003089229190000076
其中,Eq',i'为q类数据的经验模式分解的第i'个信号分量的能量,i'=1,2,…,N',N'为经验模式分解的信号分量的个数,Aq,i'j'为q类数据的经验模式分解的第i'个信号分量的第j'个电压值/幅值,j'=1,2,…,L',L'表示信号长度,Pq,i'为q类数据的经验模式分解的第i'个信号分量的能量占比,Entropy'q为q类数据的经验模式分解的能量熵,Qq,i'为q类数据的经验模式分解的第i'个信号分量的真实的能量占比,Qq,i'取1/N'。
对于二维图像数据(如热成像),采用如图4所示的卷积神经网络自动提取多个特征图,其中主要操作为采用卷积过滤背景信息,得到前景有效特征,具体如下:
Figure BDA0003089229190000077
其中,F表示卷积后得到的特征值,C'表示卷积核,A'表示原始图像中与C'进行卷积操作的图像块,
Figure BDA0003089229190000078
表示卷积核中第i1行第j1列的值,
Figure BDA0003089229190000079
表示图像块中第i1行第j1列的值,size均表示图像块的高度,且图像块的高度与长度相等;进一步,采用卷积核对原始图像逐步扫描(步长为1),得到一个特征图,将每个特征图转为一维特征向量:
Figure BDA0003089229190000081
其中,
Figure BDA0003089229190000082
表示采用第i0个卷积核得到的特征向量,i0=1,2,...,D0,D0表示卷积核的个数,S为特征图的长和宽。最终将所有特征融合,形成一维特征向量,共1726维特征:
X=[S1,S2,...,E1,E2,...,Entropy,...,F1,...,FSS]。
步骤三:采用标准化预处理方法对M维特征向量进行尺度缩放,得到标准化的特征数据;标准化的每个特征的均值为0,方差为1。
所述采用标准化预处理方法对M维特征向量进行尺度缩放的方法为:
Figure BDA0003089229190000083
其中,
Figure BDA0003089229190000084
为特征向量Xp的标准化值,Xp∈R1×n为M维特征向量中的第p维特征向量,p=1,2,…,M,n为样本数,Xp,mean为特征向量Xp的均值,Xp,std为特征向量Xp的标准差。
步骤四:考虑到高维多模态特征存在线性不可分的问题,设计基于Mercer内核的核PCA解决多模态特征高维线性不可分问题。运用基于Mercer内核的核PCA对步骤三中的标准化后的特征数据进行分析,基于最大协方差理论,计算每个特征的贡献率,选取前95%贡献率的特征作为敏感特征。
所述敏感特征获得方法为:
标准化处理后的样本数据为
Figure BDA0003089229190000085
通过式(2)计算不同模态特征之间的协方差Cov:
Figure BDA0003089229190000086
其中,φ(·)为单模态特征向高维空间映射函数,p≠p',p'=1,2,…,M,该函数为隐式表示,无法找到显式表达,需得到协方差矩阵中映射方法的核函数化处理方法,令
Figure BDA0003089229190000087
则:
Figure BDA0003089229190000088
根据最大方差理论可得,敏感特征为多模态特征向协方差矩阵的特征向量映射后的结果,计算协方差矩阵的特征向量:
Figure BDA0003089229190000091
其中,v为特征向量,λ为特征值,
Figure BDA0003089229190000092
a=[a1 a2 ... aM]T
Figure BDA0003089229190000093
进一步可得:
Figure BDA0003089229190000094
将式(5)左右两边同时乘以
Figure BDA0003089229190000095
得:
Figure BDA0003089229190000096
根据Mercer核函数可知,通过核函数替代隐式高维空间映射方法,令
Figure BDA0003089229190000097
则式(6)可转换为K'·K'a=λK'a,其中,K'为正定内核函数;至此,得到了多模态敏感特征选取的显示表达。
计算得到矩阵的特征值,并从大到小排序得到λ={λ12,...,λM},λp≥λp+1,依据式(7)选取前95%贡献率的K个特征值:
1,...,λK},满足
Figure BDA0003089229190000098
将K个特征值对应的特征向量作为敏感特征。
步骤五:将步骤四中的敏感特征输入到混合高斯模型(Gaussian Mixed Model,GMM),拟合敏感特征在高维空间的概率分布,得到训练好的GMM模型;
拟合敏感特征在高维空间的概率分布的方法为:
将敏感特征表述为D={X'1,X'2,...,X'K},并将该敏感特征重写为矩阵D∈RK×n,GMM模型实现概率分布拟合方法为:
Figure BDA0003089229190000099
其中,p(x)为多模态特征x下设备状态正常的概率,p(k)为混合高斯模型中第k个高斯成分的概率,p(x|k)为多模态特征x在第k个高斯成分下的概率值,C为高斯成分的个数,p(k)=πk,N(x|μk,∑k)为多元高斯分布。
步骤六:在线获取设备运行时的实时状态数据,包括振动数据、声发射数据、温度数据、视频监控数据、电信号数据和热成像数据;并利用步骤二中的特征提取方法对实时状态数据进行特征提取,得到设备在线状态的M维特征向量;
步骤七:利用步骤三中的标准化预处理方法对设备在线状态的M维特征向量进行规整后,并利用步骤四中的基于Mercer内核的核PCA选取多模态敏感特征;
步骤八:将步骤七中的多模态敏感特征输入到步骤五中训练好的GMM模型,得到设备属于正常状态的概率值,当概率值大于预设的阈值时,设备出现故障,进行报警,否则,设备运行正常,不报警。
依据概率值是否小于预设的阈值决定是否报警的表达式为:
Figure BDA0003089229190000101
其中,阈值threshold∈[0,1]。
实施例2,如图5所示,一种基于多模态敏感特征选取与融合的设备故障预警系统,包括多模态数据采集模块、工业物联网数据传输模块、数据库模块、数据格式规范化及数据统计信息可视化模块、多模态特征提取模块、特征可视化模块和预警模块;所述多模态数据采集模块与工业物联网数据传输模块相连接,工业物联网数据传输模块与数据库模块相连接,数据库模块分别与数据格式规范化及数据统计信息可视化模块、多模态特征提取模块相连接,多模态特征提取模块与特征可视化模块相连接,特征可视化模块与预警模块相连接。
所述多模态数据采集模块用于采集车间设备的多模态数据,包括机械数据、工艺数据、电气数据、视频数据;其中,机械数据包括振动数据和声发射数据;工艺数据包括温度数据、压力数据和流量数据;电气数据包括电流数据和电压数据;视频数据包括视频监控数据和热成像数据;
工业互联网数据传输模块是架起多模态数据采集模块和数据库模块的桥梁;用于将多模态数据上传到后台的服务器,形成数据的统一存储和管理。
数据库模块、数据规范化模块用于将数据规整成结构化的数据,方便数据的分块读取、索引、查找,便于样本集的拆分、合并等;数据格式规范化模块定义对多模态数据的要求,包括数据的范围和统计信息分布;数据统计信息可视化模块用于将数据进行统计,呈现统计信息,展示数据蓝图。上述几个模块主要采用Python的第三方包实现,如Seaborn。
数据统计信息可视化模块包含车间设备状态数据的统计信息,分别为数据的维度、采集时长、采集周期、数据的总量。
多模态特征提取模块根据特征提取方法构建多模态特征向量;特征提取模块用于提取多模态特征,并筛选敏感特征,该模块用到了Python的第三方包如Scipy,Tensorflow等实现统计特征,直方图特征,二维空域特征提取。
特征可视化模块对提取的多模态特征进行筛选得到敏感特征,并将敏感特征进行可视化。
预警模块负责发出预警、输出预警结果及生成预警报告。预警模块用于处理敏感特征,计算设备状态正常的概率值,当概率值小于预设的阈值,给出预警信息,提示设备出现异常状态。
各模块的连接关系为:工业物联网数据传输模块与多模态数据采集模块和数据库模块相连,数据库模块与数据统计信息可视化模块相连,数据库模块与多模态特征提取模块相连,特征提取模块与特征可视化模块相连,并最终与预警模块相连;多模态数据采集模块采集车间设备的多模态数据,包括机械数据、工艺数据、电气数据、视频数据;机械数据包括振动数据和声发射数据等;工艺数据包括温度、压力及流量等;电气数据包括电流和电压数据等;视频数据包括视频监控数据和热成像数据。工业互联网数据传输模块架起数据采集和数据库模块的桥梁;数据格式规范化模块定义对多模态数据的要求,数据的范围和统计信息分布;数据统计信息可视化模块包含车间设备状态数据的统计信息,包括数据的维度、采集时长、采集周期、数据的总量等;多模态特征提取模块根据发明的特征提取方法构建多模态特征向量;特征可视化模块对提取的多模态特征进行筛选得到敏感特征,并将敏感特征进行可视化;预警模块负责发出预警、输出预警结果及生成预警报告。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多模态敏感特征选取融合的设备故障预警方法,其特征在于,其步骤如下:
步骤一:采集不同工况下设备正常状态的参数运行数据;
步骤二:采用特征提取方法对步骤一中的参数运行数据进行提取,得到M维特征向量;
步骤三:采用标准化预处理方法对M维特征向量进行尺度缩放,得到标准化的特征数据;
步骤四:运用基于Mercer内核的核PCA对步骤三中的标准化的特征数据进行分析,基于最大协方差理论,计算每个特征的贡献率,选取前95%贡献率的特征作为敏感特征;
步骤五:将步骤四中的敏感特征输入到GMM模型,拟合敏感特征在高维空间的概率分布,得到训练好的GMM模型;
步骤六:在线获取设备运行时的实时状态数据,并利用步骤二中的特征提取方法对实时状态数据进行特征提取,得到设备在线状态的M维特征向量;
步骤七:利用步骤三中的标准化预处理方法对设备在线状态的M维特征向量进行规整后,并利用步骤四中的基于Mercer内核的核PCA选取多模态敏感特征;
步骤八:将步骤七中的多模态敏感特征输入到步骤五中训练好的GMM模型,得到设备属于正常状态的概率值,当概率值大于预设的阈值时,设备出现故障,进行报警,否则,设备运行正常,不报警。
2.根据权利要求1所述的基于多模态敏感特征选取融合的设备故障预警方法,其特征在于,所述步骤一中的参数运行数据包括振动数据、声发射数据、温度数据、视频监控数据、电信号数据和热成像数据;所述步骤二中的特征提取方法包括统计值、频谱值、直方图、二维空域信息和卷积神经网络;所述步骤六中的实时状态数据包括振动数据、声发射数据、温度数据、视频监控数据、电信号数据和热成像数据。
3.根据权利要求2所述的基于多模态敏感特征选取融合的设备故障预警方法,其特征在于,所述M维特征向量的获得方法为:
分别提取振动数据、声发射数据、温度数据和电信号数据的12个时域统计特征,包括标准差、均方根、平均值、偏度、峭度、中值、峰峰值、最大梯度值、波形因子、峰值因子、脉冲指标和裕度指标,共48维特征向量;
分别提取振动数据和电信号数据的傅里叶变换后的频谱值,分别为固有频率的1倍频、2倍频、3倍频,共6维特征向量;
分别提取振动数据和电信号数据的小波包分解的能量及能量熵,共18维特征向量;
分别提取振动数据和电信号数据的经验模式分解的能量及能量熵,共18维特征向量;
分别提取视频监控数据和热成像数据的RGB三个通道的灰度直方图,每个通道256个值,共768×2维特征向量;
采用卷积神经网络提取热成像数据的100维特征,共100维特征向量;
将所有维度特征向量连接到一个特征向量,共1726维特征向量,即M=1726。
4.根据权利要求2或3所述的基于多模态敏感特征选取融合的设备故障预警方法,其特征在于,所述分别提取振动数据和电信号数据的小波包分解的能量及能量熵的计算方法为:
Figure FDA0003089229180000021
Figure FDA0003089229180000022
Figure FDA0003089229180000023
其中,Eq,i为q类数据的小波包分解的第i个信号分量的能量,q∈[振动数据,电信号数据],i=1,2,…,N,N为小波包分解的信号分量的个数,Aq,ij为q类数据的小波包分解的第i个信号分量的第j个电压值/幅值,j=1,2,…,L,L表示信号长度,Pq,i为q类数据的小波包分解的第i个信号分量的能量占比,Entropyq为q类数据的小波包分解的能量熵,Qq,i为q类数据的小波包分解的第i个信号分量的真实的能量占比。
5.根据权利要求4所述的基于多模态敏感特征选取融合的设备故障预警方法,其特征在于,所述分别提取振动数据和电信号数据的经验模式分解的能量及能量熵的计算方法为:
Figure FDA0003089229180000024
Figure FDA0003089229180000025
Figure FDA0003089229180000026
其中,Eq',i'为q类数据的经验模式分解的第i'个信号分量的能量,i'=1,2,…,N',N'为经验模式分解的信号分量的个数,Aq,i'j'为q类数据的经验模式分解的第i'个信号分量的第j'个电压值/幅值,j'=1,2,…,L',L'表示信号长度,Pq,i'为q类数据的经验模式分解的第i'个信号分量的能量占比,Entropy'q为q类数据的经验模式分解的能量熵,Qq,i'为q类数据的经验模式分解的第i'个信号分量的真实的能量占比。
6.根据权利要求1或5所述的基于多模态敏感特征选取融合的设备故障预警方法,其特征在于,所述采用标准化预处理方法对M维特征向量进行尺度缩放的方法为:
Figure FDA0003089229180000027
其中,
Figure FDA0003089229180000031
为特征向量Xp的标准化值,Xp∈R1×n为M维特征向量中的第p维特征向量,p=1,2,…,M,n为样本数,Xp,mean为特征向量Xp的均值,Xp,std为特征向量Xp的标准差。
7.根据权利要求6所述的基于多模态敏感特征选取融合的设备故障预警方法,其特征在于,所述敏感特征获得方法为:
标准化处理后的样本数据为
Figure FDA0003089229180000032
通过式(2)计算不同模态特征之间的协方差Cov:
Figure FDA0003089229180000033
其中,φ(·)为单模态特征向高维空间映射函数,p≠p',p'=1,2,…,M,令
Figure FDA0003089229180000034
则:
Figure FDA0003089229180000035
计算协方差矩阵的特征向量:
Figure FDA0003089229180000036
其中,v为特征向量,λ为特征值,
Figure FDA0003089229180000037
a=[a1a2 ... aM]T表示各个分量的系数,
Figure FDA0003089229180000038
进一步可得:
Figure FDA0003089229180000039
将式(5)左右两边同时乘以
Figure FDA00030892291800000310
得:
Figure FDA00030892291800000311
根据Mercer核函数可知,通过核函数替代隐式高维空间映射方法,令
Figure FDA00030892291800000312
则式(6)可转换为K'·K'a=λK'a,其中,K'为正定内核函数;
计算得到矩阵的特征值,并从大到小排序得到λ={λ12,...,λM},λp≥λp+1,依据式(7)选取前95%贡献率的K个特征值:
1,...,λK},满足
Figure FDA00030892291800000313
将K个特征值对应的特征向量作为敏感特征。
8.根据权利要求7所述的基于多模态敏感特征选取融合的设备故障预警方法,其特征在于,所述将步骤四中的敏感特征输入到GMM模型,拟合敏感特征在高维空间的概率分布的方法为:
将敏感特征表述为D={X'1,X'2,...,X'K},并将该敏感特征重写为矩阵D∈RK×n,GMM模型实现概率分布拟合方法为:
Figure FDA0003089229180000041
其中,p(x)为多模态特征x下设备状态正常的概率,p(k)为混合高斯模型中第k个高斯成分的概率,p(x|k)为多模态特征x在第k个高斯成分下的概率值,C为高斯成分的个数,p(k)=πk,N(x|μk,∑k)为多元高斯分布。
9.根据权利要求1或8所述的基于多模态敏感特征选取融合的设备故障预警方法,其特征在于,依据概率值是否小于预设的阈值决定是否报警的表达式为:
Figure FDA0003089229180000042
其中,阈值threshold∈[0,1]。
10.根据权利要求1-9任一项所述的基于多模态敏感特征选取与融合的设备故障预警系统,其特征在于,包括多模态数据采集模块、工业物联网数据传输模块、数据库模块、数据格式规范化及数据统计信息可视化模块、多模态特征提取模块、特征可视化模块和预警模块;所述多模态数据采集模块与工业物联网数据传输模块相连接,工业物联网数据传输模块与数据库模块相连接,数据库模块分别与数据格式规范化及数据统计信息可视化模块、多模态特征提取模块相连接,多模态特征提取模块与特征可视化模块相连接,特征可视化模块与预警模块相连接;
所述多模态数据采集模块用于采集车间设备的多模态数据,包括机械数据、工艺数据、电气数据、视频数据;其中,机械数据包括振动数据和声发射数据;工艺数据包括温度数据、压力数据和流量数据;电气数据包括电流数据和电压数据;视频数据包括视频监控数据和热成像数据;
工业互联网数据传输模块是架起多模态数据采集模块和数据库模块的桥梁;
数据格式规范化模块定义对多模态数据的要求、数据的范围和统计信息分布;
数据统计信息可视化模块包含车间设备状态数据的统计信息,分别为数据的维度、采集时长、采集周期、数据的总量;
多模态特征提取模块根据特征提取方法构建多模态特征向量;
特征可视化模块对提取的多模态特征进行筛选得到敏感特征,并将敏感特征进行可视化;
预警模块负责发出预警、输出预警结果及生成预警报告。
CN202110590228.0A 2021-05-28 2021-05-28 基于多模态敏感特征选取融合的设备故障预警方法及系统 Active CN113255777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110590228.0A CN113255777B (zh) 2021-05-28 2021-05-28 基于多模态敏感特征选取融合的设备故障预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110590228.0A CN113255777B (zh) 2021-05-28 2021-05-28 基于多模态敏感特征选取融合的设备故障预警方法及系统

Publications (2)

Publication Number Publication Date
CN113255777A true CN113255777A (zh) 2021-08-13
CN113255777B CN113255777B (zh) 2023-01-31

Family

ID=77185190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110590228.0A Active CN113255777B (zh) 2021-05-28 2021-05-28 基于多模态敏感特征选取融合的设备故障预警方法及系统

Country Status (1)

Country Link
CN (1) CN113255777B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114237110A (zh) * 2021-12-13 2022-03-25 中国民用航空飞行学院 基于多模态数据驱动的通用航空机队可靠性监测预警系统
CN114509158A (zh) * 2022-01-04 2022-05-17 东南大学 一种声振融合的叶片裂纹故障检测方法及应用
CN114882683A (zh) * 2022-07-11 2022-08-09 深圳市鼎合丰科技有限公司 一种用于半导体器件的处理设备报警系统及方法
CN115356599A (zh) * 2022-10-21 2022-11-18 国网天津市电力公司城西供电分公司 一种多模态城市电网故障诊断方法及系统
WO2023087525A1 (zh) * 2021-11-19 2023-05-25 中国华能集团清洁能源技术研究院有限公司 多模态深度学习的发电设备异常一体化识别方法及设备
CN117991093A (zh) * 2024-04-03 2024-05-07 成都航天凯特机电科技有限公司 一种永磁同步电机故障诊断方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102361014A (zh) * 2011-10-20 2012-02-22 上海大学 大规模半导体制造过程的状态监控与故障诊断方法
CN102768115A (zh) * 2012-06-27 2012-11-07 华北电力大学 一种风电机组齿轮箱健康状态实时动态监控方法
CN105241680A (zh) * 2015-08-26 2016-01-13 电子科技大学 一种基于概率密度函数的旋转机械健康状态评估方法
CN106017879A (zh) * 2016-05-18 2016-10-12 河北工业大学 基于振声信号特征融合的万能式断路器机械故障诊断方法
CN107505133A (zh) * 2017-08-10 2017-12-22 滁州学院 基于自适应mrvm的滚动轴承故障概率性智能诊断方法
CN109974782A (zh) * 2019-04-10 2019-07-05 郑州轻工业学院 基于大数据敏感特征优化选取的设备故障预警方法及系统
CN110057584A (zh) * 2019-04-01 2019-07-26 西安交通大学 一种机车牵引电机轴承退化监测方法
CN111222549A (zh) * 2019-12-30 2020-06-02 航天时代飞鸿技术有限公司 一种基于深度神经网络的无人机故障预测方法
CN111523509A (zh) * 2020-05-08 2020-08-11 江苏迪赛司自动化工程有限公司 融合物理和深度表达特征的设备故障诊断及健康监测方法
CN111734669A (zh) * 2020-07-02 2020-10-02 重庆大学 一种多源信息分层融合的离心鼓风机故障诊断方法
US20200394354A1 (en) * 2017-11-09 2020-12-17 Hefei University Of Technology Method for diagnosing analog circuit fault based on cross wavelet features
CN112255538A (zh) * 2020-10-14 2021-01-22 国网青海省电力公司海西供电公司 一种多特征优化融合的高压断路器故障诊断方法
AU2020103923A4 (en) * 2020-12-07 2021-02-11 Ocean University Of China Fault diagnosis method and system for gear bearing based on multi-source information fusion

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102361014A (zh) * 2011-10-20 2012-02-22 上海大学 大规模半导体制造过程的状态监控与故障诊断方法
CN102768115A (zh) * 2012-06-27 2012-11-07 华北电力大学 一种风电机组齿轮箱健康状态实时动态监控方法
CN105241680A (zh) * 2015-08-26 2016-01-13 电子科技大学 一种基于概率密度函数的旋转机械健康状态评估方法
CN106017879A (zh) * 2016-05-18 2016-10-12 河北工业大学 基于振声信号特征融合的万能式断路器机械故障诊断方法
CN107505133A (zh) * 2017-08-10 2017-12-22 滁州学院 基于自适应mrvm的滚动轴承故障概率性智能诊断方法
US20200394354A1 (en) * 2017-11-09 2020-12-17 Hefei University Of Technology Method for diagnosing analog circuit fault based on cross wavelet features
CN110057584A (zh) * 2019-04-01 2019-07-26 西安交通大学 一种机车牵引电机轴承退化监测方法
CN109974782A (zh) * 2019-04-10 2019-07-05 郑州轻工业学院 基于大数据敏感特征优化选取的设备故障预警方法及系统
CN111222549A (zh) * 2019-12-30 2020-06-02 航天时代飞鸿技术有限公司 一种基于深度神经网络的无人机故障预测方法
CN111523509A (zh) * 2020-05-08 2020-08-11 江苏迪赛司自动化工程有限公司 融合物理和深度表达特征的设备故障诊断及健康监测方法
CN111734669A (zh) * 2020-07-02 2020-10-02 重庆大学 一种多源信息分层融合的离心鼓风机故障诊断方法
CN112255538A (zh) * 2020-10-14 2021-01-22 国网青海省电力公司海西供电公司 一种多特征优化融合的高压断路器故障诊断方法
AU2020103923A4 (en) * 2020-12-07 2021-02-11 Ocean University Of China Fault diagnosis method and system for gear bearing based on multi-source information fusion

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHANG YUYAN等: "Intelligent fault diagnosis of rotating machinery using a new ensemble deep auto-encoder method", 《MEASUREMENT》 *
乔元英: "基于时频分析的滚动轴承故障诊断方法研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
张雄伟: "《智能语音处理》", 30 September 2020 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023087525A1 (zh) * 2021-11-19 2023-05-25 中国华能集团清洁能源技术研究院有限公司 多模态深度学习的发电设备异常一体化识别方法及设备
CN114237110A (zh) * 2021-12-13 2022-03-25 中国民用航空飞行学院 基于多模态数据驱动的通用航空机队可靠性监测预警系统
CN114509158A (zh) * 2022-01-04 2022-05-17 东南大学 一种声振融合的叶片裂纹故障检测方法及应用
CN114882683A (zh) * 2022-07-11 2022-08-09 深圳市鼎合丰科技有限公司 一种用于半导体器件的处理设备报警系统及方法
CN115356599A (zh) * 2022-10-21 2022-11-18 国网天津市电力公司城西供电分公司 一种多模态城市电网故障诊断方法及系统
CN117991093A (zh) * 2024-04-03 2024-05-07 成都航天凯特机电科技有限公司 一种永磁同步电机故障诊断方法

Also Published As

Publication number Publication date
CN113255777B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
CN113255777B (zh) 基于多模态敏感特征选取融合的设备故障预警方法及系统
CN109308306B (zh) 一种基于孤立森林的用户用电异常行为检测方法
CN109974782B (zh) 基于大数据敏感特征优化选取的设备故障预警方法及系统
CN110132358B (zh) 一种基于云计算的污水处理设备故障监测系统
CN115409131B (zh) 基于spc过程管控系统的生产线异常检测方法
CN115661649B (zh) 一种基于bp神经网络的船载微波雷达图像溢油探测方法及系统
CN116292246B (zh) 一种真空泵的故障监测方法及系统
CN116416884B (zh) 一种显示器模组的测试装置及其测试方法
EP3712728A1 (en) Apparatus for predicting equipment damage
CN115861210B (zh) 一种基于孪生网络的变电站设备异常检测方法和系统
CN111796576B (zh) 一种基于双核t分布随机近邻嵌入的过程监测可视化方法
CN113551765A (zh) 设备故障声谱分析诊断方法
CN114700587B (zh) 一种基于模糊推理和边缘计算的漏焊缺陷实时检测方法及系统
CN114743089B (zh) 一种基于ssa-svm的图像识别gis故障诊断装置及方法
CN112947649B (zh) 一种基于互信息矩阵投影的多变量过程监控方法
CN117421994A (zh) 一种边缘应用健康度的监测方法和监测系统
CN115293303B (zh) 一种高压输电线网监测方法、系统、设备和介质
CN109558771B (zh) 海上船舶的行为状态识别方法、装置、设备及存储介质
CN113822565B (zh) 一种风机监测数据时频特征分级细化分析的方法
Prior et al. Optimizing and gauging model performance with metrics to integrate with existing video surveys
CN115524002A (zh) 一种电厂旋转设备的运行状态预警方法、系统及存储介质
CN112237433B (zh) 一种脑电信号异常监测系统及方法
CN115062686A (zh) 基于多角度特征的多元kpi时序异常检测方法和系统
CN111597934A (zh) 用于为统计应用处理训练数据的系统和方法
JP5566616B2 (ja) 特性解析装置、特性解析方法をコンピュータに実行させるためのプログラム、上記プログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant