CN117497194B - 一种生物信息处理方法、装置、电子设备和存储介质 - Google Patents

一种生物信息处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN117497194B
CN117497194B CN202311842532.5A CN202311842532A CN117497194B CN 117497194 B CN117497194 B CN 117497194B CN 202311842532 A CN202311842532 A CN 202311842532A CN 117497194 B CN117497194 B CN 117497194B
Authority
CN
China
Prior art keywords
mask
initial
kernel
model
pruning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311842532.5A
Other languages
English (en)
Other versions
CN117497194A (zh
Inventor
尹文枫
董刚
曹其春
梁玲燕
赵雅倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Metabrain Intelligent Technology Co Ltd
Original Assignee
Suzhou Metabrain Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Metabrain Intelligent Technology Co Ltd filed Critical Suzhou Metabrain Intelligent Technology Co Ltd
Priority to CN202311842532.5A priority Critical patent/CN117497194B/zh
Publication of CN117497194A publication Critical patent/CN117497194A/zh
Application granted granted Critical
Publication of CN117497194B publication Critical patent/CN117497194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明实施例提供了一种生物信息处理方法、装置、电子设备和存储介质,涉及计算机系统技术领域,包括获取初始生物信息和初始模型;对所述初始模型基于单位核级剪枝处理,生成单位核级权重分组,或对所述初始模型基于滤波器级剪枝处理,生成滤波器级权重分组;依据所述单位核级权重分组或所述滤波器级权重分组和所述初始模型确定分析模型;依据所述初始生物信息输入至所述分析模型,得到状态异常信息。本发明实施例通过支持滤波器级、单位核级两种权重分组层级的能量建模,可以高效地输出压缩后分析模块,通过分析模型快速地进行基于生物信息进行识别。

Description

一种生物信息处理方法、装置、电子设备和存储介质
技术领域
本发明涉及计算机系统技术领域,特别是涉及一种生物信息处理方法、一种生物信息处理装置、一种电子设备和一种存储介质。
背景技术
如动态心电图是由便携式心电图仪记录的长时心电图,不约束病人的活动,能够有效捕捉到偶发的心率失常和瞬态心率异常的生物信息,但这是生物信息依赖于计算机进行智能诊断,心电图仪端等计算机系统仍缺乏基于深度学习的实时诊断的应用。得益于过参数化带来的性能提升,深度神经网络已成为心电图诊断分析的常用工具。然而由于训练/推理时网络模型占用的内存大小和乘加计算(MACs)量巨大,基于深度学习的心律失常检测方案难以在计算和存储资源受限的边缘设备上部署应用。神经网络压缩技术能够有效减少网络模型的参数量、每秒浮点运算(Flops)量,有助于深度学习在边缘设备端智能健康监护等应用的部署运行。但针对如心律失常检测网络的压缩方案均采用依赖于训练的剪枝算法,在训练过程中对权重矩阵或者梯度进行稀疏化。目前尚缺乏推理时剪枝算法在心律失常检测网络等一维数据处理网络模型的应用;导致生物信息的识别的效率较低。
发明内容
基于深度学习的心律失常检测在实现个性化的过程中会伴随着泛化能力下降。由于心电图等生理信号存在个体差异性,利用边缘设备采集的个体数据微调、压缩云端预训练大模型可以提高边缘端心律失常检测小模型的准确率和推理速度。然而,由于边缘设备获取的个体心电数据集规模远远小于云端标准心电数据集,而且存在数据不平衡问题,预训练的心律失常检测大模型在个性化训练中易于过拟合。本发明方法设计了一种推理时压缩剪枝流程,减少模型压缩产生的准确率损失,为微调过程提供良好的初始值,保证个性化训练后小模型的心律失常检测精度与泛化能力。
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种生物信息处理方法、一种生物信息处理装置、一种电子设备和一种存储介质。
为了解决上述问题,在本发明的第一个方面,本发明实施例公开了一种生物信息处理方法,包括:
获取初始生物信息和初始模型,所述初始模型为边缘设备中针对所述初始生物信息进行分析的模型;
对所述初始模型基于单位核级剪枝处理,生成单位核级权重分组,或对所述初始模型基于滤波器级剪枝处理,生成滤波器级权重分组;
依据所述单位核级权重分组或所述滤波器级权重分组对所述初始模型进行配置,确定分析模型;
依据所述初始生物信息输入至所述分析模型,得到状态异常信息。
可选地,所述初始模型包括多层网络结构,所述对所述初始模型基于单位核级剪枝处理,生成单位核级权重分组的步骤包括:
对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述单位核级权重分组。
可选地,所述对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述单位核级权重分组的步骤包括:
在所述初始模型的卷积网络层中确定第一目标卷积网络层;
逐一对所述第一目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第一单位核级权重,直至处理完所述初始模型的全部卷积网络层,组合所述第一单位核级权重,生成所述单位核级权重分组。
可选地,所述逐一对所述第一目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构的步骤包括:
依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定采样概率;
依据所述采样概率计算第一初始掩码向量;
依据所述第一初始掩码向量,生成第一掩码列表;
基于所述第一掩码列表,确定第一目标掩码向量;
依据所述第一目标掩码向量,生成所述单位核级权重。
可选地,所述依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定采样概率的步骤包括:
依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定伊森模型,所述伊森模型对应有模型函数;
计算信息熵矩阵所述信息熵矩阵由所述第一目标卷积网络层的输入通道的信息熵向量组成,所述信息熵向量中信息熵值计算式,其中/>代表单位核/>的输出特征图中第k个值,/>代表滤波器/>的输出特征图中第k个值,/>代表取绝对值,/>代表取正负符号,/>衡量了输入通道i对输出通道j的重要性;
将所述信息熵矩阵中各个信息熵向量转换为第一系数矩阵;
依据所述第一系数矩阵和所述伊森模型的模型函数和输出通道的随机掩码向量,计算出能量参数;
依据所述能量参数确定所述采样概率。
可选地,所述依据所述能量参数确定所述采样概率的步骤包括:
判断第i个输入通道的权重分组的范数是否大于预设自适应阈值,
若是,
若否,
其中,所述为所述能量参数,/>为采样概率。
可选地,所述依据所述采样概率计算第一初始掩码向量的步骤包括:
依据所述采样概率对第一目标卷积网络层的输入通道进行采样,生成所述第一初始掩码向量。
可选地,所述依据所述第一初始掩码向量,生成第一掩码列表的步骤包括:
组合所述第一掩码向量组,生成所述第一掩码列表。
可选地,所述基于所述第一掩码向量组,确定第一掩码列表的步骤包括:
将所述信息熵矩阵转换为第二系数矩阵;
基于第二系数矩阵从所述第一掩码向量组中确定最小能量参数的第一初始掩码向量加入第一掩码列表。
可选地,所述依据所述第一掩码列表,生成所述单位核级权重的步骤包括:
将所述第一掩码列表进行融合得到第一目标掩码向量,并基于第一目标掩码向量对输入通道进行剪枝,生成所述单位核级权重。
可选地,所述初始模型包括多层网络结构,对所述初始模型基于滤波器级剪枝处理,生成滤波器级权重分组的步骤:
对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述滤波器级权重分组。
可选地,所述对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述滤波器级权重分组的步骤:
在所述初始模型的卷积网络层中确定第二目标卷积网络层;
逐一对所述第二目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第二滤波器级权重,直至处理完所述初始模型的全部卷积网络层,组合所述第二滤波器级权重,生成所述滤波器级权重分组。
可选地,所述逐一对所述第二目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第二滤波器级权重的步骤包括:
依据所述第二目标卷积网络层的输入通道掩码的关联信息和不同批次的输入数据,确定采样概率;
依据所述采样概率计算第二初始掩码向量;
依据所述第二初始掩码向量,生成第二掩码列表;
基于所述第二掩码列表,确定第二目标掩码向量;
依据所述第二目标掩码向量,生成所述滤波器级权重。
可选地,所述依据所述第二目标卷积网络层的输入通道掩码的关联信息和不同批次的输入数据,确定采样概率的步骤包括:
依据所述第二目标卷积网络层的输入通道掩码的关联信息,确定伊森模型,所述伊森模型对应有模型函数;
基于所述第二目标卷积网络层的当前批次输入数据计算信息熵矩阵;
将所述信息熵矩阵转换为系数矩阵;
依据所述系数矩阵和所述伊森模型函数和输入通道的随机掩码向量,计算出能量参数;
依据所述能量参数确定所述采样概率。
可选地,所述依据所述采样概率计算第二初始掩码向量的步骤:
依据所述采样概率对第二目标卷积网络层的输入通道进行采样,生成所述第二初始掩码向量。
可选地,所述依据所述第二初始掩码向量,生成第二掩码列表的步骤:
组合所述第二掩码向量组,生成所述第二掩码列表。
可选地,所述基于所述第二掩码向量组,确定第二掩码列表的步骤:
从所述第二掩码向量组中确定最小能量参数的第二初始掩码向量加入第二掩码列表。
可选地,所述依据所述第二掩码列表,生成所述滤波器级权重的步骤包括:
将所述第二掩码列表进行融合得到第二目标掩码向量,并基于第二目标掩码向量对输入通道进行剪枝,生成所述滤波器级权重。
在本发明的第二个方面,本发明实施例公开了一种生物信息处理装置,包括:
获取模块,用于获取初始生物信息和初始模型,所述初始模型为边缘设备中针对所述初始生物信息进行分析的模型;
剪枝模块,用于对所述初始模型基于单位核级剪枝处理,生成单位核级权重分组,或对所述初始模型基于滤波器级剪枝处理,生成滤波器级权重分组;
模型确定模块,用于依据所述单位核级权重分组或所述滤波器级权重分组和所述初始模型进行配置,确定分析模型;
分析模块,用于依据所述初始生物信息输入至所述分析模型,得到状态异常信息。
在本发明的第三个方面,本发明实施例公开了一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的生物信息处理方法的步骤。
在本发明的第四个方面,本发明实施例公开了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的生物信息处理方法的步骤。
本发明实施例包括以下优点:
本发明实施例通过获取初始生物信息和初始模型;对所述初始模型基于单位核级剪枝处理,生成单位核级权重分组,或对所述初始模型基于滤波器级剪枝处理,生成滤波器级权重分组;依据所述单位核级权重分组或所述滤波器级权重分组和所述初始模型确定分析模型;依据所述初始生物信息输入至所述分析模型,得到状态异常信息。通过支持滤波器级、单位核级两种权重分组层级的能量建模,可以高效地输出压缩后分析模型,减少模型压缩产生的准确率损失,为微调过程提供良好的初始值,保证个性化训练后小模型的检测精度与泛化能力,通过分析模型快速地进行基于生物信息的检测识别。
附图说明
图1是本发明的一种生物信息处理方法实施例的步骤流程图;
图2是本发明的另一种生物信息处理方法实施例的步骤流程图;
图3是本发明的另一种生物信息处理方法实施例的初始模型示意图;
图4是本发明的另一种生物信息处理方法实施例的单位核级剪枝处理的步骤流程图;
图5是本发明的另一种生物信息处理方法实施例的滤波器级剪枝处理的步骤流程图;
图6是本发明的一种生物信息处理装置实施例的结构框图;
图7是本发明实施例提供的一种电子设备的结构框图;
图8是本发明实施例提供的一种存储介质的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
在推理时剪枝算法在神经网络前向推理过程中裁剪神经元或权重,再通过特征图重构或者重训练来获得新的压缩后权重矩阵并恢复模型的精度。相比于训练时剪枝算法,推理时剪枝算法具有更高的构建效率。已有许多基于核集理论的剪枝算法被提出,覆盖面向全连接层、卷积层的结构化和非结构化剪枝。例如,一种基于核集构建的推理时剪枝算法依据简化的采样概率计算公式进行随机概率采样,为输入通道构造核心集,裁剪掉核集以外的输入通道并通过优化特征图重构的损失来获得新的压缩后权重矩阵。该基于核集构建的剪枝算法在采用的采样概率计算公式中假设目标通道数等于核集的尺寸,然而这个假设过于严苛,难以保证对不同压缩率的适用性。
参照图1,示出了本发明的一种生物信息处理方法实施例的步骤流程图,所述生物信息处理方法具体可以包括如下步骤:
步骤101,获取初始生物信息和初始模型,所述初始模型为边缘设备中针对所述初始生物信息进行分析的模型;
在进行如心电图等生物信息进行分析前,可以获取初始生物信息和初始模型。其中,初始生物信息可以包括原始的生物检测数据,如在心律失常检测时,对应的初始生物信息为心电图。初始模型为边缘设备中针对初始生物信息进行分析的模型。
需要说明的是,本发明实施中所述的生物信息都是基于用户的同意授权下获取。
步骤102,对所述初始模型基于单位核级剪枝处理,生成单位核级权重分组,或对所述初始模型基于滤波器级剪枝处理,生成滤波器级权重分组;
然后对初始模型进行基于单位核级剪枝处理生成单位核级权重分组,或者对初始模型进行基于滤波器级剪枝处理,生成滤波器级权重分组。
对于一个卷积网络层只执行基于单位核级剪枝处理和基于滤波器级剪枝处理中一个,对于一个多层网络中的不同层可以选择执行不同的处理,本发明实施例不限定不同层执行相同的处理。
步骤103,依据所述单位核级权重分组或所述滤波器级权重分组对所述初始模型进行配置,确定分析模型;
然后基于得到的单位核级权重分组或滤波器级权重分组对初始模型进行配置,确定分析模型。
步骤104,依据所述初始生物信息输入至所述分析模型,得到状态异常信息。
然后采用分析模型,将初始生物信息作为输入信息,对其进行分析,输出的结果即为状态异常信息。
本发明实施例通过获取初始生物信息和初始模型;对所述初始模型基于单位核级剪枝处理,生成单位核级权重分组,或对所述初始模型基于滤波器级剪枝处理,生成滤波器级权重分组;依据所述单位核级权重分组或所述滤波器级权重分组和所述初始模型确定分析模型;依据所述初始生物信息输入至所述分析模型,得到状态异常信息。通过支持滤波器级、单位核级两种权重分组层级的能量建模,可以高效地输出压缩后分析模块,通过分析模型快速地进行基于生物信息的检测识别。
参照图2,示出了本发明的另一种生物信息处理方法实施例的步骤流程图,所述生物信息处理方法具体可以包括如下步骤:
步骤201,获取初始生物信息和初始模型,所述初始模型为边缘设备中针对所述初始生物信息进行分析的模型;所述初始模型包括多层网络结构;
在本发明实施例中,可以获取初始生物信息和初始模型。初始模型包括多层网络结构。对于初始模型的网络结构可以参照图3,初始模型可以为多尺度小波卷积网络模型。在压缩图1中基于Unet(模型)的多尺度小波卷积网络模型时,采用本发明的剪枝流程首先逐一压缩各层小波分解后若干卷积层,再依次压缩各层小波逆变换之后若干卷积层,并考虑Unet的网络结构特点,对第l层小波逆变换后第一个卷积层和第l+1层小波分解后第一个卷积层选取相同的通道进行剪枝。
步骤202,对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述单位核级权重分组;
基于单位核级的能量模型对初始模型建模,并逐层剪枝流程,迭代地对各个卷积网络层执行核集构建、剪枝、压缩后卷积核重构三个阶段,生成的权重分组,即为单位核级权重分组。
在本发明的一可选实施例中,所述对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述单位核级权重分组的步骤包括:
子步骤S2021,在所述初始模型的卷积网络层中确定第一目标卷积网络层;
首先可以在迭代的过程中当前需要进行处理的卷积网络层,即第一目标卷积网络层。
子步骤S2022,逐一对所述第一目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第一单位核级权重,直至处理完所述初始模型的全部卷积网络层,组合所述第一单位核级权重,生成所述单位核级权重分组。
然后迭代地,逐一针对各个卷积网络层执行核集构建、剪枝、压缩后卷积核重构三个阶段,在每次处理后得到单个第一单位核级权重,然后将全部的卷积网络层完成后,得到多个第一单位核级权重;将全部的第一单位核级权重组合生成单位核级权重分组。
进一步地,所述逐一对所述第一目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构的步骤包括:依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定采样概率;依据所述采样概率计算第一初始掩码向量;依据所述第一初始掩码向量,生成第一掩码列表;基于所述第一掩码列表,确定第一目标掩码向量;依据所述第一目标掩码向量,生成所述单位核级权重。
具体地,所述依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定采样概率的步骤包括:依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定伊森模型,所述伊森模型对应有模型函数;计算信息熵矩阵;将所述信息熵矩阵转换为第一系数矩阵;依据所述第一系数矩阵和所述模型函数和输出通道的随机掩码向量,计算出能量参数;依据所述能量参数确定所述采样概率。
具体地,所述依据所述采样概率计算第一初始掩码向量的步骤包括:将所述信息熵矩阵转换为第二系数矩阵;依据所述采样概率对第一目标卷积网络层的输入通道进行采样,生成所述第一初始掩码向量。
具体地,所述依据所述第一初始掩码向量,生成第一掩码列表的步骤包括:组合所述第一掩码向量组,生成所述第一掩码列表。
具体地,所述基于所述第一掩码向量组,确定第一掩码列表的步骤包括:基于第二系数矩阵从所述第一掩码向量组中确定最小能量参数的第一初始掩码向量加入第一掩码列表。
具体地,所述依据所述第一掩码列表,生成所述单位核级权重的步骤包括:将所述第一掩码列表进行融合得到第一目标掩码向量,并基于第一目标掩码向量对输入通道进行剪枝,生成所述单位核级权重。
即对于单位核级的剪枝处理可以为:
(1)基于Ising(伊森)能量模型的建模
由采样得到的输入通道掩码之间的关联性可以利用Ising能量模型建模,具体计算式如下。
(1)
其中代表能量,/>是掩码之间的系数矩阵,/>是掩码向量s的第i个掩码,/>,/>代表当前层完整输入通道的集合,集合/>的大小等于输入通道数/>,偏置系数/>是系数矩阵/>的元素和与输入通道数/>之比,/>
输入通道的掩码之间的系数矩阵由信息熵矩阵R生成,/>。信息熵矩阵R的维度是/>,C是当前层的输出通道数,信息熵矩阵R由各输入通道的信息熵向量/>组成,即/>。信息熵向量中信息熵值由某一输入通道对于各个输出通道的重要性(贡献度)计算得到,具体计算式如下。
,/>(2)
其中代表单位核/>的输出特征图中第k个值,/>代表滤波器/>的输出特征图中第k个值,/>代表取绝对值,/>代表取正负符号,/>衡量了输入通道i对输出通道j的重要性。单位核/>是对卷积核W同时按照输入通道i和输出通道j进行划分得到的一个权重分组,即/>。滤波器/>是对卷积核W只按照输出通道j进行划分得到的一个权重分组,即/>
输出通道的掩码之间的系数矩阵对于不同的输入通道取值不同,第i个输入通道对应的输出通道掩码系数矩阵由第i个输入通道的信息熵向量/>生成,/>
(2)核集构建中采样概率的自适应调整
本发明方法对核集构建过程中应用的采样概率进行了修改,通过引入基于Ising模型的通道掩码向量的能量值,自适应地根据不同权重分组的重要性调整通道采样概率,具体计算式如下。
(3)
其中,是第i个输入通道的滤波器级权重分组的L1范数,/>是根据目标压缩率自适应确定地阈值,/>是目标压缩后输入通道数,/>是完整输入通道数。/>是第i个输入通道的基于Ising模型的能量值。在基于单位核级能量建模的通道剪枝流程中,/>是第i个输入通道对应的输出通道掩码向量的能量,即各个输入通道的采样概率分布不同;在基于滤波器级能量建模的通道剪枝流程中,/>简化为/>,即各个输入通道的采样概率分布相同。
(3)掩码列表的生成
本发明方法中,基于单位核级能量建模的通道剪枝流程在为某一卷积层构建输入通道核集时,只需要在当前批次输入数据上计算一次信息熵矩阵R;随后依次利用第i个输入通道对应的输出通道掩码系数矩阵来计算掩码能量以及输入通道i的采样概率/>。在得到各个输入通道的采样概率/>之后,对输入通道进行随机概率采样生成一组掩码向量,再采用输入通道的掩码之间的系数矩阵/>分别计算各个掩码向量的能量,选择其中能量最小的掩码向量存入掩码列表/>。迭代执行上述核集构建与基于能量的选择过程直至掩码列表长度达到预设长度,通过基于能量的选择过程筛选出能量小的掩码向量,等效于查找出具有最少数目的冗余卷积核权重分组的子网络结构。
可以参照图4,基于单位核级能量建模的通道剪枝流程在压缩第层的卷积核时包括以下步骤。
(1)在当前批次输入数据上计算各输入通道的信息熵向量,信息熵向量中信息熵值计算式/>,/>,其中/>代表单位核/>的输出特征图中第k个值,/>代表滤波器/>的输出特征图中第k个值,/>代表取绝对值,/>代表取正负符号,/>衡量了输入通道i对输出通道j的重要性。
(2)将各输入通道的信息熵向量组成信息熵矩阵,/>
(3)计算输入通道的掩码间系数矩阵,以及偏置系数/>,/>是系数矩阵/>的元素之和。
(4)对输出通道随机采样生成掩码向量,利用/>计算能量/>,能量计算式,/>,/>是当前层完整输出通道的集合,集合/>的大小等于输出通道数/>
(5)为输入通道核心集构建过程计算第i个输入通道的采样概率,若第i个输入通道的权重分组/>的范数大于自适应阈值,则/>,否则/>
(6)迭代执行步骤3至5,直至遍历所有的输入通道。
(7)计算输入通道的掩码间系数矩阵,以及偏置系数/>,/>是系数矩阵/>的元素之和。
(8)利用对输入通道进行随机概率采样生成一组掩码向量,并采用/>分别计算各个掩码向量的能量/>,能量计算式/>,/>,/>是当前层完整输入通道的集合,集合/>的大小等于输入通道数/>
(9)选择能量最小的掩码向量存入掩码列表
(10)迭代执行步骤8至9,直至达到预设掩码列表长度
(11)将掩码列表中各个掩码向量融合成最终的掩码向量。由掩码向量列表生成各个输入通道被采样次数的统计直方图,保留采样次数最多的前/>个输入通道以生成最终的掩码向量/>,/>是目标压缩后通道数。
(12)依据掩码向量即通道核集进行通道剪枝,并通过特征图重构获得压缩后卷积核的新权重。
步骤203,对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述滤波器级权重分组;
可以基于滤波器级的能量模型对初始模型建模,并逐层剪枝流程,迭代地对各个卷积网络层执行核集构建、剪枝、压缩后卷积核重构三个阶段,生成的权重分组,即为滤波器级权重分组。
在本发明的一可选实施例中,所述对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述滤波器级权重分组的步骤:
子步骤S2031,在所述初始模型的卷积网络层中确定第二目标卷积网络层;
首先可以在迭代的过程中确定当前需要进行处理的卷积网络层,即第二目标卷积网络层。
子步骤S2032,逐一对所述第二目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第二滤波器级权重,直至处理完所述初始模型的全部卷积网络层,组合所述第二滤波器级权重,生成所述滤波器级权重分组。
然后迭代地,逐一针对各个卷积网络层执行核集构建、剪枝、压缩后卷积核重构三个阶段,在每次处理后得到单个第二滤波器级权重,然后将全部的卷积网络层完成后,得到多个第二滤波器级权重;将全部的第二滤波器级权重组合生成滤波器级权重分组。
进一步地,所述逐一对所述第二目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第二滤波器级权重的步骤包括:依据所述第二目标卷积网络层的输入通道掩码的关联信息和不同批次的输入数据,确定采样概率;依据所述采样概率计算第二初始掩码向量;依据所述第二初始掩码向量,生成第二掩码列表;基于所述第二掩码列表,确定第二目标掩码向量;依据所述第二目标掩码向量,生成所述滤波器级权重。
具体地,所述依据所述第二目标卷积网络层的输入通道掩码的关联信息和不同批次的输入数据,确定采样概率的步骤包括:依据所述第二目标卷积网络层的输入通道掩码的关联信息,确定伊森模型,所述伊森模型对应有模型函数;基于所述第二目标卷积网络层的当前批次输入数据计算信息熵矩阵;将所述信息熵矩阵转换为系数矩阵;依据所述系数矩阵和所述伊森模型函数和输入通道的随机掩码向量,计算出能量参数;依据所述能量参数确定所述采样概率。
具体地,所述依据所述采样概率计算第二初始掩码向量的步骤:依据所述采样概率对第二目标卷积网络层的输入通道进行采样,生成所述第二初始掩码向量。
具体地,所述依据所述第二初始掩码向量,生成第二掩码列表的步骤:组合所述第二掩码向量组,生成所述第二掩码列表。
特别地是,第二掩码列表中每个第二初始掩码向量是在所述第二目标卷积网络层的不同批次的输入数据上重新计算信息熵矩阵所得,以此提高压缩后心律失常检测小模型的泛化能力。
具体地,所述基于所述第二掩码向量组,确定第二掩码列表的步骤:从所述第二掩码向量组中确定最小能量参数的第二初始掩码向量加入第二掩码列表。
具体地,所述依据所述第二掩码列表,生成所述滤波器级权重的步骤包括:将所述第二掩码列表进行融合得到第二目标掩码向量,并基于第二目标掩码向量进行剪枝,生成所述滤波器级权重。
即对于滤波器级的剪枝处理可以为:
基于滤波器级能量建模的通道剪枝流程在为某一卷积层构建输入通道核集时,在当前批次的输入数据上计算信息熵矩阵R;随后利用输入通道掩码之间的系数矩阵来计算掩码能量以及各个输入通道的采样概率;对输入通道进行随机概率采样生成一组掩码向量,再采用输入通道的掩码间系数矩阵/>计算各掩码向量的能量,将能量最小的掩码向量存入掩码列表/>;在下一批次输入数据上重新计算信息熵矩阵R,再次迭代执行上述采样概率计算、核集构建与基于能量的选择过程直至掩码列表长度达到预设长度。
可以参照图5,对于基于滤波器级能量建模的通道剪枝流程在压缩第层的卷积核时包括以下步骤。
(1)在第批次输入数据上计算各输入通道的信息熵向量/>,信息熵向量中信息熵值计算式/>,/>,其中代表单位核/>的输出特征图中第k个值,/>代表滤波器/>的输出特征图中第k个值,/>衡量了输入通道i对输出通道j的重要性,/>代表取绝对值,/>代表取正负符号。
(2)将各输入通道的信息熵向量组成信息熵矩阵,/>
(3)计算输入通道的掩码间系数矩阵,以及偏置系数/>,/>是系数矩阵/>的元素之和。
(4)对输入通道随机采样生成掩码向量,利用输入通道的掩码间系数矩阵/>计算能量/>,能量计算式/>,/>,/>是当前层完整输入通道的集合,集合/>的大小等于输入通道数/>
(5)为输入通道核心集构建过程计算各个输入通道的采样概率,若第i个输入通道的权重分组/>的范数大于自适应阈值,则/>,否则/>
(6)利用对输入通道进行随机概率采样生成一组掩码向量,并采用/>分别计算各个掩码向量的能量/>
(7)选择能量最小的掩码向量存入掩码列表
(8),迭代执行步骤1至7,直至达到预设掩码列表长度/>
(9)将掩码列表中各个掩码向量融合成最终的掩码向量。由掩码向量列表生成各个输入通道被采样次数的统计直方图,保留采样次数最多的前/>个输入通道以生成最终的掩码向量/>,/>是目标压缩后通道数。
(10)依据掩码向量即通道核集进行通道剪枝,并通过特征图重构获得压缩后卷积核的新权重。
步骤204,依据所述单位核级权重分组或所述滤波器级权重分组和所述初始模型确定分析模型;
在得到单位核级权重分组或滤波器级权重分组后,可以基于单位核级权重分组或滤波器级权重分组对初始模型进行配置,得到分析模型。
步骤205,依据所述初始生物信息输入至所述分析模型,得到状态异常信息。
采用分析模型,将初始生物信息作为输入信息,对其进行分析,输出的结果即为状态异常信息。
通过基于伊森能量模型的剪枝流程压缩基于Unet的小波卷积网络实现推理加速,创新性地在核集构建过程中引入基于Ising能量模型的建模,并设计了滤波器级、单位核级两种权重分组层级的能量建模与通道核集构建流程。本发明方法所提通道剪枝方案放宽了目标通道数与核集尺寸之间的假设约束,提高了核集构建过程对不同压缩率的适应性,减小由于核集尺寸和目标压缩率之间不相等造成的压缩后网络的精度损失,有利于基于深度神经网络的心律失常识别方案在便携式心电图仪的部署应用。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图6,示出了本发明的一种生物信息处理装置实施例的结构框图,所述生物信息处理装置具体可以包括如下模块:
获取模块601,用于获取初始生物信息和初始模型,所述初始模型为边缘设备中针对所述初始生物信息进行分析的模型;
剪枝模块602,用于对所述初始模型基于单位核级剪枝处理,生成单位核级权重分组,或对所述初始模型基于滤波器级剪枝处理,生成滤波器级权重分组;
模型确定模块603,用于依据所述单位核级权重分组或所述滤波器级权重分组对所述初始模型进行配置,确定分析模型;
分析模块604,用于依据所述初始生物信息输入至所述分析模型,得到状态异常信息。
在本发明的一可选实施例中,所述初始模型包括多层网络结构,所述剪枝模块包括:
单位核级剪枝子模块,用于对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述单位核级权重分组。
在本发明的一可选实施例中,所述单位核级剪枝子模块包括:
第一目标卷积网络层确定单元,用于在所述初始模型的卷积网络层中确定第一目标卷积网络层;
单位核级剪枝单元,用于逐一对所述第一目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第一单位核级权重,直至处理完所述初始模型的全部卷积网络层,组合所述第一单位核级权重,生成所述单位核级权重分组。
在本发明的一可选实施例中,所述单位核级剪枝单元包括:
第一单位核级剪枝子单元,用于依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定采样概率;
第二单位核级剪枝子单元,用于依据所述采样概率计算第一初始掩码向量;
第三单位核级剪枝子单元,用于依据所述第一初始掩码向量,生成第一掩码列表;
第四单位核级剪枝子单元,用于基于所述第一掩码列表,确定第一目标掩码向量;
第五单位核级剪枝子单元,用于依据所述第一目标掩码向量,生成所述单位核级权重。
在本发明的一可选实施例中,所述第一单位核级剪枝子单元包括用于执行如下步骤的模块:
依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定伊森模型,所述伊森模型对应有模型函数;
计算信息熵矩阵;所述信息熵矩阵由所述第一目标卷积网络层的输入通道的信息熵向量组成,所述信息熵向量中信息熵值计算式,其中/>代表单位核/>的输出特征图中第k个值,/>代表滤波器/>的输出特征图中第k个值,/>代表取绝对值,/>代表取正负符号,/>衡量了输入通道i对输出通道j的重要性;
将所述信息熵矩阵转换为第一系数矩阵;
依据所述第一系数矩阵和所述模型函数和输出通道的随机掩码向量,计算出能量参数;
依据所述能量参数确定所述采样概率。
在本发明的一可选实施例中,所述第二单位核级剪枝子单元包括用于执行如下步骤的模块:
依据所述采样概率对第一目标卷积网络层的输入通道进行采样,生成所述第一初始掩码向量。
在本发明的一可选实施例中,所述第三单位核级剪枝子单元包括用于执行如下步骤的模块:
组合所述第一掩码向量组,生成所述第一掩码列表。
在本发明的一可选实施例中,所述第四单位核级剪枝子单元包括用于执行如下步骤的模块:
将所述信息熵矩阵转换为第二系数矩阵;
基于第二系数矩阵从所述第一掩码向量组中确定最小能量参数的第一初始掩码向量加入第一掩码列表。
在本发明的一可选实施例中,所述第五单位核级剪枝子单元包括用于执行如下步骤的模块:
将所述第一掩码列表进行融合得到第一目标掩码向量,并基于第一目标掩码向量进行剪枝,生成所述单位核级权重。
在本发明的一可选实施例中,所述初始模型包括多层网络结构,所述剪枝模块包括:
滤波器级剪枝子模块,用于对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述滤波器级权重分组。
在本发明的一可选实施例中,所述滤波器级剪枝子模块包括:
第二目标卷积网络层确定单元,用于在所述初始模型的卷积网络层中确定第二目标卷积网络层;
滤波器级剪枝单元,用于逐一对所述第二目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第二滤波器级权重,直至处理完所述初始模型的全部卷积网络层,组合所述第二滤波器级权重,生成所述滤波器级权重分组。
在本发明的一可选实施例中,所述滤波器级剪枝单元包括:
第一滤波器级剪枝子单元,用于依据所述第二目标卷积网络层的输入通道掩码的关联信息和不同批次的输入数据,确定采样概率;
第二滤波器级剪枝子单元,用于依据所述采样概率计算第二初始掩码向量;
第三滤波器级剪枝子单元,用于依据所述第二初始掩码向量,生成第二掩码列表;
第四滤波器级剪枝子单元,用于基于所述第二掩码列表,确定第二目标掩码向量;
第五滤波器级剪枝子单元,用于依据所述第二目标掩码向量,生成所述滤波器级权重。
在本发明的一可选实施例中,所述第一滤波器级剪枝子单元配置为执行如下步骤的模块:
依据所述第二目标卷积网络层的输入通道掩码的关联信息,确定伊森模型,所述伊森模型对应有模型函数;
基于所述第二目标卷积网络层的当前批次输入数据计算信息熵矩阵;
将所述信息熵矩阵转换为系数矩阵;
依据所述系数矩阵和所述伊森模型函数和输入通道的随机掩码向量,计算出能量参数;
依据所述能量参数确定所述采样概率。
在本发明的一可选实施例中,所述第二滤波器级剪枝子单元配置为执行如下步骤的模块:
依据所述采样概率对第二目标卷积网络层的输入通道进行采样,生成所述第二初始掩码向量。
在本发明的一可选实施例中,所述第三滤波器级剪枝子单元配置为执行如下步骤的模块:
组合所述第二掩码向量组,生成所述第二掩码列表。
在本发明的一可选实施例中,所述第四滤波器级剪枝子单元配置为执行如下步骤的模块:
从所述第二掩码向量组中确定最小能量参数的第二初始掩码向量加入第二掩码列表。
在本发明的一可选实施例中,所述第五滤波器级剪枝子单元配置为执行如下步骤的模块:
将所述第二掩码列表进行融合得到第二目标掩码向量,并基于第二目标掩码向量进行剪枝,生成所述滤波器级权重。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
参照图7,本发明实施例还提供了一种电子设备,包括:
处理器701和存储介质702,所述存储介质702存储有所述处理器701可执行的计算机程序,当电子设备运行时,所述处理器701执行所述计算机程序,以执行如本发明实施例任一项所述的生物信息处理方法。
所述生物信息处理方法,包括:
获取初始生物信息和初始模型,所述初始模型为边缘设备中针对所述初始生物信息进行分析的模型;
对所述初始模型基于单位核级剪枝处理,生成单位核级权重分组,或对所述初始模型基于滤波器级剪枝处理,生成滤波器级权重分组;
依据所述单位核级权重分组或所述滤波器级权重分组对所述初始模型进行配置,确定分析模型;
依据所述初始生物信息输入至所述分析模型,得到状态异常信息。
可选地,所述初始模型包括多层网络结构,所述对所述初始模型基于单位核级剪枝处理,生成单位核级权重分组的步骤包括:
对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述单位核级权重分组。
可选地,所述对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述单位核级权重分组的步骤包括:
在所述初始模型的卷积网络层中确定第一目标卷积网络层;
逐一对所述第一目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第一单位核级权重,直至处理完所述初始模型的全部卷积网络层,组合所述第一单位核级权重,生成所述单位核级权重分组。
可选地,所述逐一对所述第一目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构的步骤包括:
依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定采样概率;
依据所述采样概率计算第一初始掩码向量;
依据所述第一初始掩码向量,生成第一掩码列表;
基于所述第一掩码列表,确定第一目标掩码向量;
依据所述第一目标掩码向量,生成所述单位核级权重。
可选地,所述依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定采样概率的步骤包括:
依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定伊森模型,所述伊森模型对应有模型函数;
计算信息熵矩阵所述信息熵矩阵由所述第一目标卷积网络层的输入通道的信息熵向量组成,所述信息熵向量中信息熵值计算式,其中/>代表单位核/>的输出特征图中第k个值,/>代表滤波器/>的输出特征图中第k个值,/>代表取绝对值,/>代表取正负符号,/>衡量了输入通道i对输出通道j的重要性;
将所述信息熵矩阵中各个信息熵向量转换为第一系数矩阵;
依据所述第一系数矩阵和所述伊森模型的模型函数和输出通道的随机掩码向量,计算出能量参数;
依据所述能量参数确定所述采样概率。
可选地,所述依据所述能量参数确定所述采样概率的步骤包括:
判断第i个输入通道的权重分组的范数是否大于预设自适应阈值,
若是,
若否,
其中,所述为所述能量参数,/>为采样概率。
可选地,所述依据所述采样概率计算第一初始掩码向量的步骤包括:
依据所述采样概率对第一目标卷积网络层的输入通道进行采样,生成所述第一初始掩码向量。
可选地,所述依据所述第一初始掩码向量,生成第一掩码列表的步骤包括:
组合所述第一掩码向量组,生成所述第一掩码列表。
可选地,所述基于所述第一掩码向量组,确定第一掩码列表的步骤包括:
将所述信息熵矩阵转换为第二系数矩阵;
基于第二系数矩阵从所述第一掩码向量组中确定最小能量参数的第一初始掩码向量加入第一掩码列表。
可选地,所述依据所述第一掩码列表,生成所述单位核级权重的步骤包括:
将所述第一掩码列表进行融合得到第一目标掩码向量,并基于第一目标掩码向量对输入通道进行剪枝,生成所述单位核级权重。
可选地,所述初始模型包括多层网络结构,对所述初始模型基于滤波器级剪枝处理,生成滤波器级权重分组的步骤:
对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述滤波器级权重分组。
可选地,所述对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述滤波器级权重分组的步骤:
在所述初始模型的卷积网络层中确定第二目标卷积网络层;
逐一对所述第二目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第二滤波器级权重,直至处理完所述初始模型的全部卷积网络层,组合所述第二滤波器级权重,生成所述滤波器级权重分组。
可选地,所述逐一对所述第二目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第二滤波器级权重的步骤包括:
依据所述第二目标卷积网络层的输入通道掩码的关联信息和不同批次的输入数据,确定采样概率;
依据所述采样概率计算第二初始掩码向量;
依据所述第二初始掩码向量,生成第二掩码列表;
基于所述第二掩码列表,确定第二目标掩码向量;
依据所述第二目标掩码向量,生成所述滤波器级权重。
可选地,所述依据所述第二目标卷积网络层的输入通道掩码的关联信息和不同批次的输入数据,确定采样概率的步骤包括:
依据所述第二目标卷积网络层的输入通道掩码的关联信息,确定伊森模型,所述伊森模型对应有模型函数;
基于所述第二目标卷积网络层的当前批次输入数据计算信息熵矩阵;
将所述信息熵矩阵转换为系数矩阵;
依据所述系数矩阵和所述伊森模型函数和输入通道的随机掩码向量,计算出能量参数;
依据所述能量参数确定所述采样概率。
可选地,所述依据所述采样概率计算第二初始掩码向量的步骤:
依据所述采样概率对第二目标卷积网络层的输入通道进行采样,生成所述第二初始掩码向量。
可选地,所述依据所述第二初始掩码向量,生成第二掩码列表的步骤:
组合所述第二掩码向量组,生成所述第二掩码列表。
可选地,所述基于所述第二掩码向量组,确定第二掩码列表的步骤:
从所述第二掩码向量组中确定最小能量参数的第二初始掩码向量加入第二掩码列表。
可选地,所述依据所述第二掩码列表,生成所述滤波器级权重的步骤包括:
将所述第二掩码列表进行融合得到第二目标掩码向量,并基于第二目标掩码向量对输入通道进行剪枝,生成所述滤波器级权重。
其中,存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
参照图8,本发明实施例还提供了一种计算机可读存储介质801,所述存储介质801上存储有计算机程序,所述计算机程序被处理器运行时执行如本发明实施例任一项所述的生物信息处理方法。
所述生物信息处理方法,包括:
获取初始生物信息和初始模型,所述初始模型为边缘设备中针对所述初始生物信息进行分析的模型;
对所述初始模型基于单位核级剪枝处理,生成单位核级权重分组,或对所述初始模型基于滤波器级剪枝处理,生成滤波器级权重分组;
依据所述单位核级权重分组或所述滤波器级权重分组对所述初始模型进行配置,确定分析模型;
依据所述初始生物信息输入至所述分析模型,得到状态异常信息。
可选地,所述初始模型包括多层网络结构,所述对所述初始模型基于单位核级剪枝处理,生成单位核级权重分组的步骤包括:
对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述单位核级权重分组。
可选地,所述对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述单位核级权重分组的步骤包括:
在所述初始模型的卷积网络层中确定第一目标卷积网络层;
逐一对所述第一目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第一单位核级权重,直至处理完所述初始模型的全部卷积网络层,组合所述第一单位核级权重,生成所述单位核级权重分组。
可选地,所述逐一对所述第一目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构的步骤包括:
依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定采样概率;
依据所述采样概率计算第一初始掩码向量;
依据所述第一初始掩码向量,生成第一掩码列表;
基于所述第一掩码列表,确定第一目标掩码向量;
依据所述第一目标掩码向量,生成所述单位核级权重。
可选地,所述依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定采样概率的步骤包括:
依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定伊森模型,所述伊森模型对应有模型函数;
计算信息熵矩阵所述信息熵矩阵由所述第一目标卷积网络层的输入通道的信息熵向量组成,所述信息熵向量中信息熵值计算式,/>,其中/>代表单位核/>的输出特征图中第k个值,/>代表滤波器/>的输出特征图中第k个值,/>代表取绝对值,/>代表取正负符号,/>衡量了输入通道i对输出通道j的重要性;
将所述信息熵矩阵中各个信息熵向量转换为第一系数矩阵;
依据所述第一系数矩阵和所述伊森模型的模型函数和输出通道的随机掩码向量,计算出能量参数;
依据所述能量参数确定所述采样概率。
可选地,所述依据所述能量参数确定所述采样概率的步骤包括:
判断第i个输入通道的权重分组的范数是否大于预设自适应阈值,
若是,
若否,
其中,所述为所述能量参数,/>为采样概率。
可选地,所述依据所述采样概率计算第一初始掩码向量的步骤包括:
依据所述采样概率对第一目标卷积网络层的输入通道进行采样,生成所述第一初始掩码向量。
可选地,所述依据所述第一初始掩码向量,生成第一掩码列表的步骤包括:
组合所述第一掩码向量组,生成所述第一掩码列表。
可选地,所述基于所述第一掩码向量组,确定第一掩码列表的步骤包括:
将所述信息熵矩阵转换为第二系数矩阵;
基于第二系数矩阵从所述第一掩码向量组中确定最小能量参数的第一初始掩码向量加入第一掩码列表。
可选地,所述依据所述第一掩码列表,生成所述单位核级权重的步骤包括:
将所述第一掩码列表进行融合得到第一目标掩码向量,并基于第一目标掩码向量对输入通道进行剪枝,生成所述单位核级权重。
可选地,所述初始模型包括多层网络结构,对所述初始模型基于滤波器级剪枝处理,生成滤波器级权重分组的步骤:
对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述滤波器级权重分组。
可选地,所述对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述滤波器级权重分组的步骤:
在所述初始模型的卷积网络层中确定第二目标卷积网络层;
逐一对所述第二目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第二滤波器级权重,直至处理完所述初始模型的全部卷积网络层,组合所述第二滤波器级权重,生成所述滤波器级权重分组。
可选地,所述逐一对所述第二目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第二滤波器级权重的步骤包括:
依据所述第二目标卷积网络层的输入通道掩码的关联信息和不同批次的输入数据,确定采样概率;
依据所述采样概率计算第二初始掩码向量;
依据所述第二初始掩码向量,生成第二掩码列表;
基于所述第二掩码列表,确定第二目标掩码向量;
依据所述第二目标掩码向量,生成所述滤波器级权重。
可选地,所述依据所述第二目标卷积网络层的输入通道掩码的关联信息和不同批次的输入数据,确定采样概率的步骤包括:
依据所述第二目标卷积网络层的输入通道掩码的关联信息,确定伊森模型,所述伊森模型对应有模型函数;
基于所述第二目标卷积网络层的当前批次输入数据计算信息熵矩阵;
将所述信息熵矩阵转换为系数矩阵;
依据所述系数矩阵和所述伊森模型函数和输入通道的随机掩码向量,计算出能量参数;
依据所述能量参数确定所述采样概率。
可选地,所述依据所述采样概率计算第二初始掩码向量的步骤:
依据所述采样概率对第二目标卷积网络层的输入通道进行采样,生成所述第二初始掩码向量。
可选地,所述依据所述第二初始掩码向量,生成第二掩码列表的步骤:
组合所述第二掩码向量组,生成所述第二掩码列表。
可选地,所述基于所述第二掩码向量组,确定第二掩码列表的步骤:
从所述第二掩码向量组中确定最小能量参数的第二初始掩码向量加入第二掩码列表。
可选地,所述依据所述第二掩码列表,生成所述滤波器级权重的步骤包括:
将所述第二掩码列表进行融合得到第二目标掩码向量,并基于第二目标掩码向量对输入通道进行剪枝,生成所述滤波器级权重。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种生物信息处理方法、一种生物信息处理装置、一种电子设备和一种存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种生物信息处理方法,其特征在于,包括:
获取初始生物信息和初始模型,所述初始模型为边缘设备中针对所述初始生物信息进行分析的模型;
对所述初始模型基于单位核级剪枝处理,生成单位核级权重分组,或对所述初始模型基于滤波器级剪枝处理,生成滤波器级权重分组;
依据所述单位核级权重分组或所述滤波器级权重分组对所述初始模型进行配置,确定分析模型;
依据所述初始生物信息输入至所述分析模型,得到状态异常信息;
所述初始模型包括多层网络结构,所述对所述初始模型基于单位核级剪枝处理,生成单位核级权重分组的步骤包括:对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述单位核级权重分组;
所述对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述单位核级权重分组的步骤包括:在所述初始模型的卷积网络层中确定第一目标卷积网络层;逐一对所述第一目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第一单位核级权重,直至处理完所述初始模型的全部卷积网络层,组合所述第一单位核级权重,生成所述单位核级权重分组;
所述逐一对所述第一目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构的步骤包括:依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定采样概率;依据所述采样概率计算第一初始掩码向量;依据所述第一初始掩码向量,生成第一掩码列表;基于所述第一掩码列表,确定第一目标掩码向量;依据所述第一目标掩码向量,生成所述单位核级权重;
所述依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定采样概率的步骤包括:依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定伊森模型,所述伊森模型对应有模型函数;计算信息熵矩阵,所述信息熵矩阵由所述第一目标卷积网络层的输入通道的信息熵向量组成,所述信息熵向量中信息熵值计算式,其中/>代表单位核/>的输出特征图中第k个值,/>代表滤波器/>的输出特征图中第k个值,/>代表取绝对值,/>代表取正负符号,/>衡量了输入通道i对输出通道j的重要性;将所述信息熵矩阵中各个信息熵向量转换为第一系数矩阵;依据所述第一系数矩阵和所述伊森模型的模型函数和输出通道的随机掩码向量,计算出能量参数;依据所述能量参数确定所述采样概率;
所述依据所述能量参数确定所述采样概率的步骤包括:判断第i个输入通道的权重分组的范数是否大于预设自适应阈值,
若是,
若否,
其中,所述为所述能量参数,/>为采样概率。
2.根据权利要求1所述的生物信息处理方法,其特征在于,所述依据所述采样概率计算第一初始掩码向量的步骤包括:
依据所述采样概率对第一目标卷积网络层的输入通道进行采样,生成所述第一初始掩码向量。
3.根据权利要求1所述的生物信息处理方法,其特征在于,所述依据所述第一初始掩码向量,生成第一掩码列表的步骤包括:
组合所述第一初始掩码向量,生成所述第一掩码列表。
4.根据权利要求3所述的生物信息处理方法,其特征在于,所述组合所述第一初始掩码向量,生成所述第一掩码列表的步骤包括:
将所述信息熵矩阵转换为第二系数矩阵;
基于所述第二系数矩阵从所述第一初始掩码向量中确定最小能量参数的第一初始掩码向量加入第一掩码列表。
5.根据权利要求1所述的生物信息处理方法,其特征在于,所述依据所述第一掩码列表,生成所述单位核级权重的步骤包括:
将所述第一掩码列表进行融合得到第一目标掩码向量,并基于第一目标掩码向量对输入通道进行剪枝,生成所述单位核级权重。
6.根据权利要求1所述的生物信息处理方法,其特征在于,所述初始模型包括多层网络结构,对所述初始模型基于滤波器级剪枝处理,生成滤波器级权重分组的步骤:
对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述滤波器级权重分组。
7.根据权利要求6所述的生物信息处理方法,其特征在于,所述对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述滤波器级权重分组的步骤:
在所述初始模型的卷积网络层中确定第二目标卷积网络层;
逐一对所述第二目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第二滤波器级权重,直至处理完所述初始模型的全部卷积网络层,组合所述第二滤波器级权重,生成所述滤波器级权重分组。
8.根据权利要求7所述的生物信息处理方法,其特征在于,所述逐一对所述第二目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第二滤波器级权重的步骤包括:
依据所述第二目标卷积网络层的输入通道掩码的关联信息和不同批次的输入数据,确定采样概率;
依据所述采样概率计算第二初始掩码向量;
依据所述第二初始掩码向量,生成第二掩码列表;
基于所述第二掩码列表,确定第二目标掩码向量;
依据所述第二目标掩码向量,生成所述滤波器级权重。
9.根据权利要求8所述的生物信息处理方法,其特征在于,所述依据所述第二目标卷积网络层的输入通道掩码的关联信息和不同批次的输入数据,确定采样概率的步骤包括:
依据所述第二目标卷积网络层的输入通道掩码的关联信息,确定伊森模型,所述伊森模型对应有模型函数;
基于所述第二目标卷积网络层的当前批次输入数据计算信息熵矩阵;
将所述信息熵矩阵转换为系数矩阵;
依据所述系数矩阵和所述伊森模型函数和输入通道的随机掩码向量,计算出能量参数;
依据所述能量参数确定所述采样概率。
10.根据权利要求9所述的生物信息处理方法,其特征在于,所述依据所述采样概率计算第二初始掩码向量的步骤:
依据所述采样概率对第二目标卷积网络层的输入通道进行采样,生成所述第二初始掩码向量。
11.根据权利要求9所述的生物信息处理方法,其特征在于,所述依据所述第二初始掩码向量,生成第二掩码列表的步骤:
组合所述第二初始掩码向量,生成所述第二掩码列表。
12.根据权利要求11所述的生物信息处理方法,其特征在于,所述组合所述第二初始掩码向量,生成所述第二掩码列表的步骤:
从所述第二初始掩码向量中确定最小能量参数的第二初始掩码向量加入第二掩码列表。
13.根据权利要求9所述的生物信息处理方法,其特征在于,所述依据所述第二掩码列表,生成所述滤波器级权重的步骤包括:
将所述第二掩码列表进行融合得到第二目标掩码向量,并基于第二目标掩码向量对输入通道进行剪枝,生成所述滤波器级权重。
14.一种生物信息处理装置,其特征在于,包括:
获取模块,用于获取初始生物信息和初始模型,所述初始模型为边缘设备中针对所述初始生物信息进行分析的模型;
剪枝模块,用于对所述初始模型基于单位核级剪枝处理,生成单位核级权重分组,或对所述初始模型基于滤波器级剪枝处理,生成滤波器级权重分组;
模型确定模块,用于依据所述单位核级权重分组或所述滤波器级权重分组和所述初始模型确定分析模型;
分析模块,用于依据所述初始生物信息输入至所述分析模型,得到状态异常信息;
所述初始模型包括多层网络结构,所述剪枝模块包括:单位核级剪枝子模块,用于对所述初始模型的卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,生成所述单位核级权重分组;
所述单位核级剪枝子模块包括:第一目标卷积网络层确定单元,用于在所述初始模型的卷积网络层中确定第一目标卷积网络层;单位核级剪枝单元,用于逐一对所述第一目标卷积网络层进行核集构建、剪枝以及压缩后卷积核重构,得到第一单位核级权重,直至处理完所述初始模型的全部卷积网络层,组合所述第一单位核级权重,生成所述单位核级权重分组;
所述单位核级剪枝单元包括:第一单位核级剪枝子单元,用于依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定采样概率;第二单位核级剪枝子单元,用于依据所述采样概率计算第一初始掩码向量;第三单位核级剪枝子单元,用于依据所述第一初始掩码向量,生成第一掩码列表;第四单位核级剪枝子单元,用于基于所述第一掩码列表,确定第一目标掩码向量;第五单位核级剪枝子单元,用于依据所述第一目标掩码向量,生成所述单位核级权重;
所述第一单位核级剪枝子单元包括用于执行如下步骤的模块:
依据所述第一目标卷积网络层的输入通道掩码的关联信息,确定伊森模型,所述伊森模型对应有模型函数;计算信息熵矩阵;所述信息熵矩阵由所述第一目标卷积网络层的输入通道的信息熵向量组成,所述信息熵向量中信息熵值计算式,其中/>代表单位核/>的输出特征图中第k个值,/>代表滤波器/>的输出特征图中第k个值,/>代表取绝对值,/>代表取正负符号,/>衡量了输入通道i对输出通道j的重要性;将所述信息熵矩阵转换为第一系数矩阵;依据所述第一系数矩阵和所述模型函数和输出通道的随机掩码向量,计算出能量参数;依据所述能量参数确定所述采样概率;
所述依据所述能量参数确定所述采样概率的步骤包括:判断第i个输入通道的权重分组的范数是否大于预设自适应阈值,
若是,
若否,
其中,所述为所述能量参数,/>为采样概率。
15.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至13中任一项所述的生物信息处理方法的步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至13中任一项所述的生物信息处理方法的步骤。
CN202311842532.5A 2023-12-28 2023-12-28 一种生物信息处理方法、装置、电子设备和存储介质 Active CN117497194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311842532.5A CN117497194B (zh) 2023-12-28 2023-12-28 一种生物信息处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311842532.5A CN117497194B (zh) 2023-12-28 2023-12-28 一种生物信息处理方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN117497194A CN117497194A (zh) 2024-02-02
CN117497194B true CN117497194B (zh) 2024-03-01

Family

ID=89680394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311842532.5A Active CN117497194B (zh) 2023-12-28 2023-12-28 一种生物信息处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN117497194B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652366A (zh) * 2020-05-09 2020-09-11 哈尔滨工业大学 一种基于通道剪枝和量化训练的联合神经网络模型压缩方法
CN112800977A (zh) * 2021-01-30 2021-05-14 北京工业大学 基于多粒度卷积神经网络剪枝的教师板书动作识别方法
CN116403113A (zh) * 2023-04-14 2023-07-07 西安电子科技大学 进化剪枝轻量化卷积神经网络的滑坡识别方法、系统、设备及介质
CN116579409A (zh) * 2023-07-11 2023-08-11 菲特(天津)检测技术有限公司 基于重参数化的智能相机模型剪枝加速方法及加速系统
CN116957041A (zh) * 2023-01-19 2023-10-27 腾讯科技(深圳)有限公司 压缩神经网络模型的方法、装置和计算设备
CN117217282A (zh) * 2023-09-22 2023-12-12 北京航空航天大学 一种面向深度行人搜索模型的结构化剪枝方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652366A (zh) * 2020-05-09 2020-09-11 哈尔滨工业大学 一种基于通道剪枝和量化训练的联合神经网络模型压缩方法
CN112800977A (zh) * 2021-01-30 2021-05-14 北京工业大学 基于多粒度卷积神经网络剪枝的教师板书动作识别方法
CN116957041A (zh) * 2023-01-19 2023-10-27 腾讯科技(深圳)有限公司 压缩神经网络模型的方法、装置和计算设备
CN116403113A (zh) * 2023-04-14 2023-07-07 西安电子科技大学 进化剪枝轻量化卷积神经网络的滑坡识别方法、系统、设备及介质
CN116579409A (zh) * 2023-07-11 2023-08-11 菲特(天津)检测技术有限公司 基于重参数化的智能相机模型剪枝加速方法及加速系统
CN117217282A (zh) * 2023-09-22 2023-12-12 北京航空航天大学 一种面向深度行人搜索模型的结构化剪枝方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张亚平 ; 吴绩伟 ; 马占刚 ; 曹喜信 ; 郭文海 ; .基于YOLOv3的神经网络模型压缩与实现.微纳电子与智能制造.2020,(第01期),全文. *
张晶 ; 熊梅惠 ; 陈垚 ; 范洪博 ; .面向信息物理系统的时间不确定任务流动态实时调度算法.信息与控制.2018,(第01期),全文. *

Also Published As

Publication number Publication date
CN117497194A (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN111461983B (zh) 一种基于不同频度信息的图像超分辨率重建模型及方法
CN106920545B (zh) 基于人工智能的语音特征提取方法和装置
CN110119447B (zh) 自编码神经网络处理方法、装置、计算机设备及存储介质
KR20180072562A (ko) 인공 뉴럴 네트워크 클래스-기반 프루닝
CN111144561A (zh) 一种神经网络模型确定方法及装置
CN112529146B (zh) 神经网络模型训练的方法和装置
CN109948680B (zh) 病历数据的分类方法及系统
CN112509600A (zh) 模型的训练方法、装置、语音转换方法、设备及存储介质
CN110379491B (zh) 识别脑胶质瘤方法、装置、设备和存储介质
CN111357051B (zh) 语音情感识别方法、智能装置和计算机可读存储介质
CN114663685B (zh) 一种行人重识别模型训练的方法、装置和设备
CN114861880A (zh) 基于空洞卷积神经网络的工业设备故障预测方法及装置
CN114648048A (zh) 基于变分自编码和PixelCNN模型的心电信号降噪方法
CN117497194B (zh) 一种生物信息处理方法、装置、电子设备和存储介质
CN116882469B (zh) 用于情感识别的脉冲神经网络部署方法、装置及设备
Lin et al. Domestic activities clustering from audio recordings using convolutional capsule autoencoder network
CN117349622A (zh) 基于混合深度学习机制的风电场风速预测方法
CN117333497A (zh) 一种基于掩码监督策略的高效建模的三维医学影像分割方法
CN114224354B (zh) 心律失常分类方法、装置及可读存储介质
CN114372539B (zh) 基于机器学习框架的分类方法及相关设备
CN112989106B (zh) 音频分类方法、电子设备以及存储介质
CN114723043A (zh) 基于超图模型谱聚类的卷积神经网络卷积核剪枝方法
CN112818164B (zh) 音乐类型识别方法、装置、设备及存储介质
CN114021699A (zh) 一种基于梯度的卷积神经网络剪枝方法及装置
CN115620038A (zh) 共性知识约束的遥感样本迁移方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant