CN114557691A - 基于多波长的ppg信号的无创血脂检测方法及系统 - Google Patents

基于多波长的ppg信号的无创血脂检测方法及系统 Download PDF

Info

Publication number
CN114557691A
CN114557691A CN202210463153.4A CN202210463153A CN114557691A CN 114557691 A CN114557691 A CN 114557691A CN 202210463153 A CN202210463153 A CN 202210463153A CN 114557691 A CN114557691 A CN 114557691A
Authority
CN
China
Prior art keywords
cnn
lstm
neural network
wavelength
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210463153.4A
Other languages
English (en)
Other versions
CN114557691B (zh
Inventor
陈丹妮
凌永权
王淑云
郭海瑞
刘庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210463153.4A priority Critical patent/CN114557691B/zh
Publication of CN114557691A publication Critical patent/CN114557691A/zh
Application granted granted Critical
Publication of CN114557691B publication Critical patent/CN114557691B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开的一种基于多波长的PPG信号的无创血脂检测方法及系统，包括：采集目标对象指尖的多波长多通道的PPG信号及对应有创血脂值，对多通道的信号进行去噪处理并划分数据集，通过卷积神经网络及长短记忆人工神经网络搭建融合神经网络模型，通过数据集对融合神经网络进行训练，通过训练好的融合神经网络模型进行血脂含量检测，并进行检测准确度评估。本发明使用多波长光同时采集人体不同指尖的PPG信号，有效避免多波长光源之间的相互干扰对血脂评估的不良影响，同时可根据不同部位的信号采集，获得信号间重要特征点的时间差，从而获得人体血液流动速度的相关信息，同时引入融合神经网络，提高了血脂估计准确率。

Description

基于多波长的PPG信号的无创血脂检测方法及系统
技术领域
本发明涉及血脂检测技术领域，更具体的，涉及一种基于多波长的PPG信号的无创血脂检测方法及系统。
背景技术
人体血脂检测对人体健康非常重要，人体血脂异常往往意味着人体内环境失调。高血脂会引起头晕、肥胖、胸闷气短、肢体麻木等症状表现，如果血脂长期高于正常范围，不仅会引发各类心血管疾病、高血压、胰腺炎等疾病，甚至导致糖尿病、动脉粥样硬化或形成血栓，严重影响身体健康。
根据有关研究，人体血脂相关分子可与特定波长的光引起共振。由于不同人体真实血液情况不同，因此有关实验的理想血脂分子浓度获得的共振光波长的实验结论不完全具有通用性，即与血脂相关分子高度相关的光波长未被完全找到。根据目前研究，500nm-1400nm的光都可能与血脂分子有关。
而现在对血脂准确测量仍需要有创测量保障，但有创测量的成本较高，需要专业人员进行有创采集样本，同时有创感染风险大；另外对不同光波长进行聚焦处理对周围光线环境的要求较高，对设备的精准度要求也较高。并且现有技术中的前馈神经网络会认为下一时刻输入的内容及结果与当前时刻输入的内容及结果完全无关。但实际上，一个人的血脂值随着时间具有规律性变化，不会有随机性的突变增加或减少，而这些预测模型的网络则无法规避这种突变性预测值变高或变低的误差的产生；使用手背不易固定采集部位，且根据手背静脉血管定位信号采集部位困难。
发明内容
为了解决上述技术问题，本发明提出了一种基于多波长的PPG信号的无创血脂检测方法及系统。
本发明第一方面提供了一种基于多波长的PPG信号的无创血脂检测方法，包括：
获取目标对象指尖的多波长多通道的PPG信号及对应有创血脂值；
对多通道的信号通过变分模态分解进行去噪处理，将去噪后的PPG信号及对应的有创血脂值按时间进行排序生成数据集；
通过卷积神经网络提取多波长特征，生成多波长特征空间，基于卷积神经网络及长短期记忆人工神经网络构建CNN-LSTM融合网络模型，并进行CNN-LSTM融合网络模型的训练；
通过训练好的CNN-LSTM融合网络模型进行血脂含量检测，并进行检测准确率评估。
本方案中，在目标对象同一只手的不同手指指尖处进行不同光波长的信号采集，分别使用500nm、800nm、1000nm、1400nm的光波长，并记录随时间变化的等时间间隔的有创血脂值。
本方案中，通过卷积神经网络提取多波长特征，具体为：
搭建深度卷积神经网络，选择不同光波长各自的波峰位置、峰强度、峰宽、峰面积及相互的特征值比例、各特征值线性相加结果作为特征，在深度卷积神经网络结构中设置对应特征的不同滤波器；
根据所述数据集根据时序进行划分将前40%数据作为深度卷积神经网络训练集，根据所述深度卷积神经网络训练集对深度卷积神经网络进行训练，通过训练后的深度卷积神经网络的卷积层提取数据集的多波长特征，形成多波长特征空间。
本方案中，所述的基于卷积神经网络及长短期记忆人工神经网络构建CNN-LSTM融合网络模型，并进行CNN-LSTM融合网络模型的训练，具体为：
根据所述数据集根据时序进行划分将中间40%数据作为CNN-LSTM融合网络训练集，将后20%数据作为CNN-LSTM融合网络测试集；
获取所述多波长特征空间中1至
Figure 100002_DEST_PATH_IMAGE001
时刻信号的特征向量、对应的血脂结果序列
Figure 104383DEST_PATH_IMAGE002
及目标对象的年龄、性别生理特征作为长短期记忆人工神经网络的第一次 训练输入，将下一时刻的血脂值
Figure 100002_DEST_PATH_IMAGE003
作为长短期记忆人工神经网络输出结果的真实 值；
在长短期记忆人工神经网络的第二次训练时，将血脂结果序列更新为
Figure 375964DEST_PATH_IMAGE004
，多波长特征更新为2至
Figure 100002_DEST_PATH_IMAGE005
时刻信号的特征向量，结合目标对象的 年龄、性别生理特征作为长短期记忆人工神经网络的第二次训练输入，将血脂值
Figure 685854DEST_PATH_IMAGE006
作为长短期记忆人工神经网络输出结果的真实值，以此类推，对CNN-LSTM融合网络模型进 行迭代训练；
根据迭代训练调整CNN-LSTM融合网络模型的网络参数，不断改善拟合效果。
本方案中，所述的通过训练好的CNN-LSTM融合网络模型进行血脂含量检测，并进行检测准确率评估，具体为：
通过训练好的CNN-LSTM融合网络模型根据CNN-LSTM网络训练集
Figure 664174DEST_PATH_IMAGE001
时刻信号获取 CNN-LSTM网络测试集第1时刻的预测血脂值；
再将CNN-LSTM网络训练集
Figure 100002_DEST_PATH_IMAGE007
时刻与测试集第1时刻的信号CNN-LSTM融合网络 模型，则获得CNN-LSTM网络测试集第2时刻的预测血脂值，以此类推，获取CNN-LSTM网络测 试集中所有时刻的预测血脂值；
将CNN-LSTM网络测试集中所有时刻的预测血脂值与对应有创血脂值进行对比生成检测准确率；
判断所述检测准确率是否大于等于预设检测准确率阈值，若大于等于，则说明CNN-LSTM融合网络模型满足预设检测准确率标准；若小于，则生成修正信息，通过所述修正信息对CNN-LSTM融合网络模型进行修正。
本发明第二方面还提供了一种基于多波长的PPG信号的无创血脂检测系统，该系统包括：存储器、处理器，所述存储器中包括一种基于多波长的PPG信号的无创血脂检测方法程序，所述一种基于多波长的PPG信号的无创血脂检测方法程序被所述处理器执行时实现如下步骤：
获取目标对象指尖的多波长多通道的PPG信号及对应有创血脂值；
对多通道的信号通过变分模态分解进行去噪处理，将去噪后的PPG信号及对应的有创血脂值按时间进行排序生成数据集；
通过卷积神经网络提取多波长特征，生成多波长特征空间，基于卷积神经网络及长短期记忆人工神经网络构建CNN-LSTM融合网络模型，并进行CNN-LSTM融合网络模型的训练；
通过训练好的CNN-LSTM融合网络模型进行血脂含量检测，并进行检测准确率评估。
本方案中，在目标对象同一只手的不同手指指尖处进行不同光波长的信号采集，分别使用500nm、800nm、1000nm、1400nm的光波长，并记录随时间变化的等时间间隔的有创血脂值。
本方案中，通过卷积神经网络提取多波长特征，具体为：
搭建深度卷积神经网络，选择不同光波长各自的波峰位置、峰强度、峰宽、峰面积及相互的特征值比例、各特征值线性相加结果作为特征，在深度卷积神经网络结构中设置对应特征的不同滤波器；
根据所述数据集根据时序进行划分将前40%数据作为深度卷积神经网络训练集，根据所述深度卷积神经网络训练集对深度卷积神经网络进行训练，通过训练后的深度卷积神经网络的卷积层提取数据集的多波长特征，形成多波长特征空间。
本方案中，所述的基于卷积神经网络及长短期记忆人工神经网络构建CNN-LSTM融合网络模型，并进行CNN-LSTM融合网络模型的训练，具体为：
根据所述数据集根据时序进行划分将中间40%数据作为CNN-LSTM融合网络训练集，将后20%数据作为CNN-LSTM融合网络测试集；
获取所述多波长特征空间中1至
Figure 932476DEST_PATH_IMAGE001
时刻信号的特征向量、对应的血脂结果序列
Figure 363457DEST_PATH_IMAGE002
及目标对象的年龄、性别生理特征作为长短期记忆人工神经网络的第一次 训练输入，将下一时刻的血脂值
Figure 460726DEST_PATH_IMAGE003
作为长短期记忆人工神经网络输出结果的真实 值；
在长短期记忆人工神经网络的第二次训练时，将血脂结果序列更新为
Figure 27974DEST_PATH_IMAGE004
，多波长特征更新为2至
Figure 388548DEST_PATH_IMAGE005
时刻信号的特征向量，结合目标对象的 年龄、性别生理特征作为长短期记忆人工神经网络的第二次训练输入，将血脂值
Figure 54628DEST_PATH_IMAGE006
作为长短期记忆人工神经网络输出结果的真实值，以此类推，对CNN-LSTM融合网络模型进 行迭代训练；
根据迭代训练调整CNN-LSTM融合网络模型的网络参数，不断改善拟合效果。
本方案中，所述的通过训练好的CNN-LSTM融合网络模型进行血脂含量检测，并进行检测准确率评估，具体为：
通过训练好的CNN-LSTM融合网络模型根据CNN-LSTM网络训练集
Figure 690009DEST_PATH_IMAGE001
时刻信号获取 CNN-LSTM网络测试集第1时刻的预测血脂值；
再将CNN-LSTM网络训练集
Figure 377342DEST_PATH_IMAGE007
时刻与测试集第1时刻的信号CNN-LSTM融合网络 模型，则获得CNN-LSTM网络测试集第2时刻的预测血脂值，以此类推，获取CNN-LSTM网络测 试集中所有时刻的预测血脂值；
将CNN-LSTM网络测试集中所有时刻的预测血脂值与对应有创血脂值进行对比生成检测准确率；
判断所述检测准确率是否大于等于预设检测准确率阈值，若大于等于，则说明CNN-LSTM融合网络模型满足预设检测准确率标准；若小于，则生成修正信息，通过所述修正信息对CNN-LSTM融合网络模型进行修正。
本发明解决了背景技术中存在的缺陷，具备以下有益效果：
1、本发明中使用指尖进行数据采集，指尖末梢静脉血管密布，容易获得静脉血管反射的光信号，同时指尖便于采集设备的固定，实现无创连续检测血脂，实现人体日常血脂情况健康监测；
2、本发明使用多波长光同时采集人体不同指尖的PPG信号，有效避免多波长光源之间的相互干扰对血脂评估的不良影响，同时可根据不同部位的信号采集，获得信号间重要特征点的时间差，从而获得人体血液流动速度的相关信息；
3、使用变分模态函数对原信号进行分解，可获得不同信号的固定个数的信号分量，并且根据所要求的分量个数可自适应地获得最佳频谱带宽分配的分量，尽量减少模态混叠；
4、引入信号与真实血脂值随时间规律变化的特点进行神经网络的训练，即可引入LSTM神经网络帮助进行数据校准，大大提高血脂估计准确率。
5、基于人体真实情况下的信号中血脂相关特征及涉及到多波长的特征相关情况，仍未有具体定论，因此使用卷积神经网络中的卷积层可对未知可用特征进行最佳提取。
附图说明
图1示出了本发明一种基于多波长的PPG信号的无创血脂检测方法的流程图；
图2示出了本发明一种基于多波长的PPG信号的无创血脂检测系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于多波长的PPG信号的无创血脂检测方法的流程图。
如图1所示，本发明第一方面提供了一种基于多波长的PPG信号的无创血脂检测方法，包括：
S102，获取目标对象指尖的多波长多通道的PPG信号及对应有创血脂值；
S104，对多通道的信号通过变分模态分解进行去噪处理，将去噪后的PPG信号及对应的有创血脂值按时间进行排序生成数据集；
S106，通过卷积神经网络提取多波长特征，生成多波长特征空间，基于卷积神经网络及长短期记忆人工神经网络构建CNN-LSTM融合网络模型，并进行CNN-LSTM融合网络模型的训练；
S108，通过训练好的CNN-LSTM融合网络模型进行血脂含量检测，并进行检测准确率评估。
需要说明的是，在目标对象同一只手的不同手指指尖处进行不同光波长的信号采集，分别使用500nm、800nm、1000nm、1400nm的光波长，并记录随时间变化的等时间间隔的有创血脂值。
由于同一时刻各波长的交流频率分布情况类似，对多通道的信号使用变分模态分解（VMD）进行去噪处理，VMD可根据给定的模态分解个数要求，在随后的信号模态求解中自适应地匹配每种模态的最佳中心频率和有限带宽，变分模态分解的具体步骤为：
设某波长获得的信号作为输入信号
Figure 705555DEST_PATH_IMAGE008
，该信号分解成离散的子信号（即模态）为
Figure DEST_PATH_IMAGE009
，对应模态中心频率为
Figure DEST_PATH_IMAGE011
，
Figure 658599DEST_PATH_IMAGE012
为分解的模态个数；
为了保证分解序列为具有中心频率的有限带宽的模态分量，同时各模态的估计带宽之和最小，令约束条件为所有模态之和为原始信号，则相应约束变分表达式为：
Figure DEST_PATH_IMAGE013
, .
其中，
Figure 910720DEST_PATH_IMAGE009
表示所有模态集合，
Figure 452560DEST_PATH_IMAGE011
表示各模态对应的中心频率，
Figure 154936DEST_PATH_IMAGE014
表示冲激函 数，
Figure DEST_PATH_IMAGE015
表示对时间
Figure 313385DEST_PATH_IMAGE001
求偏导数，
Figure 41301DEST_PATH_IMAGE016
表示虚数单位，*表示卷积运算，
Figure DEST_PATH_IMAGE017
.为数学符号，表示约束 条件，
Figure 234385DEST_PATH_IMAGE008
表示输入信号；
引入拉格朗日乘法算子
Figure 904401DEST_PATH_IMAGE018
，将该约束变分问题转变为非约束变分问题，得到如下 增广拉格朗日表达式，其中
Figure DEST_PATH_IMAGE019
为二次惩罚因子，一般与数据中的高斯噪声级别成反比，用于 降低噪声的干扰，提高重构保真度，扩展拉格朗日表达式ζ，其中，
Figure 297948DEST_PATH_IMAGE018
表示拉格朗日算子，具 体为：
Figure DEST_PATH_IMAGE021
在开始分解前，需要先初始化
Figure 875560DEST_PATH_IMAGE022
、
Figure DEST_PATH_IMAGE023
、
Figure 877145DEST_PATH_IMAGE024
，将
Figure DEST_PATH_IMAGE025
设为0，并设定分解分量个数
Figure 249221DEST_PATH_IMAGE012
。开 始分解时，先将
Figure 851104DEST_PATH_IMAGE025
递增为1，分别求解当
Figure 186401DEST_PATH_IMAGE026
时上述拉格朗日表达式的解，并将每次 求解时获得的
Figure 557340DEST_PATH_IMAGE009
、
Figure 834737DEST_PATH_IMAGE011
赋值给
Figure DEST_PATH_IMAGE027
、
Figure 940228DEST_PATH_IMAGE028
。
当
Figure DEST_PATH_IMAGE029
时所获得的
Figure 859642DEST_PATH_IMAGE012
个分量求解结束以后，令
Figure 288349DEST_PATH_IMAGE030
为迭代模 态求解结束的条件并检验其是否满足，其中
Figure DEST_PATH_IMAGE031
为给定的阈值，如不满足，则令
Figure 750030DEST_PATH_IMAGE032
，并更新 拉格朗日算子为
Figure DEST_PATH_IMAGE033
，其中
Figure 857663DEST_PATH_IMAGE034
为满足信号分解的保真度要求 的噪声容忍度，开始
Figure 49610DEST_PATH_IMAGE032
时各分量的求解，继续检验
Figure 880294DEST_PATH_IMAGE030
是否满足，如 不满足，则继续按
Figure 499494DEST_PATH_IMAGE033
更新拉格朗日算子，并进行
Figure 297686DEST_PATH_IMAGE025
继续递 增1的各模态结果求解，直至满足迭代求解的结束条件。
需要说明的是，通过卷积神经网络提取多波长特征，具体为：
搭建深度卷积神经网络，选择不同光波长各自的波峰位置、峰强度、峰宽、峰面积及相互的特征值比例、各特征值线性相加结果作为特征，在深度卷积神经网络结构中设置对应特征的不同滤波器；
根据所述数据集根据时序进行划分将前40%数据作为深度卷积神经网络训练集，根据所述深度卷积神经网络训练集对深度卷积神经网络进行使深度卷积神经网络拟合结果最好的训练训练，则该CNN中的卷积层则可被认为是最佳卷积层，通过训练后的深度卷积神经网络的卷积层提取数据集的多波长特征，形成多波长特征空间。
需要说明的是，所述的基于卷积神经网络及长短期记忆人工神经网络构建CNN-LSTM融合网络模型，并进行CNN-LSTM融合网络模型的训练，具体为：
根据所述数据集根据时序进行划分将中间40%数据作为CNN-LSTM融合网络训练集，将后20%数据作为CNN-LSTM融合网络测试集；
获取所述多波长特征空间中1至
Figure 965428DEST_PATH_IMAGE001
时刻信号的特征向量、对应的血脂结果序列
Figure 165465DEST_PATH_IMAGE002
及目标对象的年龄、性别生理特征作为长短期记忆人工神经网络的第一次 训练输入，将下一时刻的血脂值
Figure 706299DEST_PATH_IMAGE003
作为长短期记忆人工神经网络输出结果的真实 值；
在长短期记忆人工神经网络的第二次训练时，将血脂结果序列更新为
Figure 726208DEST_PATH_IMAGE004
，多波长特征更新为2至
Figure 525536DEST_PATH_IMAGE005
时刻信号的特征向量，结合目标对象的 年龄、性别生理特征作为长短期记忆人工神经网络的第二次训练输入，将血脂值
Figure 580080DEST_PATH_IMAGE006
作为长短期记忆人工神经网络输出结果的真实值，以此类推，对CNN-LSTM融合网络模型进 行迭代训练；
根据迭代训练调整CNN-LSTM融合网络模型的网络参数，不断改善拟合效果。
需要说明的是，所述的通过训练好的CNN-LSTM融合网络模型进行血脂含量检测，并进行检测准确率评估，具体为：
先将CNN-LSTM网络训练集
Figure 26236DEST_PATH_IMAGE001
时刻的信号输入CNN网络，从其卷积层的输出获得特征 向量，再将对应血脂真实值及对应测试者的年龄、性别，三者同时作为LSTM网络的输入，则 可获得CNN-LSTM网络测试集第1时刻的血脂值；
再将CNN-LSTM网络训练集
Figure 799020DEST_PATH_IMAGE007
时刻与测试集第1时刻的信号CNN-LSTM融合网络 模型，则获得CNN-LSTM网络测试集第2时刻的预测血脂值，以此类推，获取CNN-LSTM网络测 试集中所有时刻的预测血脂值；
将CNN-LSTM网络测试集中所有时刻的预测血脂值与对应有创血脂值进行对比生成检测准确率；
判断所述检测准确率是否大于等于预设检测准确率阈值，若大于等于，则说明CNN-LSTM融合网络模型满足预设检测准确率标准；若小于，则生成修正信息，通过所述修正信息对CNN-LSTM融合网络模型进行修正。
图2示出了本发明一种基于多波长的PPG信号的无创血脂检测系统的框图。
本发明第二方面还提供了一种基于多波长的PPG信号的无创血脂检测系统2，该系统包括：存储器21、处理器22，所述存储器中包括一种基于多波长的PPG信号的无创血脂检测方法程序，所述一种基于多波长的PPG信号的无创血脂检测方法程序被所述处理器执行时实现如下步骤：
获取目标对象指尖的多波长多通道的PPG信号及对应有创血脂值；
对多通道的信号通过变分模态分解进行去噪处理，将去噪后的PPG信号及对应的有创血脂值按时间进行排序生成数据集；
通过卷积神经网络提取多波长特征，生成多波长特征空间，基于卷积神经网络及长短期记忆人工神经网络构建CNN-LSTM融合网络模型，并进行CNN-LSTM融合网络模型的训练；
通过训练好的CNN-LSTM融合网络模型进行血脂含量检测，并进行检测准确率评估。
需要说明的是，在目标对象同一只手的不同手指指尖处进行不同光波长的信号采集，分别使用500nm、800nm、1000nm、1400nm的光波长，并记录随时间变化的等时间间隔的有创血脂值。
由于同一时刻各波长的交流频率分布情况类似，对多通道的信号使用变分模态分解（VMD）进行去噪处理，VMD可根据给定的模态分解个数要求，在随后的信号模态求解中自适应地匹配每种模态的最佳中心频率和有限带宽，变分模态分解的具体步骤为：
设某波长获得的信号作为输入信号
Figure 870881DEST_PATH_IMAGE008
，该信号分解成离散的子信号（即模态）为
Figure 983194DEST_PATH_IMAGE009
，对应模态中心频率为
Figure 659638DEST_PATH_IMAGE011
，
Figure 857401DEST_PATH_IMAGE012
为分解的模态个数；
为了保证分解序列为具有中心频率的有限带宽的模态分量，同时各模态的估计带宽之和最小，令约束条件为所有模态之和为原始信号，则相应约束变分表达式为：
Figure 732953DEST_PATH_IMAGE013
,
Figure DEST_PATH_IMAGE035
.
其中，
Figure 293248DEST_PATH_IMAGE009
表示所有模态集合，
Figure 81206DEST_PATH_IMAGE011
表示各模态对应的中心频率，
Figure 94162DEST_PATH_IMAGE014
表示冲激函 数，
Figure 507825DEST_PATH_IMAGE015
表示对时间
Figure 391468DEST_PATH_IMAGE001
求偏导数，
Figure 350328DEST_PATH_IMAGE016
表示虚数单位，*表示卷积运算，
Figure 319421DEST_PATH_IMAGE036
为数学符号，表示约束 条件，
Figure 740038DEST_PATH_IMAGE008
表示输入信号；
引入拉格朗日乘法算子
Figure 478187DEST_PATH_IMAGE018
，将该约束变分问题转变为非约束变分问题，得到如下 增广拉格朗日表达式，其中
Figure 122795DEST_PATH_IMAGE019
为二次惩罚因子，一般与数据中的高斯噪声级别成反比，用于 降低噪声的干扰，提高重构保真度，扩展拉格朗日表达式ζ，其中，
Figure 329916DEST_PATH_IMAGE018
表示拉格朗日算子，具 体为：
Figure 350962DEST_PATH_IMAGE038
在开始分解前，需要先初始化
Figure 209196DEST_PATH_IMAGE022
、
Figure 24706DEST_PATH_IMAGE023
、
Figure 906074DEST_PATH_IMAGE024
，将
Figure 213034DEST_PATH_IMAGE025
设为0，并设定分解分量个数
Figure 925775DEST_PATH_IMAGE012
。开 始分解时，先将
Figure 912186DEST_PATH_IMAGE025
递增为1，分别求解当
Figure 343167DEST_PATH_IMAGE026
时上述拉格朗日表达式的解，并将每次 求解时获得的
Figure 456748DEST_PATH_IMAGE009
、
Figure 23995DEST_PATH_IMAGE011
赋值给
Figure 181307DEST_PATH_IMAGE027
、
Figure 834005DEST_PATH_IMAGE028
。
当
Figure 485698DEST_PATH_IMAGE029
时所获得的
Figure 376293DEST_PATH_IMAGE012
个分量求解结束以后，令
Figure 704506DEST_PATH_IMAGE030
为迭代模 态求解结束的条件并检验其是否满足，其中
Figure 844501DEST_PATH_IMAGE031
为给定的阈值，如不满足，则令
Figure 283572DEST_PATH_IMAGE032
，并更新 拉格朗日算子为
Figure 576144DEST_PATH_IMAGE033
，其中
Figure 75259DEST_PATH_IMAGE034
为满足信号分解的保真度要求 的噪声容忍度，开始
Figure 702549DEST_PATH_IMAGE032
时各分量的求解，继续检验
Figure 210891DEST_PATH_IMAGE030
是否满足，如 不满足，则继续按
Figure 620619DEST_PATH_IMAGE033
更新拉格朗日算子，并进行
Figure 290635DEST_PATH_IMAGE025
继续递 增1的各模态结果求解，直至满足迭代求解的结束条件。
需要说明的是，通过卷积神经网络提取多波长特征，具体为：
搭建深度卷积神经网络，选择不同光波长各自的波峰位置、峰强度、峰宽、峰面积及相互的特征值比例、各特征值线性相加结果作为特征，在深度卷积神经网络结构中设置对应特征的不同滤波器；
根据所述数据集根据时序进行划分将前40%数据作为深度卷积神经网络训练集，根据所述深度卷积神经网络训练集对深度卷积神经网络进行使深度卷积神经网络拟合结果最好的训练训练，则该CNN中的卷积层则可被认为是最佳卷积层，通过训练后的深度卷积神经网络的卷积层提取数据集的多波长特征，形成多波长特征空间。
需要说明的是，所述的基于卷积神经网络及长短期记忆人工神经网络构建CNN-LSTM融合网络模型，并进行CNN-LSTM融合网络模型的训练，具体为：
根据所述数据集根据时序进行划分将中间40%数据作为CNN-LSTM融合网络训练集，将后20%数据作为CNN-LSTM融合网络测试集；
获取所述多波长特征空间中1至
Figure 139642DEST_PATH_IMAGE001
时刻信号的特征向量、对应的血脂结果序列
Figure 186096DEST_PATH_IMAGE002
及目标对象的年龄、性别生理特征作为长短期记忆人工神经网络的第一次 训练输入，将下一时刻的血脂值
Figure 905790DEST_PATH_IMAGE003
作为长短期记忆人工神经网络输出结果的真实 值；
在长短期记忆人工神经网络的第二次训练时，将血脂结果序列更新为
Figure 497440DEST_PATH_IMAGE004
，多波长特征更新为2至
Figure 833743DEST_PATH_IMAGE005
时刻信号的特征向量，结合目标对象的 年龄、性别生理特征作为长短期记忆人工神经网络的第二次训练输入，将血脂值
Figure 418308DEST_PATH_IMAGE006
作为长短期记忆人工神经网络输出结果的真实值，以此类推，对CNN-LSTM融合网络模型进 行迭代训练；
根据迭代训练调整CNN-LSTM融合网络模型的网络参数，不断改善拟合效果。
需要说明的是，所述的通过训练好的CNN-LSTM融合网络模型进行血脂含量检测，并进行检测准确率评估，具体为：
先将CNN-LSTM网络训练集
Figure 789246DEST_PATH_IMAGE001
时刻的信号输入CNN网络，从其卷积层的输出获得特征 向量，再将对应血脂真实值及对应测试者的年龄、性别，三者同时作为LSTM网络的输入，则 可获得CNN-LSTM网络测试集第1时刻的血脂值；
再将CNN-LSTM网络训练集
Figure 817376DEST_PATH_IMAGE007
时刻与测试集第1时刻的信号CNN-LSTM融合网络 模型，则获得CNN-LSTM网络测试集第2时刻的预测血脂值，以此类推，获取CNN-LSTM网络测 试集中所有时刻的预测血脂值；
将CNN-LSTM网络测试集中所有时刻的预测血脂值与对应有创血脂值进行对比生成检测准确率；
判断所述检测准确率是否大于等于预设检测准确率阈值，若大于等于，则说明CNN-LSTM融合网络模型满足预设检测准确率标准；若小于，则生成修正信息，通过所述修正信息对CNN-LSTM融合网络模型进行修正。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于多波长的PPG信号的无创血脂检测方法，其特征在于，包括以下步骤：
获取目标对象指尖的多波长多通道的PPG信号及对应有创血脂值；
对多通道的信号通过变分模态分解进行去噪处理，将去噪后的PPG信号及对应的有创血脂值按时间进行排序生成数据集；
通过卷积神经网络提取多波长特征，生成多波长特征空间，基于卷积神经网络及长短期记忆人工神经网络构建CNN-LSTM融合网络模型，并进行CNN-LSTM融合网络模型的训练；
通过训练好的CNN-LSTM融合网络模型进行血脂含量检测，并进行检测准确率评估。
2.根据权利要求1所述的一种基于多波长的PPG信号的无创血脂检测方法，其特征在于，在目标对象同一只手的不同手指指尖处进行不同光波长的信号采集，分别使用500nm、800nm、1000nm、1400nm的光波长，并记录随时间变化的等时间间隔的有创血脂值。
3.根据权利要求1所述的一种基于多波长的PPG信号的无创血脂检测方法，其特征在于，通过卷积神经网络提取多波长特征，具体为：
搭建深度卷积神经网络，选择不同光波长各自的波峰位置、峰强度、峰宽、峰面积及相互的特征值比例、各特征值线性相加结果作为特征，在深度卷积神经网络结构中设置对应特征的不同滤波器；
根据所述数据集根据时序进行划分将前40%数据作为深度卷积神经网络训练集，根据所述深度卷积神经网络训练集对深度卷积神经网络进行训练，通过训练后的深度卷积神经网络的卷积层提取数据集的多波长特征，形成多波长特征空间。
4.根据权利要求1所述的一种基于多波长的PPG信号的无创血脂检测方法，其特征在于，所述的基于卷积神经网络及长短期记忆人工神经网络构建CNN-LSTM融合网络模型，并进行CNN-LSTM融合网络模型的训练，具体为：
根据所述数据集根据时序进行划分将中间40%数据作为CNN-LSTM融合网络训练集，将后20%数据作为CNN-LSTM融合网络测试集；
获取所述多波长特征空间中1至
Figure DEST_PATH_IMAGE001
时刻信号的特征向量、对应的血脂结果序列
Figure 316157DEST_PATH_IMAGE002
及目标对象的年龄、性别生理特征作为长短期记忆人工神经网络的第一次 训练输入，将下一时刻的血脂值
Figure DEST_PATH_IMAGE003
作为长短期记忆人工神经网络输出结果的真实 值；
在长短期记忆人工神经网络的第二次训练时，将血脂结果序列更新为
Figure 594692DEST_PATH_IMAGE004
，多波长特征更新为2至
Figure DEST_PATH_IMAGE005
时刻信号的特征向量，结合目标对象的 年龄、性别生理特征作为长短期记忆人工神经网络的第二次训练输入，将血脂值
Figure 24667DEST_PATH_IMAGE006
作为长短期记忆人工神经网络输出结果的真实值，以此类推，对CNN-LSTM融合网络模型进 行迭代训练；
根据迭代训练调整CNN-LSTM融合网络模型的网络参数，不断改善拟合效果。
5.根据权利要求1所述的一种基于多波长的PPG信号的无创血脂检测方法，其特征在于，所述的通过训练好的CNN-LSTM融合网络模型进行血脂含量检测，并进行检测准确率评估，具体为：
通过训练好的CNN-LSTM融合网络模型根据CNN-LSTM网络训练集
Figure 705047DEST_PATH_IMAGE001
时刻信号获取CNN- LSTM网络测试集第1时刻的预测血脂值；
再将CNN-LSTM网络训练集
Figure DEST_PATH_IMAGE007
时刻与测试集第1时刻的信号CNN-LSTM融合网络模型， 则获得CNN-LSTM网络测试集第2时刻的预测血脂值，以此类推，获取CNN-LSTM网络测试集中 所有时刻的预测血脂值；
将CNN-LSTM网络测试集中所有时刻的预测血脂值与对应有创血脂值进行对比生成检测准确率；
判断所述检测准确率是否大于等于预设检测准确率阈值，若大于等于，则说明CNN-LSTM融合网络模型满足预设检测准确率标准；若小于，则生成修正信息，通过所述修正信息对CNN-LSTM融合网络模型进行修正。
6.一种基于多波长的PPG信号的无创血脂检测系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括一种基于多波长的PPG信号的无创血脂检测方法程序，所述一种基于多波长的PPG信号的无创血脂检测方法程序被所述处理器执行时实现如下步骤：
获取目标对象指尖的多波长多通道的PPG信号及对应有创血脂值；
对多通道的信号通过变分模态分解进行去噪处理，将去噪后的PPG信号及对应的有创血脂值按时间进行排序生成数据集；
通过卷积神经网络提取多波长特征，生成多波长特征空间，基于卷积神经网络及长短期记忆人工神经网络构建CNN-LSTM融合网络模型，并进行CNN-LSTM融合网络模型的训练；
通过训练好的CNN-LSTM融合网络模型进行血脂含量检测，并进行检测准确率评估。
7.根据权利要求6所述的一种基于多波长的PPG信号的无创血脂检测系统，其特征在于，通过卷积神经网络提取多波长特征，具体为：
搭建深度卷积神经网络，选择不同光波长各自的波峰位置、峰强度、峰宽、峰面积及相互的特征值比例、各特征值线性相加结果作为特征，在深度卷积神经网络结构中设置对应特征的不同滤波器；
根据所述数据集根据时序进行划分将前40%数据作为深度卷积神经网络训练集，根据所述深度卷积神经网络训练集对深度卷积神经网络进行训练，通过训练后的深度卷积神经网络的卷积层提取数据集的多波长特征，形成多波长特征空间。
8.根据权利要求6所述的一种基于多波长的PPG信号的无创血脂检测系统，其特征在于，所述的基于卷积神经网络及长短期记忆人工神经网络构建CNN-LSTM融合网络模型，并进行CNN-LSTM融合网络模型的训练，具体为：
根据所述数据集根据时序进行划分将中间40%数据作为CNN-LSTM融合网络训练集，将后20%数据作为CNN-LSTM融合网络测试集；
获取所述多波长特征空间中1至
Figure 913175DEST_PATH_IMAGE001
时刻信号的特征向量、对应的血脂结果序列
Figure 633000DEST_PATH_IMAGE002
及目标对象的年龄、性别生理特征作为长短期记忆人工神经网络的第一次 训练输入，将下一时刻的血脂值
Figure 850355DEST_PATH_IMAGE003
作为长短期记忆人工神经网络输出结果的真实 值；
在长短期记忆人工神经网络的第二次训练时，将血脂结果序列更新为
Figure 854083DEST_PATH_IMAGE004
，多波长特征更新为2至
Figure 233112DEST_PATH_IMAGE005
时刻信号的特征向量，结合目标对象的 年龄、性别生理特征作为长短期记忆人工神经网络的第二次训练输入，将血脂值
Figure 440233DEST_PATH_IMAGE006
作为长短期记忆人工神经网络输出结果的真实值，以此类推，对CNN-LSTM融合网络模型进 行迭代训练；
根据迭代训练调整CNN-LSTM融合网络模型的网络参数，不断改善拟合效果。
9.根据权利要求6所述的一种基于多波长的PPG信号的无创血脂检测系统，其特征在于，所述的通过训练好的CNN-LSTM融合网络模型进行血脂含量检测，并进行检测准确率评估，具体为：
通过训练好的CNN-LSTM融合网络模型根据CNN-LSTM网络训练集
Figure 195700DEST_PATH_IMAGE001
时刻信号获取CNN- LSTM网络测试集第1时刻的预测血脂值；
再将CNN-LSTM网络训练集
Figure 788355DEST_PATH_IMAGE007
时刻与测试集第1时刻的信号CNN-LSTM融合网络模型， 则获得CNN-LSTM网络测试集第2时刻的预测血脂值，以此类推，获取CNN-LSTM网络测试集中 所有时刻的预测血脂值；
将CNN-LSTM网络测试集中所有时刻的预测血脂值与对应有创血脂值进行对比生成检测准确率；
判断所述检测准确率是否大于等于预设检测准确率阈值，若大于等于，则说明CNN-LSTM融合网络模型满足预设检测准确率标准；若小于，则生成修正信息，通过所述修正信息对CNN-LSTM融合网络模型进行修正。
CN202210463153.4A 2022-04-29 2022-04-29 基于多波长的ppg信号的无创血脂检测方法及系统 Expired - Fee Related CN114557691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210463153.4A CN114557691B (zh) 2022-04-29 2022-04-29 基于多波长的ppg信号的无创血脂检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210463153.4A CN114557691B (zh) 2022-04-29 2022-04-29 基于多波长的ppg信号的无创血脂检测方法及系统

Publications (2)

Publication Number Publication Date
CN114557691A true CN114557691A (zh) 2022-05-31
CN114557691B CN114557691B (zh) 2022-08-02

Family

ID=81720732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210463153.4A Expired - Fee Related CN114557691B (zh) 2022-04-29 2022-04-29 基于多波长的ppg信号的无创血脂检测方法及系统

Country Status (1)

Country Link
CN (1) CN114557691B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115998295A (zh) * 2023-03-24 2023-04-25 广东工业大学 一种结合远近红外光的血脂估测方法、系统及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019161411A1 (en) * 2018-02-17 2019-08-22 Sanmina Corporation System and method for obtaining health data using a neural network
CN112084810A (zh) * 2019-06-12 2020-12-15 杭州海康威视数字技术股份有限公司 一种障碍物检测方法、装置、电子设备及存储介质
CN112836647A (zh) * 2021-02-05 2021-05-25 合肥工业大学 一种基于ppg信号的无创式甘油三酯估计系统
CN113229799A (zh) * 2021-06-23 2021-08-10 山东大学 一种ppg心率估计方法、系统、存储介质、设备
WO2021164346A1 (zh) * 2020-02-21 2021-08-26 乐普（北京）医疗器械股份有限公司 一种预测血压的方法和装置
CN113616201A (zh) * 2021-07-12 2021-11-09 深圳市脉度科技有限公司 一种ppg传感器、生理参数传感器及智能可穿戴设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019161411A1 (en) * 2018-02-17 2019-08-22 Sanmina Corporation System and method for obtaining health data using a neural network
CN112084810A (zh) * 2019-06-12 2020-12-15 杭州海康威视数字技术股份有限公司 一种障碍物检测方法、装置、电子设备及存储介质
WO2021164346A1 (zh) * 2020-02-21 2021-08-26 乐普（北京）医疗器械股份有限公司 一种预测血压的方法和装置
CN112836647A (zh) * 2021-02-05 2021-05-25 合肥工业大学 一种基于ppg信号的无创式甘油三酯估计系统
CN113229799A (zh) * 2021-06-23 2021-08-10 山东大学 一种ppg心率估计方法、系统、存储介质、设备
CN113616201A (zh) * 2021-07-12 2021-11-09 深圳市脉度科技有限公司 一种ppg传感器、生理参数传感器及智能可穿戴设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115998295A (zh) * 2023-03-24 2023-04-25 广东工业大学 一种结合远近红外光的血脂估测方法、系统及装置

Also Published As

Publication number Publication date
CN114557691B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
US11562222B2 (en) Systems and methods of identity analysis of electrocardiograms
CN107374646B (zh) 基于近红外技术的血糖检测装置及方法、电子装置
US20130211271A1 (en) Method and apparatus for eliminating motion artifacts of bio signal using personalized bio signal pattern
CN112788200B (zh) 频谱信息的确定方法及装置、存储介质、电子装置
CN114557691B (zh) 基于多波长的ppg信号的无创血脂检测方法及系统
Periyasamy et al. Review on heart-rate estimation from photoplethysmography and accelerometer signals during physical exercise
CN115281685A (zh) 基于异常检测的睡眠分期识别方法、装置以及计算机可读存储介质
Yen et al. Estimation of beat-by-beat blood pressure and heart rate from ECG and PPG using a fine-tuned deep CNN model
Qayyum et al. Assessment of physiological states from contactless face video: a sparse representation approach
CN114569097A (zh) 基于耳廓ppg信号预处理的血压预测方法、系统及介质
Wang et al. Ppg signal reconstruction using deep convolutional generative adversarial network
CN111598966B (zh) 一种基于生成对抗网络的磁共振成像方法及装置
CN117357080A (zh) 近红外光谱信号去噪方法及装置、终端设备、存储介质
Botina-Monsalve et al. Performance analysis of remote photoplethysmography deep filtering using long short-term memory neural network
JP2023116614A (ja) 心血管パラメータを決定するための方法及びシステム
CN116327133A (zh) 一种多生理指标检测方法、装置及相关设备
Sivanjaneyulu et al. Cnn based ppg signal quality assessment using raw ppg signal for energy-efficient ppg analysis devices in internet of medical things
CN115836847A (zh) 一种血压预测装置及设备
Sun et al. Adaptive low-power wrist SpO2 monitoring system design using a multi-filtering scheme
CN112545461A (zh) 一种无创血红蛋白浓度值的检测方法、装置、系统及计算机可读存储介质
Martinez et al. Strategic attention learning for modality translation
Leong et al. Cuffless Non-invasive Blood Pressure Measurement Using CNN-LSTM Model: A Correlation Study
US20230148880A1 (en) Method and system for determining cardiovascular parameters
Long et al. Reconstruction of Corrupted Photoplethysmography Signals Using Recursive Generative Adversarial Networks
CN111214218B (zh) 一种多生理参数的检测设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220802