CN117530666B - 呼吸异常识别模型训练方法、呼吸异常识别方法及设备 - Google Patents

呼吸异常识别模型训练方法、呼吸异常识别方法及设备 Download PDF

Info

Publication number
CN117530666B
CN117530666B CN202410007197.5A CN202410007197A CN117530666B CN 117530666 B CN117530666 B CN 117530666B CN 202410007197 A CN202410007197 A CN 202410007197A CN 117530666 B CN117530666 B CN 117530666B
Authority
CN
China
Prior art keywords
pulse
data
dimensional
respiratory
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410007197.5A
Other languages
English (en)
Other versions
CN117530666A (zh
Inventor
赵翔
王泽涛
陈兆希
张闻宇
王威
丁玉国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Qinglei Technology Co ltd
Shenzhen Qinglei Technology Co ltd
Beijing Qinglei Technology Co ltd
Original Assignee
Changsha Qinglei Technology Co ltd
Shenzhen Qinglei Technology Co ltd
Beijing Qinglei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Qinglei Technology Co ltd, Shenzhen Qinglei Technology Co ltd, Beijing Qinglei Technology Co ltd filed Critical Changsha Qinglei Technology Co ltd
Priority to CN202410007197.5A priority Critical patent/CN117530666B/zh
Publication of CN117530666A publication Critical patent/CN117530666A/zh
Application granted granted Critical
Publication of CN117530666B publication Critical patent/CN117530666B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4818Sleep apnoea
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00Data types
    • G06F2123/02Data types in the time domain, e.g. time-series data

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Physiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Cardiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种呼吸异常识别模型训练方法、呼吸异常识别方法及设备,所述呼吸异常识别方法包括获取雷达信号和脉搏信号;利用呼吸异常识别模型对雷达信号的一维雷达时序数据、二维雷达谱图数据以及脉搏信号的一维脉搏时序数据、二维脉搏谱图数据进行识别,呼吸异常识别模型包括第一特征提取网络、第二特征提取网络和分类模块,其中第一特征提取网络用于提取多尺度特征并进行融合,得到时序数据特征,第二特征提取网络用于提取多尺度特征并进行融合,得到谱图数据特征,分类模块用于根据时序数据特征和谱图数据特征输出呼吸异常事件类型信息。本发明可以提高呼吸异常识别模型输出结果的准确性,准确的识别出呼吸异常事件。

Description

呼吸异常识别模型训练方法、呼吸异常识别方法及设备
技术领域
本发明涉及医学诊断领域,具体涉及一种呼吸异常识别模型训练方法、呼吸异常识别方法及设备。
背景技术
睡眠呼吸暂停综合征(sleep apnea syndrome,SAS)是以睡眠中发生异常呼吸事件为特征的一组疾病,其主要危害是造成脑、心、肾、肺等重要脏器损害,影响监测对象的劳动能力和生活质量,严重时可影响寿命。准确地识别呼吸异常,可以使睡眠者能够采取针对性的措施来改善睡眠和呼吸健康。
睡眠监测医学上的金标准是多导睡眠图(Polysomnography,PSG)和估计呼吸暂停指数(Apnea-Hypopnea Index,AHI),这些方法会耗费大量人力成本。现有技术中一些通过雷达设备实现睡眠呼吸检测的方法会在呼吸异常事件检测过程中会丢失重要信息,进而导致睡眠呼吸异常事件检测的准确性差。
发明内容
有鉴于此,本发明第一方面提供了一种呼吸异常识别模型训练方法,该方法包括:
训练数据,包括基于雷达信号得到的一维雷达时序数据和二维雷达谱图数据、基于脉搏信号得到的一维脉搏时序数据和二维脉搏谱图数据,以及作为标签的呼吸异常事件类型信息;
利用所述训练数据训练呼吸异常识别模型,所述呼吸异常识别模型包括第一特征提取网络、第二特征提取网络和分类模块,其中第一特征提取网络用于从一维雷达时序数据和一维脉搏时序数据中提取多尺度特征并进行融合,得到时序数据特征,第二特征提取网络用于从二维雷达谱图数据和二维脉搏谱图数据中提取多尺度特征并进行融合,得到谱图数据特征,所述分类模块用于根据所述时序数据特征和所述谱图数据特征输出呼吸异常事件类型信息,所述呼吸异常识别模型根据输出的呼吸异常事件类型信息与所述标签的差异计算损失函数,根据所述损失函数优化模型参数。
可选地,所述损失函数为:
其中,
其中,表示损失函数,/>表示交叉熵损失函数,/>表示几何损失函数,/>表示所述训练数据的数量,/>表示第k类呼吸异常事件的训练数据的占比,t表示时刻/> />表示所述呼吸异常识别模型针对第i个所述训练数据输出的呼吸异常事件类型为k的概率,表示第i个所述训练数据中在t时刻对应的标签,X表示所述呼吸异常识别模型输出的呼吸异常事件类型信息集合,Y表示所述训练数据中的标签集合。
本发明第二方面提供了一种呼吸异常识别方法,该方法包括:
获取雷达信号和脉搏信号;
根据所述雷达信号得到一维雷达时序数据和二维雷达谱图数据,根据所述脉搏信号得到一维脉搏时序数据和二维脉搏谱图数据;
利用呼吸异常识别模型对所述一维雷达时序数据、二维雷达谱图数据、一维脉搏时序数据和二维脉搏谱图数据进行识别,所述呼吸异常识别模型包括第一特征提取网络、第二特征提取网络和分类模块,其中第一特征提取网络用于从一维雷达时序数据和一维脉搏时序数据中提取多尺度特征并进行融合,得到时序数据特征,第二特征提取网络用于从二维雷达谱图数据和二维脉搏谱图数据中提取多尺度特征并进行融合,得到谱图数据特征,所述分类模块用于根据所述时序数据特征和所述谱图数据特征输出呼吸异常事件类型信息。
可选地,在得到所述呼吸异常事件类型信息后,还包括:
对呼吸异常事件类型信息进行二值化判定;
对于二值化判定结果中的异常事件,取异常事件对应的时间段内出现最多的呼吸异常事件类型信息作为所述时间段的呼吸异常事件类型;
去除所述异常事件中低于时间阈值的虚警异常事件。
可选地,所述一维雷达时序数据包括:呼吸相位信号。
可选地,按照如下方式获得所述呼吸相位信号:
对所述雷达信号进行汉明窗加窗傅里叶变换,得到复数值的时间距离像;
对所述时间距离像进行峰值提取,得到呼吸相位信号。
可选地,所述二维雷达谱图数据包括:呼吸强度、体动强度、呼吸多普勒。
可选地,按照如下方式获得所述呼吸强度:
对所述雷达信号进行低通滤波,得到呼吸信号;
提取所述呼吸信号中的呼吸强度;
按照如下方式获得所述体动强度:
获取低通滤波滤除的雷达信号,得到体动信号;
提取所述呼吸信号中的体动强度;
按照如下方式获得所述呼吸多普勒:
对所述雷达信号进行弱化能量差异和高通滤波,得到呼吸微动信号;
对所述呼吸微动信号进行多普勒计算和非线性压缩,得到呼吸多普勒。
可选地,所述一维脉搏时序数据包括:脉搏能量包络、脉搏间期。
可选地,按照如下方式获得所述脉搏能量包络:
对所述脉搏信号进行带通滤波和伪影处理,得到标准脉搏信号;
对所述标准脉搏信号进行包络分析,得到能量包络;
按照如下方式获得所述脉搏间期:
选取所述标准脉搏信号的峰值点,得到脉搏间期。
可选地,所述二维脉搏谱图数据包括:脉搏时频谱图。
可选地,按照如下方式获得所述脉搏时频谱图:
对所述脉搏信号进行带通滤波和伪影处理,得到标准脉搏信号;
对所述标准脉搏信号进行滑窗傅里叶变换,得到脉搏时频谱图。
本发明第三方面,还提供了一种电子设备,该设备包括:处理器以及与所述处理器连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令被所述处理器执行,以使所述处理器执行上述的方法。
本发明提供的呼吸异常识别模型训练方法、呼吸异常识别方法通过对采集的雷达信号和脉搏信号进行预处理得到一维脉搏时序数据和二维脉搏谱图数据,对雷达回波信号和脉搏波信号进行预处理可以获得与睡眠呼吸相关的多种特征,这些特征可以准确提供有关体动、呼吸、血氧等方面的信息,然后利用训练得到呼吸异常识别模型对一维脉搏时序数据和二维脉搏谱图数据进行特征提取和识别分类,训练得到的呼吸异常识别模型通过两个独立的卷积特征提取网络对雷达和脉搏的数据分别进行特征提取并在多尺度特征图上进行特征融合,利用全连接层对谱图和时序信号进行决策层融合和分类,由于呼吸异常识别模型在训练阶段利用损失函数进行不断优化,而且提取到多种可以反映睡眠的特征,因此,在识别阶段可以实现呼吸异常识别模型对呼吸异常事件的准确检测。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中的呼吸异常识别模型训练方法的流程图;
图2为本发明实施例中第一特征提取网络的结构示意图;
图3为本发明实施例中第二特征提取网络的结构示意图;
图4为本发明实施例中的呼吸异常识别方法的流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
如图1所示,本发明实施例提供一种呼吸异常识别模型训练方法,该方法可以由计算机或服务器等电子设备执行,包括:
S11,获取训练数据,包括基于雷达信号得到的一维雷达时序数据和二维雷达谱图数据、基于脉搏信号得到的一维脉搏时序数据和二维脉搏谱图数据,以及作为标签的呼吸异常事件类型信息。
雷达信号是由毫米波雷达设备采集得到,毫米波雷达设备可以安装在监测对象的卧室内屋顶的适当位置,雷达先发射调频连续波(FMCW)信号,一个周期内的FMCW信号为一个Chirp信号,信号调制方式为锯齿波,Chirp信号的周期为,连续发射的N个Chirp信号组成一帧,帧周期为/>,然后雷达接收返回的回波信号,回波信号与发射信号混频得到差频信号,后经高通滤波、低噪声放大、ADC采样得到数字化的回波信号,即上述的雷达信号。
脉搏信号是由戴在监测对象手腕的腕表设备采集得到,腕表设备内置有光学传感器,照射皮肤并检测反射光的强度变化来捕获脉搏波信息,当血液流经手腕的动脉时,血液的含氧量、血液流量等变化会导致反射光强度发生改变,光学传感器通过不断监测这些微小的光强变化,从而测量采集到脉搏信号。
呼吸异常事件类型信息为医生基于PSG标注的异常事件。
S12,利用训练数据训练呼吸异常识别模型,呼吸异常识别模型包括第一特征提取网络、第二特征提取网络和分类模块,其中第一特征提取网络用于从一维雷达时序数据和一维脉搏时序数据中提取多尺度特征并进行融合,得到时序数据特征,第二特征提取网络用于从二维雷达谱图数据和二维脉搏谱图数据中提取多尺度特征并进行融合,得到谱图数据特征,分类模块用于根据时序数据特征和谱图数据特征输出呼吸异常事件类型信息,呼吸异常识别模型根据输出的呼吸异常事件类型信息与标签的差异计算损失函数,根据损失函数优化模型参数。
进一步地,一维雷达时序数据包括:呼吸相位信号。
按照如下方式可以得到呼吸相位信号:对雷达信号进行汉明窗加窗傅里叶变换,得到复数值的时间距离像;对时间距离像进行峰值提取,得到呼吸相位信号。
具体地,将雷达信号记为,其中/>和/>分别表示快时间(一个扫频内的时刻下标)和慢时间(不同扫频的时刻下标),采用FMCW距离维成像的标准操作,对/>沿快时间/>进行汉明窗加窗傅里叶变换,得到的复数值时间-距离像/>,其中/>表示距离,/>仍表示慢时间(以下简称“时间”),然后从复数值的时间距离像中提取幅度谱信息和相位谱信息,利用幅度谱对相位谱进行加权,使用转换后的相位谱来重构得到呼吸相位信号。
进一步地,二维雷达谱图数据包括:呼吸强度、体动强度、呼吸多普勒。
按照如下方式可以得到呼吸强度、体动强度、呼吸多普勒:对雷达信号进行低通滤波,得到呼吸信号;提取呼吸信号中的呼吸强度。
具体地,由于低于一定频率的信号保留了呼吸的主要成分,因此对雷达信号进行低通滤波,保留低于截止频率的信号,即可得到呼吸信号,可以对呼吸信号进行幅度和频域分析得到呼吸强度大小。
按照如下方式可以得到体动强度:获取低通滤波滤除的雷达信号,得到体动信号;提取呼吸信号中的体动强度。
具体地,由于高于一定频率的信号保留了体动的主要成分,因此获取低通滤波过滤掉的信号,即高于截止频率的信号,得到体动信号,可以对体动信号进行幅度和频域分析得到体动强度大小。
按照如下方式可以得到呼吸多普勒:对雷达信号进行弱化能量差异和高通滤波,得到呼吸微动信号;对呼吸微动信号进行多普勒计算和非线性压缩,得到呼吸多普勒。
具体地,利用自动增益控制算法弱化不同环境下的雷达信号能量差异,再进行高通滤波滤除静止杂波,得到包含呼吸的微动信号,最后对微动信号执行多普勒算法和非线性压缩,得到呼吸多普勒。
进一步地,一维脉搏时序数据包括:脉搏能量包络、脉搏间期。
按照如下方式可以得到脉搏能量包络:对脉搏信号进行带通滤波和伪影处理,得到标准脉搏信号;对标准脉搏信号进行包络分析,得到能量包络。
具体地,首先对脉搏信号进行带通滤波,设置下限截止频率/>,上限截止频率,以滤除基带漂移(低于下限截止频率)和高频噪声(高于上限截止频率),滤波后得到,其中,下限截止频率可以设为0.1Hz,上限截止频率可以设为10Hz。然后对/>执行伪影检测算法,具体以8s作为窗口长度,进行滑窗FFT,获得频谱信息,提取频谱信息中的前80个频率分量(范围:0~10Hz)进行归一化,然后寻找主峰和相应的二次谐波、三次谐波位置,计算其余功率和三者的总功率与的比值,利用自适应阈值法动态调整阈值,并检测出能量波动差异点,得到伪影段索引seg_idx,对伪影段索引seg_idx进行小波变换滤除体动杂波信号,对滤除杂波信号的标准脉搏信号进行包络分析,得到能量包络。
按照如下方式可以得到脉搏间期:选取标准脉搏信号的峰值点,得到脉搏间期。
具体地,首先将上述得到的标准脉搏信号进行平方,得到对应点的能量信号,然后以收缩波的平均持续时间T=0.111为滑窗长度,对标准脉搏信号进行平滑,凸显收缩波,得到信号,同时以脉搏波的平均持续时间T=0.667为滑窗长度,对标准脉搏信号进行平滑,压缩收缩波,得到信号/>,接着利用信号叠加一定比例的能量信号求得各个时刻阈值/>,比较信号和阈值/>,得到收缩波的起始点和终止点,并寻找收缩波时间段内的极值点以及对应的俯冲值,最后选取俯冲值最大的极值点作为收缩波的峰值点,从而确定脉搏间期/>
进一步地,二维脉搏谱图数据包括:脉搏时频谱图。
按照如下方式可以得到脉搏时频谱图:对标准脉搏信号进行滑窗傅里叶变换,得到脉搏时频谱图。
具体地,对上述得到的标准脉搏信号进行滑窗傅里叶变换,得到时频谱图
上述操作对雷达信号和脉搏信号进行了预处理和分析,基于雷达信号经过预处理得到了的表示监测对象肢体运动、翻身等体动的强度的体动谱图、表示监测对象呼吸运动的强度的呼吸强度谱图、表示监测对象吸呼方式的呼吸多普勒谱图以及表征呼吸的一维呼吸相位时序信号,该类特征主要反映监测对象睡眠呼吸带来的体外微动特征;基于脉搏信号,经过预处理得到了表征血氧浓度的脉搏能量包络时序信号、表征与呼吸模态相关的脉搏间期信号以及表征脉搏信号的时频特性的时频谱图图像,该类特征反映了睡眠呼吸异常发生时伴随的生理信号的变化特点。
进一步地,步骤S12具体包括:
图2为第一特征提取网络的示意图,该网络是基于U-Time网络设计的结构,包括编码模块、解码模块和融合模块,其中,编码模块由四个卷积块组成,每个卷积块执行两个连续的卷积,每个卷积核的维度为5,两个连续卷积后接批量归一化操作和通过激活函数进行非线性变换,最后进行最大池化操作;解码模块由四个逆卷积块组成,每个逆卷积块对其输入执行最近邻上采样操作,四个逆卷积块生成的特征图(沿着卷积的维度)分别与编码层中的四个卷积块以相同比例计算的相应的特征图连接(类似于残差连接);融合模块将解码模块输出的一维雷达时序特征和一维脉搏时序特征进行融合,得到时序数据特征。
具体地,将3s、12s、24s的呼吸相位信号(一维雷达时序数据)、脉搏能量包络(一维脉搏时序数据)和脉搏间期(一维脉搏时序数据)输入编码模块经过两个卷积,以捕捉时序信号中局部模式和特征,然后进行批量归一化操作和通过激活函数进行非线性变换,以便网络表示更复杂的特征,接着进行最大池化操作减少了输入数据的维度,捕获时序数据的重要特征,从而输出不同尺度的雷达和脉搏时序特征,然后输入到解码模块将降采样的信号恢复到上一层的采用率,再将浅层和深层的语义信息进行融合,输出多尺度的雷达时序特征和脉搏时序特征,最后融合模块融合这两种时序特征,得到时序数据特征,可以提高数据的多模态表达能力,提供更全面和准确的特征表示,提高数据特征的准确性。
图3为第二特征提取网络的示意图,该网络是用来提取并融合二维雷达谱图数据和二维脉搏谱图数据的谱图特征,第二特征提取网络包括两个结构相似的卷积层、多尺度特征提取模块和融合模块,两个卷积层用于分别对二维雷达谱图数据和二维脉搏谱图数据进行更高层次的抽象提取,多尺度特征提取模块由残差模块RB-k和U-Net多尺度特征提取设计而成。
具体地,将谱图尺寸为55*[60*5*2]*3的二维雷达谱图数据和谱图尺寸为160*[60*5*2]*1的二维脉搏谱图数据分别输入对应的卷积层,其中,雷达谱图尺寸中的55代表选取较近处感兴趣的55个距离单元,这些距离单元足以覆盖监测对象的床铺区域,60*5*2代表在时间维度将输入谱图以2Hz进行采样,截取的信号时间长度为60*5s,该时间长度也可以不进行限制,3代表呼吸强度、体动强度和呼吸多普勒,脉搏谱图尺寸中的160代表选取的感兴趣的160个频率点,这些频率足以包含了脉搏波的各频率分量信息,1代表脉搏时频谱图。
然后将两个卷积层输出的特征经过融合模块融合,再输入到多尺度特征提取模块中,利用残差模块对不同尺度的信号进行特征提取,利用融合模块进行不同尺度的雷达谱图特征和脉搏谱图特征融合,最终得到谱图数据特征,可以获得具有更全面、更丰富特征表示的谱图数据特征。
分类模块是将上述两个特征提取网络得到的时序数据特征和谱图数据特征输入到全连接层,并根据医师在PSG上标注的异常事件进行比较和判断,从而实现时序信号的分割和分类功能,通过训练神经网络,全连接层能够学习到如何利用提取到的特征对异常事件进行准确的分类和预测,从而帮助自动化对异常事件的判断和识别,提高呼吸异常事件识别的准确性。
训练得到的呼吸异常识别模型需根据损失函数来不断优化模型的参数,损失函数如下:
其中,
其中,表示损失函数,/>表示交叉熵损失函数,/>表示几何损失函数,/>表示训练数据的数量,/>表示第k类呼吸异常事件的训练数据的占比,t表示时刻/> />表示呼吸异常识别模型针对第i个训练数据输出的呼吸异常事件类型为k的概率,/>表示第i个训练数据中在t时刻对应的标签,X表示呼吸异常识别模型输出的呼吸异常事件类型信息集合,Y表示训练数据中的标签集合。
损失函数是通过FocalLoss和DiceLoss的结合来实现的,其中DiceLoss主要用于计算几何损失,FocalLoss是交叉熵损失的变体,增强了对难样本的发掘,通过使用FocalLoss和Dice Loss的结合作为损失函数,可以在训练过程中平衡类别不平衡、处理难样本,并兼顾考虑交并比损失,这样的设计可以提高异常事件检测和分类的准确性。
如图4所示,本发明实施例提供一种呼吸异常识别方法,利用上述实施例所训练的识别模型,对一维雷达时序数据、二维雷达谱图数据、一维脉搏时序数据和二维脉搏谱图数据进行识别,具体包括:
S21,获取雷达信号和脉搏信号。雷达信号和脉搏信号都是在监测对象躺在床上的睡眠期间采集得到。
S22,根据雷达信号得到一维雷达时序数据和二维雷达谱图数据,根据脉搏信号得到一维脉搏时序数据和二维脉搏谱图数据。一维脉搏时序数据和二维脉搏谱图数据的获得与上述步骤S11的过程一样,在此不再赘述。
S23,利用呼吸异常识别模型对一维雷达时序数据、二维雷达谱图数据、一维脉搏时序数据和二维脉搏谱图数据进行识别,呼吸异常识别模型包括第一特征提取网络、第二特征提取网络和分类模块,其中第一特征提取网络用于从一维雷达时序数据和一维脉搏时序数据中提取多尺度特征并进行融合,得到时序数据特征,第二特征提取网络用于从二维雷达谱图数据和二维脉搏谱图数据中提取多尺度特征并进行融合,得到谱图数据特征,分类模块用于根据时序数据特征和谱图数据特征输出呼吸异常事件类型信息。呼吸异常事件类型信息包括低通气异常事件及改事件的时间段数据、呼吸暂停异常事件及改事件的时间段数据以及正常事件及改事件的时间段数据。
本发明实施例通过对采集的雷达信号和脉搏信号进行预处理得到一维脉搏时序数据和二维脉搏谱图数据,对雷达回波信号和脉搏波信号进行预处理可以获得与睡眠呼吸相关的多种特征,这些特征可以准确提供有关体动、呼吸、血氧等方面的信息,然后利用训练得到呼吸异常识别模型对一维脉搏时序数据和二维脉搏谱图数据进行特征提取和识别分类,呼吸异常识别模型通过两个独立的卷积特征提取网络对雷达和脉搏的数据分别进行特征提取并在多尺度特征图上进行特征融合,利用全连接层对谱图和时序信号进行决策层融合和分类,由于呼吸异常识别模型在训练阶段利用损失函数进行不断优化,而且提取到多种可以反映睡眠的特征,因此,在识别阶段可以提高呼吸异常识别模型对呼吸异常事件检测的准确性。
进一步地,为了保证异常事件识别结果的可读性,对呼吸异常识别模型输出的呼吸异常事件结果进行后处理,具体包括:
S24,对呼吸异常事件类型信息进行二值化判定。具体地,将识别为低通气异常事件和呼吸暂停异常事件归为异常事件标定为1,将正常事件标定为0。
S25,对于二值化判定结果中的异常事件,取异常事件对应的时间段内出现最多的呼吸异常事件类型信息作为所述时间段的呼吸异常事件类型。对于步骤S24中标定为1的异常事件的相邻时间段进行再次处理,将该时间段内原来的标签出现次数最多的作为该时间段的最终呼吸异常事件类型,例如,在1:00:20-1:00:40中,呼吸异常识别模型输出的结果为在1:00:20-1:00:25该时间段为正常事件,即可标定为0,在1:00:26-1:00:33该时间段为低通气异常事件,即可标定为1,在1:00:34-1:00:38该时间段为呼吸暂停异常事件,即可标定为1,在1:00:38-1:00:40该时间段为低通气异常事件,即可标定为1,为了保证结果的准确性,将标定为1的相邻时间段1:00:26-1:00:40进行再次处理,将该时间段内出现最多的标签即低通气异常事件确定为最终的呼吸异常事件类型进行输出,防止了一段低通气异常事件中突然出现了呼吸暂停的异常事件误判,或者一段呼吸暂停异常事件中突然出现了低通气事件的误判的情况。
S26,去除所述异常事件中低于时间阈值的虚警异常事件。对于不同患病情况的监测对象,可设置不同的时间阈值,将最终的呼吸异常事件类型中时长低于时间阈值的事件视为虚警,将该异常事件的标签进行去除,并将标定的1改为0。
进一步地,还可以输出睡眠呼吸异常检测报告,可以包括经过后处理的标有异常事件和正常时间标签的数据,以及监测对象整晚的睡眠时长、异常事件次数,还可以根据睡眠时长、异常事件次数计算出监测对象的睡眠呼吸异常指数AHI。
本实施例通过对网络的输出结果进行二值化、统计分配和过阈值的处理,保证算法最终在秒级粒度上输出结果的合理性和准确性。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (9)

1.一种呼吸异常识别模型训练方法,其特征在于,包括:
获取训练数据,包括基于雷达信号得到的一维雷达时序数据和二维雷达谱图数据、基于脉搏信号得到的一维脉搏时序数据和二维脉搏谱图数据,以及作为标签的呼吸异常事件类型信息,其中所述一维雷达时序数据包括呼吸相位信号,所述二维雷达谱图数据包括呼吸强度、体动强度、呼吸多普勒,所述一维脉搏时序数据包括脉搏能量包络、脉搏间期,所述二维脉搏谱图数据包括脉搏时频谱图;
利用所述训练数据训练呼吸异常识别模型,所述呼吸异常识别模型包括第一特征提取网络、第二特征提取网络和分类模块,其中第一特征提取网络用于从一维雷达时序数据和一维脉搏时序数据中提取多尺度特征并进行融合,得到时序数据特征,第二特征提取网络用于从二维雷达谱图数据和二维脉搏谱图数据中提取多尺度特征并进行融合,得到谱图数据特征,所述分类模块用于根据所述时序数据特征和所述谱图数据特征输出呼吸异常事件类型信息,所述呼吸异常识别模型根据输出的呼吸异常事件类型信息与所述标签的差异计算损失函数,根据所述损失函数优化模型参数。
2.根据权利要求1所述的方法,其特征在于,所述损失函数为:
其中,
其中,表示损失函数,/>表示交叉熵损失函数,/>表示几何损失函数,/>表示所述训练数据的数量,/>表示第k类呼吸异常事件的训练数据的占比,t表示时刻, />表示所述呼吸异常识别模型针对第i个所述训练数据输出的呼吸异常事件类型为k的概率,/>表示第i个所述训练数据中在t时刻对应的标签,X表示所述呼吸异常识别模型输出的呼吸异常事件类型信息集合,Y表示所述训练数据中的标签集合。
3.一种呼吸异常识别方法,其特征在于,包括:
获取雷达信号和脉搏信号;
根据所述雷达信号得到一维雷达时序数据和二维雷达谱图数据,根据所述脉搏信号得到一维脉搏时序数据和二维脉搏谱图数据;
利用呼吸异常识别模型对所述一维雷达时序数据、二维雷达谱图数据、一维脉搏时序数据和二维脉搏谱图数据进行识别,所述呼吸异常识别模型包括第一特征提取网络、第二特征提取网络和分类模块,其中第一特征提取网络用于从一维雷达时序数据和一维脉搏时序数据中提取多尺度特征并进行融合,得到时序数据特征,第二特征提取网络用于从二维雷达谱图数据和二维脉搏谱图数据中提取多尺度特征并进行融合,得到谱图数据特征,所述分类模块用于根据所述时序数据特征和所述谱图数据特征输出呼吸异常事件类型信息。
4.根据权利要求3所述的方法,其特征在于,在得到所述呼吸异常事件类型信息后,还包括:
对呼吸异常事件类型信息进行二值化判定;
对于二值化判定结果中的异常事件,取异常事件对应的时间段内出现最多的呼吸异常事件类型信息作为所述时间段的呼吸异常事件类型;
去除所述异常事件中低于时间阈值的虚警异常事件。
5.根据权利要求1-4中任一项所述的方法,其特征在于,按照如下方式获得所述呼吸相位信号:
对所述雷达信号进行汉明窗加窗傅里叶变换,得到复数值的时间距离像;
对所述时间距离像进行峰值提取,得到呼吸相位信号。
6.根据权利要求5所述的方法,其特征在于,按照如下方式获得所述呼吸强度:
对所述雷达信号进行低通滤波,得到呼吸信号;
提取所述呼吸信号中的呼吸强度;
按照如下方式获得所述体动强度:
获取低通滤波滤除的雷达信号,得到体动信号;
提取所述呼吸信号中的体动强度;
按照如下方式获得所述呼吸多普勒:
对所述雷达信号进行弱化能量差异和高通滤波,得到呼吸微动信号;
对所述呼吸微动信号进行多普勒计算和非线性压缩,得到呼吸多普勒。
7.根据权利要求1-4中任一项所述的方法,其特征在于,按照如下方式获得所述脉搏能量包络:
对所述脉搏信号进行带通滤波和伪影处理,得到标准脉搏信号;
对所述标准脉搏信号进行包络分析,得到能量包络;
按照如下方式获得所述脉搏间期:
选取所述标准脉搏信号的峰值点,得到脉搏间期。
8.根据权利要求7所述的方法,其特征在于,按照如下方式获得所述脉搏时频谱图:
对所述脉搏信号进行带通滤波和伪影处理,得到标准脉搏信号;
对所述标准脉搏信号进行滑窗傅里叶变换,得到脉搏时频谱图。
9.一种电子设备,其特征在于,包括:处理器以及与所述处理器连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令被所述处理器执行,以使所述处理器执行如权利要求1-8中任意一项所述的方法。
CN202410007197.5A 2024-01-03 2024-01-03 呼吸异常识别模型训练方法、呼吸异常识别方法及设备 Active CN117530666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410007197.5A CN117530666B (zh) 2024-01-03 2024-01-03 呼吸异常识别模型训练方法、呼吸异常识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410007197.5A CN117530666B (zh) 2024-01-03 2024-01-03 呼吸异常识别模型训练方法、呼吸异常识别方法及设备

Publications (2)

Publication Number Publication Date
CN117530666A CN117530666A (zh) 2024-02-09
CN117530666B true CN117530666B (zh) 2024-04-05

Family

ID=89786470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410007197.5A Active CN117530666B (zh) 2024-01-03 2024-01-03 呼吸异常识别模型训练方法、呼吸异常识别方法及设备

Country Status (1)

Country Link
CN (1) CN117530666B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014217453A (ja) * 2013-05-02 2014-11-20 斎藤 光正 定在波レーダーによる人体異常検知装置及びその利用方法
CN108388912A (zh) * 2018-02-08 2018-08-10 南京理工大学 基于多传感器特征优化算法的睡眠分期方法
KR102134154B1 (ko) * 2019-06-21 2020-07-16 가천대학교 산학협력단 1-d cnn 기반의 uwb 호흡 데이터 패턴 인식 시스템
CN112263242A (zh) * 2020-10-26 2021-01-26 哈尔滨工业大学 基于fmcw雷达的呼吸检测及模式分类方法
CN112754431A (zh) * 2020-12-31 2021-05-07 杭州电子科技大学 基于毫米波雷达和轻量级神经网络的呼吸心跳监测系统
CN113940660A (zh) * 2021-10-26 2022-01-18 庚辰科技(宁波)有限公司 一种基于复信号调节的雷达检测呼吸频率及呼吸量的方法
CN114391807A (zh) * 2021-12-17 2022-04-26 珠海脉动时代健康科技有限公司 睡眠呼吸障碍分析方法、装置、设备及可读介质
CN115281651A (zh) * 2022-01-21 2022-11-04 上海市第六人民医院 一种无感式一体化睡眠呼吸疾病诊断系统
CN115736888A (zh) * 2022-11-24 2023-03-07 南京邮电大学 基于fmcw雷达的呼吸信号提取方法
CN115778352A (zh) * 2023-02-02 2023-03-14 北京华声医学科技开发公司 基于毫米波雷达的睡眠质量评估方法、设备、系统及介质
CN116138745A (zh) * 2023-04-23 2023-05-23 北京清雷科技有限公司 融合毫米波雷达和血氧数据的睡眠呼吸监测方法及设备
KR102539796B1 (ko) * 2022-11-28 2023-06-07 (주)에이아이딥 수면다원검사 및 인공지능을 이용한 수면 분석 시스템 및 방법

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014217453A (ja) * 2013-05-02 2014-11-20 斎藤 光正 定在波レーダーによる人体異常検知装置及びその利用方法
CN108388912A (zh) * 2018-02-08 2018-08-10 南京理工大学 基于多传感器特征优化算法的睡眠分期方法
KR102134154B1 (ko) * 2019-06-21 2020-07-16 가천대학교 산학협력단 1-d cnn 기반의 uwb 호흡 데이터 패턴 인식 시스템
CN112263242A (zh) * 2020-10-26 2021-01-26 哈尔滨工业大学 基于fmcw雷达的呼吸检测及模式分类方法
CN112754431A (zh) * 2020-12-31 2021-05-07 杭州电子科技大学 基于毫米波雷达和轻量级神经网络的呼吸心跳监测系统
CN113940660A (zh) * 2021-10-26 2022-01-18 庚辰科技(宁波)有限公司 一种基于复信号调节的雷达检测呼吸频率及呼吸量的方法
CN114391807A (zh) * 2021-12-17 2022-04-26 珠海脉动时代健康科技有限公司 睡眠呼吸障碍分析方法、装置、设备及可读介质
CN115281651A (zh) * 2022-01-21 2022-11-04 上海市第六人民医院 一种无感式一体化睡眠呼吸疾病诊断系统
CN115736888A (zh) * 2022-11-24 2023-03-07 南京邮电大学 基于fmcw雷达的呼吸信号提取方法
KR102539796B1 (ko) * 2022-11-28 2023-06-07 (주)에이아이딥 수면다원검사 및 인공지능을 이용한 수면 분석 시스템 및 방법
CN115778352A (zh) * 2023-02-02 2023-03-14 北京华声医学科技开发公司 基于毫米波雷达的睡眠质量评估方法、设备、系统及介质
CN116138745A (zh) * 2023-04-23 2023-05-23 北京清雷科技有限公司 融合毫米波雷达和血氧数据的睡眠呼吸监测方法及设备

Also Published As

Publication number Publication date
CN117530666A (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN108388912B (zh) 基于多传感器特征优化算法的睡眠分期方法
CN112998701A (zh) 基于毫米波雷达的生命体征检测与身份识别系统和方法
US10194834B2 (en) Detection of sleep apnea using respiratory signals
CN112754441B (zh) 一种基于毫米波的非接触式心跳检测方法
CN109077715A (zh) 一种基于单导联的心电信号自动分类方法
JP6127602B2 (ja) 状態認識装置、状態認識方法及びコンピュータプログラム
CN112754431A (zh) 基于毫米波雷达和轻量级神经网络的呼吸心跳监测系统
Ciołek et al. Automated detection of sleep apnea and hypopnea events based on robust airflow envelope tracking in the presence of breathing artifacts
WO2012051300A2 (en) Method and system for detection and rejection of motion/noise artifacts in physiological measurements
CN112244794B (zh) 基于周期性特征的生命体征检测方法、装置和存储介质
CN103690169A (zh) 呼吸信息检测方法及系统
KR20210001575A (ko) 잡음 환경 내 실시간 심장 박동수 탐지 장치 및 그 방법
CN115736854A (zh) 一种基于毫米波雷达的呼吸心跳监测系统
Wang et al. Ppg signal reconstruction using deep convolutional generative adversarial network
Ghahjaverestan et al. Switching Kalman filter based methods for apnea bradycardia detection from ECG signals
CN113729653A (zh) 一种人体脉搏波信号采集方法
CN117530666B (zh) 呼吸异常识别模型训练方法、呼吸异常识别方法及设备
Morresi et al. Metrological characterization and signal processing of a wearable sensor for the measurement of heart rate variability
CN106419884B (zh) 一种基于小波分析的心率计算方法与系统
CN114469138B (zh) 基于时频域的脑电爆发抑制模式的检测方法、系统及介质
CN106344008B (zh) 睡眠状态分析中清醒状态检测方法和系统
JP6706996B2 (ja) 生体信号処理装置、異常判別方法およびプログラム
Schmidt et al. Comparison of sample entropy and AR-models for heart sound-based detection of coronary artery disease
CN101879058B (zh) 一种颅内压信号逐拍分割方法
Wang et al. Period segmentation for wrist pulse signal based on adaptive cascade thresholding and machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant