CN114391807A - 睡眠呼吸障碍分析方法、装置、设备及可读介质 - Google Patents

睡眠呼吸障碍分析方法、装置、设备及可读介质 Download PDF

Info

Publication number
CN114391807A
CN114391807A CN202111555694.1A CN202111555694A CN114391807A CN 114391807 A CN114391807 A CN 114391807A CN 202111555694 A CN202111555694 A CN 202111555694A CN 114391807 A CN114391807 A CN 114391807A
Authority
CN
China
Prior art keywords
sequence
sleep
vector sequence
vital sign
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111555694.1A
Other languages
English (en)
Other versions
CN114391807B (zh
Inventor
金瑞军
符文剑
刘庆才
段明勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Maidongshidai Health Technology Co ltd
Original Assignee
Zhuhai Maidongshidai Health Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Maidongshidai Health Technology Co ltd filed Critical Zhuhai Maidongshidai Health Technology Co ltd
Priority to CN202111555694.1A priority Critical patent/CN114391807B/zh
Publication of CN114391807A publication Critical patent/CN114391807A/zh
Application granted granted Critical
Publication of CN114391807B publication Critical patent/CN114391807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4818Sleep apnoea
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Dermatology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种睡眠呼吸障碍分析方法、装置、设备及可读介质的技术方案,包括:获取睡眠呼吸时的音频数据及生命体征时序波形数据;对音频数据执行第一处理,得到第一音频特征;对生命体征时序波形数据执行第二处理,得到第一生命体特征;将第一音频特征及第一生命体特征进行融合,得到睡眠呼吸障碍特征;对睡眠呼吸障碍特征进行分析,获取睡眠呼吸障碍分析结果。本发明的有益效果为:使用近场采集的方式实现了无感测量,对患者的睡眠过程没有任何影响,大大增强了实用性;通过自动采集及自动分析提高了睡眠疾病的分析效率。

Description

睡眠呼吸障碍分析方法、装置、设备及可读介质
技术领域
本发明涉及计算机领域,具体涉及了一种睡眠呼吸障碍分析方法、装置、设备及可读介质。
背景技术
睡眠呼吸障碍是发生在睡眠过程当中的一类呼吸疾病,这些疾病包括睡眠呼吸暂停、鼾症、睡眠低通气,还有跟睡眠相关的其他呼吸系统疾病,这些疾病统称为睡眠呼吸障碍。睡眠呼吸障碍临床当中最常见的就是睡眠呼吸暂停,科学声明指出,睡眠呼吸暂停是高血压、冠心病、心力衰竭、心律失常、卒中等重要危险因素。睡眠呼吸暂停还可影响内分泌系统、与胰岛素抵抗及II型糖尿病密切相关。睡眠呼吸暂停容易出现反复觉醒、睡眠结构异常及睡眠紊乱,白天嗜睡、记忆力下降,工作效率降低、并可出现自主神经功能紊乱等。睡眠呼吸暂停已成为重大公共卫生问题。流行病学分析显示,睡眠呼吸暂停的患病率呈逐年上升趋势,在一项的数据报告中显示,这一疾病在男性中的患病率高达14%,在短短的几年间增长了3.5倍,在女性中的患病率增加2.5倍,升至5%,成为严重危害人类健康的疾病。
现有技术主要通过多导睡眠监测是对有睡眠呼吸障碍的病人进行监测诊断的主要依据。可以对病人睡眠过程中呼吸、鼾声、心率、脑电图、心电图、血氧饱和度等进行监测,从而明确病人睡眠呼吸障碍的病因。是诊断睡眠呼吸障碍疾病的金标准。现有的多导睡眠监测有两大缺点:
(1)多导睡眠监测的过程中患者身上绑满了各种传感器导致严重的不适和心理压力,检测到的大多数的生理参数可能不真实。
(2)医生通过查看整晚的多组数据做出判断工作量大。
因此,基于现有技术的缺点,需要一种能够实现非接触且依靠算法快速准确检测分析睡眠呼吸障碍的技术方案。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一,提供了睡眠呼吸障碍分析方法、装置、设备及可读介质,解决了现有技术的不足。
本发明的技术方案包括一种睡眠呼吸障碍分析方法,其特征在于,所述方法包括:获取睡眠呼吸时的音频数据及生命体征时序波形数据;对所述音频数据执行第一处理,得到第一音频特征;对所述生命体征时序波形数据执行第二处理,得到第一生命体特征;将所述第一音频特征及所述第一生命体特征进行融合,得到睡眠呼吸障碍特征;对所述睡眠呼吸障碍特征进行分析,获取睡眠呼吸障碍分析结果。
根据所述的睡眠呼吸障碍分析方法,其中获取睡眠呼吸时的音频数据及生命体征时序波形数据包括:以近场方式采集同一时间段内的所述音频数据及所述生命体征时序波形数据,并对所述音频数据及所述生命体征时序波形数据执行预处理,所述预处理包括使用降噪算法对所述音频数据与所述生命体征时序波形数据进行降噪,所述预处理还包括将所述音频数据与所述生命体征时序波形数据进行归一化处理。
根据所述的睡眠呼吸障碍分析方法,其中音频数据至少包括鼾声及呼吸声。
根据所述的睡眠呼吸障碍分析方法,其中生命体征时序波形数据至少包括呼吸周期波和心跳周期波,以及,还包括身体运动波形。
根据所述的睡眠呼吸障碍分析方法,其中对所述音频数据执行第一处理,得到第一音频特征包括:将所述音频数据划分为多个声音片段;将所述声音片段划分为多个帧;对每个所述帧执行加窗及傅里叶变换,得到第一幅频特性序列;合并所述第一幅频特性序列,得到所述声音片段的第二频谱图;组合所述第二频谱图,得到所述音频数据的频谱图序列;将所述频谱图序列依次输入第一预训练深度卷积神经网络进行抽象表示,得到第一向量序列,所述声音片段及所述帧为等同长度,所述声音片段及所述帧的长度可以自定义设置,所述第一向量序列为所述第一音频特征。
根据所述的睡眠呼吸障碍分析方法,其中对所述生命体征时序波形数据执行第二处理,得到第一生命体特征包括:将所述生命体征时序波形数据划分为多个时间片段;对所述时间片段执行连续小波变换提取时频特征图;组合时频特征图得到时频特征图序列;将所述时频特征图序列依次输入第二预训练深度卷积神经网络进行抽象表示,得到第二向量序列,所述时间片段为等长,所述时间片段可以自定义设置,所述的第二向量序列为所述第一生命体特征。
根据所述的睡眠呼吸障碍分析方法,其中所述第一音频特征及所述第一生命体特征进行融合,得到睡眠呼吸障碍特征包括:对所述第一音频特征进行线性映射得到第一嵌入向量序列,对所述第一生命体特征进行线性映射得到第二嵌入向量序列;按照时间顺序融合所述第一嵌入向量序列及所述第二嵌入向量序列,得到第三嵌入向量序列;其中,所述的第三嵌入向量序列为所述的睡眠呼吸障碍特征,所述的第一音频特征为一维m列向量序列,所述的第一生命体特征为一维m列向量序列,所述的第一嵌入向量序列为一维n列向量序列,所述的第二嵌入向量序列为一维n列向量序列,其中,m大于n,m、n可以自定义设置。
根据所述的睡眠呼吸障碍分析方法,其中对所述睡眠呼吸障碍特征进行分析,获取睡眠呼吸障碍分析结果包括:计算获得位置向量序列,其中所述位置向量序列的序列长度和所述睡眠呼吸障碍特征的序列长度相等且每个向量同维度,将所述位置向量序列和所述睡眠呼吸障碍特征相加输入Transformer encoder模型,经过softmax分类得到是否有睡眠呼吸障碍以及睡眠呼吸障碍疾病的类型,所述睡眠呼吸障碍特征为第三嵌入向量序列。
根据所述的睡眠呼吸障碍分析方法,其中Transformer编码器模型通过多个编码器叠加而成的,所述编码器包括多个注意力层,通过softmax输出的睡眠呼吸障碍类型包括正常、睡眠呼吸暂停、鼾症和/或睡眠低通气的至少一种。
本发明的技术方案还包括一种睡眠呼吸障碍分析装置,其特征在于,该装置包括声音采集装置、毫米波雷达装置及处理器,所述处理器连接所述声音采集装置及所述毫米波雷达装置,所述声音采集装置用于通过近场方式采集声音数据,所述毫米波雷达装置以近场方式发送及接收毫米波,通过分析所述接收的毫米波得到生命体征时序波形数据;所述处理器根据所述音频数据及所述生命体征时序波形数据执行任一所述的睡眠呼吸障碍分析方法。
本发明的技术方案还包括一种设备,其特征在于,包括上述的睡眠呼吸障碍分析装置。
本发明的技术方案还包括一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上述任一的方法步骤。
本发明的有益效果为:使用近场采集的方式实现了无感测量,对患者的睡眠过程没有任何影响,大大增强了实用性;通过自动采集及自动分析提高了睡眠疾病的分析效率。
附图说明
下面结合附图和实施例对本发明进一步地说明;
图1所示为根据本发明实施方式的睡眠呼吸障碍分析方法流程图。
图2所示为根据本发明实施方式的声音特征处理流程图。
图3所示为根据本发明实施方式的生命体特征处理流程图。
图4所示为根据本发明实施方式的特征融合流程图。
图5所示为根据本发明实施方式的另一睡眠呼吸障碍分析方法流程图。
图6所示为根据本发明实施方式的鼾声、呼吸音波形示意图。
图7所示为根据本发明实施方式的记录生命体征时序波形数据示意图。
图8所示为根据本发明实施方式的预训练的深度卷积神经网络示意图。
图9所示为根据本发明实施方式的装置示意图。
具体实施方式
本部分将详细描述本发明的具体实施例,本发明之较佳实施例在附图中示出,附图的作用在于用图形补充说明书文字部分的描述,使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案,但其不能理解为对本发明保护范围的限制。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。
在本发明的描述中,对方法步骤的连续标号是为了方便审查和理解,结合本发明的整体技术方案以及各个步骤之间的逻辑关系,调整步骤之间的实施顺序并不会影响本发明技术方案所达到的技术效果。
本发明的描述中,除非另有明确的限定,设置等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参考图1,本实施例提供了一种睡眠呼吸障碍分析方法的流程图,包括:
S100,获取睡眠呼吸时的音频数据及生命体征时序波形数据;
S200,对音频数据执行第一处理,得到第一音频特征;
S300,对生命体征时序波形数据执行第二处理,得到第一生命体特征;
S400,将第一音频特征及第一生命体特征进行融合,得到睡眠呼吸障碍特征;
S500,对睡眠呼吸障碍特征进行分析,获取睡眠呼吸障碍分析结果。
在一个实施方案中,音频数据及生命体征时序波形数据以近场方式进行同步采集;
在一个实施方案中,音频数据至少包括鼾声及呼吸声;
在一个实施方案中,生命体征时序波形数据至少包括呼吸周期波和心跳周期波,以及,还包括身体运动波形;
在一个实施方案中,本实施例还提供了对音频数据及生命体征时序波形数据执行预处理,预处理包括使用降噪算法对音频数据与生命体征时序波形数据进行降噪,预处理还包括对音频数据与生命体征时序波形数据进行归一化处理,在一个具体的实施方式中,如果采集的数据噪声很强没有包括完整的音频数据与生命体征时序波形数据,删除采集的数据,完整的音频数据如一个完整的鼾声波形,或者,一个完整的呼吸周期波、一个完整的心跳周期波及一个完整的身体运动波形。
图2所示为根据本发明实施方式的声音特征处理流程图,其包括:
S210,将音频数据划分为多个声音片段;
S220,将声音片段划分为多个帧;
S230,对每个帧执行加窗及傅里叶变换,得到第一幅频特性序列;
S240,合并第一幅频特性序列,得到声音片段的第二频谱图;
S250,组合第二频谱图,得到音频数据的频谱图序列;
S260,将频谱图序列依次输入第一预训练深度卷积神经网络进行抽象表示,得到第一向量序列,第一向量序列为第一音频特征。
在一个实施方案中,声音片段及帧为等同长度,声音片段及帧的长度可以自定义设置;
在一个实施方案中,第一预训练深度卷积神经网络是通过监督式或者自监督方式已经训练好的神经网络。
图3所示为根据本发明实施方式的生命体特征处理流程图,其包括:
S310,将生命体征时序波形数据划分为多个时间片段;
S320,对时间片段执行连续小波变换提取时频特征图;
S330,组合时频特征图得到时频特征图序列;
S340,将时频特征图序列依次输入第二预训练深度卷积神经网络进行抽象表示,得到第二向量序列,第二向量序列为第一生命体特征。
在一个实施方案中,时间片段为等长,时间片段可以自定义设置。
在一个实施方案中,第二预训练深度卷积神经网络是通过监督式或者自监督方式已经训练好的神经网络。
图4所示为根据本发明实施方式的特征融合流程图,其包括:
S410,对第一音频特征进行线性映射得到第一嵌入向量序列;
S420,对第一生命体特征进行线性映射得到第二嵌入向量序列;
S430,按照时间顺序融合第一嵌入向量序列及第二嵌入向量序列,得到第三嵌入向量序列;
在一个实施方案中,第三嵌入向量序列为睡眠呼吸障碍特征,第一音频特征为一维m列向量序列,第一生命体特征为一维m列向量序列,第一嵌入向量序列为一维n列向量序列,第二嵌入向量序列为一维n列向量序列,其中,m大于n,m、n可以自定义设置。
在一个实施方案中,计算获得位置向量序列,其中位置向量序列的序列长度和睡眠呼吸障碍特征的序列长度相等且每个向量同维度,将位置向量序列和睡眠呼吸障碍特征相加输入Transformer encoder模型,经过softmax分类得到是否有睡眠呼吸障碍以及睡眠呼吸障碍疾病的类型。
在一个实施方案中,Transformer编码器模型通过多个编码器叠加而成的,编码器包括多个注意力层,并通过softmax输出的睡眠呼吸障碍类型至少包括正常、睡眠呼吸暂停、鼾症及睡眠低通气。
图5所示为根据本发明实施方式的另一睡眠呼吸障碍分析方法流程图。包括:
通过麦克风记录鼾声、呼吸音,将记录的鼾声、呼吸音分割成短时间的声音片段,分别对每个声音片段提取频谱图,获得频谱图序列[a1,a2,a3,…];通过毫米波雷达传感装置记录生命体征时序波形数据,将记录的生命体征时序波形数据分割成短的时间片段,分别对每个时间片段提取时频特征图,获得时频特征图序列[b1,b2,b3,…];将频谱图序列[a1,a2,a3,…]依次输入预训练的深度卷积神经网络获得抽象表示的向量序列[c1,c2,c3,…],将时频特征图序列[b1,b2,b3,…]依次输入预训练的深度卷积神经网络获得抽象表示的向量序列[d1,d2,d3,…];对向量序列[c1,c2,c3,…]进行线性映射得到嵌入向量序列[e1,e2,e3,…],对向量序列[d1,d2,d3,…]进行线性映射得到嵌入向量序列[f1,f2,f3,…];按时间顺序融合嵌入向量序列[e1,e2,e3,…]和嵌入向量序列[f1,f2,f3,…]得到嵌入向量序列[g1,g2,g3,…];对嵌入向量序列[g1,g2,g3,…]进行位置编码后输入Transformer encoder模型,再经过softmax分类得到是否有睡眠呼吸障碍以及睡眠呼吸障碍疾病的类型。
睡眠呼吸障碍主要的原因是上呼吸道阻塞,阻塞的过程中有很强的鼾声伴随身体抽动或手臂甩动还有呼吸周期波异常心跳周期波加速,本发明通过麦克风记录鼾声、呼吸音,通过毫米波雷达传感装置记录生命体征时序波形数据,其中生命体征时序波形数据由呼吸周期波、心跳周期波、身体运动产生的波形组成还有毫米波雷达传感装置获得的睡姿,算法通过提取这些时序波形数据的时频特征,得到连续的时频特征图序列,进一步将这些时频特征图序列输入预训练的深度卷积神经网络获得时频特征图的抽象表示向量序列,预训练的深度卷积神经网络是经过大量数据通过监督式或者通过自监督式训练好的神经网络,深度卷积神经网络通过卷积运算提取原始图像的抽象表示,这些抽象表示表达了图像的高层语义。通过线性映射将抽象表示向量序列转换到嵌入向量序列实现降维,睡眠呼吸障碍主要表现为上呼吸道阻塞,阻塞是一个过程,在这个过程中传感器记录的数据之间存在着很长的依赖关系,Transformer模型擅长解决长期的依赖关系,将两种传感器获得的嵌入向量序列按时间顺序融合得到融合嵌入向量序列,进一步将融合嵌入向量序列位置编码,接着输入Transformer encoder模型,再经过softmax分类得到是否有睡眠呼吸障碍以及睡眠呼吸障碍疾病的类型。
图6所示为根据本发明实施方式的鼾声、呼吸音波形示意图。包括:
用麦克风记录睡眠时的鼾声、呼吸音等呼吸系统产生的声音,将记录的鼾声、呼吸音分割成时间间隔为t1的声音片段,t1最少包含一个呼吸周期,一个呼吸周期包含一个完整的鼾声、呼吸音,将时间为t1声音片段切分成n个等长的帧,通过对n的调节控制提取的频谱图的尺寸在一个合理的范围,降低后续算法的计算量,每个帧加窗后做傅里叶变换获取幅频特性,进一步将n个帧的幅频特性组合成频谱图,分别对每个声音片段提取频谱图,获得频谱图序列[a1,a2,a3,…]。
图7所示为根据本发明实施方式的记录生命体征时序波形数据示意图。包括:
通过毫米波雷达传感装置记录生命体征时序波形数据,其中生命体征时序波形数据由呼吸周期波、心跳周期波、身体运动产生的波形叠加而成,一个呼吸周期波上面叠加了四个心跳周期波,呼吸波的能量大于心跳周期波的能量,当存在身体运动是呼吸周期波、心跳周期波都被身体运动产生的波覆盖。将记录的生命体征时序波形数据分割成时间间隔为t2的时间片段,t2至少包含一个呼吸周期波形,分别对每个时间片段进行连续小波变换提取时频特征图,获得时频特征图序列[b1,b2,b3,…]。小波变换实质上是原始信号与经过伸缩后的小波函数族的相关运算。通过调整尺度,可得到具有不同时频宽度的小波以匹配原始信号的不同位置,达到信号的局部化分析,小波变换的窗是可调时频窗,在高频时使用短窗口,在低频时则用宽窗口,与短时傅里叶变换不同,小波变换能较好地解决时间和频率分辨力的矛盾。
图8所示为根据本发明实施方式的预训练的深度卷积神经网络示意图。包括:
预训练的深度卷积神经网络是经过大量数据通过监督式或者通过自监督式训练好的神经网络,预训练的深度卷积神经网络包含多层通过卷积运算提取的特征图,靠近输出端的最后一层特征图为输入的抽象表示,将预训练的深度卷积神经网络最后一层特征图组织成一维向量。将频谱图序列[a1,a2,a3,…]依次输入预训练的深度卷积神经网络获得抽象表示的向量序列[c1,c2,c3,…],将时频特征图序列[b1,b2,b3,…]依次输入预训练的深度卷积神经网络获得抽象表示的向量序列[d1,d2,d3,…]。
线性映射将一维m列的向量序列[c1,c2,c3,…]通过线性运算映射到一维n列的嵌入向量序列[e1,e2,e3,…],其中m大于n,线性映射将一维m列的向量序列[d1,d2,d3,…]通过线性运算映射到一维n列的嵌入向量序列[f1,f2,f3,…],其中m大于n。m是预训练的深度卷积神经网络输出的维度,n是Transformer encoder模型输入的维度,通过线性映射来匹配m、n之间的关系。
按时间顺序融合嵌入向量序列[e1,e2,e3,…]和嵌入向量序列[f1,f2,f3,…]得到嵌入向量序列[g1,g2,g3,…],其中嵌入向量序列[g1,g2,g3,…]的序列长度为嵌入向量序列[e1,e2,e3,…]和嵌入向量序列[f1,f2,f3,…]的长度之和。上呼吸道阻塞是一个过程,在这个过程中生命体征、鼾声、呼吸音、睡姿等发生一系列的变化,这些变化有严格的时间顺序,将鼾声、呼吸音的嵌入向量序列和生命体征嵌入向量序列按时间顺序融合是为了保证这种时序关系。
通过计算获得位置向量序列[h1,h2,h3,…],其中位置向量序列[h1,h2,h3,…]的序列长度和嵌入向量序列[g1,g2,g3,…]的序列长度相等每个向量同维度,将位置向量序列[h1,h2,h3,…]和嵌入向量序列[g1,g2,g3,…]相加输入Transformer encoder模型,再经过softmax分类得到是否有睡眠呼吸障碍以及睡眠呼吸障碍疾病的类型,其中Transformer encoder模型是多个encode叠加而成的,encode包含多头注意力层,softmax输出的类型有正常、睡眠呼吸暂停、鼾症、睡眠低通气等。睡眠呼吸障碍主要的原因是上呼吸道阻塞,上呼吸道阻塞是一个过程,在这个过程中生命体征、鼾声、呼吸音、睡姿等发生一系列的变化,这些数据不但有严格的时序,而且相互之间有长期依赖关系,Transformerencoder模型通过多头注意力和位置编码处理数据的长期依赖。
图9所示为根据本发明实施方式的装置示意图。包括:装置包括声音采集装置、毫米波雷达装置及处理器,处理器连接声音采集装置及毫米波雷达装置,声音采集装置用于通过近场方式采集声音数据,毫米波雷达装置以近场方式发送及接收毫米波,通过分析接收的毫米波得到生命体征时序波形数据。其中处理器中存储有计算机程序,计算机程序被处理器执行时实现如图1-图8所示实施示例。
应当认识到,本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
此外,可按任何合适的顺序来执行本文描述的过程的操作,除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如消费者。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括消费者上产生的物理和有形对象的特定视觉描绘。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (12)

1.一种睡眠呼吸障碍分析方法,其特征在于,所述方法包括:
获取睡眠呼吸时的音频数据及生命体征时序波形数据;
对所述音频数据执行第一处理,得到第一音频特征;
对所述生命体征时序波形数据执行第二处理,得到第一生命体特征;
将所述第一音频特征及所述第一生命体特征进行融合,得到睡眠呼吸障碍特征;
对所述睡眠呼吸障碍特征进行分析,获取睡眠呼吸障碍分析结果。
2.根据权利要求1所述的睡眠呼吸障碍分析方法,其特征在于,所述获取睡眠呼吸时的音频数据及生命体征时序波形数据包括:
以近场方式采集同一时间段内的所述音频数据及所述生命体征时序波形数据,并对所述音频数据及所述生命体征时序波形数据执行预处理,所述预处理包括使用降噪算法对所述音频数据与所述生命体征时序波形数据进行降噪,所述预处理还包括将所述音频数据与所述生命体征时序波形数据进行归一化处理。
3.根据权利要求1所述的睡眠呼吸障碍分析方法,其特征在于,所述音频数据至少包括鼾声及呼吸声。
4.根据权利要求1所述的睡眠呼吸障碍分析方法,其特征在于,所述生命体征时序波形数据至少包括呼吸周期波和心跳周期波,以及,还包括身体运动波形。
5.根据权利要求1所述的睡眠呼吸障碍分析方法,其特征在于,所述对所述音频数据执行第一处理,得到第一音频特征包括:
将所述音频数据划分为多个声音片段;
将所述声音片段划分为多个帧;
对每个所述帧执行加窗及傅里叶变换,得到第一幅频特性序列;
合并所述第一幅频特性序列,得到所述声音片段的第二频谱图;
组合所述第二频谱图,得到所述音频数据的频谱图序列;
将所述频谱图序列依次输入第一预训练深度卷积神经网络进行抽象表示,得到第一向量序列,所述声音片段及所述帧为等同长度,所述声音片段及所述帧的长度可以自定义设置,所述第一向量序列为所述第一音频特征。
6.根据权利要求1所述的睡眠呼吸障碍分析方法,其特征在于,所述对所述生命体征时序波形数据执行第二处理,得到第一生命体特征包括:
将所述生命体征时序波形数据划为分多个时间片段;
对所述时间片段执行连续小波变换提取时频特征图;
组合时频特征图得到时频特征图序列;
将所述时频特征图序列依次输入第二预训练深度卷积神经网络进行抽象表示,得到第二向量序列,所述时间片段为等长,所述时间片段可以自定义设置,所述的第二向量序列为所述第一生命体特征。
7.根据权利要求1所述的睡眠呼吸障碍分析方法,其特征在于,将所述第一音频特征及所述第一生命体特征进行融合,得到睡眠呼吸障碍特征包括:
对所述第一音频特征进行线性映射得到第一嵌入向量序列,对所述第一生命体特征进行线性映射得到第二嵌入向量序列;
按照时间顺序融合所述第一嵌入向量序列及所述第二嵌入向量序列,得到第三嵌入向量序列;
其中,所述的第三嵌入向量序列为所述的睡眠呼吸障碍特征,所述的第一音频特征为一维m列向量序列,所述的第一生命体特征为一维m列向量序列,所述的第一嵌入向量序列为一维n列向量序列,所述的第二嵌入向量序列为一维n列向量序列,其中,m大于n,m、n可以自定义设置。
8.根据权利要求1所述的睡眠呼吸障碍分析方法,其特征在于,对所述睡眠呼吸障碍特征进行分析,获取睡眠呼吸障碍分析结果包括:
计算获得位置向量序列,其中所述位置向量序列的序列长度和所述睡眠呼吸障碍特征的序列长度相等且每个向量同维度,将所述位置向量序列和所述睡眠呼吸障碍特征相加输入Transformer encoder模型,经过softmax分类得到是否有睡眠呼吸障碍以及睡眠呼吸障碍疾病的类型,所述睡眠呼吸障碍特征为第三嵌入向量序列。
9.根据权利要求8所述的睡眠呼吸障碍分析方法,其特征在于,所述Transformer编码器模型通过多个编码器叠加而成的,所述编码器包括多个注意力层,通过softmax输出的睡眠呼吸障碍类型包括正常、睡眠呼吸暂停、鼾症和/或睡眠低通气的至少一种。
10.一种睡眠呼吸障碍分析装置,其特征在于,所述装置包括声音采集装置、毫米波雷达装置及处理器,所述处理器连接所述声音采集装置及所述毫米波雷达装置,所述声音采集装置用于通过近场方式采集声音数据,所述毫米波雷达装置以近场方式发送及接收毫米波,通过分析所述接收的毫米波得到生命体征时序波形数据;
所述处理器根据所述音频数据及所述生命体征时序波形数据执行权利要求1-9任一所述的睡眠呼吸障碍分析方法。
11.一种设备,其特征在于,包括如权利要求10所述的睡眠呼吸障碍分析装置。
12.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-9任一所述的方法步骤。
CN202111555694.1A 2021-12-17 2021-12-17 睡眠呼吸障碍分析方法、装置、设备及可读介质 Active CN114391807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111555694.1A CN114391807B (zh) 2021-12-17 2021-12-17 睡眠呼吸障碍分析方法、装置、设备及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111555694.1A CN114391807B (zh) 2021-12-17 2021-12-17 睡眠呼吸障碍分析方法、装置、设备及可读介质

Publications (2)

Publication Number Publication Date
CN114391807A true CN114391807A (zh) 2022-04-26
CN114391807B CN114391807B (zh) 2023-12-19

Family

ID=81226117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111555694.1A Active CN114391807B (zh) 2021-12-17 2021-12-17 睡眠呼吸障碍分析方法、装置、设备及可读介质

Country Status (1)

Country Link
CN (1) CN114391807B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115581435A (zh) * 2022-08-30 2023-01-10 湖南万脉医疗科技有限公司 一种基于多传感器的睡眠监测方法和设备
TWI809864B (zh) * 2022-05-10 2023-07-21 亞迪電子股份有限公司 感測方法和感測系統
CN117530666A (zh) * 2024-01-03 2024-02-09 北京清雷科技有限公司 呼吸异常识别模型训练方法、呼吸异常识别方法及设备

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI921203A0 (fi) * 1991-03-22 1992-03-20 Madaus Medizin Elektronik Foerfarande och anordning foer diagnos och kvantitativ analys av andningsavbrott samt foer samtidigt fast- staellande av andra sjukdomar.
US20080004904A1 (en) * 2006-06-30 2008-01-03 Tran Bao Q Systems and methods for providing interoperability among healthcare devices
CN104224147A (zh) * 2014-09-15 2014-12-24 中国科学院苏州生物医学工程技术研究所 无线便携式人体健康与睡眠质量监护仪
US20150099941A1 (en) * 2006-05-12 2015-04-09 Bao Tran Health monitoring appliance
TW201612845A (en) * 2014-08-28 2016-04-01 Resmed Ltd Method, system and apparatus for diagnosis, monitoring and treatment of respiratory disorders
EP3100675A1 (en) * 2015-06-03 2016-12-07 IMEDI PLUS Inc. Method and system for recognizing physiological sound
CN108135486A (zh) * 2015-08-17 2018-06-08 瑞思迈传感器技术有限公司 睡眠呼吸障碍筛查仪
CN108388912A (zh) * 2018-02-08 2018-08-10 南京理工大学 基于多传感器特征优化算法的睡眠分期方法
CN109316166A (zh) * 2018-10-10 2019-02-12 大连理工大学 一种基于深度学习网络的人体睡眠阶段估计方法
CN109820484A (zh) * 2019-03-14 2019-05-31 深圳市弘楚源科技发展有限公司 一种带有传感装置监测睡眠呼吸障碍的床垫
CN110598608A (zh) * 2019-09-02 2019-12-20 中国航天员科研训练中心 非接触式与接触式协同的心理生理状态智能监测系统
CN111197845A (zh) * 2018-11-19 2020-05-26 Tcl集团股份有限公司 一种基于深度学习的空调运行模式的控制方法及系统
CN111358435A (zh) * 2020-03-13 2020-07-03 珠海向量科技有限公司 一种提高深度神经网络精度的数据增强方法
CN112401566A (zh) * 2020-11-17 2021-02-26 广州大学华软软件学院 一种智能婴儿护理系统及方法
CN113288065A (zh) * 2021-06-03 2021-08-24 北京好医生云医院管理技术有限公司 一种基于鼾声的实时呼吸暂停及低通气预测方法
WO2021207094A1 (en) * 2020-04-05 2021-10-14 Mong Michael Systems and methods for treating coronavirus
CN113633260A (zh) * 2021-08-11 2021-11-12 广州医科大学附属第一医院(广州呼吸中心) 多导睡眠监测方法、监测仪、计算机设备及可读存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI921203A0 (fi) * 1991-03-22 1992-03-20 Madaus Medizin Elektronik Foerfarande och anordning foer diagnos och kvantitativ analys av andningsavbrott samt foer samtidigt fast- staellande av andra sjukdomar.
US20150099941A1 (en) * 2006-05-12 2015-04-09 Bao Tran Health monitoring appliance
US20080004904A1 (en) * 2006-06-30 2008-01-03 Tran Bao Q Systems and methods for providing interoperability among healthcare devices
TW201612845A (en) * 2014-08-28 2016-04-01 Resmed Ltd Method, system and apparatus for diagnosis, monitoring and treatment of respiratory disorders
CN104224147A (zh) * 2014-09-15 2014-12-24 中国科学院苏州生物医学工程技术研究所 无线便携式人体健康与睡眠质量监护仪
EP3100675A1 (en) * 2015-06-03 2016-12-07 IMEDI PLUS Inc. Method and system for recognizing physiological sound
CN108135486A (zh) * 2015-08-17 2018-06-08 瑞思迈传感器技术有限公司 睡眠呼吸障碍筛查仪
CN108388912A (zh) * 2018-02-08 2018-08-10 南京理工大学 基于多传感器特征优化算法的睡眠分期方法
CN109316166A (zh) * 2018-10-10 2019-02-12 大连理工大学 一种基于深度学习网络的人体睡眠阶段估计方法
CN111197845A (zh) * 2018-11-19 2020-05-26 Tcl集团股份有限公司 一种基于深度学习的空调运行模式的控制方法及系统
CN109820484A (zh) * 2019-03-14 2019-05-31 深圳市弘楚源科技发展有限公司 一种带有传感装置监测睡眠呼吸障碍的床垫
CN110598608A (zh) * 2019-09-02 2019-12-20 中国航天员科研训练中心 非接触式与接触式协同的心理生理状态智能监测系统
CN111358435A (zh) * 2020-03-13 2020-07-03 珠海向量科技有限公司 一种提高深度神经网络精度的数据增强方法
WO2021207094A1 (en) * 2020-04-05 2021-10-14 Mong Michael Systems and methods for treating coronavirus
CN112401566A (zh) * 2020-11-17 2021-02-26 广州大学华软软件学院 一种智能婴儿护理系统及方法
CN113288065A (zh) * 2021-06-03 2021-08-24 北京好医生云医院管理技术有限公司 一种基于鼾声的实时呼吸暂停及低通气预测方法
CN113633260A (zh) * 2021-08-11 2021-11-12 广州医科大学附属第一医院(广州呼吸中心) 多导睡眠监测方法、监测仪、计算机设备及可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘嘉敏等: "基于长短记忆与信息注意的视频–脑电交互协同情感识别", 《自动化学报》, vol. 46, no. 10, pages 2137 - 2147 *
刘庆才等: "肉兔饲养技术要点", 《吉林畜牧兽医》, no. 4, pages 43 *
许春冬等: "噪声动态估计下的心音降噪", 《生物医学工程学杂志》, vol. 37, no. 5, pages 775 - 785 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI809864B (zh) * 2022-05-10 2023-07-21 亞迪電子股份有限公司 感測方法和感測系統
CN115581435A (zh) * 2022-08-30 2023-01-10 湖南万脉医疗科技有限公司 一种基于多传感器的睡眠监测方法和设备
CN117530666A (zh) * 2024-01-03 2024-02-09 北京清雷科技有限公司 呼吸异常识别模型训练方法、呼吸异常识别方法及设备
CN117530666B (zh) * 2024-01-03 2024-04-05 北京清雷科技有限公司 呼吸异常识别模型训练方法、呼吸异常识别方法及设备

Also Published As

Publication number Publication date
CN114391807B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
CN114391807B (zh) 睡眠呼吸障碍分析方法、装置、设备及可读介质
CN108388912B (zh) 基于多传感器特征优化算法的睡眠分期方法
TWI720215B (zh) 提供即時訊號分段和基準點對準架構的系統與方法
JP5961235B2 (ja) 睡眠/覚醒状態評価方法及びシステム
US20220175298A1 (en) Medical decision support system
Zhao et al. Self-supervised learning from multi-sensor data for sleep recognition
WO2020248008A1 (en) A method and system for classifying sleep related brain activity
CN111358435B (zh) 一种提高深度神经网络精度的数据增强方法
Azimi et al. Machine learning-based automatic detection of central sleep apnea events from a pressure sensitive mat
Kim et al. 1D CNN based human respiration pattern recognition using ultra wideband radar
CN116098602B (zh) 一种基于ir-uwb雷达的非接触式睡眠呼吸监测方法及装置
CN111685774B (zh) 基于概率集成回归模型的osahs诊断方法
Liang et al. Obstructive sleep apnea detection using combination of CNN and LSTM techniques
CN114711725A (zh) 一种基于双重注意力机制的睡眠呼吸暂停检测方法及装置
Doheny et al. Estimation of respiratory rate and exhale duration using audio signals recorded by smartphone microphones
CN111317446A (zh) 基于人体肌肉表面电信号的睡眠结构自动分析方法
Liu et al. OSA-weigher: an automated computational framework for identifying obstructive sleep apnea based on event phase segmentation
CN113925459B (zh) 一种基于脑电特征融合的睡眠分期方法
Taşkıran et al. A deep learning based decision support system for diagnosis of Temporomandibular joint disorder
CN113409944A (zh) 基于深度学习的阻塞性睡眠呼吸暂停检测方法及装置
CN113116300A (zh) 一种基于模型融合的生理信号分类方法
CN113827202A (zh) 基于机器学习的睡眠质量检测方法及装置
CN116807405A (zh) 基于人体压力分布图像的睡眠状态及睡眠疾病检测系统
Kala et al. An objective measure of signal quality for pediatric lung auscultations
Jindal MobileSOFT: U: A deep learning framework to monitor heart rate during intensive physical exercise

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant