CN114464200A - 基于耳机的肺功能检测方法、系统、设备及可读存储介质 - Google Patents
基于耳机的肺功能检测方法、系统、设备及可读存储介质 Download PDFInfo
- Publication number
- CN114464200A CN114464200A CN202210018224.XA CN202210018224A CN114464200A CN 114464200 A CN114464200 A CN 114464200A CN 202210018224 A CN202210018224 A CN 202210018224A CN 114464200 A CN114464200 A CN 114464200A
- Authority
- CN
- China
- Prior art keywords
- frequency spectrum
- target
- spectrogram
- lung function
- earphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004199 lung function Effects 0.000 title claims abstract description 92
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000001228 spectrum Methods 0.000 claims abstract description 177
- 238000007664 blowing Methods 0.000 claims abstract description 105
- 238000013135 deep learning Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000009325 pulmonary function Effects 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 42
- 230000009471 action Effects 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 14
- 238000013123 lung function test Methods 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 5
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 6
- 238000012512 characterization method Methods 0.000 abstract description 4
- 208000019693 Lung disease Diseases 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 210000004072 lung Anatomy 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003434 inspiratory effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000001684 chronic effect Effects 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000009613 pulmonary function test Methods 0.000 description 2
- 206010003504 Aspiration Diseases 0.000 description 1
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 1
- 208000011623 Obstructive Lung disease Diseases 0.000 description 1
- 208000030934 Restrictive pulmonary disease Diseases 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 244000235659 Rubus idaeus Species 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 208000035474 group of disease Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/091—Measuring volume of inspired or expired gases, e.g. to determine lung capacity
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Pulmonology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physiology (AREA)
- Medical Informatics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Epidemiology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于耳机的肺功能检测方法、系统、设备及计算机可读存储介质,本发明通过用户所穿戴的耳机上的麦克风来对用户的吹气吸气声进行采集,使得无需用户准备价格高昂的检测设备或是专门前往医院进行检测,增加了检测实施的便捷性,降低了检测设备所需成本;通过对采集到的气流声进行频谱转换、信号特征分析等的信号处理,再使用深度学习算法,将吹气和吸气阶段的频谱转化为最终的流速‑容积曲线,从而实现了在维持低成本的前提下,基于普通的商用耳机进行肺功能检测也能够得到流速‑容积曲线,大大提升了此方案的肺功能表征能力。
Description
技术领域
本发明涉及深度学习技术领域,尤其涉及基于耳机的肺功能检测方法、系统、设备及计算机可读存储介质。
背景技术
慢性肺功能疾病(例如哮喘,慢性阻塞性肺病)是危害人类健康的一类疾病,这类疾病目前来说是不可以被完全治愈的,现有的医学干预手段只能用来控制疾病的发展。因此,为了及时发现慢性肺功能疾病,以及对已患病患者健康的及时监控,医学文献建议患者进行每日的肺功能检测。然而,现有的肺功能检测仪分为两种。第一种是传统的医用肺功能检测设备,这些设备体型庞大且使用复杂,并且只在医院才有配备,因此并不适合患者用来进行每日的肺功能检测。第二种是家用肺功能检测设备,这些肺功能仪体型小而轻便,适合患者在家中进行肺功能检测。然而,普通家用肺功能仪是十分昂贵的,对一般家庭而言经济负担较重。
目前学术界提出一系列基于智能手机的软件算法,这些算法可以用来检测肺功能。其大致原理是:用户在进行肺功能测试时需要进行用力的吸气和吹气,算法通过智能手机上的麦克风来记录用户进行用力吹气和吸气时所产生的气流声,通过分析这些气流声来得到用户的肺功能状况。这些设计虽然显著降低了使用成本,但在功能上却大大缩水,上述基于智能手机的算法只能得到少量的肺功能指标,而无法得到传统医用肺功能仪和家用肺功能仪均能得到的流速-容积曲线(此曲线描述了用户在进行吹气吸气时,肺部与外界进行气体交换时的气体流速和体积的变化关系。不同的肺部疾病有其特定的流速-容积曲线的形状),因此表征用户肺功能状况的能力十分有限。
发明内容
本发明的主要目的在于提出一种基于耳机的肺功能检测方法、系统、设备及计算机可读存储介质,旨在解决如何实现在维持低成本的前提下,使得基于智能手机的肺功能检测算法也能够得到流速-容积曲线的技术问题。
为实现上述目的,本发明提供一种基于耳机的肺功能检测方法,所述方法应用于连接有耳机的终端设备,所述耳机上搭载有麦克风,所述方法包括:
获取所述麦克风采集到的气流声,根据所述气流声生成目标频谱图,其中,所述气流声由穿戴所述耳机的目标用户进行吹气和吸气所产生;
分析所述目标频谱图中的信号特征,基于所述信号特征划分出所述目标频谱图中的吹气阶段频谱和吸气阶段频谱;
使用预设的深度学习算法,将所述吹气阶段频谱和吸气阶段频谱结合转化为表征所述目标用户肺功能的流速-容积曲线。
可选地,所述获取所述麦克风采集到的气流声,根据所述气流声生成目标频谱图的步骤包括:
将所述气流声进行短时傅立叶变换,以得到气流声频谱图;
将所述气流声频谱图通过预设的梅尔滤波器组,得到梅尔刻度下的频谱图,以作为所述目标频谱图。
可选地,所述将所述气流声进行短时傅立叶变换,以得到气流声频谱图的步骤包括:
将所述气流声进行短时傅立叶变换,得到初始频谱图;
保留所述初始频谱图中频率在预设的频率范围内的部分频谱图,以作为所述气流声频谱图。
可选地,所述使用预设的深度学习算法,将所述吹气阶段频谱和吸气阶段频谱结合转化为表征所述目标用户肺功能的流速-容积曲线的步骤包括:
将所述吹气阶段频谱和吸气阶段频谱输入预设的卷积神经网络,得到目标卷积数据;
将所述目标卷积数据输入预设的循环神经网络以及全连接层,得到目标输出数据;
根据所述目标输出数据得到所述吹气阶段频谱和吸气阶段匹配对应的气体流速信号,并对所述气体流速信号进行积分处理,得到气体体积信号;
结合所述气体流速信号和所述气体体积信号得到所述流速-容积曲线。
可选地,所述分析所述目标频谱图中的信号特征,基于所述信号特征划分出所述目标频谱图中的吹气阶段频谱和吸气阶段频谱的步骤包括:
识别出所述目标频谱图中的能量峰值点,基于所述能量峰值点确定出所述目标频谱图中横坐标上的吹气起始时间点;
根据预设的吹气标准持续时长和所述吹气起始时间点,确定出所述横坐标上的吹气结束时间点,以将所述目标频谱图中由所述吹气起始时间点至所述吹气结束时间点之间的部分频谱作为所述吹气阶段频谱;
将所述目标频谱图中除去所述吹气阶段频谱的部分作为剩余频谱,对所述剩余频谱进行归一化操作,得到归一化剩余频谱;
使用预设的聚类算法确定出所述归一化剩余频谱中属于吸气阶段的部分,作为所述吸气阶段频谱。
可选地,所述使用预设的聚类算法确定出所述归一化剩余频谱中属于吸气阶段的部分,作为所述吸气阶段频谱的步骤包括:
使用所述聚类算法将所述归一化剩余频谱中所有时刻的频率分布聚类为若干类信号;
计算每一类信号对应的总能量,并确定出总能量最高的一类信号;
将总能量最高的一类信号所对应的时间区段作为吸气时间区段,以从所述剩余频谱图中筛选出处于所述吸气时间区段的频谱,作为所述吸气阶段频谱。
可选地,所述使用预设的深度学习算法,将所述吹气阶段频谱和吸气阶段频谱结合转化为表征所述目标用户肺功能的流速-容积曲线的步骤之后,还包括:
分析所述流速-容积曲线,以评估所述目标用户的呼吸气动作质量;
在所述呼吸气动作质量未满足预设的质量标准时,生成并输出动作质量未达标的提示信息。
此外,为实现上述目的,本发明还提供一种基于耳机的肺功能检测系统,所述系统设于连接有耳机的终端设备,所述耳机上搭载有麦克风,所述系统包括:
目标频谱生成模块,用于获取所述麦克风采集到的气流声,根据所述气流声生成目标频谱图,其中,所述气流声由穿戴所述耳机的目标用户进行吹气和吸气所产生;
阶段频谱划分模块,用于分析所述目标频谱图中的信号特征,基于所述信号特征划分出所述目标频谱图中的吹气阶段频谱和吸气阶段频谱;
目标曲线转化模块,用于使用预设的深度学习算法,将所述吹气阶段频谱和吸气阶段频谱结合转化为表征所述目标用户肺功能的流速-容积曲线
此外,为实现上述目的,本发明还提供一种基于耳机的肺功能检测设备,所述基于耳机的肺功能检测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于耳机的肺功能检测程序,所述基于耳机的肺功能检测程序被所述处理器执行时实现如上所述的基于耳机的肺功能检测方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有基于耳机的肺功能检测程序,所述基于耳机的肺功能检测程序被处理器执行时实现如上所述的基于耳机的肺功能检测方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的基于耳机的肺功能检测方法的步骤。
本发明通过用户所穿戴的耳机上的麦克风来对用户的吹气吸气声进行采集,使得无需用户准备价格高昂的检测设备或是专门前往医院进行检测,增加了检测实施的便捷性,降低了检测设备所需成本;通过对采集到的气流声进行频谱转换、信号特征分析等的信号处理,再使用深度学习算法,将吹气和吸气阶段的频谱转化为最终的流速-容积曲线,从而实现了在维持低成本的前提下,基于普通的商用耳机进行肺功能检测也能够得到流速-容积曲线,大大提升了此方案的肺功能表征能力,解决了如何实现在维持低成本的前提下,使得基于智能手机的肺功能检测算法也能够得到流速-容积曲线的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本发明基于耳机的肺功能检测方法第一实施例的流程示意图;
图3为本发明基于耳机的肺功能检测方法第一实施例中一具体实施例的硬件组成示意图;
图4为本发明基于耳机的肺功能检测方法第一实施例中一具体实施例的不同肺部疾病的流速-容积曲线对比图;
图5为本发明基于耳机的肺功能检测方法第二实施例中的梅尔滤波器频率响应示意图;
图6为本发明基于耳机的肺功能检测方法第二实施例中一具体实施例的深度学习网络模型示意图;
图7为本发明基于耳机的肺功能检测方法第三实施例中一具体实施例的剩余频谱示意图;
图8为本发明基于耳机的肺功能检测方法第三实施例中一具体实施例的归一化剩余频谱示意图;
图9为本发明基于耳机的肺功能检测方法第三实施例中一具体实施例的聚类结果示意图;
图10为本发明基于耳机的肺功能检测方法第三实施例中一具体实施例的不标准肺功能检测动作所产生的流速容积曲线对比图;
图11为本发明基于耳机的肺功能检测方法一具体实施例的软件算法流程图;
图12为本发明基于耳机的肺功能检测系统的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
目前学术界提出一系列基于智能手机的软件算法,这些算法可以用来检测肺功能。其大致原理是:用户在进行肺功能测试时需要进行用力的吸气和吹气,算法通过智能手机上的麦克风来记录用户进行用力吹气和吸气时所产生的气流声,通过分析这些气流声来得到用户的肺功能状况。这些设计虽然显著降低了使用成本,但在功能上却大大缩水,上述基于智能手机的算法只能得到少量的肺功能指标,而无法得到传统医用肺功能仪和家用肺功能仪均能得到的流速-容积曲线(此曲线描述了用户在进行吹气吸气时,肺部与外界进行气体交换时的气体流速和体积的变化关系。不同的肺部疾病有其特定的流速-容积曲线的形状),因此表征用户肺功能状况的能力十分有限。
为解决上述问题,本发明提供一种基于耳机的肺功能检测方法,即通过用户所穿戴的耳机上的麦克风来对用户的吹气吸气声进行采集,使得无需用户准备价格高昂的检测设备或是专门前往医院进行检测,增加了检测实施的便捷性,降低了检测设备所需成本;通过对采集到的气流声进行频谱转换、信号特征分析等的信号处理,再使用深度学习算法,将吹气和吸气阶段的频谱转化为最终的流速-容积曲线,从而实现了在维持低成本的前提下,基于普通的商用耳机进行肺功能检测也能够得到流速-容积曲线,大大提升了此方案的肺功能表征能力,解决了如何实现在维持低成本的前提下,使得基于智能手机的肺功能检测算法也能够得到流速-容积曲线的技术问题。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图1所示,该基于耳机的肺功能检测系统可以包括:处理器1001,例如CPU,用户接口1003,网络接口1004,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的设备结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于耳机的肺功能检测程序。
在图1所示的设备中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的基于耳机的肺功能检测程序,并执行以下操作:
获取所述麦克风采集到的气流声,根据所述气流声生成目标频谱图,其中,所述气流声由穿戴所述耳机的目标用户进行吹气和吸气所产生;
分析所述目标频谱图中的信号特征,基于所述信号特征划分出所述目标频谱图中的吹气阶段频谱和吸气阶段频谱;
使用预设的深度学习算法,将所述吹气阶段频谱和吸气阶段频谱结合转化为表征所述目标用户肺功能的流速-容积曲线。
进一步地,所述获取所述麦克风采集到的气流声,根据所述气流声生成目标频谱图的步骤包括:
将所述气流声进行短时傅立叶变换,以得到气流声频谱图;
将所述气流声频谱图通过预设的梅尔滤波器组,得到梅尔刻度下的频谱图,以作为所述目标频谱图。
进一步地,所述将所述气流声进行短时傅立叶变换,以得到气流声频谱图的步骤包括:
将所述气流声进行短时傅立叶变换,得到初始频谱图;
保留所述初始频谱图中频率在预设的频率范围内的部分频谱图,以作为所述气流声频谱图。
进一步地,所述使用预设的深度学习算法,将所述吹气阶段频谱和吸气阶段频谱结合转化为表征所述目标用户肺功能的流速-容积曲线的步骤包括:
将所述吹气阶段频谱和吸气阶段频谱输入预设的卷积神经网络,得到目标卷积数据;
将所述目标卷积数据输入预设的循环神经网络以及全连接层,得到目标输出数据;
根据所述目标输出数据得到所述吹气阶段频谱和吸气阶段匹配对应的气体流速信号,并对所述气体流速信号进行积分处理,得到气体体积信号;
结合所述气体流速信号和所述气体体积信号得到所述流速-容积曲线。
进一步地,所述分析所述目标频谱图中的信号特征,基于所述信号特征划分出所述目标频谱图中的吹气阶段频谱和吸气阶段频谱的步骤包括:
识别出所述目标频谱图中的能量峰值点,基于所述能量峰值点确定出所述目标频谱图中横坐标上的吹气起始时间点;
根据预设的吹气标准持续时长和所述吹气起始时间点,确定出所述横坐标上的吹气结束时间点,以将所述目标频谱图中由所述吹气起始时间点至所述吹气结束时间点之间的部分频谱作为所述吹气阶段频谱;
将所述目标频谱图中除去所述吹气阶段频谱的部分作为剩余频谱,对所述剩余频谱进行归一化操作,得到归一化剩余频谱;
使用预设的聚类算法确定出所述归一化剩余频谱中属于吸气阶段的部分,作为所述吸气阶段频谱。
进一步地,所述使用预设的聚类算法确定出所述归一化剩余频谱中属于吸气阶段的部分,作为所述吸气阶段频谱的步骤包括:
使用所述聚类算法将所述归一化剩余频谱中所有时刻的频率分布聚类为若干类信号;
计算每一类信号对应的总能量,并确定出总能量最高的一类信号;
将总能量最高的一类信号所对应的时间区段作为吸气时间区段,以从所述剩余频谱图中筛选出处于所述吸气时间区段的频谱,作为所述吸气阶段频谱。
进一步地,所述使用预设的深度学习算法,将所述吹气阶段频谱和吸气阶段频谱结合转化为表征所述目标用户肺功能的流速-容积曲线的步骤之后,处理器1001可以用于调用存储器1005中存储的基于耳机的肺功能检测程序,并执行以下操作:
分析所述流速-容积曲线,以评估所述目标用户的呼吸气动作质量;
在所述呼吸气动作质量未满足预设的质量标准时,生成并输出动作质量未达标的提示信息。
基于上述硬件结构,提出本发明基于耳机的肺功能检测方法实施例。
参照图2,图2为本发明基于耳机的肺功能检测方法第一实施例的流程示意图。所述方法应用于连接有耳机的终端设备,所述耳机上搭载有麦克风,所述方法包括:
步骤S10,获取所述麦克风采集到的气流声,根据所述气流声生成目标频谱图,其中,所述气流声由穿戴所述耳机的目标用户进行吹气和吸气所产生;
在本实施例中,目标频谱图指的是上述麦克风采集到的气流声信号所对应的频谱图。需要说明的是,为了保证肺功能检测的准确性,用户在使用耳机进行检测所需的吸气吹气动作时,可采用以下方式进行:用户戴上耳机,手捏住鼻子,向普通一次性吹嘴(通常为塑料材质,造价便宜)做标准肺功能测试的动作。其中,标准肺功能测试动作为:第一步,深吸一口气,直到肺中充满气体;第二步,用最大力气吹气,将肺中气体排出;第三步,用最大力气吸气,使得肺中再次充满气体。在用户做以上动作时,搜穿戴的耳机里的麦克风就可以记录气流声。耳机可采用市面上常见的带麦克风的商用耳机。
具体地,如图3所示。上述连接有耳机的终端设备可包含麦克风工作电路、信号收集模块以及与信号收集模块连接的计算机,麦克风工作电路用于将采集到的气流声信号传入信号收集模块,信号收集模块包括Seeed(矽递)公司生产的ReSpeaker Voice AccessoryHAT(一款麦克风扩展板),用于模数转换,和一块Raspberry Pi 3Model B+(一款树莓派控制器)用于数据的收集和储存,而经由信号收集模块处理后的信号就可输入计算机进行信号分析,得到上述目标频谱图。
步骤S20,分析所述目标频谱图中的信号特征,基于所述信号特征划分出所述目标频谱图中的吹气阶段频谱和吸气阶段频谱;
在本实施例中,信号特征具体可包括频谱图中的斜率变化、信号极值等等。吹气阶段频谱指的是目标用户在使用耳机做出肺功能检测动作中吹气动作所产生的气流声对应的频谱;同理,吸气阶段频谱指的是目标用户在使用耳机做出肺功能检测动作中吸气动作所产生的气流声对应的频谱。
由于吹气阶段和吸气阶段各自具有不同的特点,这些特点能够以一些特定的信号特征体现在频谱图中。例如,对于吹气阶段而言,吹气的气流声能量相对吸气而言会比较大,且能量会随着时间的推移逐渐增加;对于吸气阶段而言,气流声能量较之吹气会比较小。因此计算机就可以根据这些特点在频谱图上的表征,从中划分出属于吹气阶段的吹气阶段频谱和属于吸气阶段的吸气阶段频谱。需要说明的是,目标频谱图中除了吹气阶段频谱的部分与吸气阶段频谱的部分之外,还可能会包含环境噪声,因此在提取过程中需要将其剔除。
步骤S30,使用预设的深度学习算法,将所述吹气阶段频谱和吸气阶段频谱结合转化为表征所述目标用户肺功能的流速-容积曲线。
在本实施例中,深度学习算法具体可由若干个卷积神经网络以及若干个循环神经网络所构建。流速-容积曲线是以气体体积为横轴、气体流速为纵轴的曲线。不同的肺部疾病有其特定的流速-容积曲线的形状、如图4所示。图中展示了三种流速-容积曲线。从左至右第一张为正常肺部所对应的流速-容积曲线,第二张为阻塞性肺病所对应的流速-容积曲线,第三张为限制性肺病所对应的流速-容积曲线。具体地,计算机可通过预设的深度学习算法对吹气阶段频谱和吸气阶段频谱进行处理,处理后即可得到吹气阶段和吸气阶段分别对应的气体体积和气体流速,然后基于此绘制出流速-容积曲线。
在得到流速-容积曲线后,通过分析此曲线,即可得到常见的肺功能指标。
本实施例提供一种基于耳机的肺功能检测方法,所述基于耳机的肺功能检测方法通过用户所穿戴的耳机上的麦克风来对用户的吹气吸气声进行采集,使得无需用户准备价格高昂的检测设备或是专门前往医院进行检测,增加了检测实施的便捷性,降低了检测设备所需成本;通过对采集到的气流声进行频谱转换、信号特征分析等的信号处理,再使用深度学习算法,将吹气和吸气阶段的频谱转化为最终的流速-容积曲线,从而实现了在维持低成本的前提下,基于普通的商用耳机进行肺功能检测也能够得到流速-容积曲线,大大提升了此方案的肺功能表征能力,解决了如何实现在维持低成本的前提下,使得基于智能手机的肺功能检测算法也能够得到流速-容积曲线的技术问题。
进一步地,基于上述图2所示的第一实施例,提出本发明基于耳机的肺功能检测方法的第二实施例。在本实施例中,步骤S10包括:
步骤S11,将所述气流声进行短时傅立叶变换,以得到气流声频谱图;
步骤S12,将所述气流声频谱图通过预设的梅尔滤波器组,得到梅尔刻度下的频谱图,以作为所述目标频谱图。
在本实施例中,计算机将信号收集模块所输入的原始的气流声信号进行初步的信号处理,得到信号频域上的特征。具体地,先对其作短时傅立叶变换(STFT,short-timeFourier transform,或short-term Fourier transform)),以基于处理结果得到上述气流声频谱图;然后将气流声频谱图经过预设的梅尔滤波器组,梅尔滤波器组中包含多个梅尔滤波器,气流声频谱图经过多个梅尔滤波器后得到梅尔刻度下的频谱图(梅尔频率图)。
具体地,预先设计包含100个滤波器的梅尔滤波器组,每个滤波器的中心频率M(f)由以下公式算出:
M(f)=1125·log(1+f/700)。
其中,f为从50Hz到1500Hz频段内等间距取的100个频点。
每个滤波器的频率响应由以下公式算出(m表示滤波器序号,取1到100;k表示频率轴上的第k个频点):
梅尔滤波器组中所有梅尔滤波器的频率响应如图5所示,横轴表示频率,纵轴表示振幅。梅尔滤波器组相乘即可得到梅尔频谱图,即:
M=HTS
其中,M表示梅尔频谱图,H表示梅尔滤波器组,S表示气流声频谱图。
所得到的梅尔频谱图M既保留了原频谱图的特性,而且只有100维度,从而有效降低了信号维度,方便后续处理,以及突出低频信号的特征(通过观察,频谱图上的低频特征要远比高频特征复杂)。
进一步地,步骤S11包括:
步骤S111,将所述气流声进行短时傅立叶变换,得到初始频谱图;
步骤S112,保留所述初始频谱图中频率在预设的频率范围内的部分频谱图,以作为所述气流声频谱图。
在本实施例中,首先对收集到的原始音频信号(即上述气流声)作短时傅立叶变换(STFT),具体的参数可为:采样频率:48kHz,切片长度:50ms,快速傅立叶变换(FFT)点数:2400,相邻切片重叠比例:75%。由于经过实验发现人吹气吸气所产生的气流声大致位于500Hz到1500Hz之间,因此,在做完STFT得到的初始频谱图的基础上保留500~1500Hz的部分(频率范围也可根据实际需求灵活设置)。此步骤结束后,得到的频谱图的频率点数为724个点。
步骤S112之后,将频谱图通过梅尔滤波器组,梅尔滤波器组中有100个滤波器,故经过梅尔滤波器组之后的频率点数为100个点。经过梅尔滤波器组得到梅尔频谱,将其再输入到神经网络中。
进一步地,步骤S30包括:
步骤S31,将所述吹气阶段频谱和吸气阶段频谱输入预设的卷积神经网络,得到目标卷积数据;
步骤S32,将所述目标卷积数据输入预设的循环神经网络以及全连接层,得到目标输出数据;
步骤S33,根据所述目标输出数据得到所述吹气阶段频谱和吸气阶段匹配对应的气体流速信号,并对所述气体流速信号进行积分处理,得到气体体积信号;
步骤S34,结合所述气体流速信号和所述气体体积信号得到所述流速-容积曲线。
在本实施例中,深度学习算法基于卷积神经网络、循环神经网络以及全连接层所设计。
作为一具体实施例。吹气、吸气阶段分别使用两个一模一样结构的神经网络模型,所使用的深度学习网络模型如图6所示。模型的输入是100*N的梅尔频谱图(N表示信号长度)。首先经过三个卷积神经网络(Conv),其中三个卷积网络的卷积核的大小分别是(3,3,4),(3,3,8)和(3,3,16)。每个卷积层之后有使用一个LeakyReLU函数(一种高级激活函数)进行激活,并且链接一个最大池化层(Pool),池化层的核的大小均为(2,2)。三个卷积层过后数据的维度变化16*25*(N/4),经过一个扁平化操作后变为400*(N/4)。随后,将此数据经过一个循环神经网络处理(GRU),此循环神经网络的隐藏层大小为128,层数为1.在经过此循环神经网络后,数据的维度变为128*(N/4)。随后,经过两个全连接层,将数据的维度处理成1*(N/4),其中,在第二层全连接层之前使用Dropout方法处理数据。在得到输出之后进行PCHIP插值(三阶Hermite插值),使得输出恢复成1*N的维度。此神经网络训练完成后,输出的1*N的数据即为此段信号所对应的气体流速。在得到气体流速后,对流速信号作积分,即得到气体体积信号。以气体体积为横轴,以气体流速为纵轴,即可画出流速-体积曲线。
进一步地,基于上述图2所示的第一实施例,提出本发明基于耳机的肺功能检测方法的第三实施例。在本实施例中,步骤S20包括:
步骤S21,识别出所述目标频谱图中的能量峰值点,基于所述能量峰值点确定出所述目标频谱图中横坐标上的吹气起始时间点;
步骤S22,根据预设的吹气标准持续时长和所述吹气起始时间点,确定出所述横坐标上的吹气结束时间点,以将所述目标频谱图中由所述吹气起始时间点至所述吹气结束时间点之间的部分频谱作为所述吹气阶段频谱;
步骤S23,将所述目标频谱图中除去所述吹气阶段频谱的部分作为剩余频谱,对所述剩余频谱进行归一化操作,得到归一化剩余频谱;
步骤S24,使用预设的聚类算法确定出所述归一化剩余频谱中属于吸气阶段的部分,作为所述吸气阶段频谱。
在本实施例中,对于吹气阶段的频谱提取。因为吹气的气流声能量相对较大,因此,对整段信号的梅尔频谱图沿着频率维度累积,得到这段信号的能量随时间的变化的信号。以能量信号的峰值点为起点,向前寻找斜率小于预设阈值的时间点,此时间点记为吹气阶段的起始点。因为吹气阶段需要用户保持吹气姿势六秒,所以吹气阶段的结束点为起始点后的第六秒结束。
对于吸气阶段的频谱提取。因为吸气的气流声很小,极易混杂在环境噪声中,不易提取,因此需要根据吸气信号的频域特征,将吸气信号与环境噪声区分开。首先在整段信号中除去上一步提取出的吹气信号。在剩下的梅尔频谱图信号中,通过归一化操作,使得每一个时刻的频率的能量分布都在0和1之间。随后,具体可使用k-means聚类算法(也可根据实际情况选择其他聚类算法),来确定出吸气阶段频谱。
进一步地,步骤S24包括:
步骤S241,使用所述聚类算法将所述归一化剩余频谱中所有时刻的频率分布聚类为若干类信号;
步骤S242,计算每一类信号对应的总能量,并确定出总能量最高的一类信号;
步骤S243,将总能量最高的一类信号所对应的时间区段作为吸气时间区段,以从所述剩余频谱图中筛选出处于所述吸气时间区段的频谱,作为所述吸气阶段频谱。
在本实施例中,将所有时刻的频率分布聚类为三类。随后,在原始梅尔频谱上计算上述三类信号的总能量,总能量最高的那一类信号的时间时间区间则为吸气信号的时间区间。如图7-9所示。图7表示上述剩余频谱,图8表示进行归一化处理之后的归一化剩余频谱,图9表示K-means聚类算法的结果,其中虚线表示的是能量最高的那一类,为吸气信号所在时间段。
进一步地,步骤S30之后,还包括:
分析所述流速-容积曲线,以评估所述目标用户的呼吸气动作质量;
在所述呼吸气动作质量未满足预设的质量标准时,生成并输出动作质量未达标的提示信息。
在本实施例中,流速容积曲线除了能够表征不同的肺部疾病情况,还可以用来评价用户在进行肺功能检测时,其动作的质量如何。如图10所示。图中展示了三种不标准的肺功能检测工作所产生的流速-容积曲线。从左至右第一张为吹气时不够用力的动作所对应的流速-容积曲线,第二张为吹气时犹豫的动作所对应的流速-容积曲线,第三张为吸气不够充分的动作所对应的流速-容积曲线。
因为从流速-容积曲线中可以评估用户的动作质量,而若是质量未达标会影响到肺功能的判定,因此还可在得到流速-容积曲线后,检验其是否达到预设质量标准(例如将标准的流速-容积曲线与当前得到的曲线进行比较,若关键的特征相差过大则判定未达标),若是未达到标准,则可输出提示信息以提示用户,用户可选择重新检测。提示信息中还可包含动作不达标的具体原因,以明确指引用户纠正动作。
作为一具体实施例,本实施例的软件算法分为三个模块:音频特征提取模块、吹气/吸气阶段定位模块、基于深度学习的流速-容积曲线预测模块,流程图如图11所示。
音频特征提取模块。此模块的目的是对收集的原始音频信号作初步的处理,得到信号频域上的特征。所采取的方式为短时傅立叶变换与梅尔滤波器组滤波,具体处理方式上述已进行详细说明。
吹气/吸气阶段定位模块。此模块的主要目的是从整段音频信号中提取出吹气的声音信号和吸气的声音信号。先进行吹气阶段定位,再进行吸气阶段定位,具体定位方式上述已详细说明。
基于深度学习的流速-容积曲线预测模块。此模块的目的是通过深度学习的方式,将梅尔频谱图的特征转化成气体流速和气体体积。具体处理方式上述已详细说明,在此不做赘述。
如图12所示,本发明还提供一种基于耳机的肺功能检测系统,所述系统设于连接有耳机的终端设备,所述耳机上搭载有麦克风,所述系统包括:
目标频谱生成模块10,用于获取所述麦克风采集到的气流声,根据所述气流声生成目标频谱图,其中,所述气流声由穿戴所述耳机的目标用户进行吹气和吸气所产生;
阶段频谱划分模块20,用于分析所述目标频谱图中的信号特征,基于所述信号特征划分出所述目标频谱图中的吹气阶段频谱和吸气阶段频谱;
目标曲线转化模块30,用于使用预设的深度学习算法,将所述吹气阶段频谱和吸气阶段频谱结合转化为表征所述目标用户肺功能的流速-容积曲线。
可选地,所述目标频谱生成模块10包括:
气流频谱生成单元,用于将所述气流声进行短时傅立叶变换,以得到气流声频谱图;
目标频谱生成单元,用于将所述气流声频谱图通过预设的梅尔滤波器组,得到梅尔刻度下的频谱图,以作为所述目标频谱图。
可选地,所述气流频谱生成单元还用于:
将所述气流声进行短时傅立叶变换,得到初始频谱图;
保留所述初始频谱图中频率在预设的频率范围内的部分频谱图,以作为所述气流声频谱图。
可选地,所述目标曲线转化模块30包括:
卷积数据获取单元,用于将所述吹气阶段频谱和吸气阶段频谱输入预设的卷积神经网络,得到目标卷积数据;
输出数据获取单元,用于将所述目标卷积数据输入预设的循环神经网络以及全连接层,得到目标输出数据;
体积信号获取单元,用于根据所述目标输出数据得到所述吹气阶段频谱和吸气阶段匹配对应的气体流速信号,并对所述气体流速信号进行积分处理,得到气体体积信号;
目标曲线生成单元,用于结合所述气体流速信号和所述气体体积信号得到所述流速-容积曲线。
可选地,所述阶段频谱划分模块20包括:
吹气起始确定单元,用于识别出所述目标频谱图中的能量峰值点,基于所述能量峰值点确定出所述目标频谱图中横坐标上的吹气起始时间点;
吹气阶段确定单元,用于根据预设的吹气标准持续时长和所述吹气起始时间点,确定出所述横坐标上的吹气结束时间点,以将所述目标频谱图中由所述吹气起始时间点至所述吹气结束时间点之间的部分频谱作为所述吹气阶段频谱;
剩余频谱处理单元,用于将所述目标频谱图中除去所述吹气阶段频谱的部分作为剩余频谱,对所述剩余频谱进行归一化操作,得到归一化剩余频谱;
吸气阶段确定单元,用于使用预设的聚类算法确定出所述归一化剩余频谱中属于吸气阶段的部分,作为所述吸气阶段频谱。
可选地,所述吸气阶段确定单元还用于:
使用所述聚类算法将所述归一化剩余频谱中所有时刻的频率分布聚类为若干类信号;
计算每一类信号对应的总能量,并确定出总能量最高的一类信号;
将总能量最高的一类信号所对应的时间区段作为吸气时间区段,以从所述剩余频谱图中筛选出处于所述吸气时间区段的频谱,作为所述吸气阶段频谱。
可选地,所述基于耳机的肺功能检测系统还包括:
动作质量分析模块,用于分析所述流速-容积曲线,以评估所述目标用户的呼吸气动作质量;
提示信息输出模块,用于在所述呼吸气动作质量未满足预设的质量标准时,生成并输出动作质量未达标的提示信息。
本发明还提供一种基于耳机的肺功能检测设备。
所述基于耳机的肺功能检测设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的基于耳机的肺功能检测程序,其中所述基于耳机的肺功能检测程序被所述处理器执行时,实现如上所述的基于耳机的肺功能检测方法的步骤。
其中,所述基于耳机的肺功能检测程序被执行时所实现的方法可参照本发明基于耳机的肺功能检测方法的各个实施例,此处不再赘述。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有基于耳机的肺功能检测程序,所述基于耳机的肺功能检测程序被处理器执行时实现如上所述的基于耳机的肺功能检测方法的步骤。
其中,所述基于耳机的肺功能检测程序被执行时所实现的方法可参照本发明基于耳机的肺功能检测方法各个实施例,此处不再赘述。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的基于耳机的肺功能检测方法的步骤。
其中,所述计算机程序被执行时所实现的方法可参照本发明基于耳机的肺功能检测方法各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于耳机的肺功能检测方法,其特征在于,所述方法应用于连接有耳机的终端设备,所述耳机上搭载有麦克风,所述方法包括:
获取所述麦克风采集到的气流声,根据所述气流声生成目标频谱图,其中,所述气流声由穿戴所述耳机的目标用户进行吹气和吸气所产生;
分析所述目标频谱图中的信号特征,基于所述信号特征划分出所述目标频谱图中的吹气阶段频谱和吸气阶段频谱;
使用预设的深度学习算法,将所述吹气阶段频谱和吸气阶段频谱结合转化为表征所述目标用户肺功能的流速-容积曲线。
2.如权利要求1所述的基于耳机的肺功能检测方法,其特征在于,所述获取所述麦克风采集到的气流声,根据所述气流声生成目标频谱图的步骤包括:
将所述气流声进行短时傅立叶变换,以得到气流声频谱图;
将所述气流声频谱图通过预设的梅尔滤波器组,得到梅尔刻度下的频谱图,以作为所述目标频谱图。
3.如权利要求2所述的基于耳机的肺功能检测方法,其特征在于,所述将所述气流声进行短时傅立叶变换,以得到气流声频谱图的步骤包括:
将所述气流声进行短时傅立叶变换,得到初始频谱图;
保留所述初始频谱图中频率在预设的频率范围内的部分频谱图,以作为所述气流声频谱图。
4.如权利要求1所述的基于耳机的肺功能检测方法,其特征在于,所述使用预设的深度学习算法,将所述吹气阶段频谱和吸气阶段频谱结合转化为表征所述目标用户肺功能的流速-容积曲线的步骤包括:
将所述吹气阶段频谱和吸气阶段频谱输入预设的卷积神经网络,得到目标卷积数据;
将所述目标卷积数据输入预设的循环神经网络以及全连接层,得到目标输出数据;
根据所述目标输出数据得到所述吹气阶段频谱和吸气阶段匹配对应的气体流速信号,并对所述气体流速信号进行积分处理,得到气体体积信号;
结合所述气体流速信号和所述气体体积信号得到所述流速-容积曲线。
5.如权利要求1所述的基于耳机的肺功能检测方法,其特征在于,所述分析所述目标频谱图中的信号特征,基于所述信号特征划分出所述目标频谱图中的吹气阶段频谱和吸气阶段频谱的步骤包括:
识别出所述目标频谱图中的能量峰值点,基于所述能量峰值点确定出所述目标频谱图中横坐标上的吹气起始时间点;
根据预设的吹气标准持续时长和所述吹气起始时间点,确定出所述横坐标上的吹气结束时间点,以将所述目标频谱图中由所述吹气起始时间点至所述吹气结束时间点之间的部分频谱作为所述吹气阶段频谱;
将所述目标频谱图中除去所述吹气阶段频谱的部分作为剩余频谱,对所述剩余频谱进行归一化操作,得到归一化剩余频谱;
使用预设的聚类算法确定出所述归一化剩余频谱中属于吸气阶段的部分,作为所述吸气阶段频谱。
6.如权利要求5所述的基于耳机的肺功能检测方法,其特征在于,所述使用预设的聚类算法确定出所述归一化剩余频谱中属于吸气阶段的部分,作为所述吸气阶段频谱的步骤包括:
使用所述聚类算法将所述归一化剩余频谱中所有时刻的频率分布聚类为若干类信号;
计算每一类信号对应的总能量,并确定出总能量最高的一类信号;
将总能量最高的一类信号所对应的时间区段作为吸气时间区段,以从所述剩余频谱图中筛选出处于所述吸气时间区段的频谱,作为所述吸气阶段频谱。
7.如权利要求1-6任一项所述的基于耳机的肺功能检测方法,其特征在于,所述使用预设的深度学习算法,将所述吹气阶段频谱和吸气阶段频谱结合转化为表征所述目标用户肺功能的流速-容积曲线的步骤之后,还包括:
分析所述流速-容积曲线,以评估所述目标用户的呼吸气动作质量;
在所述呼吸气动作质量未满足预设的质量标准时,生成并输出动作质量未达标的提示信息。
8.一种基于耳机的肺功能检测系统,其特征在于,所述系统设于连接有耳机的终端设备,所述耳机上搭载有麦克风,所述系统包括:
目标频谱生成模块,用于获取所述麦克风采集到的气流声,根据所述气流声生成目标频谱图,其中,所述气流声由穿戴所述耳机的目标用户进行吹气和吸气所产生;
阶段频谱划分模块,用于分析所述目标频谱图中的信号特征,基于所述信号特征划分出所述目标频谱图中的吹气阶段频谱和吸气阶段频谱;
目标曲线转化模块,用于使用预设的深度学习算法,将所述吹气阶段频谱和吸气阶段频谱结合转化为表征所述目标用户肺功能的流速-容积曲线。
9.一种基于耳机的肺功能检测设备,其特征在于,所述基于耳机的肺功能检测设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于耳机的肺功能检测程序,所述基于耳机的肺功能检测程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于耳机的肺功能检测方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于耳机的肺功能检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210018224.XA CN114464200A (zh) | 2022-01-07 | 2022-01-07 | 基于耳机的肺功能检测方法、系统、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210018224.XA CN114464200A (zh) | 2022-01-07 | 2022-01-07 | 基于耳机的肺功能检测方法、系统、设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114464200A true CN114464200A (zh) | 2022-05-10 |
Family
ID=81410262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210018224.XA Pending CN114464200A (zh) | 2022-01-07 | 2022-01-07 | 基于耳机的肺功能检测方法、系统、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114464200A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024093748A1 (zh) * | 2022-11-01 | 2024-05-10 | 华为技术有限公司 | 信号采集方法、电子设备及存储介质 |
-
2022
- 2022-01-07 CN CN202210018224.XA patent/CN114464200A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024093748A1 (zh) * | 2022-11-01 | 2024-05-10 | 华为技术有限公司 | 信号采集方法、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240023886A1 (en) | Noninvasive method and system for sleep apnea detection | |
Jin et al. | Adventitious sounds identification and extraction using temporal–spectral dominance-based features | |
CN104739412B (zh) | 一种对睡眠呼吸暂停进行监测的方法和设备 | |
JP5093537B2 (ja) | 音情報判定支援方法、音情報判定方法、音情報判定支援装置、音情報判定装置、音情報判定支援システム及びプログラム | |
KR101619611B1 (ko) | 마이크로폰을 이용한 호흡률 추정 장치 및 기법 | |
Abushakra et al. | Acoustic signal classification of breathing movements to virtually aid breath regulation | |
CN110301890B (zh) | 呼吸暂停监测的方法及装置 | |
US20220061694A1 (en) | Lung health sensing through voice analysis | |
CN110970042A (zh) | 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质 | |
Mayorga et al. | Modified classification of normal lung sounds applying quantile vectors | |
US20190388006A1 (en) | Non-invasive system and method for breath sound analysis | |
Azam et al. | Smartphone based human breath analysis from respiratory sounds | |
JP6349613B2 (ja) | 呼吸機能検出システム及びその検出方法 | |
Tran et al. | Stethoscope-sensed speech and breath-sounds for person identification with sparse training data | |
JP2020513914A (ja) | 睡眠呼吸障害の特徴付け方法 | |
US9545219B2 (en) | Acoustic system and methodology for identifying the risk of obstructive sleep apnea during wakefulness | |
CN114464200A (zh) | 基于耳机的肺功能检测方法、系统、设备及可读存储介质 | |
TWI848197B (zh) | 呼吸功能檢測方法及裝置 | |
Porieva et al. | Investigation of lung sounds features for detection of bronchitis and COPD using machine learning methods | |
Dam et al. | e-Breath: breath detection and monitoring using frequency cepstral feature fusion | |
CN113679413B (zh) | 一种基于vmd-cnn的肺音特征识别分类方法及系统 | |
CN214065040U (zh) | 油烟机声品质的评价装置以及油烟机 | |
JP2020513908A (ja) | 睡眠呼吸障害を特徴付ける方法 | |
Khan et al. | Classification of pulmonary crackles and pleural friction rubs using MFCC statistical parameters | |
US12016672B2 (en) | Method and system for indicating obstructive sleep apnea during wakefulness |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |