CN109273085B - 病理呼吸音库的建立方法、呼吸疾病的检测系统及处理呼吸音的方法 - Google Patents

病理呼吸音库的建立方法、呼吸疾病的检测系统及处理呼吸音的方法 Download PDF

Info

Publication number
CN109273085B
CN109273085B CN201811413429.8A CN201811413429A CN109273085B CN 109273085 B CN109273085 B CN 109273085B CN 201811413429 A CN201811413429 A CN 201811413429A CN 109273085 B CN109273085 B CN 109273085B
Authority
CN
China
Prior art keywords
sound
pathological
breath
sounds
stethoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811413429.8A
Other languages
English (en)
Other versions
CN109273085A (zh
Inventor
杨斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tsingtec Information Technology Co ltd
Original Assignee
Nanjing Tsingtec Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tsingtec Information Technology Co ltd filed Critical Nanjing Tsingtec Information Technology Co ltd
Priority to CN201811413429.8A priority Critical patent/CN109273085B/zh
Publication of CN109273085A publication Critical patent/CN109273085A/zh
Application granted granted Critical
Publication of CN109273085B publication Critical patent/CN109273085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/003Detecting lung or respiration noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/02Stethoscopes
    • A61B7/04Electric stethoscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/16Speech classification or search using artificial neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Mathematical Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及病理呼吸音库的建立方法及其具体应用,包括如下步骤:1)形成带有标签的呼吸音数据集,所述呼吸音数据集通过采集确诊呼吸疾病患者的病理性呼吸音并进行标注而形成;2)根据所述呼吸音数据集对识别模型进行训练,获得目标识别模型;以及3)集成步骤1)获得的所述呼吸音数据集和步骤2)获得的所述目标识别模型,建立所述病理呼吸音库。呼吸音库可应用于教学、科研以及呼吸系统疾病的辅助诊断。

Description

病理呼吸音库的建立方法、呼吸疾病的检测系统及处理呼吸 音的方法
技术领域
本发明总体上涉及呼吸疾病检测领域,更特别地,涉及一种病理呼吸音库的建立方法、呼吸疾病的检测系统及处理呼吸音的方法,其可以实现呼吸音的数字化记录,做出医学诊断的辅助意见,从而便于呼吸疾病的检测和防治。
背景技术
呼吸系统疾病是一种常见病,病变轻者多咳嗽、胸痛、呼吸受影响,重者呼吸困难、缺氧,甚至呼吸衰竭而致死。由于环境污染、吸烟、人口年龄老化等因素,使近年来呼吸系统疾病如支气管哮喘、慢性阻塞性肺病的发病率明显增加。
以哮喘为例,我国约有3000万哮喘患者,其中,城市儿童哮喘总患病率高达3.02%,最近20年内,我国儿童哮喘患病率以每10年增加50%以上的幅度上升。与其他国家相比,我国哮喘患者死亡率最高,71.3%的患者未实现哮喘完全控制,超过50%的患者因急性发作住院或急诊就诊,而治疗不规范及患者对哮喘认识不足是造成患者死亡的常见原因。
呼吸系统疾病一般表现为呼吸障碍,例如呼吸中止、呼吸不足和呼吸过度。也有些病症并不明显,例如间歇性哮喘,患者可能经过几个星期甚至几个月都没有明显的症状,其病情的程度可能是渐次加深的,因此容易诊断为感冒等其他疾病,早期的误诊会延误患者的最佳治疗时机。另外,哮喘等呼吸系统疾病目前不能根治,儿童确诊为哮喘以后,需要长期进行病情管理。如果出现发病先兆,必须要进行及时的干预,防止病情恶化。但在家庭中,或者基层的医疗机构中,缺乏相关的专业监测能力以及判断能力。家长只能频繁地去医院寻医问诊,这也会加重家庭的负担。
因此,需要一种能及早发现患者的呼吸系统疾病的辅助诊断手段,其能够实现呼吸系统疾病的早期发现或自我监测,便于医生做出诊断意见和治疗方案。
发明内容
本发明的目的在于提供用于诊断、预防呼吸系统疾病的医疗辅助工具,其能够用于实现呼吸音的数字化记录,便捷、智能地检测呼吸系统疾病,给出辅助诊断意见。
本发明一方面提供一种病理呼吸音库的建立方法,包括如下步骤:1)形成带有标签的呼吸音数据集,所述呼吸音数据集通过采集确诊呼吸疾病患者的病理性呼吸音并进行标注而形成;2)根据所述呼吸音数据集对识别模型进行训练,获得目标识别模型;以及3)集成步骤1)获得的所述呼吸音数据集和步骤2)获得的所述目标识别模型,建立所述病理呼吸音库。
在一实施例中,在步骤1)中由一名医生对所述患者进行呼吸音的采集,并由另一医生对所述患者进行同步听诊,两名医生协商共同确定所述患者在呼气、吸气阶段出现的病理性特征音。
在一实施例中,在所述同步听诊过程中所述另一医生不接触所述患者的身体部位。
在一实施例中,所述病理性特征音包括粗湿啰音、细湿啰音、干啰音、喘鸣音、管样呼吸音、胸膜摩擦音和捻发音。
在一实施例中,所述呼吸音的采集部位包括患者的前胸部和背部,共设置9个采集点。
在一实施例中,在步骤1)中还对采集的呼吸音进行如下处理:对所述呼吸音截取预定时长的片段,并进行频域分析获得所述呼吸音的声学特征。
在一实施例中,步骤2)中的所述识别模型为神经网络模型,例如为卷积神经网络。
在一实施例中,所述神经网络的输入特征数据包括患者的年龄、性别、体重信息。
在一实施例中,其中步骤1)中还采集健康人群的呼吸音,将其输入步骤2)中的所述神经网络模型进行训练。
在一实施例中,其中步骤2)还包括:将训练的输出结果与标注信息进行对比,根据差异对所述识别模型进行校正。例如根据所述差异对所述识别模型的输入特征数据、神经网络层数等参数进行校正。
在一实施例中,其中步骤3)中,集成所述数据集和所述目标识别模型在服务器中。
本发明的另一方面提供一种呼吸疾病检测系统,包括:采集单元,用于采集患者的呼吸音;输入单元,用于接收所述呼吸音;计算单元,其与所述输入单元连接,并配置有识别模型,所述识别模型基于带有标签的呼吸音数据集训练得到,并配置为判定所述呼吸音为病理性特征音的相似度;以及输出单元,用于将所述相似度判断结果进行输出。
在一实施例中,其中所述采集单元包括数字听诊器。
在一实施例中,所述检测系统还包括预处理单元,其与所述输入单元和计算单元连接,并配置为对所述呼吸音的音频信号的分窗(win-framing)进行短时傅里叶变换(STFT),生成声音信号的波谱图(Spectrogram),作为所述计算单元的输入数据。
在一实施例中,其中所述输入单元还配置为接收所述患者的ID、年龄、性别、体重特征。
在一实施例中,所述计算单元包括:存储模块,其预置有所述识别模型,所述识别模型为基于神经网络训练而获得;处理模块,其与所述存储模块通过接口连接,并配置为基于所述识别模型判定所述输入单元接收的呼吸音为病理性特征音的相似度。
在一实施例中,其中所述识别模型为基于卷积神经网络训练而获得。
在一实施例中,其中所述计算单元还包括上传模块,其配置为如果判定所述输入的呼吸音为病理性特征音,则所述处理模块对其进行标注并将所述呼吸音上传至所述呼吸音数据集。
在一实施例中,所述输出单元包括显示单元和/或声音报警单元。
本发明的另一方面提供一种操作检测系统以处理患者呼吸音的方法,包括如下步骤:1)提取所述患者呼吸音的第一声学特征;2)将所述第一声学特征输入目标识别模型,判断所述第一声学特征的类别;以及3)将所述判断的类别在所述检测系统中进行显示。
在一实施例中,其中步骤1)中所述声学特征包括所述呼吸音的时域、频域特征。
在一实施例中,其中步骤2)中所述目标识别模型为基于卷积神经网络模型训练获得。
在一实施例中,其中步骤3)中通过文字或者声音将所述判断进行显示。
在一实施例中,还包括步骤4):提取所述患者的历史呼吸音的第二声学特征,将所述第一声学特征与所述第二声学特征进行比较,并将所述比较在所述检测系统中进行显示。所述步骤4)可在步骤3)后执行,也可与步骤2)同时执行。
本发明的另一方面提供一种存储介质,存储有计算机程序,所述计算机程序被处理器执行时上述方法的步骤。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的优点将会变得更明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。
图1示出本发明一实施例的病理呼吸音库的建立方法的流程图;
图2-5示出本发明一实施例的病理呼吸音的采集方法的示意图;
图6示出本发明一实施例的病理呼吸音库的功能框图;
图7示出本发明一实施例的呼吸疾病检测系统的功能框图;
图8示出本发明一实施例的操作检测系统以处理患者呼吸音的方法的流程图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅是用于解释相关发明,而非对该发明的限定。
图1为本发明一实施例的病理呼吸音库的建立方法的流程图。如图1所示,在本实施例中,本发明提供的病理呼吸音库的建立方法包括:
S10:形成带有标签的呼吸音数据集;
S20:获得目标识别模型;
S30:集成前述形成的呼吸音数据集和目标识别模型,获得病理呼吸音库。
本文所说的病理呼吸音,包括哮喘、肺炎、支气管炎、喘支等引发的异常特征音,这些特征音包括湿啰音(粗湿啰音、细湿啰音)、干啰音、喘鸣音、管样呼吸音、胸膜摩擦音和捻发音等。已有技术涉及针对患者的咳嗽、鼾声等声音进行识别进行辅助诊断,但其存在杂音大、判别度低等问题,本发明则通过收集啰音、胸膜摩擦音等可直接指示可能存在呼吸病症的临床听诊音。以哮喘为例,肺部听诊时,正常可以听到吹风样的声音,其是空气进出气道时产生的,如果患者有哮喘,可以听到高调的、响亮的尖锐哮鸣音;有肺部感染时,可以听到啰音等。因此相对于现有的方法,本发明的呼吸音库及其应用的检测系统及检测方法的针对性更强,诊断精确度也更高。
传统听诊由于是每个医生单独操作,由于人生理结构差异、医生诊断能力问题,导致听诊结果并不规范统一,另外,也没有数字化的手段将当时听诊结果记录下来。本发明的一实施例的目的在于建立智能呼吸音库,实现患者呼吸音的数字化记录,其可用于医学院的教学,另外一方面,本发明还利用深度学习等方式训练获得智能诊断模型,其可实现对呼吸系统疾病的智能化识别。下面将描述呼吸音库的具体建立方法。
步骤S10的呼吸音数据集可通过采集确诊呼吸疾病患者的病理性呼吸音并进行标注而形成。采集工具可使用数字听诊器,其包括传声器、滤波器、放大器、模数转换器等部件,采集的声音由传声器转换为电信号,经滤波去除干扰后,再经放大器、模数转换器数字化形成音频数据,并可通过数据线、蓝牙等手段将其传输至电脑、智能手机、PDA等接收设备。为了保证对呼吸音进行准确的标注,作为优选方式,本发明的一实施例中除了设置采集听诊器外,还设置有辅助听诊器,采集听诊器、辅助听诊器同时与电脑等接收设备连接。具体听诊、标注过程由两名医生实施,在一名医生听诊的同时,另外一名医生利用辅助听诊器可以听到同样的声音。只有在两个医生都得到同样的判断结果,才采信相应的采集和标注结果,有效地减少了由于单个人的失误导致样本库出现错误的概率。
具体的采集过程可由医生进行操作,首先确定患者的状态,清醒或熟睡,接下来选择测量部位,然后进行30秒的呼吸音声音采集。为了确保对患者呼吸音的标注准确性,由一名医生对所述患者进行呼吸音采集的同时,由另一医生利用辅助听诊器对所述患者进行同步听诊,两个医生协商共同确定所述患者在呼气、吸气阶段出现的病理性特征音。优选地,在所述同步听诊过程中另一医生并不接触患者的身体部位,进一步保证对呼吸音的数字化采集和可信标注。
下面通过图2-图5对步骤S10的采集过程进行描述,如图2所示,采集系统包括采集听诊器和辅助听诊器,采集部位共设置例如九个采集点,包括患者的前胸部和背部。启动例如电脑上的听诊程序后,打开听诊器,如前所述,两者可通过蓝牙等无线方式进行连接和数据传送,确保听诊器处于连接模式后可点击图2中的采集听诊器连接按键即可连接听诊器。如图3所示,连接成功后采集听诊器框图中会显示已连接听诊器的听诊模式及听诊音量;如需连接辅助听诊器此时可点击辅助听诊器框中“连接”进行选择,另一名医生不用接触患者的身体部位,通过辅助听诊器即可对该患者进行同步听诊,以保证对采集的呼吸音的可信标注。如图4所示,采集听诊器连接成功后即可输入患者信息进行听诊录音,患者信息中需要输入出生日期、性别、体重、病种分类等信息,输入完成后点击启动听诊即可启动一轮听诊录音流程,采集音长为30秒。单个位置听诊录音结束后提示输入听诊数据,此时如图5所示,可输入患者的听诊状态及由两名医生共同确定的该患者在吸气、呼气中的听诊音标签,呼吸音标签有正常、增强、减弱、消失等4种,病理性呼吸音性质优选选择粗湿啰音、细湿啰音、干啰音、喘鸣音、管样呼吸音、胸膜摩擦音、捻发音等7种特征音作为标签,其涵盖了大部分的异常特征音,因此能相对减轻后续模型训练的复杂度同时保持模型的适用性。保存后即进入下一位置听诊,如对听诊结果不确定可点击重新录音对当前位置重复听诊。完成九个听诊位置录音并保存后系统会提示“录音完成,请听诊下一位患者”,此时如需要继续听诊可选择患者信息录入,输入新的病人信息即可进行下一轮听诊。对采集的数据集进行归类存储,即形成带有标签的呼吸音数据集。
在步骤S20中,根据形成的带有标签的呼吸音数据集对识别模型进行训练,形成目标识别模型。所述识别模型采用深度学习神经网络,训练获得的神经网络可用于对输入的未知呼吸音数据判断其是否含有呼吸系统疾病的特征音以及该特征音的具体类型,即湿啰音(粗湿啰音、细湿啰音)、干啰音、喘鸣音、管样呼吸音、胸膜摩擦音和捻发音中的一种或几种。
优选地,在将采集的数据输入识别模型前,对采集的呼吸音进行如下处理:对所述呼吸音截取预定时长的帧片段,每帧时间约为20-30ms,加窗增加帧左端和右端的连续性,并进行频域分析获得所述呼吸音的声学特征,信号在时域上的特性可以作为不同的信号对比用,但很难看出信号本身的特性,所以通常需要将它转换为频域上的能量分布来观察,不同的能量分布,就代表不同的语音特性。具体而言,可对呼吸音的音频信号的分窗(win-framing)进行短时傅里叶变换(STFT),从而可进行频域分析获得该声音的声学特征,例如频率区间、共振峰频率、梅尔频率倒频系数(MFCC)、频谱平坦度等表征数据。对于采集的九个部位的呼吸音均做如上处理获得相应的声学特征,以作为神经网络的输入特征。
除了将呼吸音的频率特征等声学特征作为神经网络的输入特征之外,本发明还将患者的年龄、性别、体重信息也作为神经网络的输入特征数据进行训练、识别,发明人发现,除了呼吸音的频率特征能够表征啰音、喘鸣音等呼吸异常音,呼吸音的这些特征同时又与患者的年龄、性别、体重具有明显的相关性,因此,将这些特征与频率特征共同作为神经网络的输入特征向量,提高了神经网络的针对性、收敛速度和检测精度。
神经网络的其它方面可以采用现有的一些常规技术,例如可利用Nguyen-Widrow方法对网络的初始权重和偏差进行初始化,选择sigmoid、tanh等函数作为层之间的激活函数。将训练的输出结果与标注信息进行对比,根据差异对所述识别模型进行校正,例如由于测试对象变化或其它原因导致目标模型识别特征音准确率较低时,此时需要对所述识别模型的输入特征数据、神经网络层数进行校正并重新训练。
此外,本发明还可采用卷积神经网络(CNN)作为识别模型进行训练,其可减少特征提取的时间,提升识别的准确性。为了适应将声音信号作为模型的输入数据,在对声音进行短时傅里叶变换(STFT)后生成声音信号的波谱图(Spectrogram),例如可运用Matlab的spectrogram函数获得波谱图,卷积神经网络可采用通用的模型,例如AlexNet,其包括8个神经网络层,其中前5个为卷积层,后面3个为全连接层。
实际训练中,还需要补入其他声音形成训练样本,例如采集健康人群的呼吸音并对其也进行分窗、短时傅里叶变换等处理,以用于验证模型的有效性,在发明人收集形成的一个数据集中有2200个呼吸音。将数据集分为训练和验证部分(其占数据集的比例分别为80%、20%),利用深度神经网络的识别有效性达到平均86%的准确率。
在步骤S30中,如图6所示,将收集的标签数据集和训练获得的目标识别模型集成在例如存储器、服务器、云端以及下文描述的检测系统中。集成的语音库可用于教学、科研以及智能化辅助诊断等方面的应用。具体而言,其可应用于医疗机构,以便于辅助医生呼吸疾病诊断,也可应用于家庭,例如患者自己可上传呼吸音到云端,由云端的识别模型判断其是否含有异常音的可能性以及严重程度,提醒患者及时去医院进行复查。
下面将描述根据本发明一实施例的呼吸疾病检测系统,图7示出了检测系统的结构框图。检测系统包括采集单元110,其用于采集受测人员的呼吸音,例如可采用上文描述的数字听诊器,如果由医务人员在医院等医疗结构进行采集,其可直接操作进行,如果是在例如家庭父母需要对其孩子进行健康监测时,可采用增强现实的方法确定采集部位,家长可用手机、pad等智能设备的摄像头对准孩子即可辅助标定测量点的位置。采集过程既可以在患者清醒状态下进行,也可以在患者熟睡时进行,这也是现有的通过咳嗽声音进行检测系统无法实现的。
采集后的音频数据可输送至输入单元120,例如可通过数据线、蓝牙等手段将其传输至电脑终端,也可将数据上传到云平台,由终端进行下载实现数据的输入。即采集单元110与输入单元120也可通过网络连接进行数据交换,例如,网络可以包括无线网络、有线网络及其任意组合。网络可以包括互联网、电信网、局域网、基于物联网和/或电信网的物联网机器任意组合等。有线网络例如可以采用同轴电缆或光纤传输等方式进行通信,无线网络例如可以采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者WiFi等通信方式。本发明对网络的类型和功能不作具体限制。
优选地,输入单元120同时可接受受测人员输入的ID(如患者病案号等身份特征)、年龄、性别、体重等信息,并共同传送至计算单元130,这些信息既可以由医务人员进行输入,也可由受测人员通过在线注册等方式进行输入。通过对采集的呼吸音进行标签化,有助于形成个人的呼吸音电子记录,实现对呼吸疾病患者的连续监测,为精准医疗提供辅助决策支持,另一方面,其中的年龄、性别、体重等信息也和提取的呼吸音频率特征一起可用于神经网络识别模型的输入,判断该呼吸音是否为异常特征音。
计算单元130包括处理模块140和存储模块150,存储模块150配置有识别模型,所述识别模型基于带有标签的呼吸音数据集训练得到,其可用于判定输入单元120接收的呼吸音与病理特征音的相似度。其中存储模块150可具有与上文描述的呼吸音库类似的功能,例如所述识别模型为基于卷积神经网络训练而获得。上述输入单元120、处理模块140和存储模块150通过总线进行通信连接。
根据本发明的优选实施例,可采用计算机系统作为计算单元而操作,处理模块140采用中央处理单元(CPU)等通用处理器,也可以是专门设计的处理器或控制器,例如用于处理音频信号的音频协处理器等,其与存储模块150通过接口连接,存储模块150可以是包括一个或多个计算机程序产品的组合,例如随机存取存储器(RAM)、高速缓冲存储器(cache)等易失性存储器,只读存储器(ROM)、硬盘、USB存储器等非易失性存储器。在上述存储器上可以存储一个或多个计算机指令,所述指令构成软件产品,在运行时,中央处理单元可以运行所述计算机指令以实现呼吸音的识别判定、数据存储等功能。除了存储计算机程序之外,存储模块150还可以存储患者的相关信息数据。
为了获得符合神经网络输入格式的数据,检测系统还包括预处理单元(未示出),其与所述输入单元120和计算单元130的处理模块140连接,用于为对采集的呼吸音的音频信号进行分窗、短时傅里叶变换、生成声音信号的波谱图,并提取作为所述处理模块的输入特征数据。该特征数据可输入神经网络模型中获得判定结果。
优选地,所述计算单元120还包括上传模块160,如果判定采集的呼吸音为某种病理特征音,则上传模块160将该呼吸音上传至呼吸音库,从而便于建立、补充呼吸音的标本库。例如,所述呼吸音库可存储在存储模块150中,也可存储在通过接口与计算单元120连接的硬盘等固定存储器中。
处理模块140通过输出单元170将判定结果进行输出,例如其可为显示器(LCD等)和/或声音报警器(扬声器等),医生可以通过文字或声音获知检测结果,并结合该检测结果进行后续的诊断和治疗。同时,该判定结果也可通过云端而发送至远端的受测人员,提醒其是否可能患有呼吸性疾病。
图8示出了一种操作检测系统以处理患者呼吸音的方法,如图8所示,在本实施例中,本发明提供的处理患者呼吸音的方法包括:
S210:提取患者呼吸音的声学特征;
S220:基于声学特征和目标识别模型,将声学特征输入目标识别模型中,判断该声学特征的类别;以及
S230:将上述判断的类别在检测系统中进行显示。
本领域技术人员可以理解,在步骤S210之前,通常需要进行对患者的呼吸音采集的过程。在一实施例中,优选在患者处于熟睡状态下进行呼吸音的采集,其可排除由于患者心理、情绪等造成的波动而对采集的声音产生干扰,同时保证了下面的步骤S260中对患者健康状况进行评估所使用的比较数据为在同一条件下获得。其余特征与上文中描述的相似,此处不再赘述。
步骤S210中的声学特征可包括采集呼吸音的时域、频域特征,其目的在于获取符合目标识别模型的输入特征数据。
步骤S220中,将声学特征输入目标识别模型中以判断该呼吸音是否含有病理特征。该实施例中,目标识别模型选择深度神经网络,其输入特征数据一般为n*1的矩阵向量,如前所述,该矩阵向量优选包括该呼吸音的频率特征,例如频率区间、共振峰频率、梅尔频率倒频系数(MFCC)等,并优选包括患者的多个不同部位采集的呼吸音的频率特征的集合,例如从每个采集部位得到的音频数据提取12个参数,共设9个采集点,则将获得108*1的矩阵向量作为神经网络的输入层,提高神经网络的判断准确度,输出向量例如可为7*1的矩阵,分别表示粗湿啰音、细湿啰音、干啰音、喘鸣音、管样呼吸音、胸膜摩擦音和捻发音的识别概率。作为另一实施方式,目标识别模型也可采用卷积神经网络,在对声音进行短时傅里叶变换(STFT)后生成声音信号的波谱图(Spectrogram),对其进行提取特征并作为卷积神经网络的输入。
步骤S230中,可以通过文字或者声音将所述判断进行输出显示,输出方式可以是各种类型,例如扬声器、打印机、显示器等,利用将神经网络的输出显示采集的患者呼吸音的标签类别。根据该输出结果,再结合医生的经验知识,以及病理库中的历史数据,医生可判断当前声音表示健康,还是接近哮喘、肺炎、支气管炎、喘支等呼吸疾病。
作为优选实施例,例如对于儿童哮喘而言,现有技术尚不能实现对其进行根治,因此需要对其进行连续监测。本发明可以实施为对呼吸疾病进行监测的方法,在步骤S220中,如果通过神经网络判断该呼吸音为正常呼吸音,则可将该呼吸音存储至检测系统中(步骤S250),作为患者的健康档案进行存储,如果通过神经网络判断该呼吸音为啰音、管样呼吸音、胸膜摩擦音等异常特征音时,则进行步骤S260:提取所述患者的历史呼吸音,例如根据患者的病案号ID从存储器中提取以前采集的该患者的呼吸音,并对此次提取的呼吸音的声学特征与历史呼吸音的声学特征进行比较,例如两次呼吸音的最大振幅、平均振幅、共振频率等时域、频域特征的差别,作为医生判断该患者的疾病是否改善的依据。上述比较结果同样可以在检测系统中进行显示。
除了上述系统和方法以外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书描述的根据本申请各种实施例的处理患者呼吸音方法中的各个步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本发明与现有技术相比,至少具有如下优点:
第一,采用电子听诊器等设备采集患者多个部位的肺泡呼吸音、支气管呼吸音、啰音、胸摩擦音等呼吸音而非咳嗽等声音,使得检测系统接近于呼吸系统疾病的临床听诊检查,为疾病诊断提供有益信息,并提高了检测的针对性和有效性。
第二,通过至少两名医生的判断来确诊患者的哮喘等呼吸系统疾病,增加了训练数据的可靠性。
第三,形成的病理呼吸音库既可用于呼吸系统疾病的辅助诊断,还可用于建立呼吸音的标本库,可作为例如医学院的教学素材、科研机构的模型测试集,具有广泛的应用性。
第四,家庭、基层医疗机构可利用呼吸音库进行远端自检,例如患者自己上传呼吸音,云端即可给出其是否患有呼吸性疾病的初步判定,便于患者了解自身病情并有针对性地去相应科室检查,节省了时间。
本发明还具有其他优点和特征,其可以从前面对示例性实施例的描述而显见。以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。虽然上面按照一定的顺序描述了方法中的各个步骤,但是应理解,这些步骤也可以按照不同的顺序进行,或者多个步骤可以同时进行。或者在一些实施例中,某些步骤可以一直持续地进行。本发明的方法涵盖所有这些不同的执行顺序。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。任何熟悉本技术领域的技术人员在不脱离本发明的范围和思想的情况下,可以进行形式和细节上的各种变化和修改。即本发明的范围由所附权利要求及其等价物定义。

Claims (15)

1.一种病理呼吸音库的建立方法,包括如下步骤:
1)形成带有标签的病理性呼吸音数据集,所述病理性呼吸音数据集通过采集系统采集确诊呼吸疾病患者的病理性呼吸音并进行标注而形成,所述采集系统包括采集听诊器、辅助听诊器和接收设备,所述采集听诊器和辅助听诊器同时与接收设备连接;
2)根据所述病理性呼吸音数据集对识别模型进行训练,获得识别模型;以及
3)集成步骤1)获得的所述病理性呼吸音数据集和步骤2)获得的所述识别模型,建立所述病理呼吸音库,
其中,在步骤1)中所述通过采集系统采集确诊呼吸疾病患者的病理性呼吸音并进行标注包括:由一名医生采用所述采集听诊器选择听诊位置对所述患者进行呼吸音的采集,单次采集音长为30秒,在所述医生对所述采集的呼吸音进行听诊的同时,将采集的呼吸音无线传送给所述辅助听诊器,并由另一医生利用所述辅助听诊器针对同一个呼吸音对所述患者进行同步听诊,在所述同步听诊过程中所述另一医生不接触所述患者的身体部位,在两名医生针对所述患者在呼气、吸气阶段出现的病理性特征音得到同样的判断结果时将该判断结果作为标注结果,在两名医生对听诊结果不确定时由所述采集听诊器对当前听诊位置重新录音并由所述两名医生进行重复听诊。
2.如权利要求1所述的方法,其中,所述病理性特征音包括粗湿啰音、细湿啰音、干啰音、喘鸣音、管样呼吸音、胸膜摩擦音和捻发音。
3.如权利要求2所述的方法,其中,所述呼吸音的采集部位包括患者的前胸部和背部,共设置9个采集点。
4.如权利要求1所述的方法,其中,在步骤1)中还对采集的呼吸音进行如下处理:对所述呼吸音截取预定时长的片段,并进行频域分析获得所述呼吸音的声学特征。
5.如权利要求1所述的方法,其中,步骤2)中的所述识别模型为神经网络模型。
6.如权利要求5所述的方法,其中,所述神经网络的输入特征数据包括患者的年龄、性别、体重信息。
7.如权利要求5所述的方法,其中,所述神经网络模型为卷积神经网络。
8.如权利要求1所述的方法,其中,步骤3)中,集成所述数据集和所述识别模型在服务器中。
9.一种病理性呼吸音检测系统,包括:
采集单元,用于采集患者的呼吸音;
输入单元,用于接收所述呼吸音;
计算单元,其与所述输入单元连接,并配置有识别模型,所述识别模型基于带有标签的病理性呼吸音数据集训练得到,并配置为判定所述呼吸音为病理性特征音的相似度;以及
输出单元,用于将所述相似度判断结果进行输出,
其中,所述病理性呼吸音数据集通过以下方式采集确诊呼吸疾病患者的病理性呼吸音并进行标注而形成:由采集系统实施所述采集确诊呼吸疾病患者的病理性呼吸音,所述采集系统包括采集听诊器、辅助听诊器和接收设备,所述采集听诊器和辅助听诊器同时与接收设备连接,由一名医生采用所述采集听诊器选择听诊位置对所述患者进行呼吸音的采集,单次采集音长为30秒,在所述医生对所述采集的呼吸音进行听诊的同时,将采集的呼吸音无线传送给所述辅助听诊器,并由另一医生利用所述辅助听诊器针对同一个呼吸音对所述患者进行同步听诊,在所述同步听诊过程中所述另一医生不接触所述患者的身体部位,在两名医生针对所述患者在呼气、吸气阶段出现的病理性特征音得到同样的判断结果时将该判断结果作为标注结果,在两名医生对听诊结果不确定时由所述采集听诊器对当前听诊位置重新录音并由所述两名医生进行重复听诊,
其中,所述检测系统还配置为响应于所述呼吸音判定为病理性特征音时,提取所述患者的历史呼吸音,并将所述采集的呼吸音的声学特征与所述历史呼吸音的声学特征进行比较,确定两次呼吸音的频域特征的差别,并将所述比较进行显示。
10.如权利要求9所述的病理性呼吸音检测系统,其中,所述采集单元包括数字听诊器。
11.如权利要求9所述的病理性呼吸音检测系统,所述检测系统还包括预处理单元,其与所述输入单元和计算单元连接,并配置为对所述呼吸音的音频信号的分窗进行短时傅里叶变换,生成声音信号的波谱图,作为所述计算单元的输入数据。
12.如权利要求11所述的病理性呼吸音检测系统,其中,所述输入单元还配置为接收所述患者的ID、年龄、性别、体重特征。
13.如权利要求9所述的病理性呼吸音检测系统,其中,所述计算单元包括:
存储模块,其预置有所述识别模型,所述识别模型为基于卷积神经网络训练而获得;
处理模块,其与所述存储模块通过接口连接。
14.如权利要求13所述的病理性呼吸音检测系统,其中,所述计算单元还包括上传模块,其配置为如果判定所述输入的呼吸音为病理性特征音,则所述处理模块对其进行标注并将所述呼吸音上传至所述病理性呼吸音数据集。
15.如权利要求9所述的病理性呼吸音检测系统,其中所述输出单元通过文字或者声音将所述判断结果进行输出。
CN201811413429.8A 2018-11-23 2018-11-23 病理呼吸音库的建立方法、呼吸疾病的检测系统及处理呼吸音的方法 Active CN109273085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811413429.8A CN109273085B (zh) 2018-11-23 2018-11-23 病理呼吸音库的建立方法、呼吸疾病的检测系统及处理呼吸音的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811413429.8A CN109273085B (zh) 2018-11-23 2018-11-23 病理呼吸音库的建立方法、呼吸疾病的检测系统及处理呼吸音的方法

Publications (2)

Publication Number Publication Date
CN109273085A CN109273085A (zh) 2019-01-25
CN109273085B true CN109273085B (zh) 2021-11-02

Family

ID=65191049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811413429.8A Active CN109273085B (zh) 2018-11-23 2018-11-23 病理呼吸音库的建立方法、呼吸疾病的检测系统及处理呼吸音的方法

Country Status (1)

Country Link
CN (1) CN109273085B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110051380B (zh) * 2019-06-05 2023-03-31 南京清科信息科技有限公司 对人体状态进行连续实时监测的系统和方法
CN110731778B (zh) * 2019-07-22 2022-04-29 华南师范大学 一种基于可视化的呼吸音信号识别方法及系统
CN110580916B (zh) * 2019-08-13 2022-01-14 北京农业信息技术研究中心 体重声学测量模型的创建方法与体重测量方法、装置
CN110584701A (zh) * 2019-08-23 2019-12-20 杭州智团信息技术有限公司 一种肠鸣音的标注识别系统及方法
EP4054422A4 (en) * 2019-11-04 2023-11-15 Heroic Faith Medical Science Co., Ltd. APPLICATION FOR SELF-GOVERNED CLINICAL VALIDATION, VERIFICATION AND RECORDING
CN110970042B (zh) * 2019-12-13 2023-04-18 苏州美糯爱医疗科技有限公司 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质
US20230038457A1 (en) * 2019-12-27 2023-02-09 Kyocera Corporation Control apparatus, control system, and control method
CN111009263A (zh) * 2019-12-28 2020-04-14 哈尔滨工业大学 一种用于肺部啰音识别的系统及方法
CN111374694A (zh) * 2020-03-20 2020-07-07 深圳市真元保玖科技有限公司 肺功能监测系统、监测方法及其电子装置
CN113077912B (zh) * 2021-04-01 2021-12-14 深圳鸿祥源科技有限公司 一种基于5g网络的医疗物联网监测系统及方法
CN115394437A (zh) * 2021-05-25 2022-11-25 华为技术有限公司 一种呼吸系统疾病筛查的方法及相关装置
CN113436726B (zh) * 2021-06-29 2022-03-04 南开大学 一种基于多任务分类的肺部病理音自动化分析方法
CN115089207A (zh) * 2022-06-10 2022-09-23 海南医学院 一种呼吸音监测方法和呼吸音监测设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292286A (zh) * 2017-07-14 2017-10-24 中国科学院苏州生物医学工程技术研究所 基于机器学习的呼吸音鉴别方法及系统
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法
CN108417225A (zh) * 2018-02-11 2018-08-17 广州市碳码科技有限责任公司 一种呼吸音监测方法、装置、终端及计算机可读存储介质
CN108542390A (zh) * 2018-03-07 2018-09-18 清华大学 基于多对比度磁共振影像的血管斑块成分识别方法
CN108717875A (zh) * 2018-05-18 2018-10-30 贵州大学 一种基于大数据的慢性疾病智能管理系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法
CN107292286A (zh) * 2017-07-14 2017-10-24 中国科学院苏州生物医学工程技术研究所 基于机器学习的呼吸音鉴别方法及系统
CN108417225A (zh) * 2018-02-11 2018-08-17 广州市碳码科技有限责任公司 一种呼吸音监测方法、装置、终端及计算机可读存储介质
CN108542390A (zh) * 2018-03-07 2018-09-18 清华大学 基于多对比度磁共振影像的血管斑块成分识别方法
CN108717875A (zh) * 2018-05-18 2018-10-30 贵州大学 一种基于大数据的慢性疾病智能管理系统

Also Published As

Publication number Publication date
CN109273085A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109273085B (zh) 病理呼吸音库的建立方法、呼吸疾病的检测系统及处理呼吸音的方法
Rocha et al. Α respiratory sound database for the development of automated classification
US20210145306A1 (en) Managing respiratory conditions based on sounds of the respiratory system
US11315687B2 (en) Method and apparatus for training and evaluating artificial neural networks used to determine lung pathology
JP6435257B2 (ja) 患者音を処理するための方法および装置
Amrulloh et al. Automatic cough segmentation from non-contact sound recordings in pediatric wards
JP6272308B2 (ja) 音ベースの肺活量測定のデバイス、システムおよび方法
US11712198B2 (en) Estimation of sleep quality parameters from whole night audio analysis
US11304624B2 (en) Method and apparatus for performing dynamic respiratory classification and analysis for detecting wheeze particles and sources
US11529072B2 (en) Method and apparatus for performing dynamic respiratory classification and tracking of wheeze and crackle
Rao et al. Automatic prediction of spirometry readings from cough and wheeze for monitoring of asthma severity
Nemati et al. Estimation of the lung function using acoustic features of the voluntary cough
Doheny et al. Estimation of respiratory rate and exhale duration using audio signals recorded by smartphone microphones
US20210401364A1 (en) System and Methods for Screening Obstructive Sleep Apnea During Wakefulness Using Anthropometric Information and Tracheal Breathing Sounds
Wang et al. Obstructive sleep apnea detection based on sleep sounds via deep learning
CN114340487A (zh) 一种处理哮喘患者咳嗽音以应用适当治疗的方法和装置
Vatanparvar et al. Speechspiro: Lung function assessment from speech pattern as an alternative to spirometry for mobile health tracking
US20210315517A1 (en) Biomarkers of inflammation in neurophysiological systems
Nabi et al. Recommendations related to wheeze sound data acquisition
Akhter et al. Characterizing the NREM/REM sleep specific obstructive sleep apnea severity using snore sounds
Pessoa et al. Ensemble deep learning model for dimensionless respiratory airflow estimation using respiratory sound
US20210282736A1 (en) Respiration rate detection metholody for nebulizers
WO2023238857A1 (ja) 医療判定システム、医療判定方法、及びプログラム
Jičínský et al. Speech Processing in Diagnosis of Vocal Chords Diseases
Avila et al. Development of Android-Based Pulmonary Monitoring System for Automated Lung Auscultation Using Long Short-Term Memory (LSTM) Network with Post-Processing from Edge Impulse

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant