CN107292286B - 基于机器学习的呼吸音鉴别方法及系统 - Google Patents

基于机器学习的呼吸音鉴别方法及系统 Download PDF

Info

Publication number
CN107292286B
CN107292286B CN201710576848.2A CN201710576848A CN107292286B CN 107292286 B CN107292286 B CN 107292286B CN 201710576848 A CN201710576848 A CN 201710576848A CN 107292286 B CN107292286 B CN 107292286B
Authority
CN
China
Prior art keywords
breath sound
sound data
breath
data
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710576848.2A
Other languages
English (en)
Other versions
CN107292286A (zh
Inventor
耿辰
佟宝同
戴亚康
舒林华
许姜姜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN201710576848.2A priority Critical patent/CN107292286B/zh
Publication of CN107292286A publication Critical patent/CN107292286A/zh
Application granted granted Critical
Publication of CN107292286B publication Critical patent/CN107292286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/02Stethoscopes
    • A61B7/04Electric stethoscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/192Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Human Computer Interaction (AREA)

Abstract

本发明公开一种基于机器学习的呼吸音鉴别方法及系统,方法包括步骤:采集多个年龄段用户的所有听诊点位的呼吸音数据;记录与每个呼吸音数据匹配的相关信息,并将匹配的相关信息与呼吸音数据打包封装成呼吸音数据包;将呼吸音数据包进行深度学习分类,获得针对每个年龄段的呼吸音机器学习分类器;根据获得的实时呼吸音数据包所属年龄段,选择相应的呼吸音学习分类器进行数据分析并获得分析结果。本发明将不同年龄段的呼吸音数据和与其匹配的相关信息封装为呼吸音数据包进行深度学习分类,获得不同年龄段的呼吸音机器学习分类器,以对实时采集呼吸音数据包进行数据分析并获得结果,实现准确地、智能化地疾病分析与识别,便于辅助医生的临床研究。

Description

基于机器学习的呼吸音鉴别方法及系统
技术领域
本发明涉及电子听诊器技术领域,更具体地说,本发明涉及一种基于机器学习的呼吸音鉴别方法及系统。
背景技术
听诊,是指医生通过耳或听诊器来探听人体内自行发出的声音(通常指心音、呼吸音等),并根据声音的特性与变化(如声音的频率高低、强弱、间隔时间、杂音等)来诊断相关脏器有无病变。听诊器对器官活动的声音有一定的放大作用且能阻断环境中的噪音,应用范围广,除用于心、肺、腹的听诊外,还可以听取身体其他部分发出的声音,如血管音、皮下气肿音、肌束颤动音、关节活动音、骨折面摩擦音等。
随着电子技术的发展,听诊器种类由声学听诊器发展到电子听诊系统。电子听诊系统是利用电子技术放大身体的声音,将采集的声音转换成电信号后放大和处理,克服了声学听诊器噪音高的缺点,以获得最佳聆听。
现有技术中,电子听诊系统可以用来采集用户多个部位的音频数据以及存储,但是无法做到对实时采集的不同用户、不同部位、不同时间的音频数据进行准确地、智能化地疾病分析与识别。
发明内容
针对上述技术中存在的不足之处,本发明提供一种基于机器学习的呼吸音鉴别方法及电子听诊系统,实现对实时采集的呼吸音数据进行准确地、智能化地疾病分析与识别,便于临床研究、远程会诊等。
为了实现根据本发明的这些目的和其它优点,本发明通过以下技术方案实现:
本发明提供一种基于机器学习的呼吸音鉴别方法,其包括以下步骤:
采集多个年龄段用户的所有听诊点位的呼吸音数据;
记录与每个所述呼吸音数据匹配的相关信息,并将匹配的所述相关信息与所述呼吸音数据打包封装成呼吸音数据包;
将所述呼吸音数据包进行深度学习分类,获得针对每个年龄段的呼吸音机器学习分类器;
获得封装的实时呼吸音数据包,根据实时呼吸音数据包所属年龄段,选择相应的呼吸音学习分类器进行数据分析并获得分析结果。
优选的是,所述相关信息包括听诊点位、个人信息以及健康信息;
所述个人信息至少包括性别、年龄、身高、体重;
所述健康信息包括健康状况信息和与健康状况相关的其他信息;
所述健康状况信息包括健康状况和非健康状况,所述非健康状况至少包括血压、血糖、心率、血氧、疾病史、吸烟史以及其他体检信息;所述其他信息包括工作性质和生活习惯。
优选的是,深度学习分类以获得针对每个年龄段的机器学习分类器,包括以下步骤:
将所述呼吸音数据包按照年龄段分别输入深度学习框架下的神经网络模型进行深度学习分类;
提取神经网络模型中的全连接层信息,得到用于分类的特征组合模型;
结合不同年龄段对应的所述呼吸音数据包的所述特征组合模型和与其匹配的所述呼吸音数据包,对机器学习分类器进行训练,得到针对每个年龄段的呼吸音机器学习分类器。
优选的是,将所述呼吸音数据包依次按照年龄段、呼吸音类别的分类顺序分别输入深度学习框架下的神经网络模型进行深度学习分类。
优选的是,所述分析结果至少包括健康、非健康、呼吸音中各类典型音的成份以及呼吸音的频率统计信息;其中,所述非健康还至少包括呼吸音与各类疾病呼吸音的相似性。
优选的是,采集所述呼吸音数据后,还包括步骤:
对采集的所述呼吸音数据统一进行预处理,所述预处理至少包括音频截取、采样率和位数变更、背景噪声及杂散噪声去除。
优选的是,所述音频截取包括对采集的所述呼吸音数据截取、将截取的所述呼吸音数据分成有效呼吸音数据和无效呼吸音数据以及删除所述无效呼吸音数据;
所述采样率和位数变更包括按照统一标准对所述呼吸音数据进行采样率及位数为降采样或归一化采样的重采样;
所述背景噪声及杂散噪声去除,包括对背景噪声进行预提取并与采集数据进行对比去除以及对高斯白噪声、气流声、咔嗒声、接地哼鸣声的去除。
优选的是,打包封装成呼吸音数据包后,还包括步骤:对所述呼吸音数据包进行在线编辑、在线可视化以及相关信息补充。
一种基于机器学习的呼吸音鉴别系统,其包括:
电子听诊器,其用于采集多个年龄段用户的所有听诊点位的呼吸音数据、记录与该呼吸音数据匹配的相关信息;
手持操作端,其通信连接到所述电子听诊器,所述手持操作端包括用于数据的接收、预处理、对匹配的所述相关信息和所述呼吸音数据打包封装成呼吸音数据包的医用手持操作端以及对所述呼吸音数据包进行在线可视化、在线编辑以及听诊信息补充的用户手持操作端;
数据分析服务器,其通信连接到所述手持操作端,所述数据分析服务器训练出呼吸音机器学习分类器并通过其对所述呼吸音数包进行数据分类与分析;
数据库,其分别通信连接到所述手持操作端和所述数据分析服务器,用于数据存储。
优选的是,还包括数据业务服务器,其分别通信连接到所述手持操作端与所述数据分析服务器,用于数据中转。
本发明至少包括以下有益效果:
本发明提供的基于机器学习的呼吸音鉴别方法及系统,将不同年龄段的呼吸音数据和与其匹配的相关信息封装为呼吸音数据包进行深度学习分类,获得不同年龄段的呼吸音机器学习分类器,以对实时采集呼吸音数据包进行数据分析并获得分析结果,实现准确地、智能化地疾病分析与识别,便于辅助医生的临床研究、远程会诊等。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明所述的基于机器学习的呼吸音鉴别方法流程图;
图2为深度学习分类以获得针对每个年龄段的机器学习分类器的方法流程图;
图3本发明采集呼吸音数据后的预处理方法示意图;
图4本发明打包封装得到呼吸音数据包后的处理方法示意图;
图5为本发明所述的基于机器学习的呼吸音鉴别系统的通信示意图;
图中:
10-电子听诊器;20-手持操作端;21-用户手持操作端;22-医用手持操作端;30-数据分析服务器;40数据库;50-数据业务服务器;60-云服务器。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
<实施方式1>
如图1所示,本发明提供一种基于机器学习的呼吸音鉴别方法,其包括以下步骤:
S10,采集多个年龄段用户的所有听诊点位的呼吸音数据;
S20,记录与每个呼吸音数据匹配的相关信息,并将匹配的相关信息与呼吸音数据打包封装成呼吸音数据包;
S30,将呼吸音数据包进行深度学习分类,获得针对每个年龄段的呼吸音机器学习分类器;
S40,获得封装的实时呼吸音数据包,根据实时呼吸音数据包所属年龄段,选择相应的呼吸音学习分类器进行数据分析并获得分析结果。
上述实施方式中,步骤S10中,考虑到不同年龄段不同疾病发生的概率不同,比如,儿童易感冒引发肺炎、成年人易发肠胃病等,这些不同年龄段的常发疾病均可以通过电子听诊听取呼吸音来初步鉴别,因此,以年龄段进行分类,采集用户所有听诊点位的呼吸音数据,有利于提高后续呼吸音机器学习分类器的准确率。年龄段可以按照任意岁数间隔进行划分,例如年龄段的划分包括0~12、13~17、18~26、26~35、35~50、50以上的多个样本集。听诊点位指的是人体不同部位(如心脏、肺部、肠部等)的听诊部位,以肺部听诊为例,听诊部位有锁骨上窝,锁骨中线上、中、下部,腋前线上、下部和腋中线上下部,左右两侧等16个,即肺部具有16个听诊点位。采集多个年龄段用户的所有听诊点位的呼吸音数据,为后续每个年龄段的呼吸音机器学习分类器提供丰富、准确的数据基础。
上述实施方式中,步骤S20中,相关信息包括听诊点位、个人信息以及健康信息。具体地,个人信息至少包括性别、年龄、身高、体重。健康信息包括健康状况信息和与健康状况相关的其他信息:其中,健康状况信息包括健康状况和非健康状况,非健康状况至少包括血压、血糖、心率、血氧、疾病史、吸烟史以及其他体检信息;其他信息包括工作性质和生活习惯。该实施方式中,个人信息至少包括性别、年龄、身高、体重以及听诊点位,是因为性别、年龄、身高、体重以及听诊点位的统计与分类,对某些常发疾病有识别启示,也对后续分类学习与分析提供多来源数据基础。健康状况信息包括健康状况和非健康状况,为后续呼吸音机器学习分类器的分析结果提供健康和非健康两种判断结果。非健康状况体现出体检信息中常涉及的疾病以及其他多种不同类型的疾病,贴近实际日常应用。包括工作性质和生活习惯的其他信息加入到健康信息,为疾病的形成原因提供宽范围的数据分析基础。将匹配的相关信息与呼吸音数据打包封装成呼吸音数据包进行后续处理,保证数据传输完整性的同时,促使后续数据分析的呼吸音数据具有多信息识别功能以及快速、精确地识别与分类,提高呼吸音鉴别的智能化。
上述步骤S30中,如图2所示,深度学习分类以获得针对每个年龄段的机器学习分类器,包括步骤:
S31,将呼吸音数据包按照年龄段分别输入深度学习框架下的神经网络模型进行深度学习分类;
S32,提取神经网络模型中的全连接层信息,得到用于分类的特征组合模型;
S33,结合不同年龄段对应的呼吸音数据包的特征组合模型和与其匹配的呼吸音数据包,对机器学习分类器进行训练,得到针对每个年龄段的呼吸音机器学习分类器。
该实施方式中,将呼吸音数据包按照年龄段分别输入深度学习框架下的神经网络模型进行深度学习分类、提取特征组合模型以及训练,获得针对每个年龄段的呼吸音机器学习分类器。其中,除了按照年龄段分别输入,还可以将呼吸音数据包依次按照年龄段、呼吸音类别的分类顺序分别输入深度学习框架下的神经网络模型进行深度学习分类,则可获得每个年龄段下不同呼吸音类别的呼吸音机器学习分类器,即,实现呼吸音机器学习分类器具有年龄和呼吸音类别的分类与分析。需要说明的是,呼吸音类别,包括但不限于湿罗音(细湿罗音、粗湿罗音)以及干罗音(包括喘鸣音)。
上述步骤S40中,特征组合包含小波包分解特征、频率特征等。分析结果至少包括健康、非健康、呼吸音中各类典型音的成份、以及呼吸音的频率统计信息;非健康还至少包括呼吸音与各类疾病呼吸音的相似性,呼吸音与各类疾病呼吸音的相似性可以通过呼吸音与各类疾病呼吸音的相似比例来体现。该分析结果中的呼吸音中各类典型音的成份、呼吸音的频率统计信息以及呼吸音与各类疾病呼吸音的相似性等信息,均为医生的疾病判断与治疗提供丰富的参考种类与来源。
作为本发明的一种优选实施方式,如图3所示,步骤S10中采集呼吸音数据后,还包括步骤:S11,对采集的呼吸音数据统一进行预处理,预处理至少包括音频编辑、音频截取、采样率和位数变更、背景噪声及杂散噪声去除。
该实施方式中,预处理,用于提高呼吸音数据封装及后续处理的准确性。具体地,音频截取,包括:对采集的呼吸音数据进行截取、将截取的呼吸音数据分成有效呼吸音数据和无效呼吸音数据以及删除无效呼吸音数据。通过对采集的呼吸音数据进行截取,可以获得不同年龄段、不同听诊点位以及不同时刻的有效呼吸音数据用于后续数据分类学习与分析,剔除无效呼吸音数据,提高数据处理与分析的准确性。采样率和位数变更包括按照统一标准对呼吸音数据进行采样率及位数为降采样或归一化采样的重采样,例如,当数据位数相同、采样率不同时,按数据中采样率最低的为标准进行所有数据的降采样,以保证数据的一致性,或对所有呼吸音数据的位数、采样率均进行降采样,以在损失可接受的处理精度的条件下提高处理速度。背景噪声及杂散噪声去除,包括对背景噪声进行预提取并与采集数据进行对比去除,以及对高斯白噪声、气流声、咔嗒声、接地哼鸣声等的去除,以去除数据中混杂的干扰部分。
步骤S20及步骤S40中,如图4所示,涉及的打包封装得到呼吸音数据包后,还包括步骤:S21,对呼吸音数据包进行在线编辑、在线可视化以及相关信息补充。其中,在线编辑至少包括音频裁剪、音频响度调整、音频拼接中的一种,用于通过编辑筛选出不同用户、不同年龄段、不同听诊部位以及不同时间所做的听诊得到的呼吸音数据包供查看和使用。在线可视化至少包括波形可视化、频谱可视化中的一种。相关信息补充,指的是对用户的至少包括年龄、性别、年龄、身高、体重以及听诊点位等个人信息,至少包括血压、血糖、心率、血氧、疾病史、吸烟史等其他已检测得到的健康状况信息,包括工作性质和生活习惯的其他信息的相关信息以及所在医院和科室等信息进行核查和补充。
本发明提供了一种基于机器学习的呼吸音鉴别方法,考虑到不同年龄段、不同疾病的发生概率,将不同年龄段的呼吸音数据和与其匹配的相关信息封装为呼吸音数据包进行深度学习分类,获得不同年龄段的呼吸音机器学习分类器,以对实时采集呼吸音数据包进行数据分析并获得分析结果,有利于实现快速、准确、智能化地疾病分析与识别,便于辅助医生的临床研究、远程会诊等。
<实施方式2>
在实施方式1的基础上,本发明实施方式提供一种基于机器学习的呼吸音鉴别系统,如图5所示,其包括电子听诊器10、手持操作端20、数据分析服务器30以及数据库40。
电子听诊器10用于采集步骤S10中涉及的多个年龄段用户的所有听诊点位的呼吸音数据,还可以记录步骤S20中提及的与采集的呼吸音数据匹配的相关信息。例如,在采集所有听诊点位的呼吸音的同时,医生通过电子听诊器10选择听诊用户的至少包括年龄、性别、年龄、身高、体重以及听诊点位等个人信息、至少包括血压、血糖、心率、血氧、疾病史、吸烟史等其他已检测得到的健康状况信息以及包括工作性质和生活习惯的其他信息等等相关信息进行记录,并将这些记录信息与采集的呼吸音数据进行匹配,促使呼吸音数据可识别。其中,电子听诊器10的采集与记录,均可以通过各种操作按钮、触摸显示屏等组件来实现对应功能,至于电子听诊器10的具体结构,本发明不做具体限定。
手持操作端20通信连接到电子听诊器10,手持操作端20包括用于数据的接收、预处理、对匹配的相关信息和呼吸音数据打包封装成呼吸音数据包的医用手持操作端21以及对呼吸音数据包进行在线可视化、在线编辑以及听诊信息补充的用户手持操作端22。其中,在线编辑至少包括音频裁剪、音频响度调整、音频拼接中的一种,用于通过编辑筛选出不同用户、不同年龄段、不同听诊部位以及不同时间所做的听诊得到的呼吸音数据包供查看和使用。在线可视化至少包括波形可视化、频谱可视化中的一种。相关信息补充,指的是对用户的至少包括年龄、性别、年龄、身高、体重以及听诊点位等个人信息,至少包括血压、血糖、心率、血氧、疾病史、吸烟史等其他已检测得到的健康状况信息,包括工作性质和生活习惯的其他信息的相关信息以及所在医院和科室等信息进行核查和补充。手持操作端20可分为医用手持操作端21和用户手持操作端22两种,不同种类的操作端具有不同功能权限,例如用户可以通过用户手持操作端22接收电子听诊器20采集的呼吸音数据后进行接收、存储、在线可视化与在线编辑以及听诊信息的补充等操作;至于步骤S10中涉及的预处理功能一般是医生通过医用手持操作端21来实现,例如音频截取,完成不同年龄段、不同听诊点位以及不同时间的呼吸音数据的选择、截取,更涉及到有效呼吸音数据的筛选和无效呼吸音数据的剔除,
数据分析服务器30通信连接到手持操作端20,数据分析服务器30训练出呼吸音机器学习分类器并通过其对呼吸音数包进行数据分类与分析。即数据分析服务器30主要用于处理步骤S30和步骤S40中涉及的呼吸音机器学习分类器训练以及呼吸音数包的数据分类与分析。
数据库40分别通信连接到手持操作端20和数据分析服务器30,用于各种数据的存储。
通过上述实施方提供的基于机器学习的呼吸音鉴别系统,可以实现将不同年龄段的呼吸音数据和与其匹配的相关信息封装为呼吸音数据包进行深度学习分类,获得不同年龄段的呼吸音机器学习分类器,以对实时采集呼吸音数据包进行数据分析并获得分析结果,有利于实现快速、准确、智能化地疾病分析与识别,便于辅助医生的临床研究。
作为上述实施方式的优选,基于机器学习的呼吸音鉴别系统还包括数据业务服务器50。数据业务服务器50分别通信连接到手持操作端20与数据分析服务器30,用于数据中转。数据中转包括手持操作端20与手持操作端20之间的数据中转、数据分析服务器30与数据分析服务器30之间的数据中转以及手持操作端20与数据分析服务器30之间的数据中转以及上述三种数据中转类型的权限。通过上述中转,实现多端数据的共享与交换。作为进一步地优选,数据分析服务器30、数据库40以及数据分析服务器50可以集成到一体,例如云服务器60中,提高系统集成度。
需要说明的是,手持操作端20可以是任意满足上述功能的设备,本发明优选为操作便利、可携带性强的手机或平板电脑,则,上述系统或功能对应为存储到手机或平板电脑并由其执行的计算机可读介质。更具体地,上述系统或功能对应为安装到手机或平板电脑的多种APP,用户可在用户手机的APP上根据关键字对数据库40中的呼吸音数据包中的涉及的所有进行在线可视化与编辑,医生可以在医生手机的APP上进行呼吸音数据的接收、预处理、对匹配的相关信息和呼吸音数据打包封装成呼吸音数据包。
需要进一步说明的是,基于机器学习的呼吸音鉴别系统中涉及的通信方式,可以是有线和/无线。其中,无线通信方式使用便利,至少包括无线wifi、蓝牙中的一种。
在上述实施方式1和实施方式2提供的基于机器学习的呼吸音鉴别方法及系统的基础上,下面给出几个具体实施例辅助上述解释和说明。
<实施例1>
一种电子听诊器10,设置听诊用户的年龄、性别、听诊点位、听诊时间等相关信息,并在传输时将呼吸音数据与相关信息一并传输至用户手机(即用户手持操作端21)。电子听诊器10通过蓝牙与手机通信连接,具备双向数据通讯。手机端装有移动APP,通过无线方式接入互联网,与数据业务服务器50通信连接。数据分析服务器30、数据库40以及数据业务服务器50均集成到云服务器60上。
利用电子听诊器10,采集用户一听诊点位的的呼吸音数据,首先传输至用户手机的APP,再由用户手机的APP经过数据业务服务器50,与另一端医生手机(医用手持操作端22)的APP建立P2P连接,将呼吸音数据包传输至另一端医生手机的APP,并经该医生手机APP,发送听诊指令至刚才的电子听诊器10以启动和控制听诊动作,实现医生的远程听诊。
<实施例2>
一种电子听诊器10,设置听诊用户的年龄、性别、听诊点位、听诊时间等相关信息,并在传输时将呼吸音数据与相关信息一并传输至医生手机(即手持操作端20)。并在医生手机APP上补充患者的症状、疾病诊断等信息,将这些信息与呼吸音数据打包封装为呼吸音数据包上传至数据业务服务器50。由数据业务服务器50操作数据库40,进行结构化的数据录入与保存,医生可在其他医生手机的APP以及用户可通过用户手机的APP分别连接数据业务服务器50并进行查看、重放相关呼吸音数据包中涉及的数据。
<实施例3>
数据分析服务器30进行基于机器学习的呼吸音数据分类器的训练,方法流程为,以多个年龄段用户的所有听诊点位的呼吸音数据作为呼吸音样本集,并获取每个所述呼吸音数据匹配的相关信息,假设此呼吸音样本集中具有5类疾病的患者,对呼吸音样本集中的呼吸音数据,首先进行去除噪声,再进行感兴趣区域提取,手动选取信息较为丰富且效果较好的呼吸音音频段,并同样选取一些杂散噪声或效果较差的音频段,作为负样本,利用C-SVM方法对机器学习分类器进行训练,获得用于感兴趣区域提取的C-SVM分类器A。
获取更大量的实时的呼吸音数据,分别输入0~12、13~17、18~26、26~35、35~50、50以上的多个年龄段样本集,对每个年龄段样本集内的实时呼吸音数据进行预处理,应用分类器A提取其中的有效呼吸音数据片段,并进行噪声去除等处理。对每个年龄段呼吸音样本集处理后的呼吸音数据,按照健康、肺炎、哮喘三类进行分类,并采集的实时呼吸音数据所属对象的性别、身高、体重、吸烟史、疾病史、体温、居住环境、工作性质等健康信息以及其他的相关与实时呼吸音数据打包封装并标记,将每个年龄段的实时呼吸音数据包分别输入RNN循环神经网络框架下的lenet-5模型中,调整模型的层数与数据导向,当获得至少健康、肺炎、哮喘三类的分类结果时,提取全连接层的特征组合方式,此特征组合包含小波包分解特征、频率特征等,利用这些特征,结合实时呼吸音数据包,对C-SVM分类器进行训练,得到分类器B。
则,在其后的使用中,电子听诊器10传输呼吸音数据至医生手机的APP,由医生通过医生手机APP录入对象用户的健康信息、应用分类器A对呼吸音数据进行预处理,再将呼吸音数据与其匹配的相关信息打包封装成呼吸音数据包传输至数据业务服务器50,由数据业务服务器50调用数据分析服务器30对呼吸音数据包进行数据分析,获得该呼吸音数据包与健康、肺炎、哮喘三类的相似性程度,以及音频中湿罗音、干罗音、喘鸣音的成份分析,并将数据以图表等可视化形式展示于医生手机的APP中,通过数据业务服务器50中转给供用户进行在线可视化、在线编辑之类的操作。当医生用户标记所上传的呼吸音数据包为某类(健康、肺炎、哮喘)时,数据业务服务器50将该呼吸音数据包存储至数据库40,作为数据分析服务器30进行增量训练的呼吸音数据包。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.一种基于机器学习的呼吸音鉴别方法,其特征在于,其包括以下步骤:
采集多个年龄段用户的所有听诊点位的呼吸音数据;其中,所述听诊点是人体不同部位的听诊部位,肺部听诊部位至少包括锁骨上窝、锁骨中线上、中、下部,腋前线上、下部和腋中线上下部、左右两侧;
采集所述呼吸音数据后,还包括步骤:
对采集的所述呼吸音数据统一进行预处理,所述预处理至少包括音频截取、采样率和位数变更、背景噪声及杂散噪声去除;
所述采样率和位数变更包括按照统一标准对所述呼吸音数据进行采样率及位数为降采样或归一化采样的重采样;
记录与每个所述呼吸音数据匹配的相关信息,并将匹配的所述相关信息与所述呼吸音数据打包封装成呼吸音数据包;其中,所述相关信息包括听诊点位、个人信息以及健康信息;
所述个人信息至少包括性别、年龄、身高、体重;
所述健康信息包括健康状况信息和与健康状况相关的其他信息;
所述健康状况信息包括健康状况和非健康状况,所述非健康状况至少包括血压、血糖、心率、血氧、疾病史、吸烟史以及其他体检信息;所述其他信息包括工作性质和生活习惯;
将所述呼吸音数据包依次按照年龄段、呼吸音类别的分类顺序分别输入神经学习框架下的神经网络模型进行深度学习分类;
提取神经网络模型中的全连接层信息,得到用于分类的特征组合模型;其中,特征组合至少包括小波包分解特征、频率特征;
结合不同年龄段、不同呼吸音类别对应的所述呼吸音数据包的所述特征组合模型和与其匹配的所述呼吸音数据包,对机器学习分类器进行训练,获得每个年龄段下不同呼吸音类别的呼吸音机器学习分类器;所述呼吸音学习分类器具有年龄和呼吸音类别的分类与分析;
获得封装的实时呼吸音数据包,根据实时呼吸音数据包所属年龄段、呼吸音类别,选择相应的呼吸音学习分类器进行数据分析并获得分析结果。
2.如权利要求1所述的基于机器学习的呼吸音鉴别方法,其特征在于,所述分析结果至少包括健康、非健康、呼吸音中各类典型音的成份以及呼吸音的频率统计信息;其中,所述非健康还至少包括呼吸音与各类疾病呼吸音的相似性。
3.如权利要求1所述的基于机器学习的呼吸音鉴别方法,其特征在于,
所述音频截取包括对采集的所述呼吸音数据截取、将截取的所述呼吸音数据分成有效呼吸音数据和无效呼吸音数据以及删除所述无效呼吸音数据;
所述背景噪声及杂散噪声去除,包括对背景噪声进行预提取并与采集数据进行对比去除以及对高斯白噪声、气流声、咔嗒声、接地哼鸣声的去除。
4.如权利要求1所述的基于机器学习的呼吸音鉴别方法,其特征在于,打包封装成呼吸音数据包后,还包括步骤:对所述呼吸音数据包进行在线编辑、在线可视化以及相关信息补充。
5.一种基于机器学习的呼吸音鉴别系统,其特征在于,采用如权利要求1所述的基于机器学习的呼吸音鉴别方法进行呼吸音鉴别,其包括:
电子听诊器,其用于采集多个年龄段用户的所有听诊点位的呼吸音数据、记录与该呼吸音数据匹配的相关信息;
手持操作端,其通信连接到所述电子听诊器,所述手持操作端包括用于数据的接收、预处理、对匹配的所述相关信息和所述呼吸音数据打包封装成呼吸音数据包的医用手持操作端以及对所述呼吸音数据包进行在线可视化、在线编辑以及听诊信息补充的用户手持操作端;
数据分析服务器,其通信连接到所述手持操作端,所述数据分析服务器训练出呼吸音机器学习分类器并通过其对所述呼吸音数包进行数据分类与分析;
数据库,其分别通信连接到所述手持操作端和所述数据分析服务器,用于数据存储。
6.如权利要求5所述的基于机器学习的呼吸音鉴别系统,其特征在于,还包括数据业务服务器,其分别通信连接到所述手持操作端与所述数据分析服务器,用于数据中转。
CN201710576848.2A 2017-07-14 2017-07-14 基于机器学习的呼吸音鉴别方法及系统 Active CN107292286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710576848.2A CN107292286B (zh) 2017-07-14 2017-07-14 基于机器学习的呼吸音鉴别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710576848.2A CN107292286B (zh) 2017-07-14 2017-07-14 基于机器学习的呼吸音鉴别方法及系统

Publications (2)

Publication Number Publication Date
CN107292286A CN107292286A (zh) 2017-10-24
CN107292286B true CN107292286B (zh) 2021-10-22

Family

ID=60101923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710576848.2A Active CN107292286B (zh) 2017-07-14 2017-07-14 基于机器学习的呼吸音鉴别方法及系统

Country Status (1)

Country Link
CN (1) CN107292286B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EA201800377A1 (ru) * 2018-05-29 2019-12-30 Пт "Хэлси Нэтворкс" Способ диагностики заболеваний органов дыхания и система для его реализации
CN108804665B (zh) * 2018-06-08 2022-09-27 上海掌门科技有限公司 用于推送信息、接收信息的方法和设备
CN108784733B (zh) * 2018-06-28 2022-04-12 上海掌门科技有限公司 听诊系统及方法
CN109431507A (zh) * 2018-10-26 2019-03-08 平安科技(深圳)有限公司 基于深度学习的咳嗽疾病识别方法及装置
CN109273085B (zh) * 2018-11-23 2021-11-02 南京清科信息科技有限公司 病理呼吸音库的建立方法、呼吸疾病的检测系统及处理呼吸音的方法
WO2020147928A1 (en) * 2019-01-15 2020-07-23 Siemens Aktiengesellschaft Mobile sound analysis based on deep learning
CN109984770B (zh) * 2019-03-13 2022-05-17 重庆和贯科技有限公司 一种人体体内声音收集处理方法及系统
CN110051380B (zh) * 2019-06-05 2023-03-31 南京清科信息科技有限公司 对人体状态进行连续实时监测的系统和方法
CN110532424A (zh) * 2019-09-26 2019-12-03 西南科技大学 一种基于深度学习和云平台的肺音特征分类系统及方法
CN110720946A (zh) * 2019-09-26 2020-01-24 南通大学 一种基于深度学习的智能听诊系统
CN111012306B (zh) * 2019-11-19 2022-08-16 南京理工大学 基于双神经网络的睡眠呼吸声检测方法及系统
CN111753883A (zh) * 2020-06-05 2020-10-09 上海交通大学医学院附属上海儿童医学中心 一种生理音训练集和测试集的建立方法
CN111789629A (zh) * 2020-06-29 2020-10-20 中南大学 一种基于深度学习的呼吸音智能诊疗系统及方法
CN112863667B (zh) * 2021-01-22 2023-10-24 杭州电子科技大学 一种基于深度学习的肺部声音诊断装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09276238A (ja) * 1996-04-17 1997-10-28 Canon Inc 診断データ通報方法とその装置
CN203710042U (zh) * 2013-09-06 2014-07-16 西华大学 听诊服及听诊装置
CN104706321A (zh) * 2015-02-06 2015-06-17 四川长虹电器股份有限公司 一种基于改进的mfcc的心音类型识别方法
JP2015228002A (ja) * 2014-06-03 2015-12-17 株式会社システック 複数者間干渉音声雑音を回避した音声入力処理装置
CN105662454A (zh) * 2016-01-08 2016-06-15 中国科学院声学研究所 一种罗音检测的方法和装置
CN106251880A (zh) * 2015-06-03 2016-12-21 创心医电股份有限公司 识别生理声音的方法以及系统
CN106326660A (zh) * 2016-08-29 2017-01-11 成都思众康科技有限公司 一种自监控心肺疾病的远程智能听诊服务系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2477549A4 (en) * 2009-09-16 2013-08-21 3M Innovative Properties Co ELECTRONIC STETHOSCOPE SYSTEM FOR TELEMEDICINE APPLICATIONS

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09276238A (ja) * 1996-04-17 1997-10-28 Canon Inc 診断データ通報方法とその装置
CN203710042U (zh) * 2013-09-06 2014-07-16 西华大学 听诊服及听诊装置
JP2015228002A (ja) * 2014-06-03 2015-12-17 株式会社システック 複数者間干渉音声雑音を回避した音声入力処理装置
CN104706321A (zh) * 2015-02-06 2015-06-17 四川长虹电器股份有限公司 一种基于改进的mfcc的心音类型识别方法
CN106251880A (zh) * 2015-06-03 2016-12-21 创心医电股份有限公司 识别生理声音的方法以及系统
CN105662454A (zh) * 2016-01-08 2016-06-15 中国科学院声学研究所 一种罗音检测的方法和装置
CN106326660A (zh) * 2016-08-29 2017-01-11 成都思众康科技有限公司 一种自监控心肺疾病的远程智能听诊服务系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Analysis of lung diseases and detecting deformities in human lung by classifying lung sounds;Jayant V.M.等;《2014 International Conference on Communication and Signal Processing》;20141110;第1059-1063页 *
人体呼吸系统信号处理和远程诊断;贾东耀;《中国优秀硕士学位论文全文数据库 信息科技辑》;20030615;第I140-498页 *
基于FCM聚类算法的呼吸音分类识别研究;徐学良 等;《现代电子技术》;20150615;第38卷(第12期);第16-19页 *

Also Published As

Publication number Publication date
CN107292286A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN107292286B (zh) 基于机器学习的呼吸音鉴别方法及系统
EP3698707B1 (en) Electrocardiogram information dynamic monitoring system, computer program and computer readable storage medium
CN107981858B (zh) 基于人工智能的心电图心搏自动识别分类方法
EP3776586A1 (en) Managing respiratory conditions based on sounds of the respiratory system
EP3698709A1 (en) Electrocardiogram information processing method and electrocardiogram workstation system
US20210202094A1 (en) User interface for navigating through physiological data
EA034268B1 (ru) Системы и способы для предотвращения желудочно-кишечного расстройства
US20200383582A1 (en) Remote medical examination system and method
CN105662457A (zh) 一种智能听诊器
WO2019047365A1 (zh) 基于医疗云平台的影像大数据分析系统及方法
CN105943080A (zh) 一种智能听诊器
CN109691995A (zh) 单导联心电图的心律失常实时数据分析系统和方法
CN106419953A (zh) 一种基于双频采集及振动还原的无线听诊系统
CN111789629A (zh) 一种基于深度学习的呼吸音智能诊疗系统及方法
US20090171221A1 (en) System apparatus for monitoring heart and lung functions
CN106037792B (zh) 一种心音波形数据处理和图形显示方法及其听诊系统
KR20140146782A (ko) 동물 무선 청진진단 시스템
US20230335274A1 (en) A remote medical examination system and method
WO2019061942A1 (zh) 远程中医问诊设备
CN111870273A (zh) 一种远程肺音监测装置、系统及其方法
CN112489796A (zh) 一种智能听诊辅助诊断系统及诊断方法
CN109431499B (zh) 植物人家庭看护辅助系统和辅助方法
CN108742548A (zh) 一种可视化中医脉图系统及装置
CN114748072A (zh) 一种基于脑电的抑郁症辅助诊断的信息分析及康复训练系统及方法
DE202016105331U1 (de) System zur Durchführung einer körperlichen Fernuntersuchung

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant