CN110353725A - 一种基于云架构的心音采集与分析系统及方法 - Google Patents

Abstract

本发明提供了一种基于云架构的心音采集与分析系统及方法，其中系统包括心音信号采集装置、无线传输模块、嵌入式终端、云平台、心音分析模块。本发明采集心音信号并对其进行模数转换、滤波、降噪、放大处理后通过无线方式传输至嵌入式终端；嵌入式终端通过算法对正常心音信号和异常心音信号进行初步分类，排除正常的心音数据，并将检测出来的异常心音数据通过无线传输模块上传至云平台进一步分析诊断；云平台对异常的心音信号进行采集、显示、存储和分析诊断，最终得到诊断结果。本发明能够在前端更好的抑制环境噪声、提取异常心音后在云平台对心音信号进行智能分析诊断，并允许医生等专业医护人员查看异常心音给出相关诊断信息。

Description

一种基于云架构的心音采集与分析系统及方法

技术领域

本发明属于心脏智能诊断技术领域，涉及心音采集与分析技术，特别是一种基于云架构的心音采集与分析系统及实现该系统的方法。

背景技术

心音由心脏的机械运动生成。当心脏接受电信号传导，导致心房和心室机械性地收缩，推送血液，形成心脏瓣膜的开合，而这一整个机械运动过程加上血液流动的突然开始和结束导致心脏结构的振动，振动传导至胸腔，可以被胸前的听诊器(压电传感器)检测到并以心音的形式获取。通过心音检测心血管疾病的关键在于检测并识别心音中的杂音。一段基础心音周期一般包括第一心音(S1)和第二心音(S2)。第一心音在在锁骨中线的第五肋间听得最清楚，第一心音声调较低，40-60Hz浊音，持续时间较长；第二心音在主动脉瓣听诊区和肺动脉瓣听诊区听得最清楚，第二心音声调高，60-100Hz，持续时间短。基础心音是信号强度较高，最易识别的心音。除了第一心音和第二心音，心脏的机械运动也会生成其他的心音，比如第三心音(S3)和第四心音(S4)。

心音智能诊断技术方面，目前国内外研究方向主要集中在传感器的设计和心音诊断算法上。心音传感器主要以压电传感器和麦克风为主。在刚刚结束的美国心脏协会2018年芝加哥科学年会上，数字听诊器制造商Eko展示了一款体积小巧的Duo数字听诊器和可以通过蓝牙远程连接终端的Core听诊器。国内数字心音传感器制造厂家主要是一些传统厂商，包括华科电子基于压电传感器的HKY06C心音传感器和成都仪器厂基于麦克风的JK系列的心音探头，但目前尚缺少成熟的数字心音听诊器产品。心音传感器技术方面，目前国内外都缺少可穿戴心音传感器的研究。未来心音的监测技术将会逐渐向便携式、可穿戴、边缘计算配合云端的方向发展。心音信号智能诊断算法方面，目前国内外研究主要集中在心音信号降噪、心音信号分割和心音信号病理性分类算法。心音分类算法目前以深度学习结合传统特征提取为主流，但除了正常/异常之外目前并没有一个适合评估算法病理性检测准确率的心音数据库作为评判依据。因此，建立一个完善统一标准的心音数据库也是接下来国内外心音研究者的努力方向之一。由此可见心音信号的智能诊断算法的研究趋势在未来会先以建立统一标准并完善标注的数据库为第一步，并且主要还是以如何基于信号处理的方法提取心音的泛化性较好的特征为分类算法的预处理输入，最大可能减少传感器多样性对采集的生理信号造成的差异性的影响。

发明内容

为解决上述问题，本发明提供了一种基于云架构的心音采集与分析系统及方法，本发明实现心音采集并且在嵌入式终端进行正常和异常心得初筛，将异常的心音信号通过无线传输的方式上传至云平台，在该云平台上进一步分析处理异常的心音信号，得出较为详细的诊断信息。

为了达到上述目的，本发明提供如下技术方案：

一种基于云架构的心音采集与分析系统，包括心音信号采集装置、无线传输模块、嵌入式终端、云平台；

所述心音信号采集装置用于采集心音信号及环境声音，并且对心音信号进行模数转换、滤波、降噪、放大处理后传输至嵌入式终端；

无线传输模块，用于通过无线传输技术进行心音信号采集装置与嵌入式终端、嵌入式终端与云端之间的数据传输；

嵌入式终端，用于通过算法对正常心音信号和异常心音信号进行初步分类，排除正常的心音数据，并将检测出来的异常心音数据通过无线传输模块上传至云平台进一步分析诊断；

云平台，用于对心音信号进行采集、显示、存储和分析诊断，包括云平台前端交互界面、后端的服务器和数据库以及心音分析模块，所述心音分析模块用于对有异常的心音信号进行扫描、特征提取和分类诊断。

进一步的，所述心音信号采集装置包括4通道信号采集系统和与其连接的信号处理电路，所述4通道信号采集系统包括设置在主动脉区域、肺动脉区域、二尖瓣区域和三尖瓣区域4个位置的声音传感器模块，所述声音传感器采用双传感器降噪结构，一个传感器朝向胸腔用于采集心音信号，另一个朝向相反方向用于采集来自周围环境的声音；所述信号处理电路包括依次连接的运算放大电路、模数转换模块、音源分离模块、数字滤波器组、数字放大模块；所述运算放大模块用于对4个采集点的两个方向的传感器采集到的信号都进行放大，所述模数转换模块用于将放大后的信号转化为数字信号，所述音源分离模块用于通过主成分分析法或者通过训练多流神经网络模型分离心音与噪声，只留下朝向胸腔的传感器所采集到的心音信号，所述数字滤波器组包括：电源滤波单元、带通滤波和降噪滤波，所述电源滤波单元用于滤除电流噪声，所述带通滤波单元用于滤除心音频带以外的噪声，所述降噪滤波单元用于滤除环境噪声，所述数字放大模块用于对滤波处理后的心音信号进行放大。

进一步的，所述声音传感器采用基于压电MEMS麦克风的双麦克风模块。

进一步的，所述嵌入式终端架构中算法包括如下步骤：对心音信号的时频域特征进行提取，采用轻量化CNN模型训练，输出分类结果。

进一步的，所述心音分析模块包括心音分割单元和心音分析诊断单元，所述心音分割单元用于将心音信号分为4段：第一心音、收缩期、第二心音、舒张期；所述心音分析诊断单元基于心音分割单元得到的不同阶段的心音信号，分别对4个状态的信号进行特征提取，并且提取心音信号的节律特征，再统一输入至AI自动诊断模块中进行诊断处理，最终得到诊断结果。

进一步的，所述AI自动诊断模块基于第一心音、第二心音、收缩期和舒张期的数据，结合具体病症的临床病理特征，进行病症的详细诊断，诊断结果包含各种病症的识别分类及其严重程度。

进一步的，所述AI自动诊断模块在深度学习的基础上结合传统机器学习模型，结合贝叶斯网络引入各类疾病的心音信号的病理性特征作为先验规则。

本发明还提供了基于云架构的心音采集与分析方法，包括如下步骤：

步骤1，采集主动脉区域、肺动脉区域、二尖瓣区域和三尖瓣区域4个位置胸腔方向的心音信号以及周围环境的声音；对采集到的信号都进行放大，再转化为数字信号，通过主成分分析法或者通过训练多流神经网络模型分离心音与噪声，只留下朝向胸腔的传感器所采集到的心音信号，针对该心音信号滤除电流噪声、滤除心音频带以外的噪声、滤除环境噪声，并对滤波后的心音信号进行放大；本步骤实现心音信号采集装置功能；

步骤2，对经步骤1处理后的心音信号进行软件滤波和归一化处理；

步骤3，对正常心音信号和异常心音信号进行初步分类，排除正常的心音数据，并将检测出来的异常心音数据通过无线传输方式上传至云平台进一步分析诊断；分类时对心音信号的时频域特征进行提取，采用轻量化CNN模型输出分类结果；

步骤4，云平台的心音分割算法先将心音信号分为4段：第一心音、收缩期、第二心音、舒张期；基于分割结果，分别对4个状态的信号进行特征提取，并且提取心音信号的节律特征，再统一输入至AI自动诊断模块中进行诊断处理，最终得到诊断结果。

进一步的，所述AI自动诊断模块基于第一心音、第二心音、收缩期和舒张期的数据，结合具体病症的临床病理特征，进行病症的详细诊断，诊断结果包含各种病症的识别分类及其严重程度。

进一步的，所述AI自动诊断模块在深度学习的基础上结合传统机器学习模型，结合贝叶斯网络引入各类疾病的心音信号的病理性特征作为先验规则。

与现有技术相比，本发明具有如下优点和有益效果：

(1)采用四通道双传感器降噪结构，结合前端信号放大和数字滤波器组，能够采集到不同区域的心音信号，为后期进行分析诊断提供更多的信息，同时针对各类病症的病理特征，而基于双传感器的模块设计，可以在前端更好的抑制环境噪声，比如说话声、敲击声、摩擦声等等，降低记录心音信号收到的噪声干扰。

(2)本发明集成了异常/正常心音信号分类的嵌入式AI算法，在前端通过成熟的高性能嵌入式计算架构，结合DSP的时频特征处理作为模型输入，集成轻量级、高敏感性分卷积神经网络模型，对异常心音的高敏感性使得异常心音能够被上传至云平台进一步分析诊断。

(3)本发明基于多区域听诊的多通道心音信号，在心音分割算法的基础上，引入各种疾病的病理性先验特征，从而针对不同通道不同时期的心音信号分别进行模型训练和识别，最终得到高精度扫描和细分类的基于多通道心音信号的智能诊断算法。

(4)本发明能够将采集到的心音信号上传至云平台进行智能分析诊断，也允许医生等专业医护人员查看异常心音给出相关诊断信息，可以应用在智能家庭或者社区医疗系统以及远程医疗诊断方面，使更多的人能够得到有效的医疗护理。

附图说明

图1是本发明提供的基于云架构的心音采集与分析系统框图。

图2是本发明系统中心音信号采集装置结构图。

图3是本发明的终端的异常/正常心音信号分类算法流程图。

图4是本发明的心音分割算法流程图。

图5是本发明的基于多通道心音信号的智能诊断算法流程图。

具体实施方式

以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明设计的基于云架构的心音采集与分析系统，其架构如图1所示，具体包括：心音信号采集装置(包括声音传感器模块和与其连接的信号处理电路)、无线传输模块、嵌入式终端(ARM+DSP+NPU的架构以及异常/正常心音信号分类的嵌入式AI算法)、云平台、心音分析模块(包括心音信号分割算法和基于多通道心音信号的智能诊断算法)。下面对各模块的具体实现方式进行详细阐述。

心音信号采集装置中包括声音传感器模块和与其连接的信号处理电路，其中声音传感器采用双传感器降噪结构，即基于压电MEMS麦克风的双麦克风模块，一个朝向胸腔，负责采集心音信号，另一个朝向相反方向，负责采集来自周围环境的声音，双传感器的设计可以在前端采集过程中更好地抑制环境噪声，降低记录心音信号受到的噪声干扰。心音信号采集装置在4个位置分别进行心音信号采集，分别为主动脉区域、肺动脉区域、二尖瓣区域和三尖瓣区域，这些区域构成四个采集通道，本发明即采用4通道信号采集系统，以便采集到不同区域的心音信号，为后期进行分析诊断提供更多的信息，也方便在建立心音数据库时统一信号维度。采集到的数据被传输至终端。

其中，具体应用中，如图2所示，心音信号采集装置中的信号处理电路包括依次连接的运算放大电路、模数转换模块、音源分离模块、数字滤波器组、数字放大模块。运算放大模块对4个采集点的两个方向的传感器采集到的信号都进行放大，放大后的信号通过模数转换模块转化为数字信号，音源分离模块通过主成分分析法或者通过训练多流神经网络模型，做到心音与人声、音乐、各种突发音、敲击声和摩擦声等噪声进行分离，尽可能地抑制采集过程中环境噪声的影响，只留下朝向胸腔的传感器所采集到的心音信号，数字滤波器组包括：电源滤波单元、带通滤波单元和降噪滤波单元，电源滤波单元主要用于降低电流噪声的影响，带通滤波单元主要滤除心音频带以外的噪声，降噪滤波单元主要是降低环境噪声的影响。数字放大模块与前面的运放都对心音信号进行放大，使总放大倍数达到60倍以上。

无线传输模块采用WiFi无线传输技术来完成心音信号采集装置与终端、终端与云端之间的数据传输。采集装置采集到的心音信号先传输至终端进行初筛，再将终端筛出的异常心音信号上传至云端进行进一步分析诊断。

嵌入式终端架构采用ARM+DSP+NPU方案，基于SIMD芯片底层加速框架，对基于神经网络或是传统机器学习的算法进行优化和加速。其中，DSP模块负责心肺音信号的时频特征提取以及信号的数字滤波。终端的主要功能就是通过嵌入式AI算法来对正常心音信号和异常心音信号进行初步分类。如图3所示，算法包括如下步骤：输入的多通道心音信号进行软件滤波滤波和归一化处理，提取信号的时频域特征，采用轻量化CNN模型输出分类结果。算法以针对异常心音的高敏感性为标准，侧重于轻量化网络模型，结合特征提取算法和心音信号的生理规则，在降低分类算法空间和时间复杂的基础上提升分类的准确率，通过算法初筛将明显正常的心音数据排除，保证异常心音最大概率地被识别出来，进而上传至云平台进行进一步分析诊断。

云平台包括基于云端的数据采集(云端数据采集平台是将从终端接收到的数据进行云端存储、显示以及历史查询与回看。)和智能诊断平台，提供一个心音信号采集、显示、存储和分析诊断的平台。其主要包括云平台前端的交互界面和后端的服务器和数据库以及算法的部署。前端的交互界面是基于React架构建立的一个可以与音频IO口通信的web应用，并在阿里云服务器上的部署，云端服务器也在阿里云平台上建立，通过服务器实现终端与云平台之间的通讯，MySQL数据库搭建在云端服务器上，主要完成异常心音数据以及分析诊断结果的存储，以备之后的分析处理或者历史查询等。

心音分析模块用于在嵌入式终端算法初筛的基础上，对有异常的心音信号进行细致地扫描、特征提取和分类诊断。该模块主要包括心音分割算法单元、心音分析诊断算法单元。心音分割算法是分析诊断的基础，心音分割算法将心音信号分为4段：第一心音、收缩期、第二心音、舒张期，心音分割算法的泛化性和精确性是后续特征提取、病理诊断的重要基础，后续诊断算法是基于分割信息进行的。基于多区域听诊的多通道心音信号，在心音分割算法的基础上，引入各种疾病的病理性先验特征，从而针对不同通道不同时期的心音信号分别进行模型训练和识别，最终得到高精度扫描和细分类的基于多通道心音信号的智能诊断算法。如图4所示，算法包括以下步骤：输入的心音信号在进行软件滤波及归一化等预处理后，从信号中提取特征作为观测特征输入到隐马尔可夫模型中，通过自相关分析估计相关状态的持续时间也作为隐半马尔科夫模型的输入，最后得到分割结果。

心音分析诊断算法是是比较具有针对性的。某些病理特征明显的疾病就可以通过阈值法等其他较为简便的方法容易地判断出来，比如第一心音和第二心音分裂、明显的杂音等明显特征；而更多的疾病的病理特征较为复杂，就需要在心音分割的基础上，结合病理性特征，针对多通道的信号设计具体的算法进行诊断分类。如图5所示，算法包括如下步骤：基于分割结果，分别对4个状态的信号进行特征提取，并且提取心音信号的节律特征，再统一输入至AI自动诊断模块中进行诊断处理，最终得到诊断结果(包括疾病、心率、严重程度等)。AI自动诊断模块在深度学习的基础上结合贝叶斯网络等传统机器学习模型，结合贝叶斯网络引入各类疾病的心音信号的病理性特征作为先验规则，增加智能诊断的精度和可解释性。

具体的说，可以通过心音信号诊断出来的疾病有瓣膜疾病、肺动脉高压、主动脉狭窄、肺动脉栓塞、先心病等，这些具体疾病的分类诊断是分别基于第一心音、第二心音、收缩期和舒张期的数据，结合具体病症的临床病理特征，进行病症的详细诊断，包含各种病症的识别分类及其严重程度。例如先心病的诊断，下表1是几种常见先心病在心音信号上的病理特征，分类诊断算法就需要结合这些病理特征，进而设计针对不同疾病的分类识别算法。

表1常见先心病在心音信号上的病理特征

本发明还提供了基于云架构的心音采集与分析方法，包括如下步骤：

步骤1，采集主动脉区域、肺动脉区域、二尖瓣区域和三尖瓣区域4个位置胸腔方向的心音信号以及周围环境的声音；对采集到的信号都进行放大，再转化为数字信号，通过主成分分析法或者通过训练多流神经网络模型分离心音与噪声，只留下朝向胸腔的传感器所采集到的心音信号，针对该心音信号滤除电流噪声、滤除心音频带以外的噪声、滤除环境噪声，并对滤波后的心音信号进行放大；本步骤实现心音信号采集装置功能。

步骤2，对经步骤1处理后的心音信号进行软件滤波和归一化处理；

步骤3，对正常心音信号和异常心音信号进行初步分类，排除正常的心音数据，并将检测出来的异常心音数据通过无线传输方式上传至云平台进一步分析诊断；分类时对心音信号的时频域特征进行提取，采用轻量化CNN模型输出分类结果；

步骤4，云平台的心音分割算法先将心音信号分为4段：第一心音、收缩期、第二心音、舒张期；基于分割结果，分别对4个状态的信号进行特征提取，并且提取心音信号的节律特征，再统一输入至AI自动诊断模块中进行诊断处理，最终得到诊断结果。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于云架构的心音采集与分析系统，其特征在于：包括心音信号采集装置、无线传输模块、嵌入式终端、云平台；

所述心音信号采集装置用于采集心音信号及环境声音，并且对心音信号进行模数转换、滤波、降噪、放大处理后传输至嵌入式终端；

无线传输模块，用于通过无线传输技术进行心音信号采集装置与嵌入式终端、嵌入式终端与云端之间的数据传输；

嵌入式终端，用于通过算法对正常心音信号和异常心音信号进行初步分类，排除正常的心音数据，并将检测出来的异常心音数据通过无线传输模块上传至云平台进一步分析诊断；

云平台，用于对心音信号进行采集、显示、存储和分析诊断，包括云平台前端交互界面、后端的服务器和数据库以及心音分析模块，所述心音分析模块用于对有异常的心音信号进行扫描、特征提取和分类诊断。

2.根据权利要求1所述的基于云架构的心音采集与分析系统，其特征在于：所述心音信号采集装置包括4通道信号采集系统和与其连接的信号处理电路，所述4通道信号采集系统包括设置在主动脉区域、肺动脉区域、二尖瓣区域和三尖瓣区域4个位置的声音传感器模块，所述声音传感器采用双传感器降噪结构，一个传感器朝向胸腔用于采集心音信号，另一个朝向相反方向用于采集来自周围环境的声音；所述信号处理电路包括依次连接的运算放大电路、模数转换模块、音源分离模块、数字滤波器组、数字放大模块；所述运算放大模块用于对4个采集点的两个方向的传感器采集到的信号都进行放大，所述模数转换模块用于将放大后的信号转化为数字信号，所述音源分离模块用于通过主成分分析法或者通过训练多流神经网络模型分离心音与噪声，只留下朝向胸腔的传感器所采集到的心音信号，所述数字滤波器组包括：电源滤波单元、带通滤波和降噪滤波，所述电源滤波单元用于滤除电流噪声，所述带通滤波单元用于滤除心音频带以外的噪声，所述降噪滤波单元用于滤除环境噪声，所述数字放大模块用于对滤波处理后的心音信号进行放大。

3.根据权利要求2所述的基于云架构的心音采集与分析系统，其特征在于：所述声音传感器采用基于压电MEMS麦克风的双麦克风模块。

4.根据权利要求1所述的基于云架构的心音采集与分析系统，其特征在于：所述嵌入式终端架构中算法包括如下步骤：对心音信号的时频域特征进行提取，采用轻量化CNN模型训练，输出分类结果。

5.根据权利要求1所述的基于云架构的心音采集与分析系统，其特征在于：所述心音分析模块包括心音分割单元和心音分析诊断单元，所述心音分割单元用于将心音信号分为4段：第一心音、收缩期、第二心音、舒张期；所述心音分析诊断单元基于心音分割单元得到的不同阶段的心音信号，分别对4个状态的信号进行特征提取，并且提取心音信号的节律特征，再统一输入至AI自动诊断模块中进行诊断处理，最终得到诊断结果。

6.根据权利要求5所述的基于云架构的心音采集与分析系统，其特征在于：所述AI自动诊断模块基于第一心音、第二心音、收缩期和舒张期的数据，结合具体病症的临床病理特征，进行病症的详细诊断，诊断结果包含各种病症的识别分类及其严重程度。

7.根据权利要求6所述的基于云架构的心音采集与分析系统，其特征在于：所述AI自动诊断模块在深度学习的基础上结合传统机器学习模型，结合贝叶斯网络引入各类疾病的心音信号的病理性特征作为先验规则。

8.一种基于云架构的心音采集与分析方法，其特征在于，包括如下步骤：

步骤1，采集主动脉区域、肺动脉区域、二尖瓣区域和三尖瓣区域4个位置胸腔方向的心音信号以及周围环境的声音；对采集到的信号都进行放大，再转化为数字信号，通过主成分分析法或者通过训练多流神经网络模型分离心音与噪声，只留下朝向胸腔的传感器所采集到的心音信号，针对该心音信号滤除电流噪声、滤除心音频带以外的噪声、滤除环境噪声，并对滤波后的心音信号进行放大；本步骤实现心音信号采集装置功能；

步骤2，对经步骤1处理后的心音信号进行软件滤波和归一化处理；

步骤3，对正常心音信号和异常心音信号进行初步分类，排除正常的心音数据，并将检测出来的异常心音数据通过无线传输方式上传至云平台进一步分析诊断；分类时对心音信号的时频域特征进行提取，采用轻量化CNN模型输出分类结果；

步骤4，云平台的心音分割算法先将心音信号分为4段：第一心音、收缩期、第二心音、舒张期；基于分割结果，分别对4个状态的信号进行特征提取，并且提取心音信号的节律特征，再统一输入至AI自动诊断模块中进行诊断处理，最终得到诊断结果。

9.根据权利要求8所述的基于云架构的心音采集与分析方法，其特征在于：所述AI自动诊断模块基于第一心音、第二心音、收缩期和舒张期的数据，结合具体病症的临床病理特征，进行病症的详细诊断，诊断结果包含各种病症的识别分类及其严重程度。

10.根据权利要求9所述的基于云架构的心音采集与分析方法，其特征在于：所述AI自动诊断模块在深度学习的基础上结合传统机器学习模型，结合贝叶斯网络引入各类疾病的心音信号的病理性特征作为先验规则。