CN102551790A - 基于智能手机平台的心音分类方法及心音的图形化显示方法 - Google Patents

基于智能手机平台的心音分类方法及心音的图形化显示方法 Download PDF

Info

Publication number
CN102551790A
CN102551790A CN2012100369337A CN201210036933A CN102551790A CN 102551790 A CN102551790 A CN 102551790A CN 2012100369337 A CN2012100369337 A CN 2012100369337A CN 201210036933 A CN201210036933 A CN 201210036933A CN 102551790 A CN102551790 A CN 102551790A
Authority
CN
China
Prior art keywords
heart
hear sounds
heart sound
mobile phone
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100369337A
Other languages
English (en)
Inventor
成谢锋
何海琴
朱冬梅
王路飞
赵青
曹刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN2012100369337A priority Critical patent/CN102551790A/zh
Publication of CN102551790A publication Critical patent/CN102551790A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Telephone Function (AREA)

Abstract

本发明公开了基于智能手机平台的心音分类方法及心音的图形化显示方法,在智能手机平台上实现对心音信号采集、数据存储、分类和图形显示。利用第一心音、第二心音的时宽和它们之间的时间间隔、以及心率作为心音的分类特征参数,通过判断特征参数在二维坐标图中的位置,对常规心音和非常规心音进行分类,并且对分类结果进行图形化显示;其效果是在手机屏幕上先显示一个心脏形状的心型卡通图案,心型区域内代表常规心音,心型区域外代表非常规心音。如果分类结果是常规心音,一颗小的红心就落入心型区域内,如果分类结果是非常规心音,这颗红心就落入心型区域外的某一个位置。这种图形化表示的结果对一般用户而言是一目了然的。

Description

基于智能手机平台的心音分类方法及心音的图形化显示方法
技术领域    
本发明涉及一种在智能手机平台上实现心音分类及心音的图形化显示方法。
背景技术
心音信号是人体中一种重要的生理信号,它蕴含着大量关于心脏功能状态以及大血管机械运动状况等重要生理信息。电子听诊器通过心音传感器来采集心音,然后利用放大电路将采集到的微弱的心音信号放大十几倍,同时可以通过连接到个人计算机(PC)上利用信号处理软件显示心音信号波形并进行分析处理。
目前,利用电子听诊器检测心音的普遍方法是用心音传感器采集心音信号,并经过电路放大处理后在液晶显示器上显示出波形,或者将心音信号通过声卡存储到计算机中,利用计算机中的音频播放软件播放心音并实时显示心音的包络波形。
这类方法,相对而言需要的器件多,成本高,普及率不高,携带不方便,不利于随时随地检测心音,最重要的是用电子听诊器检测的心音实时显示在屏幕上时,其波形不直观,对非专业人士来说显得尤为复杂难懂。随着移动互联网技术的发展,手机已经从单一的通话工具发展到集语音、数据、网络和多媒体处理功能于一体的智能终端。所以,如果能在普及率高且便携性好的手机平台上开发出一种用于对人体心音信号的图形显示方式和分类的技术,将有利于大众对心音的认识,使大多数人都能随时随地了解自己的心脏信息。因此,我们提出一种基于智能手机平台的心音分类器,将心音信号分为常规与非常规两类,这不但对开拓手机在人们日常生活中的应用,推动新一代智能手机的发展具有积极的现实意义,而且给普通民众提供了一种掌握自己心脏信息的途径。
现今手机已经成为人们随身携带的必备品,利用手机作为平台开发心音分类系统,让人们随时随地掌握自己的心脏状况,将会大大降低心脏疾病对人体的危害。其中关键的技术问题有:心音波形的智能显示方法和心音特征参数的提取以及心音直观分类技术的实现。
发明内容
技术问题:本发明基于电子科学技术和智能手机编程技术,提出了一种在智能手机平台上实现对人体心音信号进行分类和智能显示的技术。
技术方案:本发明是一种基于智能手机平台的心音分类技术,主要包括心音采集、心音分类器、图形显示方式。
心音采集部分包括录音软件和无线电子听诊器:首先由电子听诊器采集人体心音信号,手机利用蓝牙技术无线接收并利用手机的A/D转换设备将模拟心音信号转换为离散数字心音信号,然后利用心音分类器中设置的录音软件将数字心音以WAV格式音频文件的形式录下来,并存储到心音数据库的实时心音库中。
心音分类器包括分段定位、特征提取和分类识别三个阶段,最终将心音信号分成常规和非常规两大类。首先对经过预处理的信号分段定位,确定S1信号和S2信号,然后求出心音信号时域上的特征参数,最后对提取的时频特征参数应用心音的分类策略进行心音的识别分类。
心音图形显示方式包括两个部分:一部分是实现心音的智能播放,即播放心音的同时显示心音图,用户不但可通过放大、缩小、定位等功能来获得需要的效果,还能获得心音图的简单信息,比如读取心音的采样频率等。另一部分是分类结果的图形化表示,主要考虑的用直观简单的图形化方式显示出常规与非常规两类信息。
心音分段是建立决策系统的基础和前提,首先定位心音的主要成分:第一心音S1、第二心音S2,为特征提取和和模式识别提供定位基准。
心音的定位方法:
1、计算心音信号的能量谱。
2、对获取的心音能量谱提取其包络。以包络线均值为阈值,对连续时间间隔小于20ms的变化不予考虑,以获得归一化的能量包络线。
3、由归一化的能量包络线可准确获得第一心音S1、第二心音S2的起点和终点。通过取3个周期的心音信号求平均心跳周期,然后计算出心率。
心音的特征参数:用S1、S2的时宽S1h、S2h,两个相邻的S1的时间间隔S11, S1和S2之间的时间间隔S12,以及心率f作为心音分类的特征参数。
心音的分类策略:将一个标准心音的[S1h,S2h]、[S11,S12]和[f/100,f/100]作为二维坐标系中的三个圆心点,以r1、r2、r3为半径画三个园,如果一个新的心音信号的特征参数[S1h,S2h]、[S11,S12]和[f/100,f/100]所表示的三点中,至少有两点分别落在对应的圆内,就是常规心音,否则就是可能是非常规心音;r1、r2、r3的值依据对标准心音的分析和大量实验结果来确定。
分类结果的图形化表示:在手机屏幕上绘出一个心脏形状的心型卡通图案,心型区域内代表常规心音,心型区域外代表非常规心音。如果分类结果是常规心音,一颗小的红心就落入心型区域内,如果分类结果是非常规心音,这颗红心就落入心型区域外的某一个位置。
有益效果:利用智能手机实现心音的采集、分类、显示,使用者可以随时随地的对自己的心脏状况进行监测,从而有利于使用者随时随地记录和掌握自己的心脏信息。此外,在广泛使用的智能手机平台上开发这种心音监测系统,不但能开拓智能手机的新功能,推动新一代智能手机的发展,并且还与物联网的运用密切相关。  
附图说明
图1为本发明的原理示意图;
图2为心音分类流程图;
图3为心音分类结果的图形化表示。
具体实施方式
本发明的涉及到硬件和软件两个部分。参阅附图1,硬件部分主要是智能手机终端和电子听诊器。其中,电子听诊器中集成了滤波器,用于采集心音和对心音进行去噪预处理,智能手机选用的是Android平台。软件部分就是基于Android的心音分类系统,主要包括采集模块、I/O模块、显示模块和用户界面。其中,采集模块配合电子听诊器采集心音,将采集的心音信号以WAV格式保存到心音数据库;显示模块依赖于采集模块和I/O模块,它又分为两个小模块,分别是心音显示模块和分类结果显示模块。心音显示模块不但能播放心音,且在播放的同时显示心音图,并提供放大、缩小、定位等简单的分析功能。分类结果显示模块是以易于理解的图形化方式向用户报告分类结果;用户界面就是所有功能最终实现的面向用户的可操作的图形化界面,本应用程序主要包括主界面、录音界面、发送界面、选择界面、显示界面。本发明的具体实现其实就是这些用户界面的最终实现。
主界面是心音分类系统的欢迎界面,本软件的所有功能选项都被链接到MENU菜单下,主要包括录音、播放、分类和帮助四大菜单项,菜单项下面还有子菜单。需要说明的是,界面之间是通过intent来切换的,如主界面进入录音界面的代码如下所示: 
    Intent intent6 = new Intent();
   intent6.setClass(StartActivity.this,RecordActivity.class);
    startActivity(intent6);
录音界面安置了两个按钮,分别代表“开始”和“停止”,通过给这两个按钮设置侦听器来调用record()或stop()实现录音。Android系统提供了实现录音的类MediaRecorder,而record()和stop()正是调用了MediaRecorder中的成员方法来实现录音的。录取的心音将被存储到心音库中。
发送界面是根据不同的发送方式调用不同的发送界面,这里提供三种发送方式:彩信、邮件和蓝牙。涉及到界面切换自然还是通过intent来实现。
选择界面继承了ListActivity,将心音库中的WAV文件全部以规定的格式list出来,同时提供了search功能以帮助快速定位,单击选择心音文件就会切换到被选中的心音文件的显示界面。 
显示界面一基于心音显示模块。实现的具体方法是:波形音频文件是Microsoft为Windows设计的多媒体格式RIFF中的一种,RIFF是有文件头、数据类型标识和若干块组成。首先按照WAV格式将音频文件读出来,放入缓存,然后按照每帧20ms将其分割成帧,并通过数帧和取得每帧的最大值来画一条竖线以获得波形轮廓逼近,最后输出波形;由于添加了横坐标缩放功能,在帧的密度大于1的地方画两条直线,这样可以避免放大功能可能造成的空白。部分代码如下:
protectedvoid drawWaveformLine(Canvas canvas,
                                      int x, int y0, int y1,
                                      Paint paint) {
 if (mDensity > 1.0 && (x % 2) == 1) {
     canvas.drawLine(x + 0.5f, y0, x + 0.5f, y1, paint);
  }
 canvas.drawLine(x, y0, x, y1, paint);
 }
显示界面二基于分类结果显示模块,这个界面是通过显示界面一中的分类按钮进入的。实现的具体方法是:刚进入界面显示的是数据处理中的状态,后台进行的首先是心音的定位:
1、计算心音信号的能量谱。
2、对获取的心音能量谱提取其包络。以包络线均值为阈值,对连续时间间隔小于20ms的变化不予考虑,以获得归一化的能量包络线。
3、由归一化的能量包络线可准确获得第一心音、第二心音的起点和终点。通过取3个周期的心音信号求平均心跳周期,并计算出心率。
其次是心音的特征参数提取:用S1、S2的时宽S1h、S2h,两个相邻的S1的时间间隔S11, S1和S2之间的时间间隔S12,以及心率f作为心音分类的特征参数。
然后对心音进行分类:将一个人正常时的心音信号作为标准心音的特征参数[S1h,S2h]、[S11,S12]和[f/100,f/100],比如其值分别为[0.11,0.09]、[0.80,0.35]和[0.8,0.8],并将其作为二维坐标系中的三个圆心点,以 r1=0.02、r2=0.1、r3=0.2为半径画三个园;在今后的检测中,如果同一个人的一个新的心音信号的特征参数[S1h,S2h]、[S11,S12]和[f/100,f/100]所表示的三点中,至少有两点分别落在对应的圆内,就是常规心音,否则就可能是非常规心音,参阅附图2。
分类结果生成后触发界面显示状态,使其转换为分类结果报告状态。分类结果报告界面的设置为:首先在手机屏幕上绘出一个心脏形状的心型卡通图案,心型区域内代表常规心音,心型区域外代表非常规心音。如果分类结果是常规心音,一颗小的红心就落入心型区域内,如果分类结果是非常规心音,这颗红心就落入心型区域外的一个位置,参阅附图3。
这种图形化表示的结果对一般用户而言是一目了然的。

Claims (1)

1. 一种基于智能手机平台的心音分类方法及心音的图形化显示方法,其特征在于该心音分类方法及心音的图形化显示方法包括:
心音的特征参数:用第一心音S1、第二心音S2的第一时宽S1h、第二时宽S2h,两个相邻的第一心音S1的第一时间间隔S11, S1和S2之间的时间间隔S12,以及心率f作为心音分类的特征参数;
心音的分类策略:将一个标准心音的[S1h,S2h]、[S11,S12]和[f/100,f/100]作为二维坐标系中的三个圆心点,分别以r1、r2、r3为半径画三个圆,如果一个新的心音信号的特征参数[S1h,S2h]、[S11,S12]和[f/100,f/100]所表示的三点中,至少有两点分别落在对应的圆内,就是常规心音,否则就可能是非常规心音;
分类结果的图形化表示:在手机屏幕上绘出一个心脏形状的心型卡通图案,心型区域内代表常规心音,心型区域外代表非常规心音;如果分类结果是常规心音,一颗小的红心就落入心型区域内,如果分类结果是非常规心音,这颗红心就落入心型区域外的某一个位置。
CN2012100369337A 2012-02-17 2012-02-17 基于智能手机平台的心音分类方法及心音的图形化显示方法 Pending CN102551790A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012100369337A CN102551790A (zh) 2012-02-17 2012-02-17 基于智能手机平台的心音分类方法及心音的图形化显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012100369337A CN102551790A (zh) 2012-02-17 2012-02-17 基于智能手机平台的心音分类方法及心音的图形化显示方法

Publications (1)

Publication Number Publication Date
CN102551790A true CN102551790A (zh) 2012-07-11

Family

ID=46399325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100369337A Pending CN102551790A (zh) 2012-02-17 2012-02-17 基于智能手机平台的心音分类方法及心音的图形化显示方法

Country Status (1)

Country Link
CN (1) CN102551790A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105078435A (zh) * 2014-04-24 2015-11-25 重庆融海超声医学工程研究中心有限公司 一种胎心音信号检测与处理装置
CN105708489A (zh) * 2016-01-26 2016-06-29 卓效医疗有限公司 一种电子听诊器的远程听诊实现方法及系统
CN107019524A (zh) * 2016-02-02 2017-08-08 方宏文 心杂音检测装置及方法
CN107704885A (zh) * 2017-10-17 2018-02-16 四川长虹电器股份有限公司 在智能平台上实现心音与肺音分类的方法
CN107822597A (zh) * 2017-10-17 2018-03-23 四川长虹电器股份有限公司 基于智能平台心脏活力指数计算及图像化显示系统与方法
CN112741596A (zh) * 2019-10-31 2021-05-04 南京大学 一种基于深度可分离卷积神经网络的移动端心音分类方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105078435A (zh) * 2014-04-24 2015-11-25 重庆融海超声医学工程研究中心有限公司 一种胎心音信号检测与处理装置
CN105708489A (zh) * 2016-01-26 2016-06-29 卓效医疗有限公司 一种电子听诊器的远程听诊实现方法及系统
CN107019524A (zh) * 2016-02-02 2017-08-08 方宏文 心杂音检测装置及方法
CN107704885A (zh) * 2017-10-17 2018-02-16 四川长虹电器股份有限公司 在智能平台上实现心音与肺音分类的方法
CN107822597A (zh) * 2017-10-17 2018-03-23 四川长虹电器股份有限公司 基于智能平台心脏活力指数计算及图像化显示系统与方法
CN112741596A (zh) * 2019-10-31 2021-05-04 南京大学 一种基于深度可分离卷积神经网络的移动端心音分类方法

Similar Documents

Publication Publication Date Title
CN102551790A (zh) 基于智能手机平台的心音分类方法及心音的图形化显示方法
Rossi et al. AmbientSense: A real-time ambient sound recognition system for smartphones
US8175728B2 (en) Detecting user gestures with a personal mobile communication device
CN109166593A (zh) 音频数据处理方法、装置及存储介质
Wang et al. Sensor-based human activity recognition in a multi-user scenario
CN109087669A (zh) 音频相似度检测方法、装置、存储介质及计算机设备
CN103948398B (zh) 适用于Android系统的心音定位分段方法
CN102006528A (zh) 耳机装置
CN107343085A (zh) 音乐播放方法及相关产品
CN104970820A (zh) 一种智能听诊系统及检测方法
CN111433766A (zh) 用于对时间序列数据进行分类的方法和系统
CN107105092A (zh) 一种基于动态时间规整的人体跌倒识别方法
CN105243285A (zh) 一种大数据健康预测系统
CN109616135A (zh) 音频处理方法、装置及存储介质
Li et al. Mosquito detection with low-cost smartphones: data acquisition for malaria research
CN102499646A (zh) 基于安卓平台的心音分类方法及心音的图形化显示方法
CN101150615A (zh) 一种可测试心跳的移动终端及其测量方法
CN103040477A (zh) 一种利用手机进行测谎的方法及系统
Grama et al. Extending assisted audio capabilities of TIAGo service robot
CN209606794U (zh) 一种可穿戴设备、音箱设备和智能家居控制系统
CN201683910U (zh) 智能心肺分析仪
CN103077627B (zh) 一种便携式可视化心音听诊教学系统
CN105549744B (zh) 一种终端屏幕亮度调节方法及装置
EP4258264A1 (en) Audio recognition method and audio recognition device
CN105718165B (zh) 一种终端后台应用的启动方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120711