CN102499815A - 一种辅助聋人感知环境声音的装置及方法 - Google Patents

Abstract

一种辅助聋人感知环境声音的装置及方法，包括声音采集模块和声音处理及显示模块，声音采集模块安放在聋人所处环境中的若干固定节点，包括麦克风、信号调理电路、微处理器、复位电路、JTAG接口、时钟电路、电源电路和无线发射模块，声音处理及显示模块由聋人随身携带，包括处理器、存储器、无线接收模块、JTAG接口、SD卡接口、时钟电路、复位电路、电源电路和LCD显示屏。当聋人所处周围环境中有某种声音产生时，声音采集节点收集环境提示音，以无线通信的方式传给声音处理及显示模块，对收集的环境声音完成预处理、特征提取、类别判定和定位显示，使聋人能通过无损的视觉补偿方式实时感知周围环境的声音变化。

Description

一种辅助聋人感知环境声音的装置及方法

技术领域

本发明涉及嵌入式信号处理技术领域，特别涉及一种辅助聋人感知环境声音的装置及方法。

背景技术

第二次全国残疾人抽样调查结果显示，我国残疾人口总量在不断增加，残疾人占全国总人口的6.34％，其中听力残疾约2004万人，占残疾人总数的24.16％。由于失去了听觉，聋人在身体机能和社会生活等多个方面产生严重的困扰。近年来，随着科技的发展和社会的进步，聋人受到关注程度也不断提高，人们提出一些技术和方法来改善聋人对声音的感知能力，如数字助听器、电子耳蜗恢复正常听力、利用振动传感器感知脚步、听力狗感知大多数声音、闪灯感知提示音等等。它们按照对声音信息的反馈通路可分两类：一是修复原有的听觉通路，如电子耳蜗、数字助听器等；二是利用其他正常的感知通路代替听觉通路，如视觉、触觉、痛觉等将声音信号转化为其他形式的信息，通过神经传递给大脑，从而实现声音的感知，如振动感受器、闪灯等。其中数字助听器、电子耳蜗属于侵入式听力补偿方法，虽然为一部分耳聋患者重建听力，但是仍然存在诸多需要改善的地方，如受试者对植入后听到的声音需要有一段适应的过程，需要定期到医院来进行微处理器的调试，有可能会引起一系列的颅内外并发症，佩戴费用昂贵等。而振动感受器、闪灯等利用其他通路感知声音的方法是一种非侵入式的补偿，通过视觉可以分辨颜色、形状、位置以及运动形式，通过触觉可以区分振动形式或者位置，而这些技术往往受到实施环境及声音质量等多方面因素制约。目前，非侵入式听觉补偿出现了很多优良的设计方案，但大多限于语音信号方面，针对非语音声音的较少。

发明内容

针对现有技术的不足，本发明提供一种辅助聋人感知环境声音的装置及方法，聋人使用时随身携带该装置，当其所处周围环境中有某种声音产生时，通过声音采集模块收集环境提示音，通过无线通信的方式传递给嵌入式的环境声音处理及显示模块，对收集的环境声音完成预处理、特征提取、类别判定和定位显示，从而使聋人能够通过无损的视觉补偿方式实时感知周围环境的声音变化。

本发明的技术方案：一种辅助聋人感知环境声音的装置，包括声音采集模块和声音处理及显示模块，声音采集模块安放在聋人所处环境中的若干固定节点，包括麦克风、信号调理电路、微处理器、复位电路、JTAG接口、时钟电路、电源电路和无线发射模块，主要完成环境声音的实时采集和发送，麦克风接至信号调理电路输入端，信号调理电路输出端接入微处理器端口，复位电路、JTAG接口、时钟电路和电源电路均外接于微处理器端口，无线发射模块接至微处理器通信端口；

声音处理及显示模块由聋人随身携带，包括处理器、存储器、无线接收模块、JTAG接口、SD卡接口、时钟电路、复位电路、电源电路和LCD显示屏，主要是对接收到的声音信号进行数据处理、存储和显示，处理器外接有存储器、JTAG接口和SD卡接口，电源电路接至处理器的供电端口，同时电源电路的输出管脚分别连接LCD显示屏、复位电路、存储器，为它们提供电源，无线接收模块接至处理器的通信端口。该模块还可配置键盘、开关和LED指示灯，对装置进行设置和工作状态提示。通过软件编程完成引导程序Bootloader、嵌入式Linux内核、根文件系统和必要的设备驱动程序，搭建嵌入式系统的基本运行环境；在嵌入式系统运行环境下，完成环境声音处理及图形显示。

本发明装置的具体工作过程如下：当聋人所处特定环境中某种声音产生，该位置的声音采集模块利用麦克风采集声音，经放大、滤波后，在低功耗的微处理器控制下通过无线通信发送给嵌入式声音处理及显示模块。嵌入式声音处理及显示模块通过无线接收模块收到声音数据，以处理器中ARM核控制存储、显示和通信从设备模块，由处理器中DSP核对声音信号的预处理，声音特征提取、声源位置确定，并将声音与图形建立映射，送入LCD实时显示声音的类别和位置信息。

本发明装置的控制方法，具体按如下步骤进行：

步骤1：针对受试者所处的特定环境，建立环境声音数据库(如电话声、门铃声、电脑启动声音、人交谈声音、人走动时的声音)，建立这些环境声音发生位置的图像文件；

步骤2：对环境声音数据库中的声音进行处理和训练，建立这些环境声音与发生位置的对应关系，具体如下：

步骤2.1：根据公式1计算每帧中每个采样点的能量E(m，k)，根据公式2计算信号总能量E，根据公式3计算每帧中每个采样点的概率密度P(m，k)；

E(m，k)＝[x(m)·ω(n-m)]²m＝1，...，N，k＝1，...，M               公式1

其中x(n)表示声音信号，m为声音信号采样序数，ω(n)为汉明窗函数，k表示帧序数，N为每帧数据采样点数，M采样帧数；

根据公式2计算声音信号总能量

$E=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\underset{m=1}{\overset{N/2}{\mathrm{\Σ}}}E(m,k)$ 公式2

P(m，k)＝E(m，k)/E，m＝1，...，N/2，k＝1，...，M                 公式3

步骤2.2：计算每帧声音信号的谱熵值H_m；

根据公式4计算每帧谱熵值H_m，

$H_m=-\underset{m=1}{\overset{N/2}{\mathrm{\Σ}}}P(m,k)\·\log P(m,k)$ 公式4

步骤2.3：设定门限值，逐帧进行比较；

当大于门限值H1时，认定为进入声音段，否则继续比较判断，声音结束点的判断与此同理；

步骤2.4：当判断出非噪音频段的起始位置时，从起始帧开始，计算当前帧的功率谱值，一共计算15帧；

步骤2.5：对计算出的15帧功率谱值进行二值化；

选取基准值Base，大于Base的设为1，小于Base设为0，构成声音识别的网络输入特征向量；

步骤2.6：采用神经网络算法进行声音类别识别训练，具体步骤如下：

步骤2.6.1：初始化；

根据公式5初始化前向连接权W_ij(0)，根据公式6初始化反馈连接权t_ji(0)，初始化阈值参数为ρ。

$W_{\mathrm{ij}}\left(0\right)=\frac{1}{n+1}$ 公式5

t_ji(0)＝1，i＝1，2，...，n，j＝1，2，...，m            公式6

步骤2.6.2：选择环境声音数据库中某一类别声音信号，提取声音信号的前15帧的能量，构15维输入特征向量

送入神经网络输入层；

步骤2.6.3：根据公式7计算输入层各个神经元激活函数S_j，神经元g的激活值S_g最大，如公式8，初步确定为输入特征向量U_i所对应输出层的类别神经元；

$S_j=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}{U}_i^k,$ j＝1，2，...，m         公式7

$S_g=\underset{j=1}{\overset{m}{\max }}\left[S_j\right]$ 公式8

步骤2.6.4：根据公式9，计算输入特征向量U_i与输出层类别神经元g匹配度C_j，

$C_j=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{t}_{\mathrm{ji}}{U}_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{U}_i}$ 公式9

其中，T_j＝[t_j1，t_j2，...，t_jn]^T，j＝1，2，...，m表示神经元j所对应的反馈连接权，存储的是以前的学习过程中记忆的输入特征向量。

当C_j≥ρ时，确定输出层神经元g是输入特征向量U_i的类别神经元，根据公式10和11调整神经元连接权值，存储记忆结果。

$W_{\mathrm{ij}}(t+1)=\frac{t_{\mathrm{ji}}\left(t\right)U_i}{0.5+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{t}_{\mathrm{ji}}\left(t\right)U_i},$ i＝1，2，...，n       公式10

t_ji(t+1)＝t_ji(t)U_i           公式11

当C_j＜ρ时，则输出层神经元不是类别神经元，将神经元g的输出置0，并在余下的输出层神经元中继续寻找，即转至步骤2.6.3。

步骤2.6.5：将神经元g排除出下次识别的范围，返回步骤2.6.3；若所有已记忆的神经元都不满足时，则选一个未使用的输出层神经元作为输入特征向量U_i的分类结果，并令这个神经元为类别神经元g，根据公式10、11调整连接权。

步骤2.6.6：返回步骤2.6.2，对下一个输入特征向量进行识别。

步骤2.6.7：当建立的环境声音数据库中环境声音都在输出层确定了类别神经元g后，则训练结束。

步骤3：聋人所处特定环境中某种声音产生时，该位置的声音采集模块的麦克风采集到的声音信号，经信号调理电路放大滤波后，通过无线发射模块发送至声音处理及显示模块；

步骤4：当有环境声音发送至嵌入式声音处理及显示模块时，提取声音信号特征，送入步骤2.6.1～2.6.7训练好的神经网络中，判定类别神经元g，确定声音类别。

步骤5：根据声音所属类别，调用聋人周围环境声音发生位置的图像文件；

步骤6：建立声音数据的图形表达：将聋人所在周围环境发生的某种声音以不断闪烁的圆环表示，圆环的中心指示声源在房间内的位置，根据计算声音数据前15帧的能量确定圆环的大小，声音数据持续时间对于圆环显示的时间。

确定圆环的大小：首先对声音信号进行分帧，并对分帧后的声音信号求取能量密度谱函数P(n，k)，然后选取每帧中能量密度值最大的值。为了让显示的波纹图更加清晰可辨，对一些半径太小的同心圆不予显示，设置一个门限值Base，只显示大于门限值的声音。这个门限不能很高，否则检测不到许多有用的声音；然后，将选取的值表示成dB值的形式，使用20lg(P(n，k))，并直接将dB(P)值作为同心圆的半径。

有益效果：

本发明装置将嵌入式处理技术与生物医学工程实际应用有机结合，同时具备ARM与DSP的优势，支持更高的计算处理能力，可以很好地实现信号的实时、快速、精确的采集，且开发成本低，具有较高的使用价值，有很好的应用前景。声音采集模块安放在产生声音的固定节点上，而嵌入式声音处理及显示模块，使用者随身携带，在不影响聋人正常生活状态情况下，可使在家庭，办公等环境下，长时间实时环境声音监测，使聋人能够通过无损的视觉补偿方式实时感知周围环境中的声音变化。该装置具有低功耗、体积小、便携式、个性化定制等嵌入式系统的诸多特点，对于推广嵌入式技术应用和补偿聋人听力具有积极意义。

附图说明

图1是本发明实施例的声音采集模块结构框图；

图2是本发明实施例的声音处理及显示模块结构框图；

图3是本发明实施例的麦克风及信号调理电路连接原理图；

图4是本发明实施例的声音采集模块的电源3V供电原理图；

图5是本发明实施例的声音采集模块的复位电路原理图；

图6是本发明实施例的声音采集模块的时钟电路原理图；

图7是本发明实施例的声音采集模块的JTAG接口电路原理图；

图8是本发明实施例的声音采集模块的无线发射模块电路原理图；

图9是本发明实施例的声音处理及显示模块的时钟电路原理图；

图10是本发明实施例的声音处理及显示模块的电源芯片TPS73701连接原理图；

图11是本发明实施例的声音处理及显示模块的复位电路原理图；

图12是本发明实施例的声音处理及显示模块的电源芯片TPS65930供电连接原理图；

图13是本发明实施例的声音处理及显示模块的存储器连接原理图；

图14是本发明实施例的声音处理及显示模块的LCD与处理器连接原理图；

图15是本发明实施例的声音处理及显示模块的无线接收模块电路原理图；

图16是本发明实施例的声音处理及显示模块的SD卡连接原理图；

图17是本发明实施例的声音处理及显示模块的JTAG接口电路原理图；

图18是本发明实施例装置工作流程图；

图19是本发明实施例神经网络算法流程图；

图20是本发明实施例房间的俯视图简化图；

图21是本发明实施例四种声音的谱图形状图；

图22是本发明实施例四种声音的结果显示图。

具体实施方式

下面结合附图对本发明做进一步说明。

本发明的辅助聋人感知环境声音的装置，包括声音采集模块和声音处理及模块，声音采集模块安放在聋人所处环境中的若干固定节点，包括麦克风、信号调理电路、微处理器MSP430F22X4、复位电路、JTAG接口、电源电路和无线发射模块，结构框图如图1所示。声音处理及显示模块安放在聋人所在环境中的固定位置，包括处理器、存储器、无线接收模块、JTAG接口、SD卡接口、时钟电路、复位电路、电源芯片和LCD显示屏，主要是对接收到的声音信号进行数据处理、存储和显示，处理器外接有FLASH存储器、SDRAM存储器、USB接口、JTAG接口和SD卡接口，结构框图如图2所示。

麦克风及信号调理电路连接如图3所示，麦克风采集到声音信号，接到运算放大器TLV2760的反向输入端2脚，经过放大滤波处理，由MicOut接入TI微处理器MSP430F22X4的8引脚。由于微处理器工作电压为3V，该模块选用两组1.5V干电池供电，连接到TI微处理器MSP430F22X4的14引脚，电路如图4所示。声音采集模块的复位电路如图5所示，当按键被按下时，把TRST复位端拉至低电平，使微处理器MSP430F22X4复位，复位电路输出与连接到微处理器MSP430F22X4的7引脚。声音采集模块采用8MHZ无源晶振作为主时钟源，连接到MSP430F22X4的XOUT和XIN。具体电路如图6所示。声音采集模块采用标准14针JTAG接口电路，其中TDI(测试数据输入)、TDO(测试数据输出)、TMS(测试模式选择)、TCK(测试时钟输入)是标准的边界扫描测试所需的四根信号线，通过网络标号与MSP430F22X4的35引脚、36引脚、34引脚、33引脚相连，具体电路如图7所示。无线发射模块采用CC2500无线射频芯片，它四个信号引脚SCLK(时钟输入)、SO(数据输出)、CSN(芯片选择)、SI(数据输入)分别同MSP430F22X4的12引脚，11引脚，9引引脚，10引脚相连，在MSP430F22X4控制下完成无线数据通信，无线发射模块电路如图8所示。

麦克风采集节点所在位置环境声音，采集到的声音信号经信号调理电路放大、滤波后，由微处理器内部A/D接口完成模数转换，在微处理器控制下通过无线通信电路发送给嵌入式处理及显示模块。

声音处理及显示模块中，基于嵌入式处理器芯片，采用免费开源的嵌入式Linux系统，通过无线数据通信完成周围环境声音数据的处理及显示。处理器选用OMAP3530，其中的ARM核负责基本的外围接口和设备控制器，DSP核负责声音信号处理及显示；

声音处理及显示模块的时钟电路如图9所示。具体地：TPS65930通过HFCLKIN引脚接收装置的主时钟信号进行同步和整个系统的初始化，在HFCLKOUT引脚上产生一个26MHz的方波时钟到OMAP3530产生一个26Mhz的方波时钟，32.768khz时钟由无源晶振和TPS65930的PLL电路配合产生，为TPS65930的RTC电路提供参考时钟。McBSP_CLKS也是由TPS65930产生，通过E10提供给OMAP3530。

声音处理及显示模块的电源电路采用TPS65930器件供电，同时为OMAP3530提供时钟、系统按键；TPS65930所需要的工作电压3.3V和4.2V两种，通过TI电源芯片实现TPS73701产生，如图10所示。

NRESPWRON是从TPS65930产生的信号，送入复位芯片TC7SH08FU，产生的复位信号RESET送给OMAP3530完成复位，如图11所示。

OMAP3530芯片工作1.2V核电源(VDD1，VDD2)、1.8V的I/O电压(VIO)，与外部接口的三个电源电压VDD_PLL11.8V，VDAC1.2V，VMMC3V，由TPS65930电源芯片产生，如图12所示。

存储器选用芯片型号MT29C1G24MADLAJA-61T。它包含128M的NAND FLASH和128M的LPDDR SDRAM。其中NAND FLASH引脚ALE，CE#，CLE，LOCK，RE#，WE#，WP#，I/O[15:0]与OMAP3530内部GMPC组件控制引脚相连；DDR SDRAM引脚A[13:0]，BA0，BA1，CAS#，CK，CK#，CKE0，CKE1，CS0#，CS1#，DM[3:0]，RAS#，WE#，DQ[31:0]，DQS[3:0]与OMAP3530的SDRC接口对应引脚相连，如图13所示。

LCD显示屏由OMAP3530内部集成的LCD控制器进行控制，本发明采用的LQ043T3DX02LCD有24象点数据输出脚DSS_D0～DSS_D23，将LCD屏的R0～R7接至LCD接口的DSS_D0～DSS_D7上，将LCD屏的G0～G7接至LCD接口的DSS_D8～DSS_D15上，将LCD屏的B0～B7接至LCD接口的DSS_D16～DSS_D23上。DSS_HSYNC LCD水平同步信号，DSS_VSYNC是LCD垂直同步信号，DSS_PCLK是LCD像素时钟，LCD和OMAP3530的硬件连接方式如图14所示。LCD触摸屏控制，通过TI公司TSC2046触摸屏控制器来设计触摸点的坐标，通过SPI接口来控制。

无线接收模块采用CC2500芯片，其中SCLK(时钟输入)、SO(数据输出)、CSN(芯片选择)、SI(数据输入)是标准的控制芯片所需的四根信号线，它们分别同OMAP3530的SPI2接口引脚相连，如图15所示。SD卡连接原理如图16所示，JTAG接口电路如图17所示。

本发明方法通过软件编程完成引导程序Bootloader、嵌入式Linux内核、根文件系统和必要的设备驱动程序，搭建嵌入式系统的基本运行环境；在嵌入式系统运行环境下，完成环境声音处理及图形显示。

具体步骤如下：

步骤1：针对受试者所处的特定环境，建立环境声音数据库(如电话声、门铃声、电脑启动声音、人交谈声音、人走动时的声音)，建立这些环境声音发生位置的图像文件；

步骤2：对环境声音数据库中的声音进行处理和训练，建立这些环境声音与发生位置的对应关系，具体如下：

步骤2.1：根据公式1计算每帧中每个采样点的能量E(m，k)，根据公式2计算信号总能量E，根据公式3计算每帧中每个采样点的概率密度P(m，k)；

E(m，k)＝[x(m)·ω(n-m)]²m＝1，...，N，k＝1，...，M                公式1

其中x(n)表示声音信号，m为声音信号采样序数，ω(n)为汉明窗函数，k表示帧序数，N为每帧数据采样点数，M采样帧数；

根据公式2声音信号总能量

$E=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\underset{m=1}{\overset{N/2}{\mathrm{\Σ}}}E(m,k)$ 公式2

P(m，k)＝E(m，k)/E，m＝1，...，N/2，k＝1，...，M              公式3

步骤2.2：计算每帧声音信号的谱熵值H_m；

根据公式4计算出每帧谱熵值H_m，

$H_m=-\underset{m=1}{\overset{N/2}{\mathrm{\Σ}}}P(m,k)\·\log P(m,k)$ 公式4

步骤2.3：设定门限值，逐帧进行比较；

当大于门限值H1时，认定为进入声音段，否则继续比较判断，声音结束点的判断与此同理；

步骤2.4：当判断出非噪音频段的起始位置时，从起始帧开始，计算当前帧的功率谱值，一共计算15帧；

步骤2.5：对计算出的15帧功率谱值进行二值化；

选取基准值Base，大于Base的设为1，小于Base设为0，构成声音识别的网络输入特征向量；

步骤2.6：采用ART神经网络算法进行声音类别识别训练，具体步骤如下：

步骤2.6.1：初始化；

根据公式5初始化前向连接权W_ij(0)，根据公式6初始化反馈连接权t_ji(0)，初始化阈值参数为ρ。

$W_{\mathrm{ij}}\left(0\right)=\frac{1}{n+1}$ 公式5

t_ji(0)＝1，i＝1，2，...，n，j＝1，2，...，m        公式6

步骤2.6.2：选择环境声音数据库中某一类别声音信号，提取声音信号的前15帧的能量，构15维输入特征向量送入ART神经网络输入层；

步骤2.6.3：根据公式7计算输入层各个神经元激活函数S_j，神经元g的激活值S_g最大，如公式8，初步确定为输入特征向量U_i所对应输出层的类别神经元；

$S_j=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}{U}_i^k,$ j＝1，2，...，m            公式7

$S_g=\underset{j=1}{\overset{m}{\max }}\left[S_j\right]$ 公式8

步骤2.6.4：根据公式9，计算输入特征向量U_i与输出层类别神经元g匹配度C_j，

$C_j=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{t}_{\mathrm{ji}}{U}_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{U}_i}$ 公式9

其中，T_j＝[t_j1，t_j2，...，t_jn]^T，j＝1，2，...，m表示神经元j所对应的反馈连接权，存储的是以前的学习过程中记忆的输入特征向量。

当C_j≥ρ时，确定输出层神经元g是输入特征向量U_i的类别神经元，根据公式10和11调整神经元连接权值，存储记忆结果。

$W_{\mathrm{ij}}(t+1)=\frac{t_{\mathrm{ji}}\left(t\right)U_i}{0.5+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{t}_{\mathrm{ji}}\left(t\right)U_i},$ i＝1，2，...，n        公式10

t_ji(t+1)＝t_ji(t)U_i             公式11

当C_j＜ρ时，则输出层神经元不是类别神经元，将神经元g的输出置0，并在余下的输出层神经元中继续寻找，即转至步骤2.6.3。

步骤2.6.5：将神经元g排除出下次识别的范围，返回步骤2.6.3；若所有已记忆的神经元都不满足时，则选一个未使用的输出层神经元作为输入特征向量U_i的分类结果，并令这个神经元为类别神经元g，根据公式10、11调整连接权。

步骤2.6.6：返回步骤2.6.2，对下一个输入特征向量进行识别。

步骤2.6.7：当建立的环境声音数据库中环境声音都在输出层确定了类别神经元g后，则训练结束。

步骤3：聋人所处特定环境中某种声音产生时，该位置的声音采集模块的麦克风采集到的声音信号，经信号调理电路放大滤波后，通过无线发射模块发送至声音处理及显示模块；

步骤4：当有环境声音发送至嵌入式声音处理及显示模块时，提取声音信号特征，送入步骤2.6.1～2.6.7训练好的ART神经网络中，判定类别神经元g，确定声音类别。

步骤5：根据声音所属类别，调用在聋人周围环境发生位置的图像文件；

步骤6：建立声音数据的图形表达：将聋人所在周围环境发生的某种声音以不断闪烁的圆环表示，圆环的中心指示声源在房间内的位置，根据计算声音数据前15帧的能量确定圆环的大小，声音数据持续时间对于圆环显示的时间。

确定圆环的大小：首先对音频信号进行分帧，并对分帧后的声音信号求取能量密度谱函数P(m，k)，然后选取每帧中能量密度值最大的值。为了让显示的波纹图更加清晰可辨，对一些半径太小的同心圆不予显示，设置一个门限值Base，只显示大于门限值的声音。这个门限不能很高，否则检测不到许多有用的声音；然后，将选取的值表示成dB值的形式，使用20lg(P(m，k))，并直接将dB(P)值作为同心圆的半径。

本发明装置聋人根据自己所处环境建立声音发生位置的图像文件，保存成.bmp文件格式；当所处环境发生变化时，可以通过软件操作随时建立当前的环境声音发生位置的图像文件；如果所处环境声音类别的数量及位置发生改变时，也可通过软件操作对声源点位置进行添加及修改。

以聋人所处环境是单个房间为例，房间的俯视图简化如图20中左图所示，右图中的黑色块为固定声源点的位置。位置1是电话；位置2是闹钟；位置3是门铃；位置4是未知声音的显示位置。

本实施例选用四种声源对ART神经网络的识别进行演示，分别是电话铃声、门铃声、闹钟声和未知声音(即除了电话铃声、门铃声和闹钟声这三种声音之外的其它声音，本例指两人交谈声)。

将每种声音提取的谱特征如图21，图中(a)为电话铃声，(b)为闹钟声，(c)为门铃声，(d)为一段说话声。从图21中可以看出不同声音的谱图形状差别很大，提取谱图形状信息可以区分这些声音。训练中声音数据选择前15帧，每帧声音数据长度N＝128，神经网络的输入神经元个数(N/2+1)*15，输出神经元的个数50，警戒参数ρ＝0.5，每个声音类别训练的样本数20个，持续时长约1s，完成训练后。选取四类声源中一种，通过软件测试结果，如图22所示。

Claims (3)

1.一种辅助聋人感知环境声音的装置，其特征在于：包括声音采集模块和声音处理及显示模块；

声音采集模块安放在聋人所处环境中的若干固定节点，包括麦克风、信号调理电路、微处理器、复位电路、JTAG接口、时钟电路、电源电路和无线发射模块；麦克风接至信号调理电路输入端，信号调理电路输出端接入微处理器端口，复位电路、JTAG接口、时钟电路和电源电路均外接于微处理器端口，无线发射模块接至微处理器通信端口；

声音处理及显示模块由聋人随身携带，包括处理器、存储器、无线接收模块、JTAG接口、SD卡接口、时钟电路、复位电路、电源电路和LCD显示屏，处理器外接有存储器、JTAG接口和SD卡接口，电源电路接至处理器的供电端口，同时电源电路的输出管脚分别连接LCD显示屏、复位电路、存储器，无线接收模块接至处理器的通信端口。

2.采用权利要求1所述的辅助聋人感知环境声音的装置辅助聋人感知环境声音的方法，其特征在于：具体按如下步骤执行：

步骤1：针对聋人所处的特定环境，建立环境声音数据库，建立这些环境声音发生位置的图像文件；

步骤2：对环境声音数据库中的声音进行处理和训练，建立这些环境声音与发生位置的对应关系，具体如下：

步骤2.1：根据公式1计算每帧中每个采样点的能量E(m，k)，根据公式2计算信号总能量E，根据公式3计算每帧中每个采样点的概率密度P(m，k)；

E(m，k)＝[x(m)·ω(n-m)]²m＝1，...，N，k＝1，...，M                公式1

其中x(n)表示声音信号，m为声音信号采样序数，ω(n)为汉明窗函数，k表示帧序数，N为每帧数据采样点数，M采样帧数；

根据公式2计算声音信号总能量

$E=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}\underset{m=1}{\overset{N/2}{\mathrm{\Σ}}}E(m,k)$ 公式2

P(m，k)＝E(m，k)/E，m＝1，...，N/2，k＝1，...，M        公式3

步骤2.2：计算每帧声音信号的谱熵值H_m；

根据公式4计算每帧谱熵值H_m，

$H_m=-\underset{m=1}{\overset{N/2}{\mathrm{\Σ}}}P(m,k)\·\log P(m,k)$ 公式4

步骤2.3：设定门限值，逐帧进行比较；

当大于门限值H1时，认定为进入声音段，否则继续比较判断，声音结束点的判断与此同理；

步骤2.4：当判断出非噪音频段的起始位置时，从起始帧开始，计算当前帧的功率谱值，一共计算15帧；

步骤2.5：对计算出的15帧功率谱值进行二值化；

选取基准值Base，大于Base的设为1，小于Base设为0，构成声音识别的神经网络输入特征向量；

步骤2.6：采用神经网络算法进行声音类别识别训练；

步骤3：聋人所处特定环境中某种声音产生时，该位置的声音采集模块的麦克风采集到的声音信号，经信号调理电路放大滤波后，通过无线发射模块发送至声音处理及显示模块；

步骤4：当有环境声音发送至嵌入式声音处理及显示模块时，提取声音信号特征，送入训练好的神经网络中，判定类别神经元g，确定声音类别。

步骤5：根据声音所属类别，调用在聋人周围环境发生位置的图像文件；

步骤6：建立声音数据的图形表达：将聋人所在周围环境发生的某种声音以不断闪烁的圆环表示，圆环的中心指示声源在房间内的位置，根据计算声音数据前15帧的能量确定圆环的大小，声音数据持续时间对于圆环显示的时间。

3.根据权利要求2所述的辅助聋人感知环境声音的方法，其特征在于：步骤2.6所述采用神经网络算法进行声音类别识别训练，具体步骤如下：

步骤2.6.1：初始化；

根据公式5初始化前向连接权W_ij(0)，根据公式6初始化反馈连接权t_ji(0)，初始化阈值参数为ρ。

$W_{\mathrm{ij}}\left(0\right)=\frac{1}{n+1}$ 公式5

t_ji(0)＝1，i＝1，2，...，n，j＝1，2，...，m        公式6

步骤2.6.2：选择环境声音数据库中某一类别声音信号，提取声音信号的前15帧的能量，构15维输入特征向量

送入ART神经网络输入层；

步骤2.6.3：根据公式7计算输入层各个神经元激活函数S_j，神经元g的激活值S_g最大，如公式8，初步确定为输入特征向量U_i所对应输出层的类别神经元；

$S_j=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}{U}_i^k,j=\mathrm{1,2},...,m$ 公式7

$S_g=\underset{j=1}{\overset{m}{\max }}\left[S_j\right]$ 公式8

步骤2.6.4：根据公式9，计算输入特征向量U_i与输出层类别神经元g匹配度C_j，

$C_j=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{t}_{\mathrm{ji}}{U}_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{U}_i}$ 公式9

其中，T_j＝[t_j1，t_j2，...，t_jn]^T，j＝1，2，...，m表示神经元j所对应的反馈连接权，存储的是以前的学习过程中记忆的输入特征向量。

当C_j≥ρ时，确定输出层神经元g是输入特征向量U_i的类别神经元，根据公式10和11调整神经元连接权值，存储记忆结果。

$W_{\mathrm{ij}}(t+1)=\frac{t_{\mathrm{ji}}\left(t\right)U_i}{0.5+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{t}_{\mathrm{ji}}\left(t\right)U_i},$ i＝1，2，...，n         公式10

t_ji(t+1)＝t_ji(t)U_i         公式11

当C_j＜ρ时，则输出层神经元不是类别神经元，将神经元g的输出置0，并在余下的输出层神经元中继续寻找，即转至步骤2.6.3。

步骤2.6.5：将神经元g排除出下次识别的范围，返回步骤2.6.3；若所有已记忆的神经元都不满足时，则选一个未使用的输出层神经元作为输入特征向量U_i的分类结果，并令这个神经元为类别神经元g，根据公式10、11调整连接权。

步骤2.6.6：返回步骤2.6.2，对下一个输入特征向量进行识别。

步骤2.6.7：当建立的环境声音数据库中环境声音都在输出层确定了类别神经元g后，则训练结束。

Images