CN109031202A - 基于听觉场景分析的室内环境区域定位系统及方法 - Google Patents

Abstract

本发明公开了一种基于听觉场景分析的室内环境区域级定位系统及方法，系统包括通过无线网络连接服务器端和客户端；首先生成室内房间级的定位结果，然后根据该结果，计算该房间内的区域级定位，最终给出准确的区域内定位结果。该定位方法，包括离线阶段建立位置声纹数据库和在线阶段进行声信号的匹配两个步骤。只需要在在线阶段录制所处位置的10s音频，将音频文件转化为位置声纹，上传ABS结果，下载服务器端筛选的房间地图信息，就可以在客户端快速准确的解算出位置信息。由于ABS结果与房间地图信息，都是轻量级的数据，因此，该方法解决了现有室内区域级定位精度低，运算量庞大的问题，同时借助联觉现象，辅以CRP色彩声图呈现方式，提升用户定位体验。

Description

基于听觉场景分析的室内环境区域定位系统及方法

技术领域

本发明涉及室内定位方法，具体是一种基于听觉场景分析(ASA)的室内环境区域定位系统及方法，在人机交互、听觉感知与应用、位置感知与服务等场景中有重要的应用价值。

背景技术

环境声是除语音声和音乐声之外的所有可听声的总称。从信号分析的角度看，环境声信号是非结构化数据，其特性相比语声和乐声要复杂得多，从其中提取有效特征也更加困难。然而，环境声是物理声源自然产生的，具有反映声源特征的复杂声学结构，由于室内环境的物理结构不同，室内布局的不同，室内不同区域的环境声信号具有不同的时频域特性。针对这一难题，结合环境声的特性，我们基于听觉场景分析结论，提出一种室内环境多维声纹的构建方法，用以实现室内区域定位。

常用声信号特征可分为两类：时域特征(如：短时能量、短时平均过零率等)和频域特征(如：MFCC、LPCC等)。己有大量通过环境声信号时频域特征提取与结合，进行声信号识别、建筑物结构监控、室内房间级定位的研究，但是，许多环境声极其相似，因此，利用环境声信号作为位置指纹，实现室内区域定位的精度通常较低。目前，解决这类问题的最佳选择是在定位系统的离线阶段，通过群智感知获取大量环境音频源数据，结合聚类算法，实现区域定位，但引入数据多样性及数据冗余问题，影响了定位系统性能。

发明内容

为了降低室内环境中，环境声信号特征对声纹匹配度的影响，提高室内环境区域定位精度，同时，兼顾定位终端通用性的考虑；并针对同一室内环境中环境声极其相似，导致现有室内环境区域定位方法在复杂室内环境中定位精度差的问题。本发明提出了一种基于听觉场景分析实现室内环境区域定位系统及方法，该方法以通用的智能手机作为环境声感知装置，只需要在定位阶段录制所处位置的10s环境音频，通过离线阶段建立位置声纹数据库和在线阶段进行声信号的匹配两个步骤，实现低时耗、高精度的室内环境区域定位。

本发明基于听觉场景分析的室内环境区域定位系统，包括服务器端和客户端，服务器端与客户端通过无线网络连接；

所述服务器端包括依次连接的智能手机、听觉场景分析模块(ASA)、声学背景谱模块(ABS)、色彩声图模块(CRP)；还包括连接听觉场景分析模块(ASA)和色彩声图模块(CRP)的皮尔逊系数提簇模块；通过智能手机的麦克风录制所处位置的10s环境音频输入听觉场景分析模块(ASA)，再经声学背景谱模块(ABS)处理，处理ABS的算法为RNN，用来获取房间级的定位结果；

所述客户端包括从服务器端下载并筛选的室内环境地图(包括房间号,区域号，CRP色彩声图)、VAR算法、ASA和ABS、以及测试音频；将测试音频在客户端经ASA和ABS提取测试音频的多维声纹，通过无线网络上传ABS的结果至服务器，由服务器端下载匹配的室内环境地图与VAR算法连接，VAR算法根室内环境地图据解算出多维声纹所处物理位置信息；

所述室内环境区域定位系统，首先生成室内房间级的定位结果，然后根据该结果，计算该房间内的区域级定位，最终给出准确的区域内定位结果。

所述的听觉场景分析模块(ASA)、声学背景谱模块(ABS)、色彩声图模块(CRP)、皮尔逊系数提簇模块为现有技术。

应用上述基于听觉场景分析的室内环境区域定位系统，进行室内环境区域定位的方法，包括离线阶段建立位置声纹数据库和在线阶段进行声信号的匹配两个步骤。

所述离线阶段建立位置声纹数据库，具体方法是：

首先，基于听觉场景分析模块(ASA)结论，提取室内声信号的色度谱(Chromagram)，响度谱(Sonogram)和功率谱(Spectrogram)构成室内环境声的多维声纹；

其次，采用声学背景谱模块(ABS)，对功率谱信号提取其第5百分位功率数据作为房间的声纹，并作为RNN的输入，进行房间号分类训练，同时，通过皮尔逊系数的相似度计算，提取室内不同区域声纹的簇指纹；

最后，基于联觉现象，计算簇指纹的CRP色谱，存储声纹的映射关系，形成房间地图(包括房间号,区域号，CRP色彩声图)，从而完成位置声纹数据库的构建。

所述在线阶段进行声信号的匹配，具体方法是：

首先，在客户端以通用的智能手机作为环境声感知装置，利用手机APP进行10s环境音频的录制；

然后，在客户端进行音频信号的ASA分析，提取该测试音频的色度谱(Chromagram),响度谱(Sonogram)和功率谱(Spectrogram)，构建多维指纹，同时通过ABS提取第5百分位功率数据；

最后，客户端将第5百分位功率数据上传服务器端进行房间号的匹配识别，服务器端将匹配率最高的房间地图回传到客户端，客户端采用在线最小方差VAR匹配算法，快速、有效、可靠地实现室内区域级定位，并以面向隐私保护的CRP色彩声图结合文本标注方式，呈现定位结果，提升用户体验。

所述的手机APP，软件名称为《智能手机环境声录制系统》，已办理软件著作权登记，是发明人自己开发的一款环境声录制与存储发送的APP。采用现有智能手机的录音功能也可进行10s环境音频的录制。

本发明室内环境区域定位的方法，各模块具体的信号处理过程如下：

听觉场景分析模块(ASA)：当声波作用于人类听觉系统形成声音的听觉后，音调、音色、响度是人对声音主要的主观听觉属性。由于人耳的听觉系统具备将原始音频从时域转化到频域的能力。因此，采用对音色变化鲁棒的色度谱，表征环境声的音调属性，反映声能的变化采用响度谱表征环境声的响度属性，反映环境声的强度变化及其频率分布,采用功率谱，表征环境声的时频特性。

声学背景谱模块(ABS)：两段时长相同，时域波形看起来相似，人耳听觉感知也相似的环境音频，其持久的声学特性是不同的。这个特性主要反映在声功率信号上，即音频的时频特征。通过ABS模块，提取0-7kHz范围内的声功率数据，并对每一频点的功率大小进行排序，找到第5百分位矢量数据，提取出来做为RNN训练模型的输入矢量。相关实验证明，第5百分位功率数据相比其实验室百分位数据，对环境的瞬时噪声及干扰更显鲁棒；且0-7kHz范围内的声功率数据较其它频段数据，更能反映室内环境的本底噪声分布。本发明采用现有技术提取第5百分位矢量数据。

皮尔逊系数提簇模块：对于任一室内环境，我们将其划分为M个子区域，在离线采集声纹阶段，我们需要对每一子区域进行簇指纹的计算。

在本发明中，我们采用皮尔逊系数计算及可视化任意两组指纹之间的相似度；

以f_m和f_n表示单个子区域内任意两个不相同指纹，则它们之间的皮尔逊系数为

其中，N表示该子区域内所采集到的指纹总数，表示该子区域所采集到的所有指纹的均值。

CRP色彩声图模块：CRP全称The Chroma DCT-Reduced log Pitch，是chroma gram的一种变形变量。采用CRP色谱的表现，可以对房间及其子区域指纹以可视化的形式呈现，弥补了纯文本指示的单调，提升用户体验，更重要的是保护了室内场所的隐私。

本发明基于ASA结论，对室内环境声信号进行时频域特征的提取与结合，构建多维位置声纹。基于ASA和ABS相关结论与技术，将定位问题首先转化为房间号的识别问题，缩小区域定位的匹配范围；最后在该房间地图信息下，采用在线VAR算法计算区域位置，并以文本及CRP色谱方式表示。

本发明提出了一种在室内环境中，快速有效实现室内环境区域定位的方法。该方法充分利用听觉场景分析结论，结合人耳主观听觉属性，提出以色度谱、响度谱和功率谱作为室内环境声的多维声纹；通过ABS和RNN，训练各测试房间模型；通过皮尔逊系数计算声纹相似度，提取室内不同区域声纹的簇指纹；最后以CRP色谱反映该室内各区域声纹特征，形成房间地图的色彩声图。在仅使用个人智能手机及相关APP的情况下，结合服务器端的比对结果，手机客户端可进行自身位置的解算，避免了传统区域级定位方案对整个指纹库的遍历，提高了定位系统的实时性与准确度，同时避免了室内地图定位结果呈现时的隐私泄露问题，提升了用户体验。

附图说明

图1为本发明室内区域定位系统框图。

图2为实施例10s室内环境声的归一化色度谱。

图3为实施例10s室内环境声的响度谱。

图4为实施例2D功率谱。

图5(a)为3D功率谱，图5(b)功率谱的第5百分位即ABS的结果。

图6为实施例子区域内任两个采集指纹之间的相似度矩阵。

图7为实施例室内任两个簇指纹之间的区分度表示。

图8为实施例室内簇指纹之间的CRP。

具体实施方式

下面结合附图和实施例对本发明内容作进一步的说明，但不是对本发明的限定。

实施例

参照图1，本发明基于听觉场景分析的室内环境区域定位系统，包括服务器端和客户端，服务器端与客户端通过无线网络连接；

所述服务器端包括依次连接的智能手机、听觉场景分析模块(ASA)、声学背景谱模块(ABS)、色彩声图模块(CRP)；还包括连接听觉场景分析模块(ASA)和色彩声图模块(CRP)的皮尔逊系数提簇模块；通过智能手机的麦克风录制所处位置的10s环境音频输入听觉场景分析模块(ASA)，再经声学背景谱模块(ABS)处理，处理ABS的算法为RNN，用来获取房间级的定位结果；

所述客户端包括从服务器端下载并筛选的室内环境地图(包括房间号,区域号，CRP色彩声图)、VAR算法、ASA和ABS、以及测试音频；将测试音频在客户端经ASA和ABS提取测试音频的多维声纹，通过无线网络上传ABS的结果至服务器，由服务器端下载匹配的室内环境地图与VAR算法连接，VAR算法根室内环境地图据解算出多维声纹所处物理位置信息；

所述室内环境区域定位系统，首先生成室内房间级的定位结果，然后根据该结果，计算该房间内的区域级定位，最终给出准确的区域内定位结果。

应用上述基于听觉场景分析的室内环境区域定位系统，进行室内环境区域定位的方法，包括离线阶段建立位置声纹数据库和在线阶段进行声信号的匹配两个步骤。

所述离线阶段建立位置声纹数据库，具体方法是：

首先，基于听觉场景分析模块(ASA)结论，提取室内声信号的色度谱(Chromagram)，响度谱(Sonogram)和功率谱(Spectrogram)构成室内环境声的多维声纹；

其次，采用声学背景谱模块(ABS)，对功率谱信号提取其第5百分位功率数据作为房间的声纹，并作为RNN的输入，进行房间号分类训练，同时，通过皮尔逊系数的相似度计算，提取室内不同区域声纹的簇指纹；

最后，基于联觉现象，计算簇指纹的CRP色谱，存储声纹的映射关系，形成房间地图(包括房间号,区域号，CRP色彩声图)，从而完成位置声纹数据库的构建。

所述在线阶段进行声信号的匹配，具体方法是：

首先，在客户端以通用的智能手机作为环境声感知装置，利用手机APP进行10s环境音频的录制；

然后，在客户端进行音频信号的ASA分析，提取该测试音频的色度谱(Chromagram),响度谱(Sonogram)和功率谱(Spectrogram)，构建多维指纹，同时通过ABS提取第5百分位功率数据；

最后，客户端将第5百分位功率数据上传服务器端进行房间号的匹配识别，服务器端将匹配率最高的房间地图回传到客户端，客户端采用在线最小方差VAR匹配算法，快速、有效、可靠地实现室内区域级定位，并以面向隐私保护的CRP色彩声图结合文本标注方式，呈现定位结果，提升用户体验。

所述各模块具体的信号处理过程如下：

听觉场景分析模块(ASA)：采用对音色变化鲁棒的chroma gram，表征环境声的音调属性，反映声能的变化如图2所示；采用响度谱表征环境声的响度属性，反映环境声的强度变化及其频率分布,如图3所示；采用功率谱，表征环境声的时频特性,如图4所示。

声学背景谱模块(ABS)：相关实验证明，第5百分位功率数据相比其实验室百分位数据，对环境的瞬时噪声及干扰更显鲁棒；且0-7kHz范围内的声功率数据较其它频段数据，更能反映室内环境的本底噪声分布。图5(a)为10s室内环境声的三维声功率谱分布图，图5(b)为采用ABS方法，从该声功率中提取出来的第5百分位功率数据。

皮尔逊系数提簇模块：对于任一室内环境，将其划分为M个子区域，以f_m和f_n表示单个子区域内任意两个不相同指纹，则它们之间的皮尔逊系数为

其中，N表示该子区域内所采集到的指纹总数，表示该子区域所采集到的所有指纹的均值。假设M＝6,N＝10，图6表示子区域内任意两个指纹之间的相似度矩阵，每一个色块表示各指纹之间的皮尔逊系数；显然，簇指纹应该是具备最大皮尔逊系数叠加和的指纹。同理，任两个簇指纹之间的区分度，也可以用皮尔逊系数来表示，如图7表示，每一簇指纹的色条颜色明显地不同。

CRP色彩声图模块：如图8所示，室内6个簇指纹的CRP色谱图，通过不同色块的分布与强弱的呈示，反映了室内各子区域的本底噪声分布情况。

Claims (4)

1.基于听觉场景分析的室内环境区域定位系统，包括服务器端和客户端，服务器端与客户端通过无线网络连接；

其特征在于：所述服务器端包括依次连接的智能手机、听觉场景分析模块ASA、声学背景谱模块ABS、色彩声图模块CRP；还包括连接听觉场景分析模块和色彩声图模块的皮尔逊系数提簇模块；通过智能手机的麦克风录制所处位置的10s环境音频输入听觉场景分析模块，再经声学背景谱模块处理，处理ABS的算法为RNN，用来获取房间级的定位结果；

所述客户端包括从服务器端下载并筛选的室内环境地图、VAR算法、ASA和ABS、以及测试音频；将测试音频在客户端经ASA和ABS提取测试音频的多维声纹，通过无线网络上传ABS的结果至服务器，由服务器端下载匹配的室内环境地图与VAR算法连接，VAR算法根室内环境地图据解算出多维声纹所处物理位置信息；所述的室内环境区域定位系统，首先生成室内房间级的定位结果，然后根据该结果，计算该房间内的区域级定位，最终给出准确的区域内定位结果。

2.根据权利要求1所述的基于听觉场景分析的室内环境区域定位系统，进行室内环境区域定位的方法，包括离线阶段建立位置声纹数据库和在线阶段进行声信号的匹配两个步骤；其特征在于：

所述离线阶段建立位置声纹数据库，具体方法是：

首先，基于听觉场景分析模块结论，提取室内声信号的色度谱，响度谱和功率谱构成室内环境声的多维声纹；

其次，采用声学背景谱模块，对功率谱信号提取其第5百分位功率数据作为房间的声纹，并作为RNN的输入，进行房间号分类训练，同时，通过皮尔逊系数的相似度计算，提取室内不同区域声纹的簇指纹；

最后，基于联觉现象，计算簇指纹的CRP色谱，存储声纹的映射关系，形成房间地图，从而完成位置声纹数据库的构建；

所述在线阶段进行声信号的匹配，具体方法是：

首先，在客户端以通用的智能手机作为环境声感知装置，利用手机APP进行10s环境音频的录制；

然后，在客户端进行音频信号的ASA分析，提取该测试音频的色度谱,响度谱和功率谱，构建多维指纹，同时通过ABS提取第5百分位功率数据；

最后，客户端将第5百分位功率数据上传服务器端进行房间号的匹配识别，服务器端将匹配率最高的房间地图回传到客户端，客户端采用在线最小方差VAR匹配算法，实现室内区域级定位，并以面向隐私保护的CRP色彩声图结合文本标注方式，呈现定位结果。

3.根据权利要求2所述的室内环境区域定位的方法，其特征在于：所述离线阶段采用声学背景谱模块，提取0-7kHz范围内的声功率数据，并对每一频点的功率大小进行排序，找到第5百分位矢量数据，提取出来做为RNN训练模型的输入矢量。

4.根据权利要求2所述的室内环境区域定位的方法，其特征在于：所述离线阶段通过皮尔逊系数的相似度计算，提取室内不同区域声纹的簇指纹，具体方法是：

以f_m和f_n表示单个子区域内任意两个不相同指纹，则它们之间的皮尔逊系数为

其中，N表示该子区域内所采集到的指纹总数，表示该子区域所采集到的所有指纹的均值。