CN103544942B - 声信号乐谱化处理系统 - Google Patents

Abstract

一种声信号乐谱化处理系统，所述声信号乐谱化处理系统由传感器数据采样模块、包络线生成模块和包络线谱线化模块组成；所述传感器数据采样模块用于将原始数据传输给包络线生成模块；所述包络线生成模块用于对原始数据进行包络化处理并将包络线传输给包络线谱线化模块；所述包络线谱线化模块用于将包络线映射至音乐简谱中；本发明的有益技术效果：提供了一种对包络线进行处理的新手段，使包络线中的信息以更直观的方式呈现，由此可建立与被测对象的声信号包络线对应的、可被计算机序列化存储的音乐简谱数据库，使我们可以依据音乐简谱数据库，应用计算机处理手段对实测对象的音乐简谱数据组进行定量的比对分析，从而为工程实践提供可靠的数据支持。

Description

声信号乐谱化处理系统

技术领域

本发明涉及一种信号处理技术，尤其涉及一种声信号乐谱化处理系统。

背景技术

包络线是工程领域中常用的数据表现形式，理论上，包络线中蕴涵了大量的被测对象的信息，只要我们能够掌握包络线中的信息与物理世界相联系的规律，就能通过包络线获取到大量有价值的信息，从而为我们的数据分析和处理提供可靠的数据支持；遗憾的是，现有技术中在对包络线进行利用时，仍然处于十分初级的阶段，究其原因是，现有技术中还没有很好的处理手段来对包络线所蕴涵的信息进行规范化、离散化的描述和表达，导致本领域技术人员无法对包络线所蕴涵的信息进行充分利用。

具体到声发射领域，目前，包络线在其中的应用仅限于用于获取能量计数（即能量包络线下的面积），能量计数只能反映声发射事件的相对强度，对工作频率和传播特性都不敏感；依赖现有的数据处理手段，无法对与声信号相关的包络线进行规范化、离散化的描述和表达，难以实现对海量的包络线信息的序列化存储，也就不可能获得对数据分析、处理具有价值性的信息数据库。

发明内容

针对背景技术中的问题，本发明提出了一种声信号乐谱化处理系统，其创新在于：所述声信号乐谱化处理系统由传感器数据采样模块、包络线生成模块和包络线谱线化模块组成；所述传感器数据采样模块用于从传感器中提取原始数据并将原始数据传输给包络线生成模块；所述包络线生成模块用于对原始数据进行包络化处理从而获得对应的包络线并将包络线传输给包络线谱线化模块；所述包络线谱线化模块用于将包络线映射至音乐简谱中；

所述音乐简谱包括：以时域为横轴，设置多条间距相同且与横轴平行的谱线，谱线数量为奇数，各条谱线从下至上顺次标号，最上侧的谱线与包络线中的最大值点相交，最下侧的谱线与包络线中的最小值点相交，包络线与各条谱线的交点形成音乐简谱中的多个记忆音符，多条谱线和多个记忆音符即形成音乐简谱；

单个记忆音符在音乐简谱中对应的谱线标号记为Ф；过单个记忆音符所在点且与包络线相切的直线的斜率记为θ；包络线中的最大值点的幅值记为f_max，f_max在音乐简谱中的映射值记为f_max′，包络线中的最小值点的幅值记为f_min，f_min在音乐简谱中的映射值记为f_min′，单个记忆音符所对应的缩放比例记为α，

$\mathrm{\α}=\frac{|f_{\max }-f_{\min |}}{|{f^{\′}}_{\max }-{f^{\′}}_{\min }|};$

单个记忆音符所对应的基值比记为β，

包络线谱线化模块在将包络线映射至音乐简谱中后，分别计算出各个记忆音符所对应的Ф、θ、α和β，从而获得音乐简谱形式的数据组，音乐简谱形式的数据组可以更加直观的体现出声信号中所蕴涵的被测对象的物理状态信息，便于计算机处理和技术人员对被测对象的物理状态进行分析。

采用本发明方案后，由本发明方案处理后的结果除了保留了包络线中的轮廓、幅度信息外，还能得到Ф和θ这两种参数，其中，θ可以量化地反映信号在当前时刻变化趋势的快慢（θ越大说明变化趋势越快），Ф可以定量地刻画出与θ对应的信号变化程度信息；另外，α和β可以用于数据在音乐简谱和原始包络线之间进行映射转换（后文中的进一步方案中将涉及多个音乐简谱，α和β还能让数据能够在多个音乐简谱之间进行映射转换）；更为有价值的是，通过本发明的系统处理后，原始的包络线中蕴涵的信息将以一种全新的面貌呈现在技术人员面前，这种全新面貌的信息已经经过了规范化、离散化的描述和表达，不仅使其能够被计算机序列化存储，而且计算机在对其进行处理、分析时，可以获得更快的处理速度（本发明的处理结果相当于对包络线中的大量信息进行了精简、提炼和整合），而且在处理时，技术人员可以根据处理需要，随时将音乐简谱形式的数据组还原为包络线；相比于隐含在原始包络线中的信息，由本发明所获得的处理结果也更为直观；同时，由于本发明的处理结果具备规范化和离散化这两个特性，在作分析应用时，可以辅以相应的分析程序，十分便捷地对包络线中的信息进行定量的量化分析；本发明在使包络线的利用价值得到提高的同时，也使得我们对包络线的利用手段更为高级化，并最终使得与包络线相关的数据库建立和数据分析具备了契机。

本发明的一种简单应用为：本领域技术人员应该明白，包络线中蕴涵了被测对象的大量信息，如被测对象的材质属性、被测对象的载荷情况、被测对象的轮廓特征、裂纹或损伤的演化快慢及演化进度等信息；我们可以对不同材质属性的被测对象进行模拟试验，并获取其在多种载荷情况、不同轮廓特征以及不同损伤情况条件下的包络线，并用本发明方案对获取到的包络线进行处理，从而获得不同材质属性的物质在各种条件下的音乐简谱数据库，在后期对实体结构进行分析时，先将实测对象的声特性包络线转化为音乐简谱形式的数据组，然后将其与预先生成的音乐简谱数据库进行比对，我们就能获知实测对象的材质属性、载荷情况、轮廓特征以及裂纹或损伤的演化快慢及演化进度等信息，从而为我们的结构安全监测、工程设计提供更为准确的数据支持。

前述方案中涉及“设置多条间距相同且与横轴平行的谱线”，对于计算机处理时，可按如下方法定量地确定各条谱线的位置：

设谱线数量为n，最下侧的谱线高度用S1标记，最上侧的谱线高度用Sn标记；则有：

S1＝f_min′

$S2={f^{\′}}_{\min }+\frac{1}{n-1}\·|{f^{\′}}_{\max }-{f^{\′}}_{\min }|$

……

$\mathrm{Sn}-1={f^{\′}}_{\min }+\frac{n-2}{n-1}\·|{f^{\′}}_{\max }-{f^{\′}}_{\min }|$

$\mathrm{Sn}={f^{\′}}_{\min }+\frac{n-1}{n-1}\·|{f^{\′}}_{\max }-{f^{\′}}_{\min }|={f^{\′}}_{\max }.$

具体实施本发明时，由于记忆音符是谱线和包络线的交点，如果谱线数量较少，容易使原始包络线中的大量信息被忽略掉，发明人在经过大量试验研究后发现，采用9条谱线时，可以使处理的复杂度和保真度取得较佳的平衡，如果要进一步提高处理精度，还可使谱线数量为9条以上。在此再赘述一下发明人的灵感来源：五线谱是音乐领域中最通用的表达形式，其由线和间组成，五线谱中的各个音符包含有音调和音值两种信息；当我们哼唱某一旋律时，也许与标准的乐谱不尽相同，但别人仍然能大致识别出我们哼唱的是哪首歌，如果对此作进一步的分析后，我们就能发现，别人之所以能够分辨出我们哼唱的是哪首歌，是因为人们的大脑中对听过的歌的旋律（或乐谱）中的音调、音值以及他们的排列规律留下了记忆，这不仅是声信号区别于其他类型的信号的特点，也是对应声信号的包络线的优势所在，声信号中的“音调”和“音值”实质上已经包含在了包络线中，但包络线形式的信息过于庞杂，其规律性十分隐晦，现有技术中缺乏相应的手段来将包络线中蕴涵的信息的规律性凸显出来，而本发明的发明人就恰好发现了五线谱在表达和凸显声信号的规律性上的优势，并将之应用到对包络线的处理中，从而获得了本发明的方案；当然，本发明的方案并未完全套用五线谱的概念，五线谱中的空间采用了“线”和“间”两个概念来划分，但其所起的作用相同均为确定音符的位置，其差异仅为称谓不同，在本发明方案中，为了避免概念复杂化，本发明仅采用了“谱线”这一概念来划分空间。

包络线的走势变化受多种因素影响，有可能在某些时间段内走势较急（也即最大值与最小值之间的幅值差很大），也有可能在某些时间段内走势较缓，因此，如果采用统一的谱线间隔，可能导致在对同一包络线进行处理时，对走势较缓段的处理方式过于粗略，造成大量信息丢失，故，本发明还采用了如下优选手段来对包络线进行分时段谱线化：所述包络线谱线化模块在进行处理时，先将包络线的时域区间n等分，n等分后获得n个时域区段，每个时域区段分别对应一音乐简谱，每个音乐简谱均对应一谱线组，各个谱线组内的谱线数量相同，每个谱线组内的谱线位置按如下方式确定：

设n等分后的某一时域区段A与音乐简谱A对应，时域区段A范围内的包络线线段记为线段A，音乐简谱A内的谱线组记为谱线组A，则谱线组A中最下侧的谱线与线段A中的最小值点相交，谱线组A中最上侧的谱线与线段A中的最大值点相交；

在同一谱线组内形成的多个记忆音符的集合记为记忆音符组；获得了对应多个时域区段的多个音乐简谱后，包络线谱线化模块（3）分别计算出对应各个音乐简谱的记忆音符组中各个记忆音符所对应的Ф、θ、α和β。

本发明的方案的核心在于凸显包络线中包含的信息的规律性，这一凸显过程必然会舍弃包络线中的一部分不具有代表性的信息，但对于峰值点来说，其对包络线的走势具有较为重要的意义，因此在谱线化过程中，应尽量避免峰值点丢失，基于前述方案，本发明还提出了如下的优选方案来减小因峰值点丢失而对最终结果造成的负面影响：针对同一音乐简谱中的记忆音符，若某两个相邻的记忆音符所对应的Ф的数值相同时，则说明这两个相邻的记忆音符之间存在谱粗大丢失现象，即存在峰值丢失，则按如下方式进行处理：

设音符A、音符B、音符C为三个在时序上顺次相邻的记忆音符，音符B和音符C分别与时域上的TB时刻和TC时刻对应；音符A、音符B、音符C所对应的音乐简谱记为简谱一，音符B和音符C在简谱一中对应的谱线标号均为K；与音符A对应的θ值记为θ1；K为自然数；此时，音符B和音符C之间就存在峰值丢失；

1）判断θ1的正、负：若θ1为正值，说明包络线在此处的走势处于上升阶段，音符B和音符C之间有一波峰被丢失了，则按步骤2）方式继续处理；若θ1为负值，说明包络线在此处的走势处于下降阶段，音符B和音符C之间有一波谷被丢失了，则按步骤3）方式继续处理；

2）建立新的音乐简谱，记为简谱二：以简谱一中谱线标号为K的那条谱线作为简谱二中最下侧的谱线，以简谱一中谱线标号为K+1的那条谱线作为简谱二中最上侧的谱线，生成简谱二，简谱二中的谱线数量与简谱一中的谱线数量相同；简谱二中的多条谱线记为谱线组二；进入步骤4）；

3）建立新的音乐简谱，记为简谱二：以简谱一中谱线标号为K的那条谱线作为简谱二中最上侧的谱线，以简谱一中谱线标号为K-1的那条谱线作为简谱二中最下侧的谱线，生成简谱二，简谱二中的谱线数量与简谱一中的谱线数量相同；简谱二中的多条谱线记为谱线组二；进入步骤4）；

4）以时域上TB时刻和TC时刻的中点时刻为简谱二中的横坐标，以谱线组二中居中的那条谱线所在的谱线标号为纵坐标，横坐标和纵坐标所对应的点即为补值点，获得补值点后，计算出与补值点对应的Ф、θ、α和β，并将对应的Ф、θ、α和β作为音乐简谱形式的数据组中的一个数据存储。

在具体确定是否需要设置补值点时，还可参照原始的包络线以及综合考虑处理精度，若包络线在可能存在峰值丢失的两个记忆音符之间的走势较为平缓，也可不设置补值点，或者处理精度要求不高的情况下，也可放弃补值。

对于传感器数据采样模块和包络线生成模块均为工程领域中的常用手段，故本文不再作详细论述。

本发明的有益技术效果：提供了一种对包络线进行规范化、离散化处理的新手段，使包络线中蕴涵的信息以更直观的方式呈现在我们面前，由此可建立与被测对象的声信号包络线对应的、可被计算机序列化存储的音乐简谱数据库，使我们可以依据音乐简谱数据库，应用计算机处理手段对实测对象的音乐简谱数据组进行定量的比对分析，从而为工程实践提供可靠的数据支持。

附图说明

图1、本发明的音乐简谱原理示意图（结合到后续的“补值点”方案，图中字母D、E、F、G、H标记位置处，即为经谱线化处理后存在峰值点丢失的位置，其中，D、E、G三个位置的包络线走势较为平缓，在处理精度要求不高时，可不设置补值点）；

图2、分时段谱线化时的原理示意图（图中将某一包络线的时域作了三等分，并对每一时域区段范围内的包络线段进行了谱线化处理，同时，图中还示出了第一时域区段内的两个记忆音符之间的一个补值点）；

图3、本发明的系统原理示意图。

具体实施方式

一种声信号乐谱化处理系统，所述声信号乐谱化处理系统由传感器数据采样模块1、包络线生成模块2和包络线谱线化模块3组成；所述传感器数据采样模块1用于从传感器中提取原始数据并将原始数据传输给包络线生成模块2；所述包络线生成模块2用于对原始数据进行包络化处理从而获得对应的包络线并将包络线传输给包络线谱线化模块3；所述包络线谱线化模块3用于将包络线映射至音乐简谱中；

所述音乐简谱包括：以时域为横轴，设置多条间距相同且与横轴平行的谱线，谱线数量为奇数，各条谱线从下至上顺次标号，最上侧的谱线与包络线中的最大值点相交，最下侧的谱线与包络线中的最小值点相交，包络线与各条谱线的交点形成音乐简谱中的多个记忆音符，多条谱线和多个记忆音符即形成音乐简谱；

单个记忆音符在音乐简谱中对应的谱线标号记为Ф；过单个记忆音符所在点且与包络线相切的直线的斜率记为θ；包络线中的最大值点的幅值记为f_max，f_max在音乐简谱中的映射值记为f_max′，包络线中的最小值点的幅值记为f_min，f_min在音乐简谱中的映射值记为f_min′，单个记忆音符所对应的缩放比例记为α，

$\mathrm{\α}=\frac{|f_{\max }-f_{\min |}}{|{f^{\′}}_{\max }-{f^{\′}}_{\min }|};$

单个记忆音符所对应的基值比记为β，

包络线谱线化模块3在将包络线映射至音乐简谱中后，分别计算出各个记忆音符所对应的Ф、θ、α和β，从而获得音乐简谱形式的数据组，音乐简谱形式的数据组可以更加直观的体现出声信号中所蕴涵的被测对象的物理状态信息，便于计算机处理和技术人员对被测对象的物理状态进行分析。

进一步地，按如下方法确定各条谱线的位置：

设谱线数量为n，最下侧的谱线高度用S1标记，最上侧的谱线高度用Sn标记；则有：

S1＝f_min′

$S2={f^{\′}}_{\min }+\frac{1}{n-1}\·|{f^{\′}}_{\max }-{f^{\′}}_{\min }|$

……

$\mathrm{Sn}-1={f^{\′}}_{\min }+\frac{n-2}{n-1}\·|{f^{\′}}_{\max }-{f^{\′}}_{\min }|$

$\mathrm{Sn}={f^{\′}}_{\min }+\frac{n-1}{n-1}\·|{f^{\′}}_{\max }-{f^{\′}}_{\min }|={f^{\′}}_{\max }.$

进一步地，所述谱线数量为9条或9条以上。

进一步地，所述包络线谱线化模块3在进行处理时，先将包络线的时域区间n等分，n等分后获得n个时域区段，每个时域区段分别对应一音乐简谱，每个音乐简谱均对应一谱线组，各个谱线组内的谱线数量相同，每个谱线组内的谱线位置按如下方式确定：

设n等分后的某一时域区段A与音乐简谱A对应，时域区段A范围内的包络线线段记为线段A，音乐简谱A内的谱线组记为谱线组A，则谱线组A中最下侧的谱线与线段A中的最小值点相交，谱线组A中最上侧的谱线与线段A中的最大值点相交；

在同一谱线组内形成的多个记忆音符的集合记为记忆音符组；获得了对应多个时域区段的多个音乐简谱后，包络线谱线化模块（3）分别计算出对应各个音乐简谱的记忆音符组中各个记忆音符所对应的Ф、θ、α和β。

进一步地，针对同一音乐简谱中的记忆音符，若某两个相邻的记忆音符所对应的Ф的数值相同时，则说明这两个相邻的记忆音符之间存在谱粗大丢失现象，即存在峰值丢失，则按如下方式进行处理：

设音符A、音符B、音符C为三个在时序上顺次相邻的记忆音符，音符B和音符C分别与时域上的TB时刻和TC时刻对应；音符A、音符B、音符C所对应的音乐简谱记为简谱一，音符B和音符C在简谱一中对应的谱线标号均为K；与音符A对应的θ值记为θ1；K为自然数；此时，音符B和音符C之间就存在峰值丢失；

1）判断θ1的正、负：若θ1为正值，则按步骤2）方式继续处理；若θ1为负值，则按步骤3）方式继续处理；

2）建立新的音乐简谱，记为简谱二：以简谱一中谱线标号为K的那条谱线作为简谱二中最下侧的谱线，以简谱一中谱线标号为K+1的那条谱线作为简谱二中最上侧的谱线，生成简谱二，简谱二中的谱线数量与简谱一中的谱线数量相同；简谱二中的多条谱线记为谱线组二；进入步骤4）；

3）建立新的音乐简谱，记为简谱二：以简谱一中谱线标号为K的那条谱线作为简谱二中最上侧的谱线，以简谱一中谱线标号为K-1的那条谱线作为简谱二中最下侧的谱线，生成简谱二，简谱二中的谱线数量与简谱一中的谱线数量相同；简谱二中的多条谱线记为谱线组二；进入步骤4）；

4）以时域上TB时刻和TC时刻的中点时刻为横坐标，以谱线组二中居中的那条谱线所在的谱线标号为纵坐标，横坐标和纵坐标所对应的点即为补值点，获得补值点后，计算出与补值点对应的Ф、θ、α和β，并将对应的Ф、θ、α和β作为音乐简谱形式的数据组中的一个数据存储。

Claims (5)

1.一种声信号乐谱化处理系统，其特征在于：所述声信号乐谱化处理系统由传感器数据采样模块(1)、包络线生成模块(2)和包络线谱线化模块(3)组成；所述传感器数据采样模块(1)用于从传感器中提取原始数据并将原始数据传输给包络线生成模块(2)；所述包络线生成模块(2)用于对原始数据进行包络化处理从而获得对应的包络线并将包络线传输给包络线谱线化模块(3)；所述包络线谱线化模块(3)用于将包络线映射至音乐简谱中；

所述音乐简谱包括：以时域为横轴，设置多条间距相同且与横轴平行的谱线，谱线数量为奇数，各条谱线从下至上顺次标号，最上侧的谱线与包络线中的最大值点相交，最下侧的谱线与包络线中的最小值点相交，包络线与各条谱线的交点形成音乐简谱中的多个记忆音符，多条谱线和多个记忆音符即形成音乐简谱；

单个记忆音符在音乐简谱中对应的谱线标号记为Ф；过单个记忆音符所在点且与包络线相切的直线的斜率记为θ；包络线中的最大值点的幅值记为f_max，f_max在音乐简谱中的映射值记为f'_max，包络线中的最小值点的幅值记为f_min，f_min在音乐简谱中的映射值记为f'_min，单个记忆音符所对应的缩放比例记为α，

$\mathrm{\α}=\frac{\left|f_{\max }-f_{\min }\right|}{\left|{f^{\′}}_{\max }-{f^{\′}}_{\min }\right|};$

单个记忆音符所对应的基值比记为β，

包络线谱线化模块(3)在将包络线映射至音乐简谱中后，分别计算出各个记忆音符所对应的Ф、θ、α和β，从而获得音乐简谱形式的数据组，音乐简谱形式的数据组可以直观的体现出声信号中所蕴涵的被测对象的物理状态信息，便于计算机处理和技术人员对被测对象的物理状态进行分析。

2.根据权利要求1所述的声信号乐谱化处理系统，其特征在于：按如下方法确定各条谱线的位置：

设谱线数量为n，最下侧的谱线高度用S1标记，最上侧的谱线高度用Sn标记；则有：

S1＝f'_min

$S2={f^{\′}}_{\min }+\frac{1}{n-1}\·\left|{f^{\′}}_{\max }-{f^{\′}}_{\min }\right|$

……

$Sn-1={f^{\′}}_{\min }+\frac{n-2}{n-1}\·\left|{f^{\′}}_{\max }-{f^{\′}}_{\min }\right|$

$Sn={f^{\′}}_{\min }+\frac{n-1}{n-1}\·\left|{f^{\′}}_{\max }-{f^{\′}}_{\min }\right|={f^{\′}}_{\max }.$

3.根据权利要求2所述的声信号乐谱化处理系统，其特征在于：所述谱线数量为9条或9条以上。

4.根据权利要求1所述的声信号乐谱化处理系统，其特征在于：所述包络线谱线化模块(3)在进行处理时，先将包络线的时域区间n等分，n等分后获得n个时域区段，每个时域区段分别对应一音乐简谱，每个音乐简谱均对应一谱线组，各个谱线组内的谱线数量相同，每个谱线组内的谱线位置按如下方式确定：

设n等分后的某一时域区段A与音乐简谱A对应，时域区段A范围内的包络线线段记为线段A，音乐简谱A内的谱线组记为谱线组A，则谱线组A中最下侧的谱线与线段A中的最小值点相交，谱线组A中最上侧的谱线与线段A中的最大值点相交；

在同一谱线组内形成的多个记忆音符的集合记为记忆音符组；获得了对应多个时域区段的多个音乐简谱后，包络线谱线化模块(3)分别计算出对应各个音乐简谱的记忆音符组中各个记忆音符所对应的Ф、θ、α和β。

5.根据权利要求1或4所述的声信号乐谱化处理系统，其特征在于：针对同一音乐简谱中的记忆音符，若某两个相邻的记忆音符所对应的Ф的数值相同时，则说明这两个相邻的记忆音符之间存在谱粗大丢失现象，即存在峰值丢失，则按如下方式进行处理：

设音符A、音符B、音符C为三个在时序上顺次相邻的记忆音符，音符B和音符C分别与时域上的TB时刻和TC时刻对应；音符A、音符B、音符C所对应的音乐简谱记为简谱一，音符B和音符C在简谱一中对应的谱线标号均为K；与音符A对应的θ值记为θ1；K为自然数；此时，音符B和音符C之间就存在峰值丢失；

1)判断θ1的正、负：若θ1为正值，则按步骤2)方式继续处理；若θ1为负值，则按步骤3)方式继续处理；

2)建立新的音乐简谱，记为简谱二：以简谱一中谱线标号为K的那条谱线作为简谱二中最下侧的谱线，以简谱一中谱线标号为K+1的那条谱线作为简谱二中最上侧的谱线，生成简谱二，简谱二中的谱线数量与简谱一中的谱线数量相同；简谱二中的多条谱线记为谱线组二；进入步骤4)；

3)建立新的音乐简谱，记为简谱二：以简谱一中谱线标号为K的那条谱线作为简谱二中最上侧的谱线，以简谱一中谱线标号为K-1的那条谱线作为简谱二中最下侧的谱线，生成简谱二，简谱二中的谱线数量与简谱一中的谱线数量相同；简谱二中的多条谱线记为谱线组二；进入步骤4)；

4)以时域上TB时刻和TC时刻的中点时刻为横坐标，以谱线组二中居中的那条谱线所在的谱线标号为纵坐标，横坐标和纵坐标所对应的点即为补值点，获得补值点后，计算出与补值点对应的Ф、θ、α和β，并将对应的Ф、θ、α和β作为音乐简谱形式的数据组中的一个数据存储。