CN104575522B

CN104575522B - 一种用于语音质量网络主观测听的听音人等级评定方法

Info

Publication number: CN104575522B
Application number: CN201510017402.7A
Authority: CN
Inventors: 谢湘; 荆鹏飞; 王晶; 解宇枫
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2015-01-14
Filing date: 2015-01-14
Publication date: 2018-02-06
Anticipated expiration: 2035-01-14
Also published as: CN104575522A

Abstract

本发明涉及一种用于主观测听的听音人等级综合评定方法，属于电信技术领域中语音质量的主观评价方向。包括以下步骤：1、计算得到语音质量主观测听的五个听音人数据分析指标；2、采用层级分析的量化方法对上述指标进行量化处理，得到各指标的权重向量；3、建立在线主观测听实验的听音人评价备择集＝{“优”，“良”，“中”，“及格”，“差”}；4、将听音人数据分析指标结合权重向量计算整体均方值并划分到备择集中。对比现有方法，本发明方法可以对参加网络测听实验的听音人的表现进行综合评定，从而剔除评定等级较差的听音人，提高网络测听实验的准确性和可信性。

Description

一种用于语音质量网络主观测听的听音人等级评定方法

技术领域

本发明涉及一种听音人等级评定方法，特别涉及一种应用在语音质量网络主观测听中的听音人表现等级综合评定方法，属于电信技术领域中语音质量的主观评价方向。

背景技术

语音质量主观评价是一个描述语音质量的有效而重要的方法，它对于推动语音和音频编解码技术的研究和标准发布有着不可替代的作用。为了确保语音主观评价的科学性、规范性和准确性，国际电信联盟(ITU)制订了一系列的评价标准，但是大量的限制和严格的要求使得传统的语音主观评价实验成为一个相对低效而昂贵的过程，而且收集到的数据的数量也十分有限，不利于非专业测试机构的广泛应用。

随着互联网的快速发展和广泛应用，许多非专业测试机构采用了一种新的语音质量主观测试方法，这种方法利用互联网平台作为基础，支持在线播放、在线打分，在线收集主观评价分数，并能够自动进行数据的统计分析，直接得到实验结果。但是这种基于网络的语音质量主观测听实验在带来便利的同时，也引入了新的问题：

(1)测试环境是不可控的，听音人可能在嘈杂的环境下进行测试，显然会影响到打分的准确性。

(2)听音设备质量参差不齐。在传统的测听实验中，提供了高品质的播放设备和听音设备，但对于使用本系统的听音人来说，由于他们使用自己的电脑进行测听实验，所以他们播放设备就是电脑声卡，听音设备可能是便宜的耳机或个人电脑的扩音喇叭，这会从整体上影响实验数据的准确性。

(3)由于缺少了工作人员的监督和控制，听音人可能会由于无法理解测听实验从而打出一些不合理的分数，也可能会企图用随意打出的分数来欺骗系统，这会使本系统接收到很多不合理的实验数据，从而对实验结果产生不利的影响。

发明内容

本发明的目的是针对上述问题，提供一种应用在语音质量网络主观测听中的听音人表现等级综合评定方法，从而对参加网络测听实验的听音人的表现进行综合评定，将听音人划分为不同等级，然后剔除掉评定等级较差的听音人，提高网络测听实验的准确性和可信性。

本发明的目的是通过以下技术方案实现的：

一种用于主观测听的听音人等级综合评定方法，包括以下步骤：

1.计算得到语音质量主观测听的五个听音人数据分析指标：平均值相关性，质量最好和最差的条件分数，MNRU变化趋势，其它参考条件变化趋势，同一条件的标准差；

2.采用层级分析的量化方法对以上5个指标进行量化处理，得到各指标的权重向量；

3.建立在线主观测听实验的听音人评价备择集，即在网络测听实验中听音人的表现等级，该备择集由五个等级构成：“优”，“良”，“中”，“及格”和“差”；

4.将听音人数据分析指标结合计算出的各自权重向量计算整体均方值并划分到备择集中。

有益效果

本发明实现了一种在基于网络的语音质量主观评价系统中应用听音人等级评定的方法。针对传统的线下测试方法中的缺陷，采用互联网架构，通过在线听音，在线打分以及自动分析统计实验结果等功能设计和实现，提供了一种快速、方便、廉价的主观测听实验方法。

在此基础之上，本发明建立了听音人表现等级综合评定模型，通过对听音人的实验数据进行有效分析，将听音人的表现划分为不同等级。然后，通过适当的筛选尺度，在保留大部分实验数据的基础上，有效的剔除掉具有欺骗性或打分不合理的听音人，从而得到一个合理、准确的实验结果。

附图说明

图1为听音人等级评定模型示意图。

具体实施方式

下面将结合附图和实施例对本发明加以详细说明，同时也叙述了本发明技术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

一、计算得到语音质量主观测听的五个听音人数据分析指标，包括：

1)平均值相关性，即单个听音人对每个测试条件所打分数的均值和总体对每个条件的均值的相关性，该指标用于分析听音人整体分数的准确性，可以通过下述公式进行计算：

其中，k表示第k位听音人，n表示测试条件的个数，表示第k位听音人对第i个条件所打分数的平均值，是在1～n上的均值，表示第k位听音人对所有条件所打分数的平均值，表示所有听音人对第i个条件所打分数的平均值，而同样是在1～n上的均值，表示所有听音人对于所有条件所打分数的平均值，那么求得的ρ^k即为听音人k对于总体的平均值相关性。

2)质量最好和最差的条件分数，即单个听音人对于Direct条件和MNRU中Q值最低的条件所打分数的均值，看其Direct条件的平均分是否趋近于5分，MNRU中Q值最低的条件的平均分是否趋近于1分，该指标用于分析听音人能否在所有测试条件中，准确的分辨出质量最好的(Direct)和质量最差的(MNRU中Q值最低)的条件。

3)MNRU变化趋势，即单个听音人对于Direct条件和MNRU中所有Q值条件所打分数的均值的变化趋势，看其所打的平均分是否随Q值的降低而减小，该指标用于分析听音人能否准确的听出从Direct条件到MNRU中Q值最低的条件的质量变化趋势。该指标可以用所选条件的逆序数比来量化，计算公式如下：

其中，l是所选取的条件数，a是所有条件中的逆序数，X是量化后的逆序数比。

4)其它参考条件变化趋势，即单个听音人对于其他参考条件所打分数的均值的变化趋势，看其所打的平均分是否随参考条件的参数变化而呈现正确的变化趋势，该指标用于分析听音人能否准确的听出其他一些参考条件的质量变化趋势；由于可选的参考条件太多，所以通常取两组随单一参数变化的参考条件作为评判标准。该指标同样可以用所选条件的逆序数比来量化，计算公式为：

其中，f，s分别是所选取的两组参考条件的个数，b，c分别是两组参考条件中的逆序数，Y₁，Y₂分别是两组参考条件的逆序数比，而Y则表示两组参考条件逆序数比的统计平均。

5)同一条件的标准差，即单个听音人对每个条件所打分数的标准差，该指标用于分析听音人整体分数的稳定性，可以采用下述公式计算：

其中，n为测试条件的个数，m为一个测试组中包含的测试小节数，表示每位听音人对同一条件所答分数的个数，表示该听音人在第j个测试小节中对第i个条件所打的分数，表示该听音人对第i个条件所打分数的平均值，所求得的σ表示该听音人对于每个条件所打分数的标准差的统计平均。

表1为某次在线语音质量主观测听实验中对某一个听音人的打分数据的分析指标计算结果。

表1 已对某一个听音人在一次在线主观测听实验室中的打分进行初步处理，得到均值、标准差

Label	Conditions	均值	标准差
				C01	Direct	4.81	0.39
C02	P.50-MNRUs Q＝28	4.65	0.54
				C03	P.50-MNRUs Q＝22	3.14	1.08
C04	P.50-MNRUs Q＝16	1.23	0.47
				C05	G.722.1C 24(0％)	3.89	0.98
C06	G.722.1C 24(3％)	2.71	1.07
				C07	G.722.1C 24(6％)	2.03	0.90
C08	G.722.1C 32(0％)	4.36	0.74
				C09	G.722.1C 32(3％)	2.96	0.99
C10	G.722.1C 32(6％)	2.28	0.94
				C11	G.722.1C 48(0％)	4.49	0.82
C12	G.722.1C 48(3％)	3.20	1.03
				C13	G.722.1C 48(6％)	2.14	0.79
C14	G.719 48(0％)	4.60	0.61
				C15	G.719 48(3％)	3.02	0.96
C16	G.719 48(6％)	2.05	0.70
				C17	G.719 64(3％)	3.17	0.89
C18	G.719 80(3％)	2.99	0.83
				C19	EVS 8.130 13.2(0％)	3.25	1.18

C20	EVS 8.130 13.2(3％)	2.46	1.01
				C21	EVS 8.130 13.2(6％)	1.84	1.01
C22	EVS 8.130 16.4(0％)	3.57	1.04
				C23	EVS 8.130 16.4(3％)	2.70	1.24
C24	EVS 8.130 16.4(6％)	2.08	1.05
				C25	EVS 8.130 24.4(0％)	4.02	0.92
C26	EVS 8.130 24.4(3％)	3.16	1.15
				C27	EVS 8.130 24.4(6％)	2.19	0.99
C28	EVS 8.130 32(0％)	4.31	0.77
				C29	EVS 8.130 32(3％)	3.30	1.09
C30	EVS 8.130 32(6％)	2.32	1.07
				C31	EVS 8.130 24.4(0％)	4.05	0.90
C32	EVS 7.8 48(3％)	3.38	1.01
				C33	EVS 7.8 64(3％)	3.38	1.02

二、对以上五个指标做量化处理。

本实施例采用层级分析的量化方法，将五个听音人表现等级综合评定指标划分在一个递阶的层级结构中：第一层指标分为准确性和稳定性两个，第二层指标分为五个，即上述设定的五个评定指标。其中，前四个评定指标(包括：均值相关性，质量最好和最差的条件分数，MNRU的分数趋势以及其他参考条件的分数趋势)隶属于准确性这一指标中，而第五个评定指标(分数标准差)则隶属于稳定性这一指标中。平均值相关性(记作C₁)，质量最好和最差的分数(记作C₂)，MNRU变化趋势(记作C₃)以及其他参考条件变化趋势(记作C₄)都是用于衡量一个听音人所打的分数是否准确，只不过衡量的角度不同而已，将这四个指标归于准确性(记作B₁)中。而由于第五个指标同一条件的标准差(记作C₅)明显是用于衡量一个听音人所打的分数稳定性，所以将这个指标归于稳定性(记作B₂)中。具体的层次关系结构如附图1所示。

此外，计算每层内各因素之间的重要性标度。其中对于准则层，认为b₁比b₂强烈重要，权重比为b₁/b₂＝7。对于b₁的指标层来说，认为c₂比c₁明显重要，c₃比c₁的重要性介于稍重要和同等重要之间，c₄和c₁同等重要，c₂比c₃的重要性介于稍重要和同等重要之间，c₂比c₄明显重要，而c₃比c₄的重要性介于稍重要和同等重要之间。权重比分别为：c₁/c₂＝1/5，c₁/c₃＝1/2，c₁/c₄＝1，c₂/c₃＝2，c₂/c₄＝5，c₃/c₄＝2。对于b₂的指标层而言，由于只有一个因素，所以不需要进行讨论。

构造判断矩阵：

对于b₁的指标层来说，判断矩阵为：

对于b₂的指标层而言，判断矩阵为：

[c₅/c₅]＝1 (7)

对于准则层，计算步骤为：

(1)计算判断矩阵A₁中每行元素乘积

通过计算求得：M₁＝7，M₂＝1/7

(2)对M_i的n次方根(n＝2)，得到即：

通过计算求得：

(3)对进行标准化，求特征向量各分量，即：

通过计算求得：W₁＝0.875，W₂＝0.125。

(4)求A₁的最大特征值

通过计算求得λ_max＝2。

对于b₁的指标层而言，计算步骤和上述相同，每个步骤求得的结果分别为：

1)M₁＝1/10，M₂＝50，M₃＝2，M₄＝1/10

2)

3)

4)λ_max＝4.01

对于b₂的指标层而言，由于只包含一个指标，所以

(5)根据准则层中各分量(准确性B₁和稳定性B₂)的重要性标度对其隶属的各指标进行归一化获得权重向量：

通过计算得到5个指标的权重向量为：

W⁽³⁾＝[0.097,0.47,0.21,0.097,0.125]

三、将听音人数据得到的五个指标结合权重向量W⁽³⁾计算均方值Q，并根据Q值大小确定听音人表现为备择集优、良、中、及格、差五个等级中的哪个等级，当Q∈[0，0.1)时，听音人表现为优；当Q∈[0.1，0.2)时，听音人表现为良；当Q∈[0.2，0.3)时，听音人表现为中；当Q∈[0.3，0.55)时，听音人表现为及格；当Q∈[0.55，∞)时，听音人表现为差。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种用于主观测听的听音人等级综合评定方法，其特征在于，包括如下步骤：

步骤一，计算得到语音质量主观测听的五个听音人数据分析指标：平均值相关性，质量最好和最差的条件分数，MNRU变化趋势，其它参考条件变化趋势，同一条件的标准差；

步骤二，采用层级分析的量化方法对以上5个指标进行量化处理，得到各指标的权重向量；

步骤三，建立在线主观测听实验的听音人评价备择集，即在网络测听实验中听音人的表现等级，该备择集由五个等级构成：“优”，“良”，“中”，“及格”和“差”；

步骤四，将听音人数据分析指标结合计算出的各自权重向量计算整体均方值Q并划分到备择集中；

所述五个听音人数据分析指标可以通过下述计算方法获得：

1.1平均值相关性：

<mrow> <msub> <mi>&rho;</mi> <mi>k</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mi>C</mi> <mi>o</mi> <mi>v</mi> <mrow> <mo>(</mo> <mover> <msub> <mi>X</mi> <mi>k</mi> </msub> <mo>&OverBar;</mo> </mover> <mo>,</mo> <mover> <mi>M</mi> <mo>&OverBar;</mo> </mover> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>&sigma;</mi> <mover> <msub> <mi>X</mi> <mi>k</mi> </msub> <mo>&OverBar;</mo> </mover> </msub> <msub> <mi>&sigma;</mi> <mover> <mi>M</mi> <mo>&OverBar;</mo> </mover> </msub> </mrow> </mfrac> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>&lsqb;</mo> <mrow> <mo>(</mo> <mover> <msub> <mi>X</mi> <msub> <mi>k</mi> <mi>i</mi> </msub> </msub> <mo>&OverBar;</mo> </mover> <mo>-</mo> <mover> <mover> <msub> <mi>X</mi> <mi>k</mi> </msub> <mo>&OverBar;</mo> </mover> <mo>&OverBar;</mo> </mover> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mover> <msub> <mi>M</mi> <mi>i</mi> </msub> <mo>&OverBar;</mo> </mover> <mo>-</mo> <mover> <mover> <mi>M</mi> <mo>&OverBar;</mo> </mover> <mo>&OverBar;</mo> </mover> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mrow> <msqrt> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msup> <mrow> <mo>(</mo> <mover> <msub> <mi>X</mi> <msub> <mi>k</mi> <mi>i</mi> </msub> </msub> <mo>&OverBar;</mo> </mover> <mo>-</mo> <mover> <mover> <msub> <mi>X</mi> <mi>k</mi> </msub> <mo>&OverBar;</mo> </mover> <mo>&OverBar;</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>&CenterDot;</mo> <msqrt> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msup> <mrow> <mo>(</mo> <mover> <msub> <mi>M</mi> <mi>i</mi> </msub> <mo>&OverBar;</mo> </mover> <mo>-</mo> <mover> <mover> <mi>M</mi> <mo>&OverBar;</mo> </mover> <mo>&OverBar;</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow> </mfrac> <mo>;</mo> </mrow>

其中，k表示第k位听音人，n表示测试条件的个数，表示第k位听音人对第i个条件所打分数的平均值，是在1～n上的均值，表示所有听音人对第i个条件所打分数的平均值，是在1～n上的均值，ρ_k表示听音人k对于总体的平均值相关性；

1.2质量最好和最差的条件分数：单个听音人对于Direct条件和MNRU中Q值最低的条件所打分数的均值；所述Direct条件是指未经处理的原始语料，其语音质量最佳；

1.3MNRU变化趋势：

其中，l是所选取的条件数，a是所有条件中的逆序数，X表示量化后的逆序数比；

1.4其它参考条件变化趋势：

其中，f，s分别是所选取的两组参考条件的个数，b，c分别是两组参考条件中的逆序数，Y₁，Y₂分别是两组参考条件的逆序数比，而Y则表示两组参考条件逆序数比的统计平均；

C_l ²,C_f ²,C_s ²属于数学方法“组合”；

1.5同一条件的标准差：

<mrow> <mi>&sigma;</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msqrt> <mfrac> <mrow> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <msub> <mi>i</mi> <mi>j</mi> </msub> </msub> <mo>-</mo> <mover> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&OverBar;</mo> </mover> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <mrow> <mo>(</mo> <mi>m</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mfrac> </msqrt> <mo>;</mo> </mrow>

其中，n为测试条件的个数，m为一个测试组中包含的测试小节数，表示每位听音人对同一条件所答分数的个数，表示该听音人在第j个测试小节中对第i个条件所打的分数，表示该听音人对第i个条件所打分数的平均值，σ表示该听音人对于每个条件所打分数的标准差的统计平均；

所述步骤2进一步包括以下过程：

2.1将五个听音人表现等级综合评定指标划分为两个层次：准则层和指标层；其中准则层包括准确性B₁和稳定性B₂两个指标，指标层包括平均值相关性C₁、质量最好和最差的分数C₂、MNRU变化趋势C₃、其他参考条件变化趋势C₄和同一条件的标准差C₅五个指标；C₁、C₂、C₃和C₄隶属于B₁，C₅隶属于B₂；

2.2确定每层内各因素之间的重要性标度，并根据重要性标度构造判定矩阵：

(1)对于准则层其构造矩阵为：

其中，b₁表示准则层中准确性B₁的重要性标度，b₂表示准则层中稳定性B₂的重要性标度；

(2)对于准则层中的准确性B₁其构造矩阵为：

其中，c₁表示准确性B₁中平均值相关性C₁的重要性标度，c₂表示准确性B₁中质量最好和最差的分数C₂的重要性标度，c₃表示准确性B₁中MNRU变化趋势C₃的重要性标度，c₄表示准确性B₁中其他参考条件变化趋势C₄的重要性标度；

(3)对于准则层中的稳定性B₂其构造矩阵为：

其中，c₅表示稳定性B₂中同一条件的标准差C₅的重要性标度；

2.3计算各判定矩阵的最大特征值，具体步骤如下：

(1)计算判断矩阵中每行元素乘积：

<mrow> <msub> <mi>M</mi> <mi>i</mi> </msub> <mo>=</mo> <msubsup> <mo>&Pi;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <msub> <mi>a</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>,</mo> <mi>i</mi> <mo>&Element;</mo> <mo>&lsqb;</mo> <mn>1</mn> <mo>,</mo> <mi>n</mi> <mo>&rsqb;</mo> <mo>;</mo> </mrow>

其中，n表示矩阵的行列数；

(2)对M_i求n次方根，得到即：

<mrow> <mover> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>&OverBar;</mo> </mover> <mo>=</mo> <mroot> <msub> <mi>M</mi> <mi>i</mi> </msub> <mi>n</mi> </mroot> <mo>,</mo> <mi>i</mi> <mo>&Element;</mo> <mo>&lsqb;</mo> <mn>1</mn> <mo>,</mo> <mi>n</mi> <mo>&rsqb;</mo> <mo>;</mo> </mrow>

(3)对进行标准化，求特征向量各分量，即：

<mrow> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>=</mo> <mover> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>&OverBar;</mo> </mover> <mo>/</mo> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mover> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>&OverBar;</mo> </mover> <mo>,</mo> <mi>i</mi> <mo>&Element;</mo> <mo>&lsqb;</mo> <mn>1</mn> <mo>,</mo> <mi>n</mi> <mo>&rsqb;</mo> <mo>;</mo> </mrow>

(4)求判定矩阵的最大特征值：

<mrow> <msub> <mi>&lambda;</mi> <mi>max</mi> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mfrac> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <msub> <mi>a</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <msub> <mi>w</mi> <mi>j</mi> </msub> </mrow> <msub> <mi>w</mi> <mi>i</mi> </msub> </mfrac> <mo>;</mo> </mrow>

2.4根据准则层中各分量(准确性B₁和稳定性B₂)的重要性标度对其隶属的各指标进行归一化获得权重向量。

2.根据权利要求1所述的一种用于主观测听的听音人等级综合评定方法，其特征在于：b₁/b₂＝7，c₁/c₂＝1/5，c₁/c₃＝1/2，c₁/c₄＝1，c₂/c₃＝2，c₂/c₄＝5，c₃/c₄＝2。

3.根据权利要求1-2任一所述的一种用于主观测听的听音人等级综合评定方法，其特征在于：采用如下标准根据听音人整体均方值Q划分其表现等级：