CN103405217B - 基于实时构音建模技术的构音障碍多维测量系统 - Google Patents

Abstract

本发明公开了一种基于实时构音建模技术的构音障碍多维测量系统，包括：语音输入单元，其用于输入需要分析的语音数据；判别单元，其判断语音数据的清浊音类型；分析单元，其根据清浊音类型提取并分析语音数据的声学参数；分割单元，其根据声学参数对语音数据进行分割，生成语音段；标记单元，其根据声学参数对分割后的语音段进行标记，获得测量结果。本发明分离出组成该单音节词、双音节词、或多音节词的最小语音单位，通过构音多维参数的整合分析，对汉语语音进行测量，实现构音障碍康复训练的自反馈。本发明结合方法层面和现代技术层面，形成了实时构音建模技术，还公开了基于实时构音建模技术的构音障碍多维测量方法。

Description

基于实时构音建模技术的构音障碍多维测量系统

技术领域

本发明涉及言语听觉康复技术，尤其涉及一种基于实时构音建模技术的构音障碍多维测量系统及其方法。 

背景技术

构音障碍是言语障碍中很常见的一个类别，指由于构音器官的运动异常或协调运动障碍而导致在发出有意义言语的过程中出现的构音不清和声韵调异常等现象，其主要表现为言语清晰度下降，从而影响言语的可懂度。构音障碍分成构音运动障碍和构音语音障碍两个层面，其中构音语音障碍是最外显的构音障碍，它直接表现为言语清晰度下降，是影响日常生活和言语交流的最直接因素，因此进行全面、准确的构音语音能力评估，是一项重要而艰巨的任务。 

从语音声学角度，汉语普通话音素可以分为元音和辅音两大类。元音对应声道开放的程度和声道的形状大小；辅音则是声道形成阻塞的方式。汉语中的语音可以分为元音、鼻音、边音、塞音、塞擦音、擦音几种。塞擦音的声学特征中最易观察到擦音的特征，鼻音、边音发音时声道相对开放，从听感知角度判断都比较响亮，因此将塞擦音和擦音在声学上归为一类，将鼻音和边音在声学上归为一类。根据这种基础，对汉语中的构音语音进行三层分类。首先，是清浊之分，分为三类：清音(声带不振动发出的构音语音)、浊音(声带振动发出的构音语音)、静音(无声)；其次，在浊音内部，还可分为响音和非响音两类；在清音内部还可分为清擦音和清塞音两类；最后，浊音中的响音还可分为元音和鼻音。因此，汉语中的所有构音语音都可依据其声学特征归入下列六类语音中的一类，即最终标注的语音段有6种类型，分别是：元音(Vow)、鼻音(N)、浊擦音(VF)、清塞音(US)、清擦音(UF)、静音(S)。 

国内的构音语音能力评估已经具备一定的临床实践经验，评估的形式为主观评估，其结果取决于儿童当时的发音情况以及治疗师的主观听感知。虽然语音以听觉感受为主，但是人们的听觉感受常常伴有强烈的主观色彩，单凭这样的主观感觉对发出的音进行评估，只能对构音功能进行筛查，缺乏一定的科学性和客观性，特别是当儿童构音歪曲的时候，治疗师很难准确地判断出其构音的错误走向，因此主观评估结果不能完全满足指导临床治疗的需求，缺乏指向性。并且构音功能的评估不能只局限于筛查水平，而应该立足于诊疗水平，为构音障碍的矫治提供方向。对其言语声学分析能为言语质量提供可确定的客观信息以及可测量的数据信息。 

虽然目前市场上有产品能够对构音语音进行系列的声学分析，但是这些产品仅限于对构 音语音进行某个纬度的声学分析，并不能做到多维参数的整合分析，对于临床治疗的指导性有限，患者与治疗师对于数据结果的解读也存在很多问题。 

发明内容

本发明克服了现有技术中主观判断缺乏科学性与客观性，且只进行声学分析纬度单一等缺陷，提出了一种基于实时构音建模技术的构音障碍多维测量系统及其方法。 

本发明提出了一种基于实时构音建模技术的构音障碍多维测量系统，包括： 

语音输入单元，其用于采集需要分析的语音数据； 

判别单元，其判断所述语音数据的清浊音类型； 

分析单元，其根据所述清浊音类型提取并分析计算所述语音数据的声学参数； 

分割单元，其根据所述声学参数对所述语音数据进行分割，生成语音段； 

标记单元，其根据所述声学参数对分割后的所述语音段进行标记，获得测量结果。 

本发明提出的一种基于实时构音建模技术的构音障碍多维测量系统，还包括修改单元，所述修改单元通过修改所述分割单元分割的语音段和所述标记单元的语音段的标记，从而实现校正测量结果。 

本发明提出的一种基于实时构音建模技术的构音障碍多维测量系统，还包括评判单元；所述评判单元比较测量结果与标准范围之间的差异，评判是否存在构音障碍和存在的构音障碍的类型。 

本发明提出的一种基于实时构音建模技术的构音障碍多维测量系统，还包括输出单元；所述输出单元用于输出所述测量结果。 

本发明克服了当前构音障碍评估与治疗方法中缺少客观评估辅助的现状，通过使用构音障碍多维测量系统，结合治疗师的主观评估结果，可以更全面地了解患者的构音障碍及其确切的错误走向。 

本发明将实时构音多维建模技术运用在构音障碍多维测量中，帮助言语治疗师更深刻地了解患者的构音语音障碍，指导其制定出更科学更有效的康复方案，同时患者也能够更加清晰地了解自身的障碍所在，从而最大效率促进患者构音功能的提升。 

附图说明

图1表示构音障碍多维测量系统的示意图。 

图2表示构音障碍测量方法的流程图。 

图3表示分析声学参数的流程图。 

图4表示语音数据波形及清浊音初步判定的波形图； 

图5表示语音数据波形及清浊音修改后判定的波形图； 

图6表示响音检测结果的波形图； 

图7表示元音检测结果的波形图； 

图8表示鼻音检测结果的波形图； 

图9表示浊擦音检测结果的波形图； 

图10表示清音检测结果的波形图； 

图11表示标注结果的示意图； 

图12表示统计报告的示意图； 

图13表示测量结果的直观显示图。 

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。 

图1显示的是基于实时构音建模技术的构音障碍多维测量系统。该系统主要由语音输入单元、判别单元、分析单元、分割单元和标注单元构成。语音输入单元可以是单向麦克风等语音信号的输入装置。语音输入单元负责采集用于分析的语音数据。判别单元与语音输入单元连接，接收该语音数据并对该语音数据进行清浊音类型的判别。分析单元和判别单元连接，根据清浊音类型进一步从语音数据中提取声学参数，并对声学参数进行数据分析得出各声学参数的分析结果。分割单元和分析单元连接。分割单元根据声学参数将该语音数据分割成若干段语音段。标记单元与分割单元连接。标记单元根据各语音段声学参数的不同对各语音段进行标记，从而获得了测量结果。 

优选地，构音障碍多维测量系统还包括修改单元。修改单元与分割单元及标记单元连接。修改单元可修改语音段的边界点，也可修改语音段的标记，从而克服因误差造成的错误，实现修改测量结果。 

进一步地，构音障碍多维测量系统还包括评判单元。评判单元可根据测量结果与标准范围之间的差异，从而评判存在的构音障碍及构音障碍的类型。 

进一步地，构音障碍多维测量系统还包括输出单元。输出单元可将测量结果以表格等形式输出。 

图2显示的是基于实时构音多维建模技术的构音障碍测量方法的流程图，主要包括以下步骤： 

步骤一：语音输入单元采集语音数据； 

步骤二：判别单元判断语音数据的清浊音类型； 

步骤三：分析单元根据清浊音类型提取与分析计算语音数据的声学参数； 

步骤四：分割单元根据声学参数，分割语音数据形成语音段； 

步骤五：标记单元根据声学参数对语音段进行标记，获得测量结果。 

步骤六：若测量结果与标准范围存在差异，则根据测量结果与标准范围的差异调整构音方式，并重新执行步骤一至步骤五，生成调整后的测量结果，直至调整后的测量结果与标准范围一致时结束调整。 

语音输入单元采集语音数据后，判别单元将语音数据进行线性预测编码(LPC，Linear Predictive Coding)分析，计算语音数据的能量函数，比较能量函数与清浊音的判定阈值，判定语音数据中各语音信号的清浊音类型，清浊音类型包括静音、清音与浊音。例如，判别单元计算每一帧语音数据的能量，当能量大于阈值时，该帧语音数据被确定为浊音(V)，否则该帧被确定为清音(U)。计算的能量函数用来计算语音如以下公式1所示： 

$V\left(i\right)=\frac{1}{N_i}\sqrt{{\left|\underset{m=A}{\overset{B}{\mathrm{\Σ}}}\frac{\sqrt{\underset{n=s}{\overset{t}{\mathrm{\Σ}}}{r}^2\left(n\right)}}{a_0+a_1{z}^{-1}+a_2{z}^{-2}+...+a_N{z}^{-N}}\right|}^2}---\left(1\right)$

其中，i为当前帧数；N_i是当前帧的采样点数；A是带通滤波器低频截止频率的参数；B是带通滤波器高频截止频率。i为当前帧数；n为当前采样点；s为当前帧的起始采样点值；t为当前帧的起始采样点值。 

判别单元在计算能量函数后，再对其进行中值滤波，以达到平滑的作用。能量函数在本系统的语音分割过程中广泛适用，一般计算两个频段的能量函数的比值，来确定某个语音段的能量集中情况。在进行清浊音检测(VUS Detection)时，计算每一帧的能量函数。本实施例中以“套”(tao4)的语音数据为例，根据构音语音信号的声学特征，设定临界值T＝3×10⁷×nor＝3×10⁷×3.2*3.2/1.4/1.4，对声音信号的每一帧进行初步的清浊检测，其结果如图4所示。 

但是，这样的检测结果将所有的静音都归为了清音，并没有区分静音与清音。为了进一步区分静音与清音，设定语音信号的前100ms(20帧左右)为背景噪声(静音)，首先计算这20帧语音信号的平均能量值和标准差，再设定T_U/S＝BNP_mean+(k)BNP_std，k＝2×nor，将静音从清音中分离出来，其结果如图5所示，其中，0代表静音，1代表清音，2代表浊音。至此，已经对声音信号的每一帧完成了VUS检测，这个结果是进行后面的每个语音段的参数计算的基础。 

优选地，在判别过程中可能由于采集过程中的误差造成判别结果的错误，可通过修改判 别结果来校正误差。这些误差可能包括：1、在一个很长的浊音的结尾，由于能量迅速降低，系统会将其后面几帧判定为清音；2、在一个语音段的末尾，由于能量迅速下降，可能会低于静音的边界值，而被误判定为静音；3、一个浊音起始前的几帧会有比较低的能量(本应属于静音)，因此可能会被误判定为清音；4、某个语音段开头和结尾的能量小的部分被误判定为清音。优选地，针对以上错误，设定自动修改规则如表1所示： 

表1 VUS自动修改规则 

判断清浊音类型后，分析单元对语音数据提取声学参数并进行进一步分析。图3显示的分析声学参数的流程图。若语音信号为静音，则该语音信号不进行声学分析；若语音信号为清音，则计算该语音信号清擦音参数与清塞音参数；若语音信号为浊音，则计算其元音参数、鼻音参数与浊擦音参数。 

响音包括元音、鼻音(边音)，三者的相同点是都具有周期性频谱、响度都很大；不同点是鼻音和边音的低频与高频能量差较元音大。 

根据这种原理，可以将声音信号依次通过98Hz-898Hz和3691Hz-5500Hz的带通滤波器，然后求得两能量函数的比值，称为响音比值，每一帧语音数据的响音参数如图6所示。 

进行响音检测后，要对被检测为响音的语音段进行进一步检测，元音是属于响音，但是也有其特有的声学特征，那就是频率主要集中在中低频。根据这种原理，进行元音检测，将响音信号依次通过20Hz-996Hz和1016Hz-5500Hz的带通滤波器，然后求得两能量函数的比值作为元音参数，称为元音比值，其结果如图7所示。 

根据鼻音的生理特征，鼻音的第二共振峰的能量一般比第一共振峰的能量小很多，因此制定一个鼻音参数：鼻音能量比，也称共振峰幅度比，为了进行鼻音检测，首先要对语音信号进行共振峰描迹，求得LPC谱的前四个峰值的频率值和幅度值，计算每一帧的鼻音参数其结果如图8所示。 

汉语中的浊擦音只有一个/r/，浊擦音的频率集中于高频，频谱具有高频、随机等声学特征，因此首先计算某个语音段的频率集中区MF，确定高频参数。确定了高频参数，就可以确定浊擦音参数，结果如图9所示。 

在汉语体系中，如果某个语音段在清浊音检测时被判定为清音，那么它不是清塞音，就是清擦音(在本系统中，不区分清擦音和清塞擦音的区别)。这两种清音类型的频率也都集中在高频，并且具有随机的特征，为了进一步区分这两种语音段，还要进行频率集中区的计算，方法同浊擦音检测时相同。 

考虑到塞音的时程较短，而擦音的时程较长，因此其能量函数拟合线的斜率可能不同，因此在计算完高频能量后，还要计算能量对数的坡度参数M_Score，结果如图10所示，从而求得清塞音参数和清擦音参数。 

通过以上6个检测步骤，分析单元可依次计算出表2中针对六种语音段的7个特征参数： 

表2 分析单元获得的声学参数 

分割单元根据分析单元的分析结果对当前语音进行分割，构音语音分割的关键是确定两个语音段的边界，分割单元可通过两种算法分别进行边界确定，然后结合两种算法的结果确定最终的语音段边界和时长。 

第一种算法是基于频谱的边界确定和分割算法，这种算法是基于短期频谱变化而设计的，它是通过计算相邻帧滤波器频响的差异，比较相邻帧频响的相似度来确定边界值，如公式2所示： 

$D(x,y)=\underset{m=0}{\overset{255}{\mathrm{\Σ}}}\left|\right|H_x\left(e^{\mathrm{j\π}\frac{m}{256}}\right)|-|H_y\left(e^{\mathrm{j\π}\frac{m}{256}}\right)\left|\right|---\left(2\right)$

如果当前帧的频响与前一帧的频响的差异满足公式3时，将当前帧与前一帧合并；当前帧的频响与后一帧的频响的差异满足公式4时，将当前帧与后一帧合并；如果这两个条件都 不满足，则当前帧不与任何一帧合并。 

max(D(x，y))＜min(D(x，v))，x-4≤y≤x-2，x+2≤v≤x+4   (3) 

min(D(x，y))＜max(D(x，v))，x-4≤y≤x-2，x+2≤v≤x+4   (4) 

当所有的帧都完成了这样的扫描，则确定发生合并的第一个采样点为分割边界；在静音段中的边界被忽略不计。 

第二种方法是基于清浊音检测结果的边界确定和分割算法，根据清浊音检测的原始结果，记录VUS的过渡帧的第一个采样点为边界值。 

分割单元综合这两种算法的结果，结果的确定依据“两帧法则”。“两帧法则”的关键是：1、所有清浊音分割算法得出的结果都直接标注在最后分割结果中；2、出现在浊音段中的频谱分割结果也都直接标注在最后分割结果中，出现在清音段中的频谱分割结果则被忽略不计。这个法则可以防止一个连续的语音段被分割成两个相同语音段。 

分割结束后，标记单元将对每个分割出来的语音段进行标注，这是为每个语音段分配标签的过程。标记单元根据分析单元的声学参数分析结果，如果当前语音段属于浊音(V)，那么它的标签可能是元音(Vow)、鼻音(N)或者浊擦音(VF)；如果当前语音段属于清音(U)，那么它的标签可能是清擦音(UF)或清塞音(US)；如果当前语音段属于静音(S)，那么它的标签只能是静音(S)，“套”的波形标注如图11所示。完成标记后，得到本发明构音障碍多维测量系统的测量结果。 

由于所有的言语识别算法都会出现误差，造成误差的原因主要是人类言语声音的多变性、硬件本身的问题等。为了提取并更改语音段的特征参数，而不是生成一个全新的言语声音，因此在分割和标注后，用户可通过修改单元手动修改一些结果。这正体现了构音语音评估的主观与客观相结合。 

至此，构音语音测量系统已经实现了对任意一个输入的单音节词进行时域分析、时域分割和标注，并且允许对分割和标注结果进行一定的修改，这样就可以得出构音语音测量的最终结果，即一个人发出的语音可以被分割成几段，每段的时长是多少，每段的类型是什么，通过多维参数的整合分析，将这个结果与构音语音能力主观评估的结果进行综合评判，就可以科学、准确地评价发音者构音语音能力，并且为制定构音语音训练方案提供依据。根据上述数据指定构音语音训练方案后可针对存在的问题进行反馈训练，不断调整构音方式，反馈训练后重新进行构音障碍多维测量获得训练后的测量结果。重复上述步骤直至测量结果符合标准范围时完成测量过程，实现监测用户在自反馈训练前后的构音功能训练效果。 

输出单元可输出测量结果。本实施例的测量结果如图12所示，统计报告以数字的形式给出系统对某个言语声音的分割、标注结果，其显示内容包括：该言语声被分为几个语音段； 每个语音段的时长(ms)；每个浊音段的三个可能性参数的平均值；每个清音段的两个可能性参数的平均值；每个语音段的第一选择标签及其可靠性；每个语音段的第二选择标签及其可靠性。 

评估单元可根据测量结果对构音障碍及其类型进行评判。例如，表3为一名用户在发音“涛”时的测量结果，表4为发音“涛”的标准范围。根据时长、频区、坡度、响音比值、元音比值、鼻音比值等一系列声学参数综合分析可得，该用户所发的“涛/tao/”并不正确，表明其存在构音障碍。综合各项参数可分析得出，其错误走向为“涛/tao/”错发为“刀/dao/”，表明其构音障碍类型为发音方式障碍及发音部位障碍。 

表3 用户的测量结果 

表4 标准范围 

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。 

Claims (4)

1.一种基于实时构音建模技术的构音障碍多维测量系统，其特征在于，包括：

语音输入单元，其用于采集需要分析的语音数据；

判别单元，其判断所述语音数据的清浊音类型；

分析单元，其根据所述清浊音类型提取并分析计算所述语音数据的声学参数；

分割单元，其根据所述声学参数对所述语音数据进行分割，生成语音段；

标记单元，其根据所述声学参数对分割后的所述语音段进行标记，获得测量结果。

2.如权利要求1所述的基于实时构音建模技术的构音障碍多维测量系统，其特征在于，还包括修改单元，所述修改单元通过修改所述分割单元分割的语音段和所述标记单元的语音段的标记，从而实现校正测量结果。

3.如权利要求1所述的基于实时构音建模技术的构音障碍多维测量系统，其特征在于，还包括评判单元；所述评判单元比较测量结果与标准范围之间的差异，评判是否存在构音障碍和存在的构音障碍的类型。

4.如权利要求1所述的基于实时构音建模技术的构音障碍多维测量系统，其特征在于，还包括输出单元；所述输出单元用于输出所述测量结果。