CN111898445B

CN111898445B - 一种针对多通道的面部表面肌电信号的活跃段检测方法

Info

Publication number: CN111898445B
Application number: CN202010611510.8A
Authority: CN
Inventors: 杨梦�
Original assignee: China University of Mining and Technology Beijing CUMTB
Current assignee: China University of Mining and Technology Beijing CUMTB
Priority date: 2020-06-29
Filing date: 2020-06-29
Publication date: 2023-12-12
Anticipated expiration: 2040-06-29
Also published as: CN111898445A

Abstract

本发明公开了一种针对多通道的面部表面肌电信号的活跃段检测方法，利用多个表面电极采集多个肌肉簇的肌电信号数据段；利用宽度为wlen、步长为inc的滑动窗口，对所采集的肌电信号数据段进行滑动分割，得到肌电信号窗口数据集；对所述肌电信号窗口数据集中的每个窗口数据进行RMS值计算，最终得到RMS序列；对所得到的RMS序列按时间顺序对每个窗口的状态进行判定，并综合各个通道的状态来判决活跃段的开始和结束点，实现活跃段检测。该方法即能表示说话是同一时间段内多个肌肉共同作用的产物，又能针对同一时刻每个通道的不同状态，从而适应信号多通道且各通道相对独立的特点。

Description

一种针对多通道的面部表面肌电信号的活跃段检测方法

技术领域

本发明涉及表面肌电信号处理技术领域，尤其涉及一种针对多通道的面部表面肌电信号的活跃段检测方法。

背景技术

表面肌电信号(Surface Electromyogram,SEMG)是通过粘贴于人体皮肤表面的表面电极记录的生物电信号，该信号能够反映神经和肌肉系统的功能和生理状态，并且从人体皮肤表面获取，不会对人体造成损伤。基于表面肌电信号(SEMG)可以作为无声语音接口(Silent Speech Interface,SSI)提供一种基于非声学信号捕获的，在安静或嘈杂环境中进行语言或语义识别的通信方式，目前已经在多种场景下被研究应用。该无声语音信号的识别的过程主要包括4个步骤，分别是：肌电信号采集与预处理、肌电信号的活跃段检测、信号的特征参数提取、模式识别。其中，活跃段检测的目的是定位到因说话动作产生的肌电信号，也就是找出说话动作的开始点和结束点，然后对活跃段进行特征提取后利用模式识别得到说话人要表达的内容。

活跃段检测是识别的基础，是识别系统中的关键技术之一，话语声音的产生是一系列面部以及其他部位的肌肉蔟活动复合协作完成的，一般而言，会采用多个电极贴附在不同肌肉簇位置，因此肌电信号是由这些多个电极同时采集的多通道时间序列数据，且每个通道的状态都由说话人的不同或说话内容的不同而改变。现有的活跃段检测方式都是借用语音识别领域的端点检测技术，对单通道时间序列数据进行分析，通过在多通道信号中选取一个信号或者将多通道信号值线性叠加后进行活跃段检测，这两种方法都是假设多个肌肉簇完全在同一时刻且同步变化，无法体现多通道间的独立性。此外在实际应用中，可能因电极接触不良等原因使得部分通道数据异常，上述检测方法也无法有效处理这类问题，进而对识别结果产生直接影响。由此可见，现有的活跃段检测技术无法适应信号多通道且各通道相对独立的特点。

发明内容

本发明的目的是提供一种针对多通道的面部表面肌电信号的活跃段检测方法，该方法即能表示说话是同一时间段内多个肌肉共同作用的产物，又能针对同一时刻每个通道的不同状态，从而适应信号多通道且各通道相对独立的特点。

本发明的目的是通过以下技术方案实现的：

一种针对多通道的面部表面肌电信号的活跃段检测方法，所述方法包括：

步骤1、利用多个表面电极采集多个肌肉簇的肌电信号数据段；其中，所述肌电信号数据段中包含与说话相关的活跃段表面肌电信号，以及未说话时的不活跃信号；

步骤2、利用宽度为wlen、步长为inc的滑动窗口，对所采集的肌电信号数据段进行滑动分割，得到肌电信号窗口数据集；

步骤3、对所述肌电信号窗口数据集中的每个窗口数据进行均方根值计算，最终得到均方根值序列；

步骤4、对步骤3所得到的均方根值序列按时间顺序对每个窗口的状态进行判定，并综合各个通道的状态来判决活跃段的开始和结束点，实现活跃段检测。

由上述本发明提供的技术方案可以看出，上述方法即能表示说话是同一时间段内多个肌肉共同作用的产物，又能针对同一时刻每个通道的不同状态，从而适应信号多通道且各通道相对独立的特点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的针对多通道的面部表面肌电信号的活跃段检测方法流程示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

下面将结合附图对本发明实施例作进一步地详细描述，如图1所示为本发明实施例提供的针对多通道的面部表面肌电信号的活跃段检测方法流程示意图，所述方法包括：

步骤1、利用多个表面电极采集多个肌肉簇的肌电信号数据段；

在该步骤中，在某一时刻得到的肌电信号数据记为：

X＝[x₁，x₂，...，x_m，...，x_N]；

其中，m表示采样到的第m个电极的值；N为所使用电极的个数；

采集一段时间后得到的肌电信号数据段为：

S＝[X₁，X₂，...，X_i，...，X_T].

其中，X_i表示按时间顺序采集第i时刻的数据；T为采集时间长度。

上述肌电信号数据段中包含与说话相关的活跃段表面肌电信号，以及未说话时的不活跃信号。

在该步骤中，所得到的肌电信号窗口数据集表示为：

W＝{w₁，w₂，....，w_f，...，w_F}

其中，W_f表示第f个肌电信号窗口数据；F为窗口个数；

w_f＝[X_(f-1)*inc+1，X_(f-1)*inc+2，，，，，X_{(f-1)*inc+wlen}]

其中，inc为滑动窗口步长；wlen为滑动窗口宽度；T为采集时间长度。

步骤3、对所述肌电信号窗口数据集中的每个窗口数据进行均方根值(RMS)计算，最终得到均方根值序列；

在该步骤中，对所述肌电信号窗口数据集中的每个窗口数据按照如下公式进行计算：

R_f＝[r₁，r₂，...，r_m，r_N]，1≤f≤F

其中，R_f表示第f个窗口的RMS值；

为第f个窗口中第m个通道的RMS值，具体为：

X_i表示按时间顺序采集第_i时刻的数据；

最终得到的均方根值序列R＝[R₁，R₂，...，R_f，...，R_F]。

在该步骤中，活跃段的开始和结束点也就是因测试人的说话动作而产生的肌电信号数据段。

本实施例具体是通过4级有限状态机对每个窗口的状态进行判定，并综合各个通道的状态来判决活跃段的开始和结束点，其中：

所述4级有限状态机包括四个状态，分别为初始化状态S0、不活跃状态S1、活跃状态S2、当前活跃状态终止S3，具体如下：

(1)在初始化状态S0下开始新的活跃段检测；例如开始第一次活跃段检测或上一段活跃段已判定为终止状态，在本状态统计背景环境值，计算方式如下：

minstate＝(minstate+R_f)/2，intercount＝intercount+1

条件C0：tntercount＝预设值；

动作A0：执行状态迁移；

次态：不活跃状态S1。

(2)在不活跃状态S1下对每个通道计算活跃值active，值为0表示该通道不活跃，值为1则为活跃；具体计算方式如下：

minstate＝min((minstate，R_f)，Active_f＝(R_f＞starTH*minstate)

其中，starTH需提前设置，可针对不通通道特点指定不同的值；

条件C1：如果活跃通道的个数大于activechaneno，activechanelno为提前设置值；

动作A1：标注活跃段开始，activespeech_start(i)＝f，执行状态迁移；

次态：活跃状态S2。

(3)在活跃状态S2下对每个通道计算活跃值aclve，值为0表示该通道不活跃，值为1则为活跃；具体计算方式如下：

其中，endTH为提前设置值，可已结合各通道特点指定不同值，如果活跃通道的个数小于activechanelno，inactivecount＝inactivecount+1。

条件C2：如果inactivecount＝＝inactivecounino，Inactivecountnn为预设值；

动作A2：标注活跃结束，activespeech_end(i)＝f，执行状态迁移；

次态：活跃状态S3。

(4)在当前活跃状态终止S3下，当前说话状态结束，即活跃段结束。

其中，i＝i+1，minstate＝null，maxstate＝null，intercount＝0，inactivecount＝0

条件C3：fl＝F；

动作A3：状态转移；

次态：初始化状态S0；

条件C4：f＝＝F；

动作A4：有限状态机终止，输出activespeech_start，activespeech_end。

具体来说，是先对每个通道的状态进行是否活跃检测，然后综合个通道情况判断整体是否处于活跃状态，即如果当前活跃的通道个数大于activechanelno，则被测试人此刻处于说话状态；如果当前活跃的通道个数不足，且连续Inactivecountne个窗口都不活跃的话，则认为被测试人停止说话，当前活跃段检测结束。

具体实现中，利用所述4级有限状态机进行判别的步骤为：

首先，设4级有限状态机初始状态为S0，将R_f，f＝0输入4级有限状态机进行活跃段检测，令：

i＝i+1，minstate＝null，maxstate＝null，intercount＝0，inactivecount＝0，

如果有限状态机终止，则活跃段检测结束，有限状态机输出：

activespeech_start，activespeech_end

该activespeech_start，activespeech_end中包含所有检测到的活跃段开始和结束点；

否则f＝f+1，将R_f输入4级有限状态机，继续进行活跃段检测。

下面以具体实例对上述方法的过程进行详细说明，本实例中选取5个电极位置，分别为颧骨主、提角肌、颈阔肌、外舌和二腹肌前腹。信号的采样率为250HZ，即采样间隔为4ms。

测试时测试者首先保持面部肌肉松弛，然后默读一个文字，默读结束后恢复松弛状态，2s后进行下一次默读，采集时间为35s，共计8830个采样点。采集一段时间后得到的肌电信号数据段：

S＝[X₁，X₂，...，X_m，...，X_F]

X_m表示按时间顺序采集第m时刻的数据；T为采样个数，T＝8830；信号数据段中包含与说话相关的活跃段的表面肌电信号，以及未说话时的不活跃信号。

然后利用宽度为wlen＝30，步长为inc＝20的滑动窗口，对上述肌电信号数据段进行滑动分割，分割后得到肌电信号窗口数据集：

W＝{w₁，w₂，....，w_f，...，w_f}

w_f表示第f个肌电信号窗口数据，w_f＝[X_(f-1)+inc+1，X_{(f-1)，inc+2}，...，X_{(f-1)，inc+wlen}]；

F为窗口个数，F＝441。

再对每个窗口数据进行RMS值计算，得到RMS序列R；

然后根据所述RMS序列R，按时间顺序对每一个窗口运用4级有限状态机进行判断，该4级有限状态机的判断原理如上述方法实施例所述，下表1为有限状态机的状态表：

表1

在S0状态，如果发生事件C0，执行动作A0，并将状态转移至S1；

在S1状态，如果发生事件C1，执行动作A1，并将状态转移至S2；

在S2状态，如果发生事件C2，执行动作A2，并将状态转移至S3；

在S3状态，如果发生事件C3，执行动作A3，并将状态转移至S0；

在S3状态，如果发生事件C4，执行动作A4，检测终止。

在本实例中，涉及intercount预设值＝2，通过连续的两个窗口计算环境背景值；在不活跃状态下计算各通道的active值，starTH的值为[1.5,2,2,2,3]，如果某个通道的active值为1，则表示该通道此刻处于活跃状态，activechannelno值为2，即同时有两个及其以上的通道处于活跃状态，则认为测试人开始说话。

在活跃状态中，计算active,endTH值为[4,4,4,4,4]，如果当前活跃的通道数小于activechannelno，不活跃指数加一，inactivecount+1，如果inactivecount达到预设值3，即两个以上通道在三个连续窗口都不活跃，则认为测试人说话结束，此刻检测的窗口序号f为当前活跃段的结束点。

如果f～＝F，则状态转移至S1；否则，所有窗口段都已判断完毕，活跃段检测结束。

值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种针对多通道的面部表面肌电信号的活跃段检测方法，其特征在于，所述方法包括：

步骤4、对步骤3所得到的均方根值序列按时间顺序对每个窗口的状态进行判定，并综合各个通道的状态来判决活跃段的开始和结束点，实现活跃段检测；

在步骤4中，具体是通过4级有限状态机对每个窗口的状态进行判定，并综合各个通道的状态来判决活跃段的开始和结束点，其中：

(1)在初始化状态S0下开始新的活跃段检测；

(2)在不活跃状态S1下对每个通道计算活跃值active，值为0表示该通道不活跃，值为1则为活跃；

(3)在活跃状态S2下对每个通道计算活跃值active，值为0表示该通道不活跃，值为1则为活跃；

(4)在当前活跃状态终止S3下，当前说话状态结束，即活跃段结束；

具体来说，先对每个通道的状态进行是否活跃检测，然后综合各个通道情况判断整体是否处于活跃状态，即：如果当前活跃的通道个数大于activechanelno，则被测试人此刻处于说话状态；如果当前活跃的通道个数不足，且连续Inactivecountno个窗口都不活跃，则认为被测试人停止说话，当前活跃段检测结束；

利用所述4级有限状态机进行判别的过程为：

首先，设4级有限状态机初始状态为S0，将R_f，f＝0输入4级有限状态机进行活跃段检测；

activespeech_start，activespeech_end

2.根据权利要求1所述针对多通道的面部表面肌电信号的活跃段检测方法，其特征在于，在步骤1中，在某一时刻得到的肌电信号数据记为：

X＝[x₁，x₂，...，x_m，...，X_N]；

采集一段时间后得到的肌电信号数据段为：

S＝[X₁，X₂，...，X_i，...，X_T]；

3.根据权利要求1所述针对多通道的面部表面肌电信号的活跃段检测方法，其特征在于，在步骤2中，所得到的肌电信号窗口数据集表示为：

W＝{w₁，w₂，....，w_f，...，w_F}

其中，W_f表示第f个肌电信号窗口数据；F为窗口个数；

W_f＝[X_(f-1)*inc+1，X_(f-1)*inc+2，，，，，X_{(f-1)*inc+wlen}]

4.根据权利要求1所述针对多通道的面部表面肌电信号的活跃段检测方法，其特征在于，在步骤3中，对所述肌电信号窗口数据集中的每个窗口数据按照如下公式进行计算：

R_f＝[r₁，r₂，...，r_m，r_N]，1≤f≤F

其中，R_f表示第f个窗口的均方根值；

为第f个窗口中第m个通道的均方根值，具体表示为：

X_i表示按时间顺序采集第i时刻的数据；

最终得到均方根值序列R＝[R₁，R₂，...，R_f，...，R_F]。