CN102317770B - 用于对发声过程进行分类的方法和装置 - Google Patents

Abstract

用于对发声过程（P）进行分类的方法和装置，具有：至少一个传感器（2），用于采集由发声过程（P）所引起的声音信号；存储器（6），用于存储具有声音信号的预先给定特征（m）的统计学分布参数的参考模型；适配单元（4），用于从过程（P）的所采集的声音信号中提取特征（m）并且用于根据所提取的特征（m）来计算所采集的声音信号之间的相似性以将过程（P）分组到不同的具有彼此相似声音信号的过程群集（C）中，其中适配单元（4）根据包含在具有最大数量（Z）的过程（P）的过程群集（C）中的那些过程（P）的统计学分布参数来适配所存储的参考模型；以及具有分类单元（7），该分类单元（7）基于所适配的参考模型来对发声过程（P）进行分类。

Description

用于对发声过程进行分类的方法和装置

技术领域

本发明涉及用于对发声过程—例如对在机器的工作过程中或在设备的化学过程中所生成的声音信号—进行分类的一种方法和一种装置。

背景技术

在大多数过程中生成表征该过程的声音信号或振动信号。例如在化学过程中，可以形成在储罐设备或管道中引起噪音的气泡。其它示例是，在制造过程或生产过程中与其运行状态并可能与环境条件有关地生成特征性的声音信号或振动信号的机器或机器部件。

此外，为了发现有缺陷的构件，采用对技术过程的测量数据的分析。借助各过程的物理模型或借助统计学模型，可以实施对测量数据、尤其是发声过程的测量数据的分析。这些模型通常在试验室条件下在样机过程中创建，并且在现场、例如在使用车间中的设备期间加以采用。在此可能出现，根据发声过程所获得的测量数据例如由于改变了的室内音质而受到变化的环境信号影响。还可能出现，所研究的机器或所研究的过程在另外的运行条件下或利用经过修改的机器零件来工作。如果将从过程的样机所获得的物理模型或统计学模型不加改变地在现场中使用，则分析的质量可能下降为使得不能达到对所研究的过程或所研究的机器的令人满意的分类。例如，有缺陷的机器零件未被及时分类为有故障的。

因此通常将要研究过程的物理模型或统计学模型与变化的条件相适配，以便确保足够的分析质量。如果例如研究机器零件的工作过程，则可以根据由该机器零件所引起的声音信号，将所采集的声音信号的特定特征用于分类。声音信号的可能特征是声音信号或噪音信号的声强。如果声音信号的声强超过预先给定的阈值，则将所研究的机器零件分类为有缺陷的，并报告相应的故障。不过如果环境条件例如由于安放到该机器零件旁边的引起附加噪音信号的附加设备—例如通风装置—而改变，则声强水平或预先调定的阈值被超过并且误将无故障的机器零件分类为有故障的。因此在常规的做法中，调定有效力的阈值或分类准则是费事和耗时的，因为为了调定合适的阈值，有时也必须测量为此额外地安装到机器中的有缺陷的机器零件的噪音信号。常规做法的其它缺点在于，在环境信号迅速变化时，物理模型和统计学模型的必要适配进行得常常过于缓慢，以至于不能及时达到分析的所需要的质量。

发明内容

因此本发明的任务是，提供用于对发声过程进行分类的一种方法和一种装置，该方法和该装置用小的计算成本自动实施模型适配并且在迅速变化的环境条件下也确保对发声过程的无差错的分类。

根据本发明通过具有在权利要求1中所说明的特征的方法来解决该任务。

本发明提供一种用于对发声过程进行分类的方法，具有以下的步骤：

- 采集由发声过程所引起的声音信号，

- 从所采集的声音信号中为相应的发声过程提取预先给定的特征，

- 基于所提取的特征来计算所采集的声音信号之间的相似性，以将具有彼此相似的声音信号的过程分组到过程群集中，

- 根据包含在如下过程群集中的那些过程的统计学分布参数来适配参考模型的统计学分布参数以生成适配的模型：所述过程群集具有最高数量的分组在其中的过程；

- 基于所适配的模型对发声过程进行分类。

在本发明方法的实施形式中，由机器的工作过程生成所述声音信号。

在本发明方法的实施形式中，由设备的化学过程生成所述声音信号。

在本发明方法的实施形式中，由空气声音信号或由固体声音信号形成所述声音信号。

在本发明方法的实施形式中，所采集的声音信号由传感器转换成电信号。

在本发明方法的实施形式中，对所采集的电信号进行低通滤波。

在本发明方法的实施形式中，模拟声音信号由模数转换器转换成数字信号。

在本发明方法的实施形式中，对于数字化声音信号的预先给定的时间窗进行频率变换以生成声音信号谱。

在本发明方法的实施形式中，从时域中或从频域中提取声音信号的特征。

在本发明方法的实施形式中，对于每个发声过程在不同测量时刻形成具有所提取的特征的特征矢量。

在本发明方法的实施形式中，从一个过程的多个特征矢量中对于每个特征计算统计学分布参数。

在本发明方法的实施形式中，特征的统计学分布参数具有相应特征的平均值和方差。

在本发明方法的实施形式中，对不同声音信号的统计学分布参数之间的间距进行计算以确定在这些声音信号之间的相似性。

在本发明方法的实施形式中，将过程的彼此相似的声音信号分组到一个过程群集中，其中所述声音信号的统计学分布参数彼此具有微小间距。

在本发明方法的实施形式中，基于由样机输出的声音信号的所提取特征来计算参考模型的统计学分布参数。

在本发明方法的实施形式中，确定在所形成的不同过程群集内的过程的数量。

在本发明方法的实施形式中，选择分组在其中的过程的数量为最大的那个过程群集。

在本发明方法的实施形式中，基于所适配的模型借助于最大似然法对发声过程进行分类。

本发明还提供一种用于对发声过程进行分类的装置，具有：

- 至少一个传感器，用于采集由发声过程所引起的声音信号；

- 存储器，用于存储具有声音信号的预先给定特征的统计学分布参数的参考模型；

- 适配单元，用于从过程的所采集的声音信号中提取特征并且用于根据所提取的特征来计算所采集的声音信号之间的相似性以将过程分组到不同的具有彼此相似声音信号的过程群集中，其中适配单元根据包含在具有最大数量的过程的过程群集中的那些过程的统计学分布参数来适配所存储的参考模型；

- 以及具有分类单元，该分类单元基于所适配的参考模型来对发声过程进行分类。

附图说明

此外，参照用于阐述本发明根本性特征的附图来说明用于对发声过程进行分类的本发明方法和本发明装置的优选实施形式。

图1示出用于图解本发明方法的简单应用示例。

图2示出用于对发声过程进行分类的本发明方法的可能实施形式的流程图。

图3示出用于对发声过程进行分类的本发明装置的实施例的方框图。

图4示出用于对发声过程进行分类的本发明装置的实施例。

图5A，5B示出用于说明对发声过程进行分类的本发明方法的图表。

图6示出用于说明对发声过程进行分类的本发明方法的简单示例。

图7A，7B示出借助图6中所示示例来说明本发明方法的图表。

图8示出用于说明对发声过程进行分类的本发明方法的抽象模型。

具体实施方式

在图1中示出用于对发声过程进行分类的本发明方法的简单应用示例。列车的多个车厢W在轨道S上运动。车厢W运行在在滚动过程时由于摩擦而生成声音信号的车轮R上。该声音信号一方面具有空气声并且另一方面具有固体声。如果车轮R驶过轨道的凸起或轨枕，则声音信号的幅度提高。在所示出的示例中，第二车厢W2的前车轮有缺陷。该有缺陷的车轮或该有缺陷的机器零件生成与列车的其余没有缺陷的车轮不同的声音信号。例用本发明方法可以将这样的有缺陷的机器零件分类为有故障的。在图6中所示出的简单应用示例中，对不同的同类机器零件的发声过程进行分类。在所给出的示例中，该过程是发声的工作过程。不过本发明方法适用于生成声音信号或振动信号的任何种类的过程。例如也可以对发声的化学过程进行分类，在这些过程的情况下例如形成气体，这些气体在管道或储罐设备中引起声音信号或振动信号。

图2示出用于对发声过程进行分类的本发明方法的可能实施形式的流程图。

在步骤S1中，对过程、例如发声过程的所生成的声音信号进行采集，这些声音信号由图1中所示的六个车轮R引起。例如借助于声音接收器或振动传感器来采集声音信号，这些声音接收器或振动传感器位于发声过程P所进行的位置附近。

在步骤S2中，从所采集的相应过程P的声音信号中提取特定特征m。声音信号可以具有许多不同的特征m。一种可能的特征m例如是声音信号的声强或声级。其它可能的特征是在不同频率下、尤其是在调制频率下的幅度或信号电平。这些频率例如通过旋转或转动的物体的旋转频率f_rot预先给定。在图1中所示出的简单应用示例中，一种可能的特征m是声音信号在车轮R的转动频率或旋转频率为f_rot时的幅度A（f）。如果例如在车轮R的滚动面中在半径上的位置处有缺陷，则该缺陷在车轮的每次完整旋转期间都引起声音信号的特征性的变化。预先规定的特征m的数量可以变化。例如可以预先给定声音信号的10至500个特征m。这些不同的特征m形成声音信号的特征矢量V。

在本发明方法的另一步骤S3中，基于所提取的特征来计算所采集的声音信号之间的相似性，以用于将具有彼此相似的声音信号的过程分组到过程群集C中。在此，例如计算多维矢量空间中的特征矢量V之间的距离Δ或间距。

在步骤S4中，根据包含在如下过程群集C中的那些过程P的统计学分布参数对参考模型的统计学分布参数进行适配：该过程群集C具有最高数量的分组在其中的过程。

在步骤S5中，将在步骤S4中所适配的参考模型用于对发声过程P进行分类。例如可以借助最大似然算法来进行步骤S5中的分类。

图3示出用于对发声过程进行分类的本发明装置1的实施例。装置1具有至少一个传感器2，该传感器2用于采集由发声过程P所引起的声音信号或振动信号。传感器2例如是用于采集声音信号的话筒。在替代的实施形式中，传感器2采集固体声信号，并且例如安放在机器的壳体上。在可能的实施形式中，传感器是加速度传感器。传感器2将声学信号或振动信号转换成电信号，并且将电信号作为测量数据M经由线路3输出给适配单元4。适配单元4从发声过程P的所采集的声音信号中提取特定的特征m，并且借助所提取的特征m来计算所采集的声音信号之间的相似性。根据所计算的在声音信号之间的相似性，将过程P分组到具有彼此相似的声音信号的过程群集C中。适配单元4随后适配参考模型，根据包含在如下过程群集C中的那些过程P的统计学分布参数例如经由线路5从存储器6中读出该参考模型：所述过程群集C具有最高数量的分组在其中的过程。

经由线路8与适配单元4相连接的分类单元7随后基于由适配单元4所适配的模型和过程P的测量数据M对发声过程P进行分类。

图4示出用于对发声过程P进行分类的本发明装置1的可能实施例。

在机器中，发声过程P生成由话筒2所采集的声音信号或振动信号。空气声音信号由话筒2转换成电信号，并由低通滤波器9进行低通滤波。由模数转换器10用特定的扫描频率对该低通滤波的信号进行扫描和数字化。图5A示出由模数转换器10所输出的数字化声音信号的示例。窗口单元11形成数字化信号的时间窗或片段。在图5A中所示的示例中，在一个时间窗中输出七个扫描值或采样s1-s7。时间窗的持续时间或范围优选是可调节的。将含有多个扫描值s的时间窗输送给频率变换单元12。通过频率变换单元12对数字化声音信号的时间窗进行频率变换以用于生成声音信号谱。例如对于窗口化的声音信号进行快速傅里叶变换FFT，以便形成时间窗的相应的声音信号谱。数值单元13随后形成声音信号谱的数值。图5B示出由转动物体以特定的旋转频率f_rot所引起的频谱。在基频f_rot和谐波的情况下，该频谱具有典型的幅度最大值。

在图4中所示出的实施例中，既从时间声音信号中也从频谱中提取声音信号的特征m。为此，适配单元4具有用于时间特征提取的单元4-1和用于频率特征提取的单元4-2。时域中的特征m_Z例如可以是在时间窗中的不同扫描值的累积幅度或者是声音信号的声强。对于频率特征，例如可以分析在基频f_rot情况下和在谐波—即多倍基频—情况下的幅度。替代地，例如也可以将频谱的频段FB内的信号能量用作特征。对于每个频段FB，可以计算例如从频谱分量的幅度中得出的相应计算的能量值。如果作为频谱例如包括30个频带，则因此得出30个不同的频率特征M_F。将从时域中获得的特征M_z和从频域中获得的特征m_F输送给适配单元4内的数据处理单元4-3。数据处理单元4例如是其上运行程序的微处理器。数据处理单元4从存储器6中加载所存储的参考模型。数据处理单元4根据过程P的所采集声音信号的特征m_Z、m_F计算出多维特征空间中的所采集声音信号之间的间距Δ，其中将具有彼此相似的声音信号或计算出的互相之间的间距Δ小的那些过程P分组到一个过程群集C中。数据处理单元4随后选择包含最大数量Z_max的过程P的那个过程群集C。这样的话，从存储器6中所加载的参考模型与包含在最大的过程群集C中的那些过程P的统计学分布参数相适配。然后，分类单元7基于所适配的模型对发声过程P进行分类。将由分类单元7所确定的运行状态或故障状态输出。

图6示出用于说明本发明方法的简单示例。在步骤S1中采集声音信号之后，对不同过程P的预先规定的特征m进行提取。例如采集了 如图1中所示的六个不同车轮R的声音信号。在图6中所示的简单示例中，每个特征矢量V包括三个特征m1、m2、m3，例如声音信号的信号电平作为特征m1，特定频率f—例如图5B中的旋转频率f_rot—下的幅度A（f）作为特征m2，并且在特定频带FB中的信号能量E作为特征m3。

基于所生成的不同过程P1至P6或不同机器零件的特征矢量V进行相似性计算。为此计算在特征m之间的距离或间距。在可能的实施形式中，在不同的时刻t₁至t_M计算不同过程P的特征矢量V，并且从中计算出统计学分布参数的矢量V或矩阵。

以下的方程说明性地示出该做法。

在所说明的示例中，统计学分布参数是在预先给定数量的测量点ti的跨度上的特征m的平均值μ。除了统计学分布参数平均值μ之外，还可以计算其它的统计学分布参数，诸如方差σ。在此，统计学分布以根据图7B的高斯分布为基础。具有其它统计学分布参数的其它统计学分布也是可能的。

基于所确定的不同过程P的统计学分布参数，可以成对地在过程之间计算距离。例如如下来计算在两个过程P1、P2之间的距离Δ：

距离 (P_l/P₂)=|μ _1p1 - μ _1p2 |² + | μ _2p1 - μ _2p2 |² + |μ _3p1 - μ _3p2 |²    (2)。

一旦根据统计学分布参数计算出不同过程P的不同声音信号之间的相似性或声音信号之间的距离Δ，就可以将具有彼此相似的声音信号的那些过程P分组到过程群集C中。图7A示出在由特征m1、m2、m3所伸张的三维特征空间中的不同过程P1-P6的简单示例。在图7A所示出的示例中，过程P1、P2、P4、P5的声音信号彼此相似并形成群集C_A，而过程P3、P6的声音信号或声音信号的统计学分布参数不同于此并形成自己的独立于此的过程群集C_B。由于没有缺陷的机器零件或过程P的数量大于有缺陷的或变成有缺陷的机器零件或过程的数量的概率，可以由此假设，最大群集C_A的发声过程P1、P2、P4、P5代表没有缺陷的机器零件。由于分组在过程群集C_A内的过程P的数量Z_A大于过程群集C_B内的过程P的数量Z_B，因此选择过程群集C_A，并且根据包含在过程群集C_A中的过程P的特征m来适配如在图6中所示的机器零件的参考模型。例如通过过程群集C_A内的过程P的特征m的平均值，将平均值μ形成为所存储的参考模型的统计学分布参数。在可能的实施形式中，根据包含在最大过程群集中的那些过程P的统计学分布参数并且根据参考模型的迄今的统计学分布参数，来对适配的参考模型进行计算。因此在该实施形式中，迭代地或演进地进行适配。

图8示出用于阐述本发明方法的抽象数学模型。从不同的同类构造的机器零件中，例如从图1所示的车轮R中获取测量数据M，对这些测量数据M进行相似性分析以选出相似的测量数据。将相似的测量数据或彼此相似的声音信号选出并用于模型适配。然后根据模型的统计学模型参数q和相应的过程P的测量数据M对过程P进行分类。这导致例如说明机器零件是否有缺陷的分类结果E。在这种模型适配中，持续地通过相似的测量数据M来适配模型参数q或统计学分布参数，例如统计学分布的平均值μ或方差σ。基于所适配的模型，由分类单元7将所有的测量信号或测量数据M进行分类。本发明方法利用以下的事实：在装入有多个同类机器零件的机器中，大多数机器零件是没有缺陷的，并且这些机器零件的测量数据可以被用于模型的适配。通过本发明方法取消了用于分析有缺陷的机器零件的费事的匹配措施。尤其是在本发明方法中，不需要有意识地装入有故障的机器零件并借助这些机器零件的噪音信号来实施模型适配。在本发明方法中所采用的统计学模型中，例如可以通过测量数据的对数似然度来确定相似性，其中从这些对数似然度的相似性中可以推断测量数据是否属于没有缺陷的机器零件或过程。由于多个机器零件参与测量，在本发明方法中在不确定的数据情况下不必考虑每个测量值。

Claims (19)

1.一种用于对发声过程（P）进行分类的方法，具有以下的步骤：

（a）采集（S1）由发声过程（P）所引起的声音信号；

（b）从所采集的声音信号中为相应的过程（P）提取（S2）特征（m）；

（c）基于所提取的特征（m）来计算（S3）所采集的声音信号之间的相似性，以将具有彼此相似的声音信号的过程（P）分组到过程群集（C）中；

（d）根据包含在如下过程群集（C）中的那些过程（P）的统计学分布参数来适配（S4）参考模型的统计学分布参数以生成适配的模型：所述过程群集（C）具有最高数量（Z）的分组到该过程群集（C）中的过程（P）；

（e）基于所适配的模型对发声过程（P）进行分类（S5）。

2.按照权利要求1的方法，其中由机器的工作过程生成所述声音信号。

3.按照权利要求1的方法，其中由设备的化学过程生成所述声音信号。

4.按照权利要求1的方法，其中由空气声音信号或由固体声音信号形成所述声音信号。

5.按照权利要求1的方法，其中所采集的声音信号由传感器（2）转换成电信号。

6.按照权利要求5的方法，其中所采集的电信号由低通滤波器（9）进行低通滤波。

7.按照权利要求6的方法，其中所述声音信号是模拟声音信号，其中由模数转换器（10）将模拟声音信号转换成数字信号。

8.按照权利要求7的方法，其中对于数字化声音信号的预先给定的时间窗进行频率变换以生成声音信号谱。

9.按照权利要求8的方法，其中从时域中或从频域中提取声音信号的特征（m）。

10.按照权利要求1的方法，其中对于每个发声过程（P）在不同测量时刻（t）形成具有所提取的特征（m）的特征矢量（V）。

11.按照权利要求10的方法，其中从一个过程（P）的多个特征矢量（V）中对于每个特征（m）计算统计学分布参数。

12.按照权利要求11的方法，其中特征（m）的统计学分布参数具有相应特征（m）的平均值（μ）和方差（Γ²）。

13.按照权利要求1的方法，其中对不同声音信号的统计学分布参数之间的间距（Δ）进行计算以确定在这些声音信号之间的相似性。

14.按照权利要求13的方法，其中将过程（P）的彼此相似的声音信号分组到一个过程群集（C）中，其中所述声音信号的统计学分布参数彼此具有微小间距。

15.按照权利要求1的方法，其中基于由样机输出的声音信号的所提取特征（m）来计算参考模型的统计学分布参数。

16.按照权利要求14的方法，其中分别确定在所形成的不同过程群集（C）内的过程（P）的数量（Z）。

17.按照权利要求16的方法，其中选择分组在其中的过程（P）的数量（Z）为最大的那个过程群集（C）。

18.按照权利要求1的方法，其中基于所适配的模型借助于最大似然法对发声过程（P）进行分类。

19.一种用于对发声过程（P）进行分类的装置，具有：

（a）至少一个传感器（2），用于采集由发声过程（P）所引起的声音信号；

（b）存储器（6），用于存储具有声音信号的预先给定特征（m）的统计学分布参数的参考模型；

（c）适配单元（4），用于从过程（P）的所采集的声音信号中提取特征（m）并且用于根据所提取的特征（m）来计算所采集的声音信号之间的相似性以将过程（P）分组到不同的具有彼此相似声音信号的过程群集（C）中，其中适配单元（4）根据包含在具有最大数量（Z）的过程（P）的过程群集（C）中的那些过程（P）的统计学分布参数来适配所存储的参考模型；

（d）以及具有分类单元（7），该分类单元（7）基于所适配的参考模型来对发声过程（P）进行分类。

Images