CN107209509B

CN107209509B - 异常声音诊断装置、异常声音诊断系统、异常声音诊断方法以及异常声音诊断程序

Info

Publication number: CN107209509B
Application number: CN201580075167.7A
Authority: CN
Inventors: 阿部芳春; 福永宽
Original assignee: Mitsubishi Electric Corp; Mitsubishi Electric Building Techno Service Co Ltd
Current assignee: Mitsubishi Electric Corp; Mitsubishi Electric Building Solutions Corp
Priority date: 2015-02-03
Filing date: 2015-02-03
Publication date: 2019-05-28
Anticipated expiration: 2035-02-03
Also published as: KR20170108085A; CN107209509A; WO2016125256A1; JPWO2016125256A1; KR101962558B1; DE112015006099T5; JP6250198B2

Abstract

异常声音诊断装置具有：轨迹特征提取部(5)，其将表示强度时间序列取得部(4)取得的强度时间序列(14)的全部时间方向的强度特征的轨迹变换成向量而提取轨迹向量(15)；识别参数存储部(6)，其存储将如下的向量作为输入并将如下的信息作为输出而学习到的识别参数(16)，其中，所述向量是表示由参照设备产生的声音数据的强度时间序列的全部时间方向的强度特征的轨迹，所述信息表示所述诊断对象设备的状态类别；识别部(7)，其根据轨迹向量(15)和识别参数(16)，取得针对诊断对象设备的各状态类别的K维得分向量(17)；以及判定部(8)，其参照K维得分向量(17)，判定在诊断对象设备中产生的声音正常还是异常以及异常的类型。

Description

异常声音诊断装置、异常声音诊断系统、异常声音诊断方法以及异常声音诊断程序

技术领域

本发明涉及异常声音诊断装置、异常声音诊断系统、异常声音诊断方法以及异常声音诊断程序，异常声音诊断装置分析从作为诊断对象的设备产生的声音，诊断设备的异常声音的产生及产生的异常声音的类型，在设备正常动作时不需要进行拾音。

背景技术

以往，作为异常声音诊断装置，已知有的异常声音诊断装置将在作为诊断对象的设备正常动作的状态下拾取到的声音数据的分析结果作为基准值进行存储，当在诊断时拾取到的声音数据的分析结果偏离已存储的基准值的情况下，诊断为设备产生异常。

例如，专利文献1公开的异常声音诊断装置检测并存储在电梯正常运转时拾取到的声音的频带，从在诊断运转时拾取到的声音中去除已存储的频带的声音，从而诊断有无异常声音。

另外，专利文献2公开的异常声音诊断装置在诊断时取得作为基准的正常时时间频率分布，对该正常时时间频率分布与在诊断模式下取得的诊断时时间频率分布进行比较而计算异常度，对计算出的异常度与阈值进行比较，由此判定是否产生异常。

现有技术文献

专利文献

专利文献1：日本特开2012-166935号公报

专利文献2：日本特开2013-200143号公报

发明内容

发明要解决的问题

但是，在上述的专利文献1和专利文献2的技术中，为了诊断设备，需要对处于正常动作状态的设备在与诊断时相同的位置设置拾音器，由拾音器拾取并分析在进行与诊断时相同的动作时产生的声音，预先学习用于诊断有无异常声音的基准。

由此，当在诊断设备之前不能拾取正常动作时的声音的情况下，例如中途签约的已设的电梯等的情况下，将不能生成诊断用的基准，存在不能适用异常声音诊断装置这样的问题。

另外，在如上所述不能拾取正常动作时的声音而不能生成诊断用的基准的情况下，也可以考虑使用规格相同的其它设备拾取正常动作时的声音而生成诊断用的基准的方法。但是，在由大量部件构成的复杂设备的情况下，准备拾音器的设置位置、构成设备的部件的尺寸以及设备的配置条件等规格被设定成相同的设备，例如在设备是电梯的情况下，准备建筑物的高度、井道的尺寸、井道的材质、轿厢的承载量、运转速度等规格被设定成相同的设备，在成本方面是不现实的，存在很难使用其它设备生成适当的基准这样的问题。

本发明正是为了解决如上所述的问题而完成的，其目的在于，不需要对作为诊断对象的设备预先拾取正常动作时的声音，即可诊断设备的动作状态。

用于解决问题的手段

本发明的异常声音诊断装置具有：拾音部，其拾取在诊断对象设备产生的声音而取得声音数据；强度时间序列取得部，其从分析声音数据的波形数据而得到的时间频率分布取得强度时间序列；轨迹特征提取部，其将表示强度时间序列的全部时间方向的强度特征的轨迹变换成向量而提取轨迹向量；识别参数存储部，其存储将如下的向量作为输入并将如下的信息作为输出而学习到的识别参数，其中，所述向量是表示从分析由参照设备产生的声音数据的波形数据而得到的时间频率分布取得的强度时间序列的全部时间方向的强度特征的轨迹，所述信息表示诊断对象设备的状态类别；识别部，其根据轨迹向量和识别参数，取得针对诊断对象设备的各状态类别的得分；以及判定部，其参照得分，判定在诊断对象设备中产生的声音正常还是异常以及异常的类型。

发明效果

根据本发明，对于不能预先拾取正常动作时的声音而生成诊断用的基准的设备，也能够诊断有无异常声音。

附图说明

图1是示出实施方式1的异常声音诊断装置的结构的框图。

图2是示出实施方式1的异常声音诊断装置的识别部的结构的图。

图3是示出实施方式1的识别参数学习装置的结构的框图。

图4是示出实施方式1的识别参数学习装置的数据库的蓄积例的图。

图5是示出实施方式1的异常声音诊断装置的动作的流程图。

图6是示出实施方式1的异常声音诊断装置的动作的流程图。

图7是示出实施方式1的异常声音诊断装置的判定部参照的异常类型和K维得分向量的一例的图。

图8是说明实施方式1的异常声音诊断装置的异常声音诊断效果的说明图。

图9是示出以往的异常声音诊断装置的异常声音诊断结果的说明图。

图10是示出实施方式1的异常声音诊断装置的轨迹特征提取部进行的多个强度向量的连结的说明图。

图11是示出实施方式1的异常声音诊断装置的其它结构的异常声音诊断效果的说明图。

图12是示出实施方式2的异常声音诊断装置的识别部的结构的图。

图13是示出实施方式2的异常声音诊断装置的动作的流程图。

具体实施方式

下面，为了更详细地说明本发明，按照附图来说明用于实施本发明的方式。

实施方式1

本实施方式1的异常声音诊断装置诊断从作为诊断对象的设备(例如电梯等)产生的声音，判定该产生声音是正常的声音还是异常的声音、以及在是异常的声音时的异常类型。作为诊断对象的设备例如是如电梯那样由多个运行部件构成的设备，通过将拾取产生的声音的拾音单元安装在电梯的轿厢中或者轿厢的外部，拾取在轿厢往复运动时产生的声音，判定拾取到的声音正常或异常，由此诊断运行部件的运行声音。另外，本发明的异常声音诊断装置还能够适用于电梯以外的设备。

另外，下面以将异常声音诊断装置作为个人计算机(以下称作PC)上的软件进行安装的情况为例进行说明。PC具有USB端子和LAN端子，传声器经由音频接口电路与USB端子连接，诊断对象设备经由LAN线缆与LAN端子连接。诊断对象设备构成为根据从PC输出的控制指示进行规定的运转动作。另外，异常声音诊断装置100不限于作为软件进行安装的情况，能够适当变更。

图1是示出实施方式1的异常声音诊断装置100的结构的框图。

图1的(a)是示出实施方式1的异常声音诊断装置100的功能单元的图，由拾音部1、波形取得部2、时间频率分析部3、强度时间序列取得部4、轨迹特征提取部5、识别参数存储部6、识别部7以及判定部8构成。

拾音部1例如由传声器等拾音器构成，与作为诊断对象的设备的动作同步地拾取从该作为诊断对象的设备产生的声音并输出声音数据11。在作为诊断对象的设备是电梯的情况下，拾音部1配置在轿厢中或者轿厢的外部等。波形取得部2例如由放大器和A/D变换器等构成，输出对拾音部1拾取到的声音数据11的波形进行采样而变换成数字信号的波形数据12。

时间频率分析部3对从波形取得部2输出的波形数据12施加时间窗，在使时间窗在时间方向上偏移的同时，通过高速傅立叶变换(以下称作FFT)运算对波形数据12进行时间频率分析，得到时间频率分布13。强度时间序列取得部4根据从时间频率分析部3输出的时间频率分布13，求出表示相对于时间和频率的强度的强度时间序列14。轨迹特征提取部5在时间方向上对从强度时间序列取得部4输出的强度时间序列14进行平滑，提取跨越时间轴整体的轨迹向量15。识别参数存储部6是存储预先学习到的识别参数的存储区域，存储识别设备的动作状态正常还是异常的识别参数、以及用于在设备的动作状态是异常时识别异常类型的识别参数。识别参数存储部6中存储的识别参数16的学习的详细情况容后再述。

识别部7对识别参数存储部6中存储的识别参数16和轨迹特征提取部5提取出的轨迹向量15进行核对，取得针对多个异常类型的得分。假设对异常类型设定有正常的动作状态、特定部位异常的动作状态等K种异常类型。下面，将针对这K种异常类型的得分称作K维得分向量17。另外，识别部7的详细结构容后再述。判定部8根据识别部7的K维得分向量17判定设备的动作状态正常还是异常，在异常的情况下还对异常类型进行判定，作为判定结果18进行输出。

图1的(b)是表示实施方式1的异常声音诊断装置100的硬件结构的框图，由处理器100a和存储器100b构成。通过处理器100a执行存储器100b中存储的程序，实现拾音部1、波形取得部2、时间频率分析部3、强度时间序列取得部4、轨迹特征提取部5、识别部7以及判定部8。另外，假设识别参数存储部6存储在存储器100b内。

下面，对识别部7的详细结构进行说明。

图2是示出实施方式1的异常声音诊断装置100的识别部7的结构的说明图，示出识别部7内的神经网络的结构。

在图2的例子中示出的神经网络构成为层级型，由1个输入层71以及2个隐藏层即第1隐藏层72和第2隐藏层73构成。输入层71、第1隐藏层72以及第2隐藏层73具有用于模拟脑神经回路的突触功能的单元。不存在各层内的单元间的结合，仅存在各层间的单元间的结合。因此，已知本实施方式1的神经网络在机械学习的领域中，利用作为Deep Learning而公知的学习方法能够稳定地得到良好的性能。

最后的隐藏层兼做输出层。在图2的例子中，第2隐藏层73兼做输出层。另外，隐藏层数M通常是1层以上的整数(M≥1)即可。另外，下面根据图2以隐藏层数M＝2的情况为例进行说明。

输入层71具有与从轨迹特征提取部5输入的轨迹向量15的维数(例如L×B个)相同数量的单元。另外，第2隐藏层73即输出层具有与异常类型的数量K相同的K个非线性单元。鉴于神经网络的识别性能，除了输出层以外的隐藏层的单元数设定为规定的数。在设第0个为输入层，第m个层的单元数为U(m)(m＝0、1、2、…、M)时，单元数存在基于下面的式(1)的制约。

U(0)＝L×B

U(m)＝任意的自然数(m＝1、2、…、M-1) (1)

U(M)＝k

在式(1)中，U(m)表示第m个层的单元数。

另外，在计算隐藏层的响应时需要的负荷和偏置是由识别参数存储部6中存储的识别参数16提供的。下面，将供给到第m个隐藏层的负荷和偏置分别设为w(i、j、m-1)、c(j、m-1)。在此，i、j的范围是i＝0、1、…、U(m-1)-1以及j＝0、1、…、U(m)-1。

下面，对识别部7中使用的识别参数16的学习进行说明。由图3所示的识别参数学习装置200学习识别参数存储部6中存储的识别参数16。

图3的(a)是示出实施方式1的识别参数学习装置200的功能块的图，由声音数据生成部21、声音数据库22、波形取得部23、时间频率分析部24、强度时间序列取得部25、轨迹特征提取部26、示教向量生成部27以及识别学习部28构成。

声音数据生成部21将规格和动作不同的多个设备作为参照设备来拾取声音数据，或者通过计算机模拟来生成声音数据。在本实施方式1的例子中，规格和动作不同的多个电梯成为参照设备。在声音数据库22中蓄积有声音数据22a和异常类型数据22b。声音数据22a由声音数据生成部21生成的声音数据、以及对声音数据生成部21生成的声音数据22a叠加异常声音而成的声音数据构成。异常类型数据22b蓄积有与声音数据22a相关的设备的异常类型，具体地讲，蓄积有表示设备的动作状态正常还是异常的标签、以及在设备的动作状态是异常时表示异常类型的标签。

图4示出声音数据库22存储的声音数据22a和异常类型数据22b的一例。

如图4所示，声音数据22a由“连续编号”、“个体名称”以及“声音数据文件名”构成，异常类型数据22b由与上述的“连续编号”对应的“异常类型C(v)：例子”构成。

作为异常类型C(v)的例子，对应有“正常”、“顶部异常”、“中间楼层异常”等类型，包含“正常”在内全部设定有K种异常类型。

波形取得部23输出对声音数据库22中蓄积的声音数据22a的波形进行采样而变换成数字信号的波形数据31。时间频率分析部24、强度时间序列取得部(参数强度时间序列取得部)25以及轨迹特征提取部(参数轨迹特征提取部)26对波形数据31进行与图1的异常声音诊断装置100的时间频率分析部3、强度时间序列取得部4以及轨迹特征提取部5相同的动作，分别输出时间频率分布32、强度时间序列33以及轨迹向量34。示教向量生成部27使用声音数据库22中蓄积的异常类型数据22b生成示教向量35。

识别学习部28生成用于学习神经网络的学习数据。神经网络的学习数据通常由输入数据和期待在提供输入数据时神经网络输出的输出数据构成。在图3所示的框图的例子中，输入数据是指从轨迹特征提取部26输入的轨迹向量34，输出数据是指从示教向量生成部27输入的示教向量35。

当设在神经网络的学习中使用的声音数据的总数为V时，输入数据是V个轨迹向量34，输出数据是V个示教向量35。

当设从声音数据22a内的第v个声音数据提取的轨迹向量34为ρ(k、v)时，识别学习部28中的输入数据x(k、v)由下面的式(2)给出。

x(k、v)＝ρ(k、v) (2)

即，示出输入数据x(k、v)与轨迹向量34相同。

另外，关于由示教向量生成部27生成的V个示教向量35，当设异常类型的类型数为K，第v个示教向量的第k个元素为y(k、v)，第v个声音数据的异常类型为C(v)时，y(k、v)作为第C(v)个位置的元素为1、其它元素为0的向量，由下面的式(3)给出。

识别学习部28使用如上所述得到的输入数据即轨迹向量34和输出数据即示教向量35进行神经网络的学习，将由作为学习的结果而得到的负荷和偏置构成的参数作为识别参数36存储在识别参数存储部6中。构成识别参数36的负荷和偏置与上述的识别部7计算第1隐藏层72和第2隐藏层73的响应时使用的负荷w(i、j、m-1)和偏置c(j、m-1)对应。

图3的(b)是示出实施方式1的识别参数学习装置200的硬件结构的框图，由处理器200a和存储器200b构成。通过处理器200a执行存储器200b中存储的程序，实现声音数据生成部21、波形取得部23、时间频率分析部24、强度时间序列取得部25、轨迹特征提取部26、示教向量生成部27以及识别学习部28。另外，假设声音数据库22存储在存储器200b内。

下面，参照图5和图6说明异常声音诊断装置100的动作。

图5和图6是示出实施方式1的异常声音诊断装置100的动作的流程图，图5示出拾音部1和波形取得部2的动作，图6示出从时间频率分析部3起的各结构的动作。另外，下面将作为异常声音诊断装置100的诊断对象的设备简称作设备进行说明。

在异常声音诊断装置100检测出设备的运转开始时(步骤ST1)，拾音部1拾取从设备产生的声音(步骤ST2)。波形取得部2取得在步骤ST2中拾取到的声音数据11并进行放大和A/D变换，由此对声音的波形进行采样(步骤ST3)，变换成例如采样频率48kHz的16比特线性PCM(pulse code modulation)的数字信号的波形数据(步骤ST4)。

然后，异常声音诊断装置100判定设备的运转是否已结束(步骤ST5)。在设备的运转未结束的情况下(步骤ST5：否)，返回到步骤ST2的处理，反复上述的处理。另一方面，在设备的运转已结束的情况下(步骤ST5：是)，波形取得部2对在步骤ST4中取得的波形数据进行连结，作为一系列的波形数据12进行输出(步骤ST6)。由此，结束拾音及波形数据的取得处理。然后，进入图6的流程图，进行使用已取得的波形数据12的异常声音诊断处理。

时间频率分析部3取得从波形取得部2输出的波形数据12，例如使1024点的时间窗相对于该波形数据12以16毫秒的间隔在时间方向上偏移并切取帧，通过FFT运算对各帧求出频谱的序列即时间频率分布g(t、f)，得到时间频率分布13(步骤ST11)。

其中，t是与使时间窗偏移的移动间隔对应的时刻的索引，f是表示FFT运算结果的频率的索引。另外，时间t和频率f分别是满足0≤t≤T、0≤f≤F的整数。另外，T是时间频率分布13的时间方向的帧数，F是与波形数据12的采样频率fs的1/2即奈奎斯特频率对应的索引(F＝fs/2)。

然后，强度时间序列取得部4在通过步骤ST11得到的时间频率分布13中，例如将0.5kHz、1kHz、2kHz、4kHz、8kHz这5个频率作为中心频率，分别求出由1倍频程宽的频带构成的5个频带包含的频率成分之和，得到各频带的强度时间序列14(步骤ST12)。当设各频带的强度时间序列14为G(t、b)时，G(t、b)由下面的式(4)给出。

在式(4)中，b是频带的索引，是满足0≤b≤B的整数(B为频带数，在本例中B＝5)。另外，Ω(b)表示关于频带b在时间频率分布g(t、f)中成为求出总和的对象的频率f的集合。

轨迹特征提取部5对于各频带在时间方向上对强度时间序列14进行平滑(步骤ST13)，求出将时间轴整体L等分的点处的平滑强度，生成L维的强度向量(步骤ST14)。在本例中，在5个频带中在时间方向上对强度时间序列14进行平滑。进而对于生成的L维强度向量，对强度进行归一化(步骤ST15)，将归一化后的各频带的L维强度向量连结而生成L×B维的轨迹向量15(步骤ST16)。

根据下面的式(5)计算步骤ST13的平滑后的强度时间序列G～(t、b)(t＝0、1、…、T-1，b＝0、1、…、B-1)。

在式(5)中，smooth_t(x(t))是输出在标号t方向上对关于t的序列x(t)进行平滑后的新的时间序列的函数。

另外，根据下面的式(6)计算在步骤ST14中得到的L等分点的平滑强度H(l、b)(l＝0、1、…、L-1，b＝0、1、…、B-1)。

在式(6)中，τ(l)是表示关于G～(t、b)中的标号t的插补位置的实数函数，w(l)是给出插补时的加权系数的函数，由下面的式(7)、式(8)给出。

w(l)＝τ(l)-int(τ(l)) (8)

式(8)中的int(x)是求出自变量x的整数部分的函数。

在步骤ST16的轨迹向量15的生成中，将各频带的L等分点的平滑强度H(l、b)连结成L维向量而作为轨迹向量15，当设轨迹向量15的第k个元素为ρ(k)(k＝0、1、…L×B-1)时，ρ(k)由下面的式(9)给出。

然后，识别部7将从轨迹特征提取部5输入的轨迹向量15输入到神经网络的输入层71，使用识别参数存储部6中存储的识别参数计算输出单元的活性度，生成K维得分向量17(步骤ST17)。

参照图2的识别部7的具体结构例说明步骤ST17的处理。首先，轨迹向量15内的第i个元素被复制到输入层的第i个单元中。当设输入层的第i个单元的值为x(i、0)时，x(i、0)由下面的式(10)给出。

x(i、0)＝ρ(i) (10)

在式(10)中，ρ(i)表示轨迹向量15的第i个元素的值。

然后，从第1隐藏层72向第2隐藏层73依次计算各单元的输出。对来自前一层的全部单元的输出乘以负荷而求出总和，减去偏置，进行基于S型函数的非线性变换，从而得到各单元的输出。当设第m个隐藏层的第j个单元的输出为x(j、m)时，根据下面的式(11)计算x(j、m)。

x(j，m)＝σ(∑_ix(i，m-1)w(i，j，m-1)-c(j，m-1)) (11)

在式(11)中，σ(x)是具有示出软的阈值特性的非线性输入输出特性的S型函数，由下面的式(12)给出。

另外，在上述的式(11)中，在m＝1时需要x(i、0)，这如上述的式(10)所示与轨迹向量15的第i个元素ρ(i)相等。

通过对m＝1、…、M进行基于式(11)的计算，得到最后的隐藏层的输出x(k、M)。在图2的例子中是得到第2隐藏层73的输出x(k、2)。将该输出视为输出层的输出。当设输出层的第k个输出为o(k)时，o(k)由下面的式(13)给出。

o(k)＝x(k、M) (13)

最后，对输出层的K个输出进行归一化。通过归一化，K个输出的总和为1。当设归一化的结果为得分向量的值s(k)时，得分向量的值s(k)由作为softmax运算而公知的下面的式(14)给出。

将通过上述处理而得到的K维得分向量17输出到判定部8。

返回到图6的流程图继续说明。

判定部8比较在步骤ST17中生成的K维得分向量17的元素，根据最大的元素的索引判定可能的异常类型(步骤ST18)，输出判定结果(步骤ST19)，结束处理。当设可能的异常类型为k*时，k*由下面的式(15)给出。

另外，示出了输出K维得分向量17的得分最大的1个元素的结构，但也可以构成为将多个元素与它们的得分一起输出。

图7是示出实施方式1的异常声音诊断装置100的判定部8参照的异常类型和K维得分向量的一例的图。

如图7所示，“K维得分向量”分别对应于K个“异常类型”。在将构成的K个得分向量的值全部相加时，K维得分向量为“1”。在图7的例子中，异常类型“顶部异常”的得分向量取最大值“0.64”，因而判定部8判定为可能的异常类型是“顶部异常”。

下面，参照图8和图9说明将如上所述构成的异常声音诊断装置100适用于电梯时的效果。

图8是示出实施方式1的异常声音诊断装置100的异常声音诊断效果的说明图。另外，作为比较，图9示出以往的异常声音诊断装置的异常声音诊断结果。

首先，参照图9说明以往的异常声音诊断装置的异常声音诊断的方法及得到的结果。在以往的异常声音诊断装置中，对轿厢300的行进区间301进行分割，按照分割而成的每个区间存储在正常时产生的声音的信号强度作为基准值。在图9的(a)的例子中，将行进区间分割成6个，取得第1基准值、第2基准值、…、第6基准值进行存储。

通过比较该存储的基准值和在诊断时取得的声音数据的强度时间序列，在各区间内进行异常的检测。各区间内的正常时的声音的信号强度按照每台电梯受其使用和动作环境的影响而不同，因而产生如下问题：不能将对某台电梯取得的基准值适用于不同电梯的异常声音诊断，或者即使能够适用，异常声音诊断的精度也下降。因此，在以往的异常声音诊断装置中，需要预先按照每台电梯进行学习运转并存储基准值。

图9的(b)是根据诊断时的声音的信号强度，绘制与将在不同电梯中生成的基准值适用于其它电梯进行诊断的情况下的诊断时的声音的信号强度之间的比较结果而成的图，存在信号强度超过基准值305的正常动作的个体303、或者存在信号强度不超过基准值305的异常动作的个体304。这样，无论怎样设定基准值305，都存在根据诊断时的声音的信号强度不能明确分离设备的正常动作状态和异常动作状态这样的问题。

下面，参照图8说明实施方式1的异常声音诊断装置100的异常声音诊断效果。

在实施方式1的异常声音诊断装置100中，如图8的(a)所示，拾取在轿厢300往复行进于最底层和最顶层的期间产生的声音，对得到的声音数据进行时间频率的分析而得到强度时间序列，将跨越强度时间序越的时间方向的全长的轨迹作为一体的轨迹进行向量变换而提取轨迹向量。在图8的(a)的例子中，为了简化说明，示出将异常类型设为“正常”和“异常”这两种(K＝0～1)，将频带数设为1个频带(B＝1)，提取L×1维的轨迹向量306、307的情况。轨迹向量306表示异常类型为“1：异常”时的向量，轨迹向量307表示异常类型为“0：正常”时的向量。在将轨迹向量306和轨迹向量307输入到识别部7的情况下，识别部7绘制该轨迹向量306和轨迹向量307在空间上的位置的结果如图8的(b)所示。

图8的(b)是如下的图，将正常个体的向量和异常个体的向量作为集合进行例如主成分分析，求出第1特征轴(主轴)和第2特征轴(与主轴垂直的轴)，在由这些特征轴形成的L×1维空间上示出各向量的配置。

另外，主成分分析是用于显示向量在多维空间上的相互位置关系的处理，不是构成本发明的处理。另外，第1特征轴和第2特征轴不是根据本发明的结构计算出的，而是为了表示在空间上对轨迹向量进行分类而记载的。

如图8的(b)的绘制结果所示，示出在根据轨迹向量的异常类型和空间上的位置配置表示设备正常的组308和表示设备异常的组309的情况下，设与连接组308的重心和组309的重心的直线垂直的超平面(直线)为边界310而得到的例子。根据该配置能够捕捉在强度时间序列中出现的一般性特征。

另外，在图8的(b)中示出了得到直线作为边界310的例子，但在实际的诊断处理中，能够得到具有复杂形状的超曲线(曲线)。

这样，能够捕捉到不依赖于电梯的规格和动作环境的、在强度时间序列中出现的一般性特征，不需要预先学习每个个体的基准值，针对电梯的规格和动作环境的差异也能够进行可靠的诊断。

如上所述，根据本实施方式1构成为具有：拾音部1，其拾取从设备产生的声音；波形取得部2，其取得对拾取到的声音数据的波形进行采样而变换成的波形数据；时间频率分析部3，其进行已取得的波形数据的时间频率分析；强度时间序列取得部4，其根据时间频率分布求出表示相对于时间和频率的强度的强度时间序列；轨迹特征提取部5，其在时间方向上对已取得的强度时间序列进行平滑，提取跨越时间轴整体的轨迹向量；识别参数存储部6，其存储将提取出的轨迹向量作为输入数据并将异常类型作为输出数据而学习到的识别参数；识别部7，其根据轨迹向量和已存储的识别参数，取得与异常类型对应的得分向量；以及判定部8，其根据已取得的得分向量判定设备的异常类型。因而能够捕捉到不依赖于设备的规格和动作环境的、在强度时间序列中出现的一般性特征，判定设备正常还是异常以及异常时的异常类型。因此，不需要预先按照规格和动作不同的每个设备学习诊断时的基准，针对设备的规格和动作环境的差异也能够进行可靠的诊断。并且，能够提供抑制了因设备的规格和动作环境的差异而引起的诊断精度下降的异常声音诊断装置。

另外，在上述的实施方式1的说明中，示出了由一个拾音器构成拾音部1并配置于作为诊断对象的设备的情况，但也可以由多个拾音器构成拾音部1并配置在诊断对象设备的多个部位。在这种情况下，与诊断对象设备的动作同步地，同时进行多通道的拾音，得到多通道的声音数据11。波形取得部2、时间频率分析部3以及强度时间序列取得部4分别对多通道信号取得波形数据12、时间频率分布13以及强度时间序列14。轨迹特征提取部5从由强度时间序列取得部4输入的多通道的强度时间序列14中取得多通道的强度向量。进而在时间轴方向上将各通道的强度向量连结起来。

图10是示出实施方式1的异常声音诊断装置100的轨迹特征提取部5进行的多通道的强度向量的连结的说明图。

在图10中示出连结3个通道的强度向量的情况，在向量的时间轴方向上将第1通道的向量15a、第2通道的向量15b以及第3通道的向量15c连结起来，生成L×B×3维(“×3”是由于连结有3个通道的强度向量)的轨迹向量15。跨越通道之间的连接符存在于神经网络的中间层，因而能够学习通道之间的共时性。另外，在前一段落之前的说明中，设轨迹向量的维数为L×B，但在此将轨迹向量的维数改写成L×B×3来实施。

这样，通过使用由多个拾音器拾取到的声音数据，能够改善异常类型不同的向量之间在识别空间内的分离度，提高诊断精度。

图11是示出根据连结多个通道的强度向量而得到的轨迹向量进行异常声音诊断时的效果的说明图。

在图11的(a)中，强度时间序列311、312、313分别表示在第1频带、第2频带、第3频带得到的强度时间序列，作为将从该强度时间序列311、312、313得到的向量在时间轴方向上连结而成的L×1×3维的轨迹向量314和轨迹向量315示出。轨迹向量314表示异常类型为“1：异常”时的向量，轨迹向量315表示异常类型为“0：正常”时的向量。在将轨迹向量314和轨迹向量315输入到识别部7的情况下，在识别部7中绘制该轨迹向量314和轨迹向量315在空间上的位置而成的结果如图11的(b)所示。在图11的(b)中能够得到与图8的(b)所示的结果相同的结果。

实施方式2

在上述的实施方式1中对识别部7是神经网络的结构的情况进行了说明，在本实施方式2中对作为识别部适用支持向量机(以下称为SVM)的情况进行说明。

实施方式2的异常声音诊断装置100的整体结构与实施方式1相同，因而省略框图的记载，下面对结构不同的识别部进行详细说明。

图12是示出实施方式2的异常声音诊断装置100的识别部7a的结构的图。

当设异常类型的数量为K时，识别部7a整体上具有(K-1)K/2个SVM。在此，各SVM构成为以对包含正常在内的K个异常类型中的任意2个异常类型的向量进行分类并识别的方式进行学习。各SVM作为参数具有支持向量的个数n、n个支持向量x_i(i＝0、1、2、…、n-1)、n个系数α_i(i＝0、1、2、…、n-1)、偏置b、后述的核函数的定义k(x₁、x₂)。下面，将识别正常或者异常类型i和异常类型j(其中，i<j)的SVM记作SVM[i,j](0≤i<j<K)。

下面，对识别部7a的动作进行说明。

图13是示出实施方式2的异常声音诊断装置的动作的流程图。另外，下面对与实施方式1的异常声音诊断装置相同的步骤，标注与在图6中使用的标号相同的标号，并省略或者简化说明。另外，拾音部1和波形取得部2的动作与实施方式1的图5所示的流程图相同，因而省略说明。

识别部7a在被输入在步骤ST16中由轨迹特征提取部5生成的轨迹向量15时，将该轨迹向量15输入到各SVM，使用识别参数存储部6中存储的识别参数，根据下面的式(16)计算各SVM的识别函数的输出值y(ρ)(步骤ST21)。

其中，k(x₁、x₂)是核函数，用于计算向量x₁向多维空间的映射φ(x₁)和向量x₂向多维空间的映射φ(x₂)之间的内积<φ(x₁)、φ(x₂)>(另外，φ(x)是在明确的式子中不能示出的向量x的非线性函数)。作为核函数例如能够使用下面的式(17)所示的高斯核。另外，σ表示高斯核的参数。

然后，识别部7a根据在步骤ST21中计算出的各SVM的识别函数的输出值，计算各等级的分类输出，计算表示与异常类型对应的1～K的得分的得分向量的值s(k)，将计算出的得分向量的值s(k)作为K维得分向量17输出到判定部8(步骤ST22)。判定部8比较在步骤ST17中生成的K维得分向量17的元素，根据最大的元素的索引判定可能的异常类型(步骤ST18)，输出判定结果(步骤ST19)，结束处理。

如上所述，在如本该实施方式2那样识别部7a适用支持向量机的情况下，也能够在轨迹特征提取部5中生成跨越强度时间序列14的时间方向的全长的轨迹向量15，能够捕捉到不依赖于设备的规格和动作环境的、在强度时间序列中出现的一般性特征。因此，不需要预先按照每个个体学习诊断时的基准，针对设备的规格和动作环境的差异也能够进行可靠的诊断。并且，能够提供抑制了因设备的差异而引起的诊断精度下降的异常声音诊断装置。

另外，在上述的实施方式1和实施方式2中，关于轨迹特征提取部5输出的轨迹向量15，示出了提取跨越强度时间序列14的时间方向的全长的轨迹特征作为基于线性插补的L维向量的结构，但也可以使用不论有无信息的损失都保存跨越强度时间序列14的时间方向的全长的轨迹特征的其它变换，求出L维的向量。作为其它变换，例如可以对跨越强度时间序列14的时间方向的全长的轨迹进行傅里叶变换，由低次的傅里叶系数构成L维的向量。并且，作为其它变换，也可以构成为通过主成分分析输出压缩后的特征作为L维向量。

另外，上述的无损失的变换，是指不需对表示跨越强度时间序列14的时间方向的全长的特征的向量进行加工而直接使用该特征作为向量。另一方面，允许损失的变换，是指对表示跨越强度时间序列14的时间方向的全长的特征的向量，例如乘以通过主成分分析而得到的矩阵等，在进行了缩减维数的处理后使用特征作为向量。可认为原始的特征向量中包含的信息的一部分由于上述的维数缩减处理而损失。

另外，在上述的实施方式1和实施方式2中示出了如下的结构：在作为诊断对象的设备是电梯的情况下，在该电梯在运行区间往复一次的路径中，将跨越强度时间序列的时间方向的全长的轨迹变换成向量而提取轨迹向量。但也可以构成为，如运行区间的往复运转中的上升区间和下降区间那样分割成每个单程的区间，按照分割而成的每个区间将跨越区间的时间方向的全长的轨迹变换成向量而提取轨迹向量，还可以构成为，按照分割而成的每个区间准备识别部7进行识别处理。

由此，在电梯的情况下，即使在上升时没有异常而在下降时有异常的情况下也能够进行每个区间的诊断。

另外，分割而成的区间不仅是上升区间和下降区间，例如也可以将上升区间进一步分割成如下层区间、中层区间以及高层区间那样更细的区间。

产业上的可利用性

本发明的异常声音诊断装置能够针对设备的规格和动作的差异进行精度较高的异常声音诊断，因而适用于不能按照每个个体生成异常声音判定用的基准值的设备，适合于进行设备的异常声音诊断。

标号说明

1拾音部；2波形取得部；3时间频率分析部；4强度时间序列取得部；5轨迹特征提取部；6识别参数存储部；7、7a识别部；8判定部；21声音数据生成部；22声音数据库；22a声音数据；22b异常类型数据；23波形取得部；24时间频率分析部；25强度时间序列取得部；26轨迹特征提取部；27示教向量生成部；28识别学习部；71输入层；72第1隐藏层；73第2隐藏层；100异常声音诊断装置；100a、200a处理器；100b、200b存储器；200识别参数学习装置。

Claims

1.一种异常声音诊断装置，该异常声音诊断装置进行在诊断对象设备中产生的声音是否异常的诊断，其特征在于，该异常声音诊断装置具有：

拾音部，其拾取在所述诊断对象设备产生的声音而取得声音数据；

强度时间序列取得部，其从分析所述拾音部取得的声音数据的波形数据而得到的时间频率分布取得强度时间序列；

轨迹特征提取部，其将表示所述强度时间序列取得部取得的强度时间序列的全部时间方向的强度特征的轨迹变换成向量而提取轨迹向量；

识别参数存储部，其存储将如下的向量作为输入并将如下的信息作为输出而学习到的识别参数，其中，所述向量是表示从分析由参照设备产生的声音数据的波形数据而得到的时间频率分布取得的强度时间序列的全部时间方向的强度特征的轨迹，所述信息表示所述诊断对象设备的状态类别；

识别部，其根据所述轨迹特征提取部提取出的轨迹向量和所述识别参数存储部中存储的识别参数，取得针对所述诊断对象设备的各状态类别的得分；以及

判定部，其参照所述识别部取得的得分，判定在所述诊断对象设备中产生的声音正常还是异常以及异常的类型。

2.根据权利要求1所述的异常声音诊断装置，其特征在于，

所述强度时间序列取得部从所述时间频率分布取得相对于时间和频率的强度，作为所述强度时间序列，

所述轨迹特征提取部在相对于时间和频率的强度的二维空间内，将所述强度时间序列取得部取得的强度时间序列所示的轨迹变换成向量，将变换后的向量连结起来而提取所述轨迹向量。

3.根据权利要求1所述的异常声音诊断装置，其特征在于，

所述轨迹特征提取部对所述强度时间序列取得部取得的强度时间序列进行无损失的向量变换或者进行有损失的向量变换。

4.根据权利要求1所述的异常声音诊断装置，其特征在于，

所述识别部使用神经网络的方法取得所述得分。

5.根据权利要求1所述的异常声音诊断装置，其特征在于，

所述识别部使用支持向量机的方法取得所述得分。

6.根据权利要求1所述的异常声音诊断装置，其特征在于，

在所述诊断对象设备配置有多个所述拾音部，多个所述拾音部拾取在所述诊断对象设备中产生的声音而采集多个通道的声音数据，

所述强度时间序列取得部从分析所述拾音部采集到的多个通道的各声音数据的波形数据而得到的时间频率分布取得所述多个通道的强度时间序列，

所述轨迹特征提取部将表示所述强度时间序列取得部取得的多个通道的强度时间序列的全部时间方向的强度特征的轨迹变换成向量，在时间方向上将所述多个通道的变换后的向量连结起来，提取所述轨迹向量。

7.根据权利要求1所述的异常声音诊断装置，其特征在于，

所述诊断对象设备在由多个分割区间构成的运行区间内行进，

所述轨迹特征提取部按照每个分割区间将表示强度时间序列的全部时间方向的强度特征的轨迹变换成向量而提取所述轨迹向量，

所述识别部按照每个分割区间进行识别处理。

8.一种异常声音诊断系统，其特征在于，

所述异常声音诊断系统具有权利要求1所述的异常声音诊断装置和识别参数学习装置，

所述识别参数学习装置具有：

声音数据库，其蓄积有由所述参照设备产生的声音数据、对所述声音数据叠加异常声音而成的异常声音叠加数据、以及与所述声音数据和所述异常声音叠加数据相关联的设备的异常类型信息；

参数强度时间序列取得部，其从分析所述声音数据库中蓄积的所述声音数据和所述异常声音叠加数据的波形数据而得到的时间频率分布取得强度时间序列；

参数轨迹特征提取部，其根据所述参数强度时间序列取得部取得的强度时间序列，将表示所述强度时间序列的全部时间方向的强度特征的轨迹变换成向量；

示教向量生成部，其根据所述声音数据库中蓄积的异常类型信息生成示教向量；以及

识别学习部，其以将由所述参数轨迹特征提取部变换后的轨迹向量作为输入并将由所述示教向量生成部生成的示教向量作为输出的方式进行学习，将该学习的结果作为所述识别参数存储到所述异常声音诊断装置的识别参数存储部。

9.一种异常声音诊断方法，进行在诊断对象设备中产生的声音是否异常的诊断，其特征在于，该异常声音诊断方法包含以下步骤：

拾音部拾取在所述诊断对象设备产生的声音而取得声音数据；

强度时间序列取得部从分析所述声音数据的波形数据而得到的时间频率分布取得强度时间序列；

轨迹特征提取部将表示该强度时间序列的全部时间方向的强度特征的轨迹变换成向量而提取轨迹向量；

识别部根据所述轨迹向量和将如下的向量作为输入并将如下的信息作为输出而学习到的识别参数，取得针对所述诊断对象设备的各状态类别的得分，其中，所述向量是表示从分析由参照设备产生的声音数据的波形数据而得到的时间频率分布取得的强度时间序列的全部时间方向的强度特征的轨迹，所述信息表示所述诊断对象设备的状态类别；以及

判定部参照所述得分，判定在所述诊断对象设备中产生的声音正常还是异常以及异常的类型。

10.一种存储有异常声音诊断程序的计算机可读取的记录介质，其特征在于，该异常声音诊断程序用于使计算机执行以下步骤：

拾音处理步骤，拾取在诊断对象设备产生的声音而取得声音数据；

强度时间序列取得处理步骤，从分析所述声音数据的波形数据而得到的时间频率分布取得强度时间序列；

轨迹特征提取处理步骤，将表示所述强度时间序列的全部时间方向的强度特征的轨迹变换成向量而提取轨迹向量；

识别处理步骤，根据所述轨迹向量和将如下的向量作为输入并将如下的信息作为输出而学习到的识别参数，取得针对所述诊断对象设备的各状态类别的得分，其中，所述向量是表示从分析由参照设备产生的声音数据的波形数据而得到的时间频率分布取得的强度时间序列的全部时间方向的强度特征的轨迹，所述信息表示所述诊断对象设备的状态类别；以及

判定处理步骤，参照所述得分，判定在所述诊断对象设备中产生的声音正常还是异常以及在异常的情况下异常的类型。