CN116848390A - 异常声音判定系统、异常声音判定装置以及程序 - Google Patents
异常声音判定系统、异常声音判定装置以及程序 Download PDFInfo
- Publication number
- CN116848390A CN116848390A CN202280013256.9A CN202280013256A CN116848390A CN 116848390 A CN116848390 A CN 116848390A CN 202280013256 A CN202280013256 A CN 202280013256A CN 116848390 A CN116848390 A CN 116848390A
- Authority
- CN
- China
- Prior art keywords
- sound
- sound data
- product
- abnormal
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims description 192
- 238000010801 machine learning Methods 0.000 claims description 84
- 238000012937 correction Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 10
- 238000009413 insulation Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 31
- 230000005856 abnormality Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 238000007689 inspection Methods 0.000 description 17
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
具备：取得产品的动作声音数据的动作声音数据取得单元；取得周围声音数据的周围声音数据取得单元；从上述动作声音数据修正上述周围声音数据的去除单元；和根据修正了上述周围声音数据的上述动作声音数据判定上述产品的动作声音的判定单元。
Description
技术领域
本公开涉及异常声音判定系统、异常声音判定装置以及程序。
背景技术
以往公知一种信息处理装置，具备：异常声音检测部，其根据作为从取得的声音生成的信号的声音响信号，判定所取得的声音是否为异常声音；放弃部，其进行所取得的声音是否是放弃对象声音的判定，并根据该判定结果，判定是否放弃由异常声音检测部检测出的异常声音；异常判定部，其在异常声音检测部判定为所取得的声音是异常声音且放弃部判定为不放弃异常声音的情况下，判定为发生了异常(例如参照专利文献1)。
另外，以往公知有如下的异常判别装置：使用从对象物的固有运动得到的时间变化的波形数据，实施基于自编码器的学习，对波形数据执行计算与值方向上的阈值的变化相应的连接成分的数量的变化的持久同源变换，输入基于波形数据的自编码器的输出和持久同源变换的输出，基于进行了关于波形数据和异常的机器学习的学习器的判别结果判断异常(例如参照专利文献2)。
【现有技术文献】
【专利文献】
【专利文献1】国际公开第2020/084680号
【专利文献2】日本特开2020-36633号公报
发明内容
【本发明所要解决的课题】
例如，在生产线等中进行的产品的动作声音的异常声音检查中，由于突发地产生的声音或周期性地产生的声音等在周围产生的周围声音的影响，有时在产品的动作声音的判定结果中产生偏差。
本公开的目的在于提供一种异常声音判定系统、异常声音判定装置以及程序，在进行产品的动作声音的判定的情况下，能够抑制判定结果的偏差。
【解决课题的手段】
本公开的异常声音判定系统，包括：动作声音数据取得单元，其取得产品的动作声音数据；周围声音数据取得单元，其取得周围声音数据；修正单元，其根据所述动作声音数据修正所述周围声音数据；判定单元，根据修正了所述周围声音数据的所述动作声音数据来判定所述产品的动作声音。
根据本公开，在进行产品的动作声音的判定的情况下，能够根据产品的动作声音数据修正周围的周围声音数据，并利用修正了周围声音数据的动作声音数据来判定产品的动作声音，因此能够抑制由周围声音数据的影响引起的判定结果的偏差。
其特征可以在于，所述动作声音数据取得单元，通过麦克风对设置在隔声盒内的产品的动作声音进行拾取。
其特征可以在于，所述周围声音数据取得单元，通过麦克风来拾取在隔声盒外产生的周围声音。
其特征可以在于，所述判定单元使用多个机器学习模型。
其特征可以在于，所述修正单元根据所述周围声音数据修正所述动作声音数据。
根据本公开，可以根据周围声音数据修正动作声音数据，以从产品的动作声音数据中去除周围的周围声音数据。
其特征可以在于，所述判定单元利用由第1机器学习模型和第2机器学习模型构成的判定算法，第1机器学习模型，学习所述产品的正常声音数据，预测所述产品的动作声音相对所述产品的正常声音数据的偏差值，第2机器学习模型，学习由所述第1机器学习模型预测的所述产品的正常声音数据的所述偏差值的偏差程度，在所述产品的动作声音的所述偏差值的偏差程度比阈值大的情况下，预测所述产品的动作声音为异常。
根据本公开，通过由第1机器学习模型和第2机器学习模型构成的判定算法，能对异常声音判定进行自动化，其中第1机器学习模型预测产品的动作声音相对正常声音数据的偏差值，第2机器学习模型根据产品的动作声音的偏差值的偏差程度预测产品的动作声音的异常。另外，根据本公开，通过利用判定算法，能够使异常声音判定中的判定基准统一化。
其特征可以在于，所述第1机器学习模型使用自编码器(自动编码器)。
根据本公开，通过在第1机器学习模型中使用用正常声音数据学习的自编码器，能够预测产品的动作声音相对正常声音数据的偏差值。
其特征可以在于，所述第2机器学习模型使用局部离群因子法(Local OutlierFactor：LOF)。
根据本公开，通过在第2机器学习模型中使用局部离群因子法，学习由第1机器学习模型预测的产品的正常声音数据的偏离值的偏离程度，在产品的动作声音的偏离值的偏离程度比阈值大的情况下，能够将产品的动作声音判定为异常。
本公开的异常声音判定装置，具备：动作声音数据取得单元，其取得产品的动作声音数据；周围声音数据取得单元，其取得周围声音数据；修正单元，其根据所述动作声音数据修正所述周围声音数据；判定单元，根据修正了所述周围声音数据的所述动作声音数据来判定所述产品的动作声音。
根据本公开，在进行产品的动作声音的判定的情况下，能够根据产品的动作声音数据修正周围的周围声音数据，并利用修正了周围声音数据的动作声音数据来判定产品的动作声音，因此能够抑制由周围声音数据的影响引起的判定结果的偏差。
本公开的程序，使计算机执行如下步骤：动作声音数据取得步骤，其取得产品的动作声音数据；周围声音数据取得步骤，其取得周围声音数据；修正步骤，其根据所述动作声音数据修正所述周围声音数据；判定步骤，根据修正了所述周围声音数据的所述动作声音数据来判定所述产品的动作声音。
根据本公开，在进行产品的动作声音的判定的情况下，能够根据产品的动作声音数据修正周围的周围声音数据，并利用修正了周围声音数据的动作声音数据来判定产品的动作声音，因此能够抑制由周围声音数据的影响引起的判定结果的偏差。
附图说明
图1是根据本实施方式的异常声音判定系统的一例的结构图。
图2是根据本实施方式的计算机的一例的硬件结构图。
图3是根据本实施方式的异常声音判定装置的一例的功能框图。
图4A是周围声音去除部的处理的一例的示意图。
图4B是周围声音去除部的处理的一例的示意图。
图4C是周围声音去除部的处理的一例的示意图。
图5是由判定算法部执行的异常声音判定处理的一例的示意图。
图6是根据本实施方式的异常声音判定装置中的机器学习处理的一例的流程图。
图7是根据本实施方式的异常声音判定装置中的机器学习处理的一例的示意图。
图8是根据本实施方式的异常声音判定装置中的异常声音判定处理的一例的流程图。
图9是根据本实施方式的异常声音判定装置中的异常声音判定处理的一例的示意图。
图10是根据本实施方式的异常声音判定装置中的异常声音判定处理的一例的示意图。
具体实施方式
接下来，详细说明本发明的实施方式。
[第1实施方式]
<系统结构>
图1是根据本实施方式的异常声音判定系统的一例的结构图。异常声音判定系统1具有异常声音判定装置10、取得(拾取)包含置于检查装置12内的产品16的动作声音的动作声音数据的麦克风14A、以及取得(拾取)包含检查装置12外的声音(周围声音)的周围声音数据的麦克风14B。产品16的动作声音是从产品16发出的声音。动作声音是从空调机的马达、压缩机、室内机或室外机等发出的声音。周围声音是在检查装置12的外侧产生的声音。周围声音是指生产线上运行的设备或叉车发出的声音。
检查装置12是放置取得动作声音的产品16的盒。麦克风14A可以测量包括放置在检查装置12中的产品16的动作声音的动作声音数据。麦克风14A取得的动作声音数据有时包含侵入到检查装置12内的周围声音。例如，通过将正常的产品16放置在检查装置12中，麦克风14A可以测量包括正常的产品的动作声音的动作声音数据。下面，有时将正常的产品16的动作声音数据称为正常声音数据。另外，例如通过将异常声音判定对象的产品16放置在检查装置12中，麦克风14A能够测定包含异常声音判定对象的产品16的动作声音的动作声音数据。麦克风14B取得包含在检查装置12的外侧产生的周围声音的周围声音数据。在麦克风14B取得的周围声音数据中不包含放置在检查装置12中的产品16的动作声音。另外，在测定正常的产品16的动作声音数据的情况下，通过在检查装置12中使用隔声性能高的隔声盒(隔声BOX)，也能够测定没有周围声音数据的影响的正常声音数据。
异常声音判定装置10接收麦克风14A取得的产品16的动作声音数据以及麦克风14B取得的周围声音数据。异常声音判定装置10通过后述的学习算法学习产品16的正常声音数据，制作预测异常声音判定对象的产品16的动作声音数据相对正常声音数据的偏差值的机器学习模型(第1机器学习模型的一例)。另外，异常声音判定装置10学习后述那样的学习算法根据产品16的正常声音数据预测出的偏差值的偏差程度，生成根据从异常声音判定对象的产品16的动作声音数据预测出的偏差值的偏差程度预测是否是异常声音的机器学习模型(第2机器学习模型的一例)。以下，有时将学习产品16的正常声音数据、并预测异常声音判定对象的产品16的动作声音数据相对正常声音数据的偏差值的机器学习模型称为“预测相对正常数据的偏差值的机器学习模型”。另外，有时将学习根据产品16的正常声音数据预测出的偏差值的偏差程度、并根据从异常声音判定对象的产品16的动作声音数据预测出的偏差值的偏差程度来预测是否是异常声音的机器学习模型称为“预测偏差程度的机器学习模型”。
异常声音判定装置10中，后述那样的判定算法利用预测相对正常数据的偏差值的机器学习模型及预测偏差程度的机器学习模型，能够判定异常声音判定对象的产品16的异常声音。另外，异常声音判定装置10具有周围声音修正功能，该周围声音修正功能根据麦克风14A取得的产品16的动作声音数据修正周围声音数据(按照周围声音数据修正动作声音数据以减少周围声音数据的影响)。
另外，异常声音判定装置10的名称是一个例子，也可以是其他名称。异常声音判定装置10与麦克风14A和14B之间的用于通信的连接可以是有线连接，也可以是无线连接。另外，异常声音判定装置10是PC、智能手机、平板终端等的信息处理终端。
图1的异常声音判定系统1的结构是一个例子，例如异常声音判定装置10也可以由1台以上的信息处理终端(计算机)实现。例如，异常声音判定装置10也可以是将执行学习算法的处理的计算机和执行判定算法的处理的计算机分开的结构。这样，图1的异常声音判定系统1的结构是一个例子，当然根据用途和目的有各种系统结构例。
<硬件结构>
图1的异常声音判定装置10例如通过图2所示的硬件结构的计算机500来实现。
图2是本实施方式的计算机的一例的硬件结构图。图2所示的计算机500包括输入装置501、显示装置502、外部I/F503、RAM504、ROM505、CPU506、通信I/F507、以及HDD508。另外，输入装置501和显示装置502也可以是在需要时连接利用的方式。
输入装置501是操作者用于输入各种信号的触摸面板、操作键或按钮、键盘或鼠标等。显示装置502由显示画面的液晶或有机EL等显示器、输出声音或音乐等声音数据的扬声器等构成。通信I/F507是计算机500经由网络进行数据通信的接口。
HDD508是存储程序和数据的非易失性存储装置的示例。存储的程序和数据包括作为控制整个计算机500的基本软件的OS和在OS上提供各种功能的应用程序等。另外，计算机500可以利用使用闪存作为存储介质的驱动器装置(例如，固态驱动器：SSD等)来代替HDD508。
外部I/F503是与外部装置的接口。外部装置包括记录介质503a等。由此，计算机500能够经由外部I/F503进行记录介质503a的读取和/或写入。记录介质503a有软盘、CD、DVD、SD存储卡、USB存储器等。
ROM505是即使切断电源也能够保持程序或数据的非易失性半导体存储器(存储装置)的一例。在ROM505中存储计算机500起动时执行的BIOS、OS设定、以及网络设定等程序和数据。RAM504是暂时保存程序和数据的易失性的半导体存储器(存储装置)的一个例子。
CPU506是通过从ROM505或HDD508等存储装置将程序或数据读出到RAM504上并执行处理来实现计算机500整体的控制或功能的运算装置。根据本实施方式的异常声音判定装置10能够实现后述的各种功能块。
<软件结构>
《功能块》
对根据本实施方式的异常声音判定系统1的异常声音判定装置10的功能块进行说明。图3是本实施方式的异常声音判定装置的一例的功能框图。异常声音判定装置10通过执行程序来实现动作声音数据取得部50、周围声音数据取得部52、周围声音去除部54、异常声音判定部56以及显示控制部58。
动作声音数据取得部50接收麦克风14A测定的正常的产品16或异常声音判定对象的产品16的动作声音数据。周围声音数据取得部52接收麦克风14B测定的周围声音数据。
动作声音数据取得部50将取得的产品16的动作声音数据发送到周围声音去除部54以及异常声音判定部56。另外，周围声音数据取得部52将取得的周围声音数据发送到周围声音去除部54以及异常声音判定部56。
周围声音去除部54使用从动作声音数据取得部50接收到的产品16的动作声音数据以及从周围声音数据取得部52接收到的周围声音数据，进行例如图4A～图4C所示的从动作声音数据去除周围声音数据的影响等的修正，以减少周围声音数据的影响。另外，以下虽然有记载为“从动作声音数据中去除周围声音数据”的情况，但并不限定于完全去除周围声音数据的影响，也可以残留一部分影响。
图4A～4C是周围声音去除部的处理的一例的示意图。图4A表示产品16的动作声音数据的强度的时间变化的波形。另外，图4B表示周围声音数据的强度的时间变化的波形。如图4C所示，通过将基于图4B的周围声音数据的图4A的动作声音数据的异常部位减小强度地修正，来从产品的动作声音数据中去除周围声音数据。图4C所示的数据修正后的波形是图4A的动作声音数据的异常部位被修正后的波形。周围声音去除部54将去除了周围声音数据的影响的动作声音数据发送到异常声音判定部56。
异常声音判定部56进行后述的机器学习处理和异常声音判定处理。异常声音判定部56包括学习算法部60和判定算法部62。学习算法部60学习没有周围声音数据的影响的产品16的正常声音数据，并生成预测相对正常数据的偏差值的机器学习模型(AI)、以及预测偏差程度的机器学习模型(AI)。
判定算法部62通过利用学习算法部60制作的、预测相对正常数据的偏差值的机器学习模型、以及预测偏差程度的机器学习模型，判定异常声音判定对象的产品16的动作声音是否是异常声音。例如，如图5所示，由判定算法部62执行的异常声音判定处理被执行。图5是判定算法部进行的异常声音判定处理的一例的示意图。
如图5所示，用于预测相对正常数据的偏差值的机器学习模型可以使用自动编码器。使用了自动编码器的机器学习模型，已经学习了能够通过学习算法部60成功地复原产品16的正常声音数据的压缩方法。使用了自动编码器的机器学习模型被输入异常声音判定对象的产品16的动作声音数据，用学习完毕的压缩方法进行压缩之后复原。
判定算法部62将输入到使用了自动编码器的机器学习模型中的动作声音数据与通过使用了自动编码器的机器学习模型复原的动作声音数据的差分(偏差值)，预测为相对正常声音数据的异常声音判定对象的产品16的动作声音数据的偏差值。
另外，预测偏差程度的机器学习模型可以使用局部离群因子法(LOF)。使用LOF的机器学习模型已经学习了正常声音数据的偏差值的特征分布。使用了LOF的机器学习模型，如后所述，根据正常声音数据的偏差值的特征的分布与异常声音判定对象的产品16的动作声音数据的偏差值的特征的关系，能够预测异常声音判定对象的产品16的动作声音是正常还是异常。
例如，如图5所示，判定算法部62在表示动作声音数据的偏差值的“特征1”和“特征2”的图表上，将表示作为异常声音判定对象的产品16的动作声音数据的偏差值的特征的标绘(plot)、与表示正常声音数据的偏差值的特征的标绘的分布进行比较。如果表示正常声音数据的偏差值的特征的标绘的分布中包含表示异常声音判定对象的产品16的动作声音数据的偏差值的特征的标绘，则判定算法部62预测异常声音判定对象的产品16的动作声音为正常。另外，如果表示正常声音数据的偏差值的特征的标绘的分布中不包含表示异常声音判定对象的产品16的动作声音数据的偏差值的特征的标绘，则判定算法部62将异常声音判定对象的产品16的动作声音预测为异常。学习算法部60和判定算法部62的处理的细节将在后面描述。
返回图3,显示控制部58在显示装置502上显示需要向作业者提示的信息。例如，显示控制部58在显示装置502上显示异常声音判定部56预测的作为异常声音判定对象的产品16的动作声音是否正常的判定结果。显示控制部58不限于显示装置502的显示，也可以通过蜂鸣器或警报器的输出、灯具或灯的点亮等，向作业者提示信息。
另外，图3的功能框图对于根据本实施方式的异常声音判定系统1的说明中不需要的功能适当省略。
<处理>
图6是根据本实施方式的异常声音判定装置中的机器学习处理的一例的流程图。图7是本实施方式的异常声音判定装置中的机器学习处理的一例的示意图。
在步骤S10中，异常声音判定装置10从麦克风14A取得产品16的正常声音数据。在步骤S12中，异常声音判定装置10对正常声音数据进行短时傅里叶变换(STFT)，从而得到例如图7所示的正常声音数据的频域表现的特征量。异常声音判定装置10也可以在进行短时傅立叶变换之前，根据需要进行预处理(归一化、标准化、正则化)。
在步骤S14中，异常声音判定装置10让使用了自动编码器的机器学习模型学习能够良好地复原产品16的正常声音数据的压缩方法。学习结束后，从步骤S16进入步骤S18的处理，异常声音判定装置10向使用了自动编码器的学习完毕的机器学习模型输入正常声音数据的频域表现的特征量。
使用了自动编码器的学习完毕的机器学习模型，在用学习完毕的压缩方法对输入的正常声音数据的频域表现的特征量(以下，称为正常声音输入数据)进行压缩之后进行复原。使用了自动编码器的学习完毕的机器学习模型输出例如图7所示那样的复原后的正常声音数据的频域表现的特征量(以下称为正常声音复原数据)。
在步骤S20中，异常声音判定装置10取得正常声音输入数据和正常声音复原数据之间的如图7所示的差分数据。在步骤S22中，异常声音判定装置10例如如图7所示，在时间方向和频率方向分别对差分数据取平均，计算时间方向的平均值和频率方向的平均值。
在步骤S24至S30中，异常声音判定装置10对计算出的时间方向上的平均值执行处理。另外，在步骤S32至S38中，异常声音判定装置10对计算出的频率方向的平均值进行处理。
在步骤S24中，异常声音判定装置10让使用LOF的机器学习模型学习计算出的时间方向的平均值。学习结束后，从步骤S26进入步骤S28的处理，异常声音判定装置10向使用了LOF的学习完毕的机器学习模型输入时间方向的平均值并输出得分(异常度)。在步骤S30,异常声音判定装置10获得得分的分布，并且将指示3σ的位置的得分的值决定为异常判定的阈值(阈值1)。
另外，在步骤S32中，异常声音判定装置10以计算出的频率方向的平均值让使用了LOF的机器学习模型学习。学习结束后，从步骤S34进入步骤S36的处理，异常声音判定装置10向使用了LOF的学习完毕的机器学习模型输入频率方向的平均值并输出得分(异常度)。在步骤S38,异常声音判定装置10获得得分的分布，并且将指示3σ的位置的得分的值决定为异常判定的阈值(阈值2)。
异常声音判定装置10在使用了图6以及图7的机器学习处理之后，进行图8～图10所示的异常声音判定处理。图8是本实施方式的异常声音判定装置中的异常声音判定处理的一例的流程图。图9以及图10是本实施方式的异常声音判定装置中的异常声音判定处理的一例的示意图。
在步骤S50中，异常声音判定装置10从麦克风14A取得作为异常声音判定对象的产品16的动作声音数据。在步骤S52中，异常声音判定装置10通过对异常声音判定对象的产品16的动作声音数据进行短时傅立叶变换，得到异常声音判定对象的产品16的动作声音数据的频域表现的特征量。
在步骤S54中，异常声音判定装置10将异常声音判定对象的产品16的动作声音数据的频域表现的特征量输入到使用了通过利用图6和图7说明的机器学习处理而学习完毕的自动编码器的机器学习模型中。
使用了自动编码器的学习完毕的机器学习模型，在用学习完毕的压缩方法对输入的异常声音判定对象的产品16的动作声音数据的频域表现的特征量(以下，称为动作声音输入数据)进行压缩之后进行复原。另外，使用了自动编码器的学习完毕的机器学习模型输出复原后的动作声音数据的频域表现的特征量(以下称为动作声音复原数据)。
在步骤S56中，异常声音判定装置10取得动作声音输入数据和动作声音复原数据的差分数据。在步骤S58中，异常声音判定装置10分别在时间方向和频率方向上对差分数据取平均，计算时间方向的平均值和频率方向的平均值。时间方向的平均值用于检测可能间歇性地发生的异常声音的处理。此外，频率方向的平均值用于检测可能常时发生的异常声音的处理。
在步骤S60中，异常声音判定装置10向使用了LOF的学习完毕的机器学习模型输入时间方向的平均值，并输出得分(score1)。在步骤S62中，异常声音判定装置10比较在步骤S60中输出的得分(score1)和在机器学习处理中决定的异常判定的阈值(阈值1)。
如果在步骤S60中输出的得分(score1)大于在机器学习处理中决定的异常判定的阈值(阈值1)，则异常声音判定装置10进行在去除周围声音的影响之后进行动作声音的判定的步骤S64～S68的处理。在步骤S64中，异常声音判定装置10确认从麦克风14B取得的周围声音数据。异常声音判定装置10通过对周围声音数据进行短时傅立叶变换，得到例如图9所示的周围声音数据的频域表现的特征量。此外，如图9所示，异常声音判定装置10通过预处理计算时间方向上的平均值。
在步骤S66,异常声音判定装置10比较在步骤S58中计算出的时间方向的平均值和在步骤S64中计算出的周围声音数据的时间方向的平均值。如图9所示，异常声音判定装置10修正步骤S58中计算出的时间方向的平均值，以使超过阈值的峰值的一致部分变小。通过步骤S66的处理，异常声音判定装置10如果有突发地在周围产生的强声音(例如叉车的喇叭或打击声音等)，则能够消除该声音的影响。在步骤S68,异常声音判定装置10将在步骤S66中修正的时间方向的平均值输入到使用了LOF的学习完成的机器学习模型中，并输出得分(score1)。在步骤S70中，异常声音判定装置10比较在步骤S68中输出的得分(score1)和在机器学习处理中决定的异常判定的阈值(阈值1)。
如果在步骤S68中输出的得分(score1)大于在机器学习处理中决定的异常判定的阈值(阈值1)，则异常声音判定装置10在步骤S84中判定作为异常声音判定对象的产品16的动作为异常。
如果在步骤S60中输出的得分(score1)不大于在机器学习处理中决定的异常判定的阈值(阈值1)，或者如果在步骤S68中输出的得分(score1)不大于在机器学习处理中决定的异常判定的阈值(阈值1)，则异常声音判定装置10进行步骤S72的处理。
在步骤S72中，异常声音判定装置10向使用了LOF的学习完毕的机器学习模型输入频率方向的平均值并输出得分(score2)。在步骤S74中，异常声音判定装置10对在步骤S72中输出的得分(score2)与在机器学习处理中决定的异常判定的阈值(阈值2)进行比较。
如果在步骤S72中输出的得分(score2)大于在机器学习处理中决定的异常判定的阈值(阈值2)，则异常声音判定装置10在去除周围声音的影响之后进行：进行动作声音的判定的步骤S76～S80的处理。在步骤S76中，异常声音判定装置10确认从麦克风14B取得的周围声音数据。异常声音判定装置10通过对周围声音数据进行短时傅立叶变换，得到例如图10所示的周围声音数据的频域表现的特征量。此外，如图10所示，异常声音判定装置10通过预处理计算频率方向的平均值。
在步骤S78中，异常声音判定装置10比较在步骤S72中计算出的频率方向的平均值和在步骤S76中计算出的周围声音数据的频率方向的平均值，如图10所示，修正在步骤S72中计算出的频率方向的平均值，以使峰值的一致部分变小。通过步骤S78的处理，如果存在周期性地在周围产生的声音(例如警报器、其他设备的运转声音等)，异常声音判定装置10能够去除该声音的影响。
在步骤S80,异常声音判定装置10将在步骤S78中修正的频率方向的平均值输入到使用了LOF的学习完成的机器学习模型中，并输出得分(score2)。在步骤S82中，异常声音判定装置10将在步骤S80中输出的得分(score2)与在机器学习处理中决定的异常判定的阈值(阈值2)进行比较。
如果在步骤S80中输出的得分(score2)大于在机器学习处理中决定的异常判定的阈值(阈值2)，则异常声音判定装置10在步骤S84中判定异常声音判定对象的产品16的动作为异常。
如果在步骤S72中输出的得分(score2)不大于在机器学习处理中决定的异常判定的阈值(阈值2)，或者如果在步骤S80中输出的得分(score2)不大于在机器学习处理中决定的异常判定的阈值(阈值2)，则异常声音判定装置10进行步骤S86的处理。在步骤S86的处理中，异常声音判定装置10判定异常声音判定对象的产品16的动作为正常。
根据上述本实施方式的异常声音判定系统1例如能够适用于生产线的异常声音检查。在生产线的异常声音检查中，有时操作者会听取因部件干涉等产生的异常声音来进行判断。然而，操作者对异常声音的判断标准依赖于操作者的判断。因此，在由操作者进行的异常声音检查中，存在因操作者的不同而在产品16的动作声音的判定结果中产生偏差的情况。
在根据本实施方式的异常声音判定系统1中，通过正常的产品16的动作声音数据(正常声音数据)来学习机器学习模型，根据正常声音数据的特征与异常声音判定对象的产品16的动作声音数据的特征的偏差程度，能够自动判定异常声音判定对象的产品16的动作声音的异常。
因此，在本实施方式的异常声音判定系统1中，能够使产品16的异常声音检查自动化，能够节省异常声音检查人员。
以上，对本实施方式进行了说明，但可以理解，在不脱离权利要求的主旨和范围的情况下，可以进行形式和细节的各种变更。
例如，在上述实施方式中，对于使用了LOF的机器学习模型，进行使用了时间方向的平均值的学习和使用了频率方向的平均值的学习这两者，但也可以只进行一方。另外，在上述实施方式中，在动作声音不正常时进行去除周围声音的影响的处理，但也可以预先从动作声音数据中去除周围声音的影响。
例如异常声音判定装置10取得的信息不限于麦克风14A和14B的声压，也可以是由振动传感器测定的数据、电流电压波形、其他时间序列数据。
使用自动编码器的机器学习模型是一个例子，例如也可以是使用VAE(variational autoencoder)或GAN(generative adversarial networks)等其他深度学习方法的机器学习模型。
另外，频率方向、时间方向的平均值的计算也可以不是在差分数据的生成后求出，而是在自动编码器的输入前计算各平均值并使其学习。生成差分数据后，输入到使用了LOF的机器学习模型中的数据不限于平均值，也可以使用其他的统计量(分布式、最大、最小等)。另外，也可以通过主成分分析等对平均值进行维度压缩。
另外，使用LOF的机器学习模型是一个例子，不限于LOF,也可以使用马氏距离、one-class SVM、isolation forest等其他的机器学习的方法。或者，也可以与自动编码器并列地使用这些机器学习的方法进行集成学习。另外，动作声音的判定结果除了表示异常度的得分以外，也可以是表示正常/异常的0/1的标签。现场工作人员可以根据需要改变用于决定正常/异常的阈值。另外，本实施方式的异常声音判定系统1在是充分寂静的环境时，也可以关闭(OFF)周围声音去除部54的功能。
以上，基于实施例对本发明进行了说明，但本发明并不限定于上述实施例，在权利要求书所记载的范围内可以进行各种变形。本申请主张2021年2月15日向日本专利局申请的基础申请2021—022070号的优先权，通过参照将其全部内容引用于此。
【符号说明】
1 异常声音判定系统
10 异常声音判定装置
12 检查装置
14A、14B 麦克风
16 产品
50 动作声音数据取得部
52 周围声音数据取得部
54 周围声音消除部
56 异常声音判定部
58 显示控制器
60 学习算法部
62 判定算法部。
Claims (10)
1.一种异常声音判定系统，包括：
动作声音数据取得单元，其取得产品的动作声音数据；
周围声音数据取得单元，其取得周围声音数据；
修正单元，其根据所述动作声音数据修正所述周围声音数据；
判定单元，根据修正了所述周围声音数据的所述动作声音数据来判定所述产品的动作声音。
2.根据权利要求1所述的异常声音判定系统，其特征在于，
所述动作声音数据取得单元，通过麦克风对设置在隔声盒内的产品的动作声音进行拾取。
3.根据权利要求1所述的异常声音判定系统，其特征在于，
所述周围声音数据取得单元，通过麦克风来拾取在隔声盒外产生的周围声音。
4.根据权利要求1所述的异常声音判定系统，其特征在于，
所述判定单元使用多个机器学习模型。
5.根据权利要求1至4中任一项所述的异常声音判定系统，其特征在于，
所述修正单元根据所述周围声音数据修正所述动作声音数据。
6.根据权利要求1至5中任一项所述的异常声音判定系统，其中，
所述判定单元利用由第1机器学习模型和第2机器学习模型构成的判定算法，
该第1机器学习模型，学习所述产品的正常声音数据，预测所述产品的动作声音相对所述产品的正常声音数据的偏差值，
该第2机器学习模型，学习由所述第1机器学习模型预测的所述产品的正常声音数据的所述偏差值的偏差程度，在所述产品的动作声音的所述偏差值的偏差程度比阈值大的情况下，预测所述产品的动作声音为异常。
7.根据权利要求6所述的异常声音判定系统，其特征在于，
所述第1机器学习模型使用自编码器(自动编码器)。
8.根据权利要求6或7所述的异常声音判定系统，其特征在于，
所述第2机器学习模型使用局部离群因子法(Local Outlier Factor：LOF)。
9.一种异常声音判定装置，具备：
动作声音数据取得单元，其取得产品的动作声音数据；
周围声音数据取得单元，其取得周围声音数据；
修正单元，其根据所述动作声音数据修正所述周围声音数据；
判定单元，根据修正了所述周围声音数据的所述动作声音数据来判定所述产品的动作声音。
10.一种程序，使计算机执行如下步骤：
动作声音数据取得步骤，其取得产品的动作声音数据；
周围声音数据取得步骤，其取得周围声音数据；
修正步骤，其根据所述动作声音数据修正所述周围声音数据；
判定步骤，根据修正了所述周围声音数据的所述动作声音数据来判定所述产品的动作声音。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021022070 | 2021-02-15 | ||
| JP2021-022070 | 2021-02-15 | ||
| PCT/JP2022/005702 WO2022173041A1 (ja) | 2021-02-15 | 2022-02-14 | 異常音判定システム、異常音判定装置、及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116848390A true CN116848390A (zh) | 2023-10-03 |
Family
ID=82838367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280013256.9A Pending CN116848390A (zh) | 2021-02-15 | 2022-02-14 | 异常声音判定系统、异常声音判定装置以及程序 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7288218B2 (zh) |
| CN (1) | CN116848390A (zh) |
| WO (1) | WO2022173041A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7525137B1 (ja) | 2024-02-22 | 2024-07-30 | Ｓｉシナジーテクノロジー株式会社 | 学習済みオートエンコーダ、学習済みオートエンコーダの生成方法、非定常音の検出方法、非定常音の検出装置、並びにコンピュータプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006126141A (ja) * | 2004-11-01 | 2006-05-18 | Nidec Copal Corp | 異音判定装置、異音判定方法及びプログラム |
| JP2007263639A (ja) * | 2006-03-28 | 2007-10-11 | Jfe Steel Kk | 設備の異常診断方法及び装置 |
| JP6980270B2 (ja) * | 2017-08-25 | 2021-12-15 | 地方独立行政法人東京都立産業技術研究センター | 背景騒音下における対象音の近似官能評価方法および背景騒音下における対象音の近似官能評価システム |
| KR20200144398A (ko) * | 2019-06-18 | 2020-12-29 | 삼성전자주식회사 | 클래스 증가 학습을 수행하는 장치 및 그의 동작 방법 |
-
2022
- 2022-02-10 JP JP2022019218A patent/JP7288218B2/ja active Active
- 2022-02-14 CN CN202280013256.9A patent/CN116848390A/zh active Pending
- 2022-02-14 WO PCT/JP2022/005702 patent/WO2022173041A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022173041A1 (ja) | 2022-08-18 |
| JP2022124477A (ja) | 2022-08-25 |
| JP7288218B2 (ja) | 2023-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10349173B2 (en) | Control and protection of loudspeakers | |
| US11120127B2 (en) | Reconstruction-based anomaly detection | |
| EP3120576B1 (en) | Non-linear control of loudspeakers | |
| CN107636619B (zh) | 信息处理装置、信息处理系统、信息处理方法及记录介质 | |
| JP4794010B2 (ja) | タッチセンサ装置、制御方法、タッチパネル装置、及びプログラム | |
| US20240046953A1 (en) | Sound data processing method, sound data processing device, and program | |
| US11609157B2 (en) | Learning apparatus, diagnostic apparatus, and learning method | |
| US11425197B2 (en) | Condition monitoring device and method | |
| CN116848390A (zh) | 异常声音判定系统、异常声音判定装置以及程序 | |
| US20140028221A1 (en) | Method of Adaptively Tuning Motor Speed | |
| CN110678821B (zh) | 处理装置、处理方法和程序 | |
| CN114689208A (zh) | 异常温度检测装置、异常温度检测方法以及异常温度检测程序 | |
| US20080255773A1 (en) | Machine condition monitoring using pattern rules | |
| US20220129748A1 (en) | System and method for monitoring a machine | |
| WO2020003635A1 (ja) | 測定端末、測定システム、測定方法およびプログラム | |
| WO2019235035A1 (ja) | 収音解析システム及び収音解析方法 | |
| CN111796792B (zh) | 一种手势动作判断方法、装置、电子设备和存储介质 | |
| US20230012559A1 (en) | Abnormal sound identification device, abnormal sound identification method, and non-transitory storage medium | |
| WO2019185015A1 (zh) | 一种压电传感器信号噪声去除方法 | |
| CN112415292B (zh) | 压电器件在线检测装置及方法 | |
| CN114264365A (zh) | 风噪检测方法、装置、终端设备及存储介质 | |
| JP6625270B1 (ja) | 表示データ生成装置、表示データ生成方法及びプログラム | |
| JP2012173200A (ja) | 異常状態検出方法および電子機器 | |
| CN112304417A (zh) | 振动波形的直流干扰的去除 | |
| JP2021039172A (ja) | 疑似異音生成装置および制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |