JP2006058051A - Acoustic test method and device - Google Patents

Acoustic test method and device Download PDF

Info

Publication number
JP2006058051A
JP2006058051A JP2004237925A JP2004237925A JP2006058051A JP 2006058051 A JP2006058051 A JP 2006058051A JP 2004237925 A JP2004237925 A JP 2004237925A JP 2004237925 A JP2004237925 A JP 2004237925A JP 2006058051 A JP2006058051 A JP 2006058051A
Authority
JP
Japan
Prior art keywords
sound signal
conversion
frequency
signal
frequency axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004237925A
Other languages
Japanese (ja)
Inventor
Itsuo Ishikawa
石川稜威男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamanashi TLO Co Ltd
Original Assignee
Yamanashi TLO Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamanashi TLO Co Ltd filed Critical Yamanashi TLO Co Ltd
Priority to JP2004237925A priority Critical patent/JP2006058051A/en
Publication of JP2006058051A publication Critical patent/JP2006058051A/en
Pending legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide a means capable of determining simply and surely a proper processing condition of a sound signal differentiated by an inspection object, in an acoustic test method using a processing means of the sound signal and a neural network (NNW). <P>SOLUTION: A digitized sound signal is processed in each step for frequency analysis, coordinate axis conversion, coordinate axis division, averaging processing, and compression processing of intensity/amplitude, and then inputted into the NNW, and learning by learing data and abnormality determination of an inspection object sound are performed. A frequency axis conversion mode or a power exponent in the compression processing is changed by using a test data set with a teacher separately from the learning data, and it is determined whether the test data set is normal or not, and a coordinate axis conversion mode wherein the correct answer rate becomes highest or the optimum condition for the power exponent in the compression processing are determined, and the abnormality determination of the inspection object sound is performed in this condition. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、ニューラルネットワークを用いた音響検査方法に関し、とくに打診音により製品の異常の有無を判定するのに好適で、音信号の加工手段により判定の的中率を高めることのできる音響検査方法とこれに用いる検査装置に関する。   The present invention relates to an acoustic inspection method using a neural network, and is particularly suitable for determining the presence / absence of an abnormality of a product by a percussion sound, and an acoustic inspection method capable of increasing the accuracy of determination by a sound signal processing means. And an inspection apparatus used therefor.

従来から各種の製品や装置の異常の有無を判定する検査方法として、検査対象の音響信号の周波数スペクトルを求め、各周波数成分の振幅値と閾値とを比較して、異常の有無を判定する音響検査方法が広く用いられている。しかしこの方法は、判定精度を高めようとすると、分割する周波数帯域の数を多くする必要があり、適切な閾値を設定する手間が過大になるという問題があった。   Conventionally, as an inspection method for determining the presence / absence of abnormalities in various products and devices, the acoustic spectrum for determining the presence / absence of an abnormality by obtaining the frequency spectrum of the acoustic signal to be inspected and comparing the amplitude value of each frequency component with a threshold Inspection methods are widely used. However, this method has a problem in that it is necessary to increase the number of frequency bands to be divided in order to increase the determination accuracy, and the effort for setting an appropriate threshold becomes excessive.

これを解決するため、音響信号の周波数解析結果を、ニューラルネットワーク(以下、NNWと略記する)に入力して、異常の有無を判定する音響検査方法も広く試みられるようになってきた(例えば下記の非特許文献1、特許文献1など)。この方法は、NNWの入力層に各周波数帯域の音信号を入力し、その出力値を閾値と比較して異常を判定するものであるが、学習データを用いて、NNWのパラメータの値を学習することにより、判定精度を高めることができる。   In order to solve this, an acoustic inspection method for inputting the result of the frequency analysis of the acoustic signal into a neural network (hereinafter abbreviated as NNW) and determining the presence or absence of an abnormality has been widely attempted (for example, the following). Non-Patent Document 1, Patent Document 1, etc.). In this method, sound signals in each frequency band are input to the input layer of the NNW, and the output value is compared with a threshold value to determine an abnormality. The learning data is used to learn the values of the NNW parameters. By doing so, the determination accuracy can be increased.

しかし、この方法でも、学習データを用いてNNWのパラメータの値を学習する過程において、入力の与え方や条件設定等の巧拙があり、効率良くNNWの学習を行なうには、かなりの熟練を要するという問題があった。また、検査対象の音信号の種類によっては、学習したNNWを用いても、異常判定の的中率が必ずしも向上しないという問題もあった。
R.P.Gorman et al.:Neural Networks Vol.1,Issue1,1988 pp.75-89 特開平11−241945号公報
However, even in this method, there is a skill in how to give the input and setting conditions in the process of learning the NNW parameter values using the learning data, and considerable skill is required to efficiently learn the NNW. There was a problem. In addition, depending on the type of sound signal to be inspected, there is a problem that even if a learned NNW is used, the accuracy of abnormality determination is not necessarily improved.
RPGorman et al .: Neural Networks Vol.1, Issue 1,1988 pp.75-89 JP-A-11-241945

本発明者らは、人の聴覚特性を模擬して加工した音響検査の打診音を、階層型のNNWに入力して異常(とくに瓶の欠陥)を判定する方法について、種々の検討を行なってきた。かかる音信号の加工には、音信号を複数の周波数帯域に分割し、各帯域での音圧の圧縮処理(出力音圧を入力音圧のn乗(n<1)として、小さな音を相対的に大きくする処理)や、周波数軸を人間の聴覚特性にならって変換する処理(例えば対数変換や指数変換など)が含まれる。その結果、音信号に何らかの加工をしてNNWに入力したときに、元の音信号のまま入力するより、判定の的中率が大幅に向上する場合があることを知見した。   The present inventors have made various studies on a method for judging abnormalities (particularly, bottle defects) by inputting acoustic test percussion sounds processed by simulating human auditory characteristics into a hierarchical NNW. It was. For processing such a sound signal, the sound signal is divided into a plurality of frequency bands, and sound pressure compression processing in each band (the output sound pressure is set to the nth power of the input sound pressure (n <1)) For example, logarithmic transformation and exponential transformation). As a result, it has been found that when the sound signal is processed and input to the NNW, the hit rate of the determination may be greatly improved as compared to inputting the original sound signal as it is.

しかし、検査対象は多様であり、如何なる加工が的中率の向上に有効であるかは、一律に論ずることができない。同じ圧縮処理でも、冪指数nの値によって的中率に差が生じるし、当然ながら周波数軸の変換処理モードによっても大きく相違する。例えば、瓶の欠陥検査の場合、ビール瓶とコーラ瓶の欠陥では、最も高い的中率が得られる周波数軸の変換処理モードや冪指数nの値が大きく相違する。従来は、検査対象の種類によって、試行錯誤しながら適正な音信号の加工条件を探索する必要が有り、実際に打音検査に着手する前の、事前検討の手間がきわめて大きいという問題があった。   However, there are various inspection objects, and it is impossible to uniformly discuss what kind of processing is effective in improving the hit rate. Even in the same compression process, a difference occurs in the hit rate depending on the value of the power index n, and naturally, it is greatly different depending on the conversion process mode of the frequency axis. For example, in the case of a bottle defect inspection, the frequency axis conversion processing mode and the value of the heel index n for obtaining the highest hit rate are greatly different between beer bottle and cola bottle defects. Previously, it was necessary to search for appropriate sound signal processing conditions through trial and error depending on the type of inspection object, and there was a problem that the time required for prior examination before actually starting the hammering test was extremely large. .

また、かかる音響検査はすでに実用化の段階に入っていると言えるが、実際の生産ラインにこれを適用するには、上述のような音信号の加工条件の選択や学習データによる学習
に手間取ることなく、自動的にこれを行いうること、およびかかる条件の選択に熟練を要することなく、誰にでも操作可能であることが求められる。
Moreover, it can be said that such acoustic inspection has already entered the stage of practical application, but in order to apply it to an actual production line, it takes time to select the processing conditions of the sound signal as described above and to learn by learning data. It is required that this can be done automatically, and that anyone can operate it without requiring skill in selecting such conditions.

そこで本発明は、音信号の加工手段とニューラルネットワーク(NNW)を用いる音響検査方法において、検査対象によって相違する音信号の適正加工条件を、簡便かつ確実に決定することのできる手段を提供し、これにより異常有無の判定の的中率を従来より大幅に高め得る音響検査方法と検査装置を提供することを課題としている。   Therefore, the present invention provides means that can easily and reliably determine an appropriate processing condition of a sound signal that differs depending on an inspection object in a sound inspection method using a sound signal processing means and a neural network (NNW). Accordingly, an object of the present invention is to provide an acoustic inspection method and an inspection apparatus that can significantly increase the accuracy of determining whether there is an abnormality or not.

また本発明は、上記の音信号の適正加工条件を自動的に決定しうる手段を提供
し、これにより、かかる音響検査に格別の熟練を要することなく、何人にもこれ
を実施可能にすることを課題としている。
In addition, the present invention provides means for automatically determining the appropriate processing conditions for the above sound signals, thereby making it possible for any person to carry out the sound inspection without requiring special skills. Is an issue.

上記課題を解決するための本発明の音響検査方法は、
周波数解析した音信号を、学習データセットを使用して学習したニューラルネットワークの入力層に入力し、その出力により検査対象の音信号が正常状態か異常状態かを判定する音響検査方法であって、
デジタル化された音信号を周波数解析してその周波数スペクトルを得るステップと、該スペクトルの周波数軸を変換するステップと、変換された周波数軸をニューラルネットワークの入力ユニット数Nと同数の周波数帯域に分割するステップと、この分割された帯域内の音信号の強度または振幅をそれぞれ平均化するステップと、この平均化された音信号をニューラルネットワークの各入力ユニットに入力して、学習データセットによる学習及び検査対象音信号が正常か否かの判定を行なうステップとを具備することを特徴とする。
The acoustic inspection method of the present invention for solving the above problems is as follows.
An acoustic inspection method for inputting a sound signal subjected to frequency analysis to an input layer of a neural network learned using a learning data set, and determining whether the sound signal to be inspected is in a normal state or an abnormal state based on an output thereof,
Frequency analysis of digitized sound signal to obtain its frequency spectrum, step of converting the frequency axis of the spectrum, and dividing the converted frequency axis into the same number of frequency bands as the number N of input units of the neural network A step of averaging the intensity or amplitude of the sound signal in the divided band, respectively, and inputting the averaged sound signal to each input unit of the neural network, And determining whether or not the inspection target sound signal is normal.

上記の方法によれば、ニューラルネットワークを使用する音響検査において、音信号の周波数軸を人間の聴覚特性に倣って変換してから周波数分割して、ニューラルネットワークに入力することが可能になり、人間の官能による音響検査に近づけることができる。そのため、かかる変換を行なわずにニューラルネットワークに入力する場合よりも、異常判定の的中率を向上させることができる場合が多い。   According to the above method, in an acoustic test using a neural network, the frequency axis of a sound signal is converted in accordance with human auditory characteristics and then frequency-divided and input to the neural network. It can be close to the acoustic inspection by the sensuality. Therefore, in many cases, the hit ratio of abnormality determination can be improved as compared with the case of inputting to a neural network without performing such conversion.

上記の音響検査方法においては、前記の平均化ステップで周波数帯域毎に平均化された音信号を入力して、その強度または振幅を下記(1)式の関係を満たすように圧縮処理するステップを設け、該ステップで圧縮処理された信号を前記ニューラルネットワークの各入力ユニットに入力することが好ましい。   In the acoustic inspection method, the step of inputting the sound signal averaged for each frequency band in the averaging step and compressing the intensity or amplitude so as to satisfy the relationship of the following equation (1): It is preferable that the signal compressed in the step is input to each input unit of the neural network.

W = C・I ………(1)
ここで、I:圧縮処理ステップへの入力信号
W:圧縮処理ステップからの出力信号
C:比例定数
n:処理目的に応じて設定される冪指数で、入力信号が強度のとき
0<n<0.5、振幅のとき0<n<1
かかる圧縮処理により、入力信号が大きい範囲では出力信号が相対的に小さく、入力信号が小さい範囲で相対的に大きくなる。そのため、比較的大きな打診自体の音響の中から、異状時の小さな音信号をキャッチすることが容易になり、異常判定の的中率の向上を図ることができる。
W = C · I n (1)
Here, I: Input signal to the compression processing step W: Output signal from the compression processing step C: Proportional constant n: Power exponent set according to the processing purpose, when the input signal is strength
0 <n <0.5, 0 <n <1 when amplitude
By such compression processing, the output signal is relatively small in the range where the input signal is large, and relatively large in the range where the input signal is small. Therefore, it becomes easy to catch a small sound signal at the time of abnormality from the sound of relatively large percussion itself, and the accuracy of abnormality determination can be improved.

また、上記の音響検査方法においては、前記学習データセットとは別に、各複数の正常状態及び異常状態の音信号からなる試験データセットを使用し、前記の周波数軸変換ステップにおける周波数軸変換モードを複数選択して、選択された各変換モードにおいて、学習データセットによる学習及び前記試験データセットについて正常か否かの判定を行い、
この判定によりこれらの変換モードのうちで正答率が最高になる変換モードを定め、定められた変換モードを用いて、学習データセットによる学習及び検査対象音信号が正常か否かの判定を行なうことが好ましい。
In the acoustic inspection method, a test data set including a plurality of normal and abnormal sound signals is used separately from the learning data set, and the frequency axis conversion mode in the frequency axis conversion step is set. A plurality of selected, in each of the selected conversion modes, learning by the learning data set and determining whether the test data set is normal,
By this determination, a conversion mode in which the correct answer rate is the highest among these conversion modes is determined, and learning based on the learning data set and determination of whether the inspection target sound signal is normal or not are performed using the determined conversion mode. Is preferred.

前述した周波数軸を変換する方法において、如何なる変換モードが的中率の向上に最も有効かは、検査対象の音信号によって相違し、一律に論ずることができない。従来は最適な周波数軸変換モードを試行錯誤して定める必要があり、そのための手間が過大になるという問題があった。これに対して、上記の方法によれば、一定の計算プログラムを用いて上記の試行を自動的に行なうことが可能になり、試行の手間が著しく軽減されるとともに、「かかる検査を熟練を要することなく実施可能にする」という本発明の目的を容易に達成することができる。   In the above-described method of converting the frequency axis, which conversion mode is most effective for improving the hit rate differs depending on the sound signal to be inspected, and cannot be discussed uniformly. Conventionally, it has been necessary to determine an optimal frequency axis conversion mode by trial and error, and there has been a problem that the labor for that is excessive. On the other hand, according to the above method, the above trial can be automatically performed using a certain calculation program, and the labor of the trial is remarkably reduced. The object of the present invention can be easily achieved.

さらに、上記の音響検査方法においては、前記の周波数軸変換ステップにおける周波数軸変換モードとして、対数変換、冪指数変換、メル変換、bark変換等の周波数軸圧縮変換及び線形変換よりなる群から2種以上を選択するとともに、(1)式における冪指数nを入力信号が強度のとき0<n<0.5、振幅のとき0<n<1の範囲の値を含む数値で2段階以上に変えて、この変換モードとn値の各組合せにおいて学習データセットによる学習及び前記試験データセットについて正常か否かの判定を行い、この判定によりこれらの組合せのうちで正答率が最高になるものを定め、定められた変換モードとn値の組合せを用いて、学習データセットによる学習及び検査対象音信号が正常か否かの判定を行ってもよい。   Furthermore, in the acoustic inspection method, the frequency axis conversion mode in the frequency axis conversion step includes two types from the group consisting of frequency axis compression conversion such as logarithmic conversion, power exponent conversion, mel conversion, and bark conversion, and linear conversion. In addition to selecting the above, the power index n in the equation (1) is changed to two or more levels with numerical values including values in the range of 0 <n <0.5 when the input signal is strong and 0 <n <1 when the input signal is amplitude Then, in each combination of the conversion mode and the n value, learning by the learning data set and determination as to whether the test data set is normal or not are performed, and by this determination, the combination having the highest correct answer rate is determined. Further, using the combination of the determined conversion mode and the n value, the learning by the learning data set and the determination as to whether the inspection target sound signal is normal may be performed.

このように構成することによって、異常判定の的中率の向上に最も有効な、周波数軸変換モードと圧縮処理における冪指数nの値の組合せを、自動的に定めることが可能になり、的中率の向上にさらに有効な手段を提供することができる。   By configuring in this way, it becomes possible to automatically determine the combination of the frequency axis conversion mode and the value of the power index n in the compression processing, which is most effective for improving the accuracy of abnormality determination. A more effective means for improving the rate can be provided.

本発明の音響検査装置は、上記の検査方法を実施するための装置であって、
デジタル化された音信号を周波数解析して周波数スペクトルを得る手段と、該スペクトルの周波数軸を変換する手段と、この変換された周波数軸を複数の周波数帯域に分割する手段と、この分割された帯域内の信号強度または振幅をそれぞれ平均化する手段と、この平均化された音信号を前記(1)式の関係を満たすように圧縮処理する手段と、この圧縮処理された信号を入力して学習及び検査対象音信号が正常か否かの判定を行なうニューラルネットワークを備えたことを特徴とする音響検査装置である。
An acoustic inspection apparatus of the present invention is an apparatus for carrying out the above inspection method,
Means for frequency analysis of a digitized sound signal to obtain a frequency spectrum; means for converting the frequency axis of the spectrum; means for dividing the converted frequency axis into a plurality of frequency bands; A means for averaging the signal strength or amplitude in the band, a means for compressing the averaged sound signal so as to satisfy the relationship of the above equation (1), and the compressed signal are input. An acoustic inspection apparatus comprising a neural network that determines whether learning and inspection target sound signals are normal.

本発明により、音信号の加工手段とニューラルネットワーク(NNW)を用いる音響検査方法において、検査対象によって相違する音信号の適正加工条件を、簡便かつ確実に決定することが可能になり、これにより異常有無の判定の的中率を従来より大幅に高めることができるようになった。   According to the present invention, in an acoustic inspection method using a sound signal processing means and a neural network (NNW), it is possible to easily and surely determine an appropriate processing condition of a sound signal that differs depending on an inspection object, thereby causing abnormalities. The accuracy of the presence / absence determination can be greatly increased compared to the conventional method.

また本発明によれば、かかる音響検査に格別の熟練を要することなく、何人にも実施可能になり、かかる検査の普及に寄与することができる。   Further, according to the present invention, the acoustic inspection can be performed by any number of people without requiring special skills, and can contribute to the spread of the inspection.

本発明の音響検査方法は、入力音信号に一定の加工を施したのち、学習したNNWで判定を行なうものであるが、教師信号あり(正常か異常か既知の)試験データを用いて、音信号の加工条件の最適化を行なったのち、検査対象データについて異常の有無の判定を行なうことを特徴とするものである。したがって、その操作手順は、図1のブロック図に示すように、最適化処理と検査の2工程に分けられる。   In the acoustic inspection method of the present invention, input sound signals are subjected to certain processing and then determined by the learned NNW. However, the test data with the teacher signal (normal or known) is used to determine the sound. After optimizing the signal processing conditions, the presence or absence of abnormality is determined for the inspection target data. Therefore, as shown in the block diagram of FIG. 1, the operation procedure is divided into two processes of optimization processing and inspection.

最適化処理及び検査のいずれの工程も、音信号の加工の内容は、デジタル化された音信号を周波数解析して周波数スペクトルを得て(S1、T1)、この周波数スペクトルの周波数軸を特定の周波数軸変換モードで変換し(S2、T2)、変換された周波数軸において、周波数帯域をNNWのニューロン数(N)と同数に分割(原則的には等分割)して、それぞれの帯域で信号強度または振幅を平均化し(S3、T3)、この平均化された信号を前記(1)式の関係を満たすように振幅・強度の圧縮処理を行う(S4、T4)という点で同じである。また、この加工した信号をNNWの各ニューロンに入力して、その出力値により判定を行なうことも同様である。   In both the optimization process and the inspection process, the content of the sound signal processing is obtained by analyzing the frequency of the digitized sound signal to obtain a frequency spectrum (S1, T1), and specifying the frequency axis of this frequency spectrum. Conversion is performed in the frequency axis conversion mode (S2, T2). In the converted frequency axis, the frequency band is divided into the same number as the number of NNW neurons (N) (in principle, equal division), and a signal is transmitted in each band. This is the same in that the intensity or amplitude is averaged (S3, T3), and the averaged signal is subjected to an amplitude / intensity compression process (S4, T4) so as to satisfy the relationship of equation (1). Similarly, the processed signal is input to each neuron of the NNW and the determination is made based on the output value.

最適化処理の内容は、検査対象に応じて、ステップS2における周波数軸変換モードとステップS4における圧縮処理の冪指数((1)式のn)の値の最適なものを選択することである。すなわち、候補となる周波数軸変換モード(以下、これをM(k=1,2,……,k)と表示する)と、圧縮処理の冪指数の値(以下、これをn(j=1,2,……,j)と表示する)を予め複数水準選択しておき、デジタル化された教師信号あり試験データのセットをNNWで判定したときに、その正答率が最高になるパラメータ(Mとn)を求めることにある。ただし、両者各々独立に最適化するのではなく、両者の組合せ(M,n)において最適条件を求める。 The content of the optimization process is to select the optimum value of the frequency axis conversion mode in step S2 and the power exponent (n in equation (1)) of the compression process in step S4 according to the inspection object. That is, a candidate frequency axis conversion mode (hereinafter referred to as M k (k = 1, 2,..., K)) and a power exponent value (hereinafter referred to as n j (j = 1, 2,..., J) are selected in advance, and a parameter that maximizes the correct answer rate when a digital test data set with teacher signal is determined by NNW It is to obtain (M k and n j ). However, instead of optimizing both of them independently, an optimum condition is obtained for the combination of both (M k , n j ).

NNWで試験データセットか正常か異常かを判定する前に、NNWの重み係数を最適化しておく必要がある。そのため、試験データセットとは別に、デジタル化された教師信号あり学習データのセットを用意する。この学習データセットの音信号も、S1〜S4のステップで加工を施したのち、NNWの各ニューロンに入力して学習し、重み係数を最適化する。このようにして学習したNNWに、試験データセットの加工後の信号を入力すれば、確度の高い判定を行なうことができる。   Before the NNW determines whether the test data set is normal or abnormal, it is necessary to optimize the weight coefficient of the NNW. For this reason, a set of digitized learning data with a teacher signal is prepared separately from the test data set. The sound signal of this learning data set is also processed in steps S1 to S4, and then input to each neuron of the NNW to learn and optimize the weight coefficient. If a signal after processing the test data set is input to the NNW learned in this way, a highly accurate determination can be made.

上記のようにして、検査対象に応じて、最適な(M,n)の組合せが定まれば、T2ステップにおけるMとT4ステップにおけるnは、これらの値に固定する。また、T5ステップにおけるNNWの最適重み係数は、先のS5ステップで既に求められているので、これをそのまま使うことができる。したがって、この状態で検査工程に入り、検査対象音を採音してA/D変換を行った(T0)のち、T1〜T4の加工が施された信号を、学習したNNWに入力して(T5)、正常か異常かの判定を行なうことができる。 As described above, according to the inspection target, the optimal (M k, n j) If the combination of Sadamare, n j is the M k and T4 steps in T2 step, fixed to these values. Further, since the NNW optimum weighting coefficient in the T5 step has already been obtained in the previous S5 step, it can be used as it is. Therefore, after entering the inspection process in this state, sampling the inspection target sound and performing A / D conversion (T0), the T1-T4 processed signal is input to the learned NNW ( T5) Whether normal or abnormal can be determined.

以下、最適化処理及び検査の各工程のフローについて、さらに詳しく説明する。図2は、最適化処理の操作手順の例を示すフローチャートである。同図において、入力されるデータセット1は、教師信号あり学習データのセットと、教師信号あり試験データのセットで構成される。教師信号あり学習データセットを使ってニューラルネットワーク(NNW)の学習を行い、教師信号あり試験データセットを使って、学習の効果とパラメータ選定の適否(正答率)を判定する。   Hereinafter, the flow of each process of optimization processing and inspection will be described in more detail. FIG. 2 is a flowchart illustrating an example of an operation procedure of the optimization process. In the figure, the input data set 1 is composed of a set of learning data with a teacher signal and a set of test data with a teacher signal. A neural network (NNW) is trained using a training data set with a teacher signal, and a learning effect and suitability (correct answer rate) of parameter selection are determined using a test data set with a teacher signal.

S1ステップで入力音信号を周波数解析すると、直流成分、基本波(f)成分と高調波(2f,3f,…kf)成分が算出される。それらの成分数(k+1)がNNWの入力層ニューロンの数Nより十分大きくなるように、周波数帯域と基本波の周波数fを設定する。 When the input sound signal is frequency-analyzed in step S1, a direct current component, a fundamental wave (f 1 ) component, and a harmonic (2f 1 , 3f 1 ,... Kf 1 ) component are calculated. The frequency band and the frequency f of the fundamental wave are set so that the number of components (k + 1) is sufficiently larger than the number N of input layer neurons of the NNW.

次にS2の周波数軸変換としては、線形変換、対数変換、冪乗変換、メル変換、bark変換、ERB変換、ERBs変換等が例示される。これらの変換は、元の周波数をfとし変換後の周波数をFとしたとき、下記の各式で表される。   Next, examples of the frequency axis transformation of S2 include linear transformation, logarithmic transformation, power transformation, mel transformation, bark transformation, ERB transformation, ERBs transformation, and the like. These conversions are expressed by the following equations, where f is the original frequency and F is the frequency after conversion.

線形変換: F = af (aは比例定数であるが通常は1、以下同じ)
対数変換: F = alogf、又はF = alnf
冪乗変換: F = af(n<1)
メル変換: F = 2595log10(1+f/700)
bark変換: F = 13tan−1(0.76f/1000)
+3.5tan−1((f/7500)
ERB変換: F = 24.7+0.108f
ERBs変換: F = 21.4log10(0.00437f+1)
上記の各変換のうち、線形変換、対数変換、冪数nを0.25及び0.5とした時の冪乗変換、メル(mel)変換及びbark変換における元の周波数fと変換後の周波数Fとの関係を図3に示す。同図の縦軸は、f=20,000Hzの時のFの値 F(20000)を100として、これに対するF(f)の相対値(F(f)/F(20000)×100)で表示している。上記の変換のうち、線形変換とERB変換以外は、低周波域の帯域幅を相対的に拡大し、高周波域の帯域幅を相対的に縮小する変換(本発明においては、これを周波数軸圧縮変換という)である。人間の聴覚は、一種の周波数軸圧縮変換を行なっており、上記のメル変換やbark変換は、人間の聴覚特性を良く近似することが知られている。したがって、人間の聴覚に基づく打診検査を模擬するという意味において、かかる周波数軸圧縮変換が、的中率の向上に寄与する可能性が高いと考えられる。
Linear transformation: F = af (a is a proportional constant, but is usually 1 and so on)
Logarithmic transformation: F = allogf or F = alnf
Power conversion: F = af n (n <1)
Mel conversion: F = 2595 log 10 (1 + f / 700)
bark transform: F = 13 tan −1 (0.76 f / 1000)
+3.5 tan −1 ((f / 7500) 2 )
ERB conversion: F = 24.7 + 0.108f
ERBs conversion: F = 21.4 log 10 (0.00437f + 1)
Of the above transformations, linear transformation, logarithmic transformation, power conversion when power n is 0.25 and 0.5, original frequency f and frequency after transformation in mel transformation and bark transformation The relationship with F is shown in FIG. The vertical axis in the figure is the relative value of F (f) (F (f) / F (20000) × 100) with respect to F value F (20000) at 100 when f = 20,000 Hz. is doing. Of the above transformations, except linear transformation and ERB transformation, transformation that relatively widens the low frequency bandwidth and relatively narrows the high frequency bandwidth (in the present invention, this is frequency axis compression). Conversion). Human hearing is a kind of frequency axis compression transformation, and it is known that the above-mentioned Mel transformation and bark transformation approximate human hearing characteristics well. Therefore, in the sense of simulating a percussion examination based on human auditory perception, it is highly likely that such frequency axis compression conversion will contribute to an improvement in the hit rate.

次にS3ステップの分割処理は、変換した周波数軸をニューロン数Nに合わせて等分することである。また、平均化は等分された各帯域内の高調波の強度の平均値(変換後の周波数Fを変数として上記の強度を積分し、帯域幅ΔFで除した値)を求めることである。振幅の平均値を使用しても同様な学習及び検査結果が得られる。   Next, the division process in step S3 is to equally divide the converted frequency axis according to the number N of neurons. In addition, the averaging is to obtain an average value of the intensities of the harmonics in each divided band (a value obtained by integrating the above intensity using the converted frequency F as a variable and dividing by the bandwidth ΔF). Similar learning and test results can be obtained using the average value of the amplitude.

S4ステップの振幅・強度圧縮処理は、S3の平均値を入力信号Iとして、下式の関係を満たすような出力信号の値Wを求めることである。
W =C・I ………(1)
ここで、C:比例定数
n:処理目的に応じて設定される冪指数で、入力信号が強度のとき
0<n<0.5、振幅のとき0<n<1
一般に、冪指数nを1未満にすると、入力Iの値の大きい範囲(大きい音)は出力値Wが相対的に小さくなり、Iの小さい範囲(小さい音)は相対的に大きくなる。また、nを1超にするとその逆になるので、n=1を境として音圧圧縮と音圧伸長とに分けられる。比較的大きな打診自体の音響の中から、異状時の小さな音信号を確実にキャッチするという意味で、一般に音圧圧縮が的中率の向上に有効である。上記(1)式のIは、スペクトルの強度または振幅であって、強度は振幅の2乗に相当する。したがって、本発明における圧縮処理は、入力信号が強度のとき0<n<0.5、振幅のとき0<n<1として、圧縮する処理を行なっている。
The amplitude / intensity compression process in step S4 is to obtain an output signal value W satisfying the relationship of the following equation, using the average value of S3 as the input signal I.
W = C · I n (1)
Where C: proportional constant n: power exponent set according to the processing purpose, when the input signal is strength
0 <n <0.5, 0 <n <1 when amplitude
Generally, when the power index n is less than 1, the output value W is relatively small in the range where the value of the input I is large (large sound), and the range where the value of I is small (small sound) is relatively large. Further, when n exceeds 1, the opposite is true, so that n = 1 can be divided into sound pressure compression and sound pressure expansion. In general, sound pressure compression is effective in improving the hit rate in the sense of reliably catching a small sound signal at the time of abnormality from the sound of a relatively large percussion itself. I in the above formula (1) is the intensity or amplitude of the spectrum, and the intensity corresponds to the square of the amplitude. Therefore, in the compression processing according to the present invention, compression processing is performed such that 0 <n <0.5 when the input signal is strong and 0 <n <1 when the input signal is amplitude.

S5ステップのNNWでは、先ず教師信号あり学習データのセットを使って学習を行い、ニューロン間の結合の重みを調整する(重み調整の内容については後述する)。次いで、その調整結果と教師信号あり試験データのセットを使って、NNWの出力値から、各試験データが正常か異常かの判定を行なう。試験データセットは、正常か異常かが既知であるから、この判定から正答率が求められる。この正答率は、周波数軸変換モードをMとし、圧縮処理の冪指数の値をnとしたときのものである。そこで、S5ステップの出力1として、M、n、正答率及びNNWの重み係数のセットをメモリーに記録する。 In the NNW of step S5, learning is first performed using a set of learning data with a teacher signal, and the weight of connection between neurons is adjusted (the contents of weight adjustment will be described later). Next, it is determined whether each test data is normal or abnormal from the output value of the NNW using the adjustment result and a set of test data with a teacher signal. Since the test data set is known to be normal or abnormal, the correct answer rate is obtained from this determination. This correct answer rate is obtained when the frequency axis conversion mode is M k and the power exponent value of the compression process is n j . Therefore, a set of M k , n j , correct answer rate, and NNW weight coefficient is recorded in the memory as output 1 of step S5.

次いで、nのフラッグjをj−1として、S4ステップの入り口に戻る。学習データセットの圧縮処理と、そのデータによるNNWの学習を行なった後、試験データセットを圧縮処理して、NNWに入力して正答率を求め、出力1をメモリーに記録する手順を繰り返す。J=0になったところで、j=jに戻すとともに、Mのフラッグkをk−1として、S2ステップの入り口に戻り、k=0になるまで、上記と同じ手順を繰り返す。フラ
ッグj,kがともに0になったところで、すべての(M,n)の組合せにおける正答率とNNWの重み係数のセットがメモリーに記録されているので、この中から最も高い正答率を与えるM,nの組合せを選定し、その時のM,nの値とNNWの重み係数のセットを出力2として出力して、最適化処理の工程を終了する。
Then, a flag j of n j as j-1, the flow returns to the entrance of Step S4. After the learning data set is compressed and the NNW is learned using the data, the test data set is compressed and input to the NNW to obtain the correct answer rate, and the procedure of recording the output 1 in the memory is repeated. Upon reaching the J = 0, together with the return to j = j, the flag k of M k as k-1, back to the entrance of step S2, until k = 0, repeating the same procedure as described above. When both flags j and k become 0, the correct answer rate and the set of NNW weighting factors for all combinations of (M k , n j ) are recorded in the memory. A combination of M k and n j to be given is selected, a set of M k and n j at that time and a set of NNW weighting coefficients are output as output 2, and the optimization processing step is completed.

図4は、検査工程の操作手順の例を示すフローチャートである。まず、最適化処理の出力2((M,n)の組合せの最適値と、その時のNNWの重み係数のセット)を入力したところで、検査開始のトリガー信号を出力3として出力する(S0)。これにより打診検査が開始され、打診検査の信号入力を増幅し(P1)、フィルタにより可聴範囲を越える高周波域をカット(P2)した後、A/D変換を行い(T0)、このデジタル化された信号を検査データとして取り込む。 FIG. 4 is a flowchart illustrating an example of an operation procedure of the inspection process. First, when the optimization process output 2 (the optimum value of the combination of (M k , n j ) and the NNW weighting coefficient set at that time) is input, a trigger signal for starting the test is output as output 3 (S0 ). As a result, the consultation test is started, the signal input of the consultation test is amplified (P1), the high frequency region exceeding the audible range is cut by the filter (P2), A / D conversion is performed (T0), and this digitization is performed. The acquired signal is captured as inspection data.

この検査データについて、前述のS1ステップと同様に周波数解析し(T1)、最適条件として選択した周波数軸変換モードMで周波数軸変換を行い(T2)、周波数軸の分割と各周波数帯域での信号強度または振幅の平均化を行い(T3)、その平均値の信号を入力して、各周波数帯域毎に(1)式の冪指数を選択されたnとする圧縮処理を行い(T4)、その出力をすでに学習ずみ(重み係数が最適化された)NNWの入力層のそれぞれのユニットに入力して、その出力値により検査データが正常か異常かの判定を行なう(T5)。この正常・異常の判断結果を出力4として出力する。検査回数のフラッグmをm−1として、S0ステップの入り口に戻って、検査データの取込み、データの加工とNNWによる判定の一連の操作を繰り返す。 For this inspection data, frequency analysis is performed in the same manner as in the above-described S1 step (T1), frequency axis conversion is performed in the frequency axis conversion mode Mk selected as the optimum condition (T2), and the frequency axis is divided and each frequency band is The signal strength or amplitude is averaged (T3), and the signal of the average value is input, and compression processing is performed for each frequency band to set the power exponent of equation (1) to the selected n j (T4). Then, the output is input to each unit of the input layer of the NNW that has already been learned (weight coefficient is optimized), and it is determined whether the inspection data is normal or abnormal based on the output value (T5). This normal / abnormal judgment result is output as output 4. The flag m of the number of inspections is set to m−1, the process returns to the entrance of the S0 step, and a series of operations of taking in inspection data, processing data, and determining by NNW is repeated.

上記の手段によれば、NNWの学習と音信号の加工条件の最適化を完全に自動的に行なうことができ、「音響検査に格別の熟練を要することなく、何人にもこれを実施可能にする」という本発明の目的を容易に達成することができる。なお、上記の最適化処理及び検査の両工程において、振幅・強度の圧縮処理(S4,T4ステップ)をともに省略しても差し支えない。この場合は、S3及びT3の出力信号が直ちにNNWに入力されることになる。また、S4,T4ステップをS3,T3ステップの周波数分割処理と平均化処理の間に入れることも可能である。すなわち、平均化する前の各高調波について、(1)式による圧縮処理を行い、その結果を平均化してもよい。しかしこの方法は、(1)式の計算の手間が大きくなるので、図1、3及び4の例に示すように、S3,T3ステップの後にS4,T4ステップを置くことが好ましい。   According to the above-mentioned means, learning of NNW and optimization of sound signal processing conditions can be performed automatically, and “anyone can do this without requiring special skill in acoustic inspection. It is possible to easily achieve the object of the present invention. In both the optimization process and the inspection process, both the amplitude and strength compression processes (steps S4 and T4) may be omitted. In this case, the output signals of S3 and T3 are immediately input to the NNW. It is also possible to insert the steps S4 and T4 between the frequency division process and the averaging process of steps S3 and T3. That is, the compression processing according to the equation (1) may be performed on each harmonic before averaging, and the result may be averaged. However, since this method requires a lot of time and effort to calculate equation (1), it is preferable to place steps S4 and T4 after steps S3 and T3 as shown in the examples of FIGS.

次ぎに、後記の実施例で用いたニューラルネットワ−ク(NNW)の構成と、学習データによる学習について説明する。本実施例では、パターン認識に効果があるとされる階層型のNNWを用い、入力層、中間層、出力層の計3層で構成される階層型のNNWを用いた。出力は、検査対象物が正常か異常かを判別する2通りなので、出力層のニューロン数は1個とした。このNNWを図5に示す。図に示されるように、ニューロンが層をなして並んでいて、それぞれ異なる重み付け(weight)をされてつながっている。ニューロンの役割は、他のニューロンからの入力を受け取り、その入力和に応じて出力をするだけであるが、重み付けが変化することで、同じ入力データを与えても違う出力が出てくる。   Next, the configuration of the neural network (NNW) used in the examples described later and learning using learning data will be described. In this example, a hierarchical NNW that is effective for pattern recognition was used, and a hierarchical NNW composed of a total of three layers, an input layer, an intermediate layer, and an output layer, was used. Since there are two outputs for determining whether the inspection object is normal or abnormal, the number of neurons in the output layer is set to one. This NNW is shown in FIG. As shown in the figure, neurons are arranged in layers and are connected with different weights. The role of the neuron is to receive inputs from other neurons and output them according to the sum of their inputs. However, because the weighting changes, different outputs are produced even if the same input data is given.

NNWの学習とは、目的の出力が得られるように、重み付けを変化させていくことである。学習には、バックプロパゲーション(誤差逆伝播法)を用いた。この学習方法は、まずニューロン数を入力層I個、中間層J個とし、入力層のi番目のニューロンから中間層のj番目のニューロンへの重みをVji、中間層のj番目のニューロンから出力層のニューロンへの重みをWとすると、入力層ニューロンの出力Xはそのまま次の層へ値を伝え、中間層ニューロンjの出力Yは、下記(2)式で与えられ、
出力層ニューロンの出力Zは、下記(3)式で与えられる。
教師信号をDとすると、出力層の出力との誤差Eは、E=(D−Z)/2で与えられる。NNWの学習は、この誤差Eが小さくなるように重みの修正を行なっていくもので、中間層から出力層への重みの現在の値をW(t)、重み修正後の値をW(t+1)とすると、W(t+1)=W(t)+ΔWとしたときのΔWは下記(4)式で与えられる。
ここで、η(η>0)は学習係数であり、この値を調整することにより、学習の度合いを変化させることができる。
The NNW learning is to change the weighting so that a target output can be obtained. Back propagation (error back propagation method) was used for learning. In this learning method, first, the number of neurons is I and that of the intermediate layer is J, and the weight from the i-th neuron of the input layer to the j-th neuron of the intermediate layer is V ji and the j-th neuron of the intermediate layer is used. Assuming that the weight of the output layer neuron is W j , the output X i of the input layer neuron transmits the value to the next layer as it is, and the output Y j of the intermediate layer neuron j is given by the following equation (2):
The output Z of the output layer neuron is given by the following equation (3).
When the teacher signal is D, the error E between the output of the output layer is given by E = (D-Z) 2 /2. In the NNW learning, the weight is corrected so that the error E becomes small. The current value of the weight from the intermediate layer to the output layer is W j (t), and the value after the weight correction is W j. Assuming (t + 1), ΔW j when W j (t + 1) = W j (t) + ΔW j is given by the following equation (4).
Here, η (η> 0) is a learning coefficient, and the degree of learning can be changed by adjusting this value.

一方、入力層から中間層への重みの現在の値をVji(t)、重み修正後の値をVji(t+1)とすると、Vji(t+1)=Vji(t)+ΔVjiとしたときのΔVjiは下記(5)式で与えられる。
このようにして、WとVjiの修正を繰り返す。N個の学習データのセットがあるとすると、下記(6)式を満たすまで、この重みの修正を続ける。
なお、上式のε(ε>0)は学習終了条件である。
On the other hand, assuming that the current value of the weight from the input layer to the intermediate layer is V ji (t) and the value after the weight correction is V ji (t + 1), V ji (t + 1) = V ji (t) + ΔV ji ΔV ji at the time is given by the following equation (5).
In this way, the correction of W j and V ji is repeated. If there are N sets of learning data, this weight correction is continued until the following expression (6) is satisfied.
In the above expression, ε (ε> 0) is a learning end condition.

バックプロパゲーションのアルゴリズムは、出力と教師信号との誤差を小さくする方向へ重み付けを変更していくもので、重み付けの修正が、入力から出力を計算する時のデータの流れと逆向きの流れで行われる。このNNWの学習は、あらかじめ上記のηやεを経験的に設定しておくことにより、一定の計算プログラムで自動的に計算を行なうことができる。(6)式の関係が満たされた時のWとVjiの値を、NNWの重み係数としたものが、ここでいう「学習したNNW」である。 The backpropagation algorithm changes the weighting in a direction that reduces the error between the output and the teacher signal. The correction of the weighting is in the direction opposite to the flow of data when calculating the output from the input. Done. This NNW learning can be automatically performed by a predetermined calculation program by previously setting η and ε empirically in advance. The “learned NNW” here is a value obtained by using the values of W j and V ji when the relationship of the expression (6) is satisfied as a weighting coefficient of the NNW.

コーラ瓶とビール瓶の2種類を試料として、図3に示したフローで音信号の加工とNNWによる判定を行い、周波数軸変換のモードや振幅・音圧圧縮処理の冪指数を変えて、正答率がどのように変化するかを調査した。教師ありデータとして、コーラ瓶とビール瓶ともに、正常瓶と欠陥瓶の打音を各400個用意し、この音信号をデジタル化して、正常瓶・欠陥瓶ともに半数を学習データセット、他の半数を試験データセットとした。NNWのニューロン数は、入力層100、中間層5、出力層1とした。   Using two types of cola bottles and beer bottles as samples, processing the sound signal and making a determination with NNW according to the flow shown in FIG. 3, changing the frequency axis conversion mode and the amplitude / sound pressure compression index, the correct answer rate We investigated how it changed. As supervised data, both cola bottles and beer bottles are prepared for 400 normal bottles and defective bottles, and the sound signals are digitized. Half of the normal bottles and defective bottles are used as a learning data set. A test data set was used. The number of NNW neurons is the input layer 100, the intermediate layer 5, and the output layer 1.

周波数軸変換モードとして、線形,対数,mel,bark,ERB,ERBsの各変換について検討した。また、振幅・音圧圧縮処理(S4ステップ)の入力は振幅(強度の1/2乗)とし、コーラ瓶については、冪指数n=0.4(圧縮処理あり)とn=1(圧縮処理なし)の2水準で、ビール瓶については、冪指数n=0.4(圧縮処理あり)の場合のみ検討した。またコーラ瓶については、周波数帯域を可聴域全体(20Hz〜20kHz)とした場合と、周波数解析で比較的強いスペクトルが認められる範囲(1kHz〜15kHz)に制限した場合の両方について検討した。上記の条件で、学習セータセットで学習したNNWにより、試験データセットについて正常か否かの判定を行い、正答率を求めた結果をまとめて表1に示す。
表1のコーラ瓶についての結果から、n=1(振幅そのまま)とした場合よりも、n=0.4とすると正答率が大幅に高くなることが知れる。また、n=0.4で、周波数軸変換モードは、線形とERB(線形に類似)の場合に正答率が高い。したがって、コーラ瓶の場合には、周波数解析した周波数軸を変換せずに等分割・平均処理し、その振幅を0.4乗したものをNNWに入力した検査を行なうのが好ましいことが知れる。なお、周波数帯域は制限せず、可聴域全体で解析した方が正答率が高かった。
As frequency axis conversion modes, linear, logarithmic, mel, bark, ERB, and ERBs conversions were examined. Also, the input of the amplitude / sound pressure compression process (step S4) is the amplitude (strength of the power of 1/2), and for the cola bottle, the cocoon index n = 0.4 (with compression process) and n = 1 (compression process) In the case of beer bottles, only the case where the coffee index n = 0.4 (with compression treatment) was examined. Regarding the cola bottle, both the case where the frequency band is the entire audible range (20 Hz to 20 kHz) and the case where the frequency band is limited to a range where a relatively strong spectrum is recognized (1 kHz to 15 kHz) were examined. Table 1 summarizes the results of determining whether the test data set is normal or not by the NNW learned with the learning setter set under the above conditions, and obtaining the correct answer rate.
From the results for the cola bottles in Table 1, it is known that the correct answer rate is significantly higher when n = 0.4 than when n = 1 (amplitude as it is). In addition, when n = 0.4 and the frequency axis conversion mode is linear and ERB (similar to linear), the correct answer rate is high. Therefore, in the case of a cola bottle, it is known that it is preferable to perform an inspection in which the frequency axis subjected to frequency analysis is equally divided and averaged without being converted and the amplitude raised to the power of 0.4 is input to the NNW. In addition, the frequency range was not limited, and the correct answer rate was higher when the analysis was made over the entire audible range.

一方、ビール瓶では、周波数軸変換がmelやbarkの場合に、線形(周波数軸変換なし)よりも正答率が明らかに高い。したがって、この場合は、周波数軸をmel変換又はbark変換して、その振幅を0.4乗したものをNNWに入力することが好ましい。   On the other hand, in the case of beer bottles, when the frequency axis conversion is mel or bark, the correct answer rate is clearly higher than linear (no frequency axis conversion). Therefore, in this case, it is preferable that the frequency axis is subjected to mel conversion or bark conversion, and the amplitude multiplied by 0.4 is input to the NNW.

この実施例から分かるように、打音検査の的中率を高めるための音信号の加工の適正条件(周波数軸の変換モードや圧縮処理の冪指数)は、検査対象により大幅に相違する。しかしながら本発明によれば、検査対象に応じて、自動的に(格別の熟練を要することなく)最適な加工条件を見つけ出して検査を行なうことができ、これにより、打音検査の的中率を確実に高めることができる。   As can be seen from this example, the appropriate conditions of sound signal processing (frequency axis conversion mode and compression processing power index) for increasing the hitting test accuracy are greatly different depending on the inspection object. However, according to the present invention, it is possible to automatically find out the optimum processing conditions (without requiring special skill) according to the object to be inspected, and to perform the inspection. It can certainly be increased.

本発明の音響検査方法の操作手順の例を示すブロック図である。It is a block diagram which shows the example of the operation procedure of the acoustic test | inspection method of this invention. 本発明における最適化処理の操作手順の例を示すフローチャートである。It is a flowchart which shows the example of the operation procedure of the optimization process in this invention. 各種の周波数軸変換における元の周波数と変換後の周波数との関係を示す図である。It is a figure which shows the relationship between the original frequency and the frequency after conversion in various frequency axis conversion. 本発明における検査工程の操作手順の例を示すフローチャートである。It is a flowchart which shows the example of the operation procedure of the test | inspection process in this invention. 本発明の実施例で用いたニューラルネットワークの構成を示す図である。It is a figure which shows the structure of the neural network used in the Example of this invention.

Claims (5)

周波数解析した音信号を、学習データセットを使用して学習したニューラルネットワークの入力層に入力し、その出力により検査対象の音信号が正常状態か異常状態かを判定する音響検査方法であって、
デジタル化された音信号を周波数解析してその周波数スペクトルを得るステップと、該スペクトルの周波数軸を変換するステップと、変換された周波数軸を前記ニューラルネットワークの入力ユニット数Nと同数の周波数帯域に分割するステップと、この分割された帯域内の音信号の強度または振幅をそれぞれ平均化するステップと、この平均化された音信号を前記ニューラルネットワークの各入力ユニットに入力して、学習データセットによる学習及び検査対象音信号が正常か否かの判定を行なうステップとを具備することを特徴とする音響検査方法。
An acoustic inspection method for inputting a sound signal subjected to frequency analysis to an input layer of a neural network learned using a learning data set, and determining whether the sound signal to be inspected is in a normal state or an abnormal state based on an output thereof,
A frequency analysis of the digitized sound signal to obtain a frequency spectrum thereof, a step of converting the frequency axis of the spectrum, and the converted frequency axis into the same frequency band as the number N of input units of the neural network. A step of dividing, a step of averaging the intensities or amplitudes of the sound signals in the divided bands, respectively, and inputting the averaged sound signal to each input unit of the neural network, according to the learning data set And a step of determining whether or not the sound signal to be inspected is normal.
前記の平均化ステップで周波数帯域毎に平均化された音信号を入力して、その強度または振幅を下記(1)式の関係を満たすように圧縮処理するステップを設け、該ステップで圧縮処理された信号を前記ニューラルネットワークの各入力ユニットに入力することを特徴とする請求項1記載の音響検査方法。
W =C・I ………(1)
ここで、I:圧縮処理ステップへの入力信号
W:圧縮処理ステップからの出力信号
C:比例定数
n:処理目的に応じて設定される冪指数で、入力信号が強度のとき
0<n<0.5、振幅のとき0<n<1
A step of inputting a sound signal averaged for each frequency band in the averaging step and compressing the intensity or amplitude so as to satisfy the relationship of the following equation (1) is provided. 2. The acoustic inspection method according to claim 1, wherein the received signal is input to each input unit of the neural network.
W = C · I n (1)
Here, I: Input signal to the compression processing step W: Output signal from the compression processing step C: Proportional constant n: Power exponent set according to the processing purpose, when the input signal is strength
0 <n <0.5, 0 <n <1 when amplitude
前記学習データセットとは別に、各複数の正常状態及び異常状態の音信号からなる試験データセットを使用し、前記の周波数軸変換ステップにおける周波数軸変換モードを複数選択して、選択された各変換モードにおいて前記学習及び前記試験データセットについて正常か否かの判定を行い、この判定によりこれらの変換モードのうちで正答率が最高になる変換モードを定め、定められた変換モードを用いて、前記学習及び検査対象音信号が正常か否かの判定を行なうことを特徴とする請求項1又は2記載の音響検査方法。   Separately from the learning data set, using a test data set consisting of a plurality of normal and abnormal sound signals, selecting a plurality of frequency axis conversion modes in the frequency axis conversion step, and selecting each conversion It is determined whether the learning and the test data set are normal in the mode, and by this determination, a conversion mode in which the correct answer rate is the highest among these conversion modes is determined, and using the determined conversion mode, 3. The acoustic inspection method according to claim 1, wherein the learning and the inspection target sound signal are determined to be normal. 前記の周波数軸変換ステップにおける周波数軸変換モードとして、対数変換、冪指数変換、メル変換、bark変換等の周波数軸圧縮変換及び線形変換よりなる群から2種以上を選択するとともに、前記(1)式における冪指数nを入力信号が強度のとき0<n<0.5、振幅のとき0<n<1の範囲の値を含む数値で2段階以上に変えて、この変換モードとn値の各組合せにおいて前記学習及び前記試験データセットについて正常か否かの判定を行い、この判定によりこれらの組合せのうちで正答率が最高になるものを定め、定められた変換モードとn値の組合せを用いて、前記学習及び検査対象音信号が正常か否かの判定を行なうことを特徴とする請求項3記載の音響検査方法。   As the frequency axis conversion mode in the frequency axis conversion step, two or more types are selected from the group consisting of frequency axis compression conversion such as logarithmic conversion, power exponent conversion, mel conversion, and bark conversion, and linear conversion, and (1) By changing the power index n in the equation into two or more values including values in the range of 0 <n <0.5 when the input signal is strength and 0 <n <1 when the amplitude is amplitude, In each combination, it is determined whether or not the learning and the test data set are normal, and by this determination, the combination having the highest correct answer rate is determined, and the combination of the predetermined conversion mode and n value is determined. The acoustic inspection method according to claim 3, wherein the determination is performed to determine whether the learning and inspection target sound signal is normal. 請求項1乃至4のいずれかに記載の音響検査方法を実施するための装置であって、デジタル化された音信号を周波数解析して周波数スペクトルを得る手段と、該スペクトルの周波数軸を変換する手段と、この変換された周波数軸を複数の周波数帯域に分割する手段と、この分割された帯域内の信号強度または振幅をそれぞれ平均化する手段と、この平均化された音信号を前記(1)式の関係を満たすように圧縮処理する手段と、この圧縮処理された音信号を入力して学習及び検査対象音信号が正常か否かの判定を行なうニューラルネットワークを備えたことを特徴とする音響検査装置。   5. An apparatus for carrying out the acoustic inspection method according to claim 1, wherein means for obtaining a frequency spectrum by frequency-analyzing a digitized sound signal and converting the frequency axis of the spectrum. Means, means for dividing the transformed frequency axis into a plurality of frequency bands, means for averaging the signal intensity or amplitude in the divided bands, and the averaged sound signal (1 And a neural network for inputting the compressed sound signal and determining whether the sound signal to be examined and the sound signal to be inspected are normal. Acoustic inspection device.
JP2004237925A 2004-08-18 2004-08-18 Acoustic test method and device Pending JP2006058051A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004237925A JP2006058051A (en) 2004-08-18 2004-08-18 Acoustic test method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004237925A JP2006058051A (en) 2004-08-18 2004-08-18 Acoustic test method and device

Publications (1)

Publication Number Publication Date
JP2006058051A true JP2006058051A (en) 2006-03-02

Family

ID=36105641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004237925A Pending JP2006058051A (en) 2004-08-18 2004-08-18 Acoustic test method and device

Country Status (1)

Country Link
JP (1) JP2006058051A (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56104246A (en) * 1980-01-23 1981-08-19 Rion Co Ltd Product inspecting apparatus by sound discrimination
JPH05333079A (en) * 1992-06-02 1993-12-17 Mitsubishi Electric Corp Surveillance diagnosis device
JPH06109858A (en) * 1992-09-24 1994-04-22 Hitachi Cable Ltd Underground pipe line abnormality detecting method
JPH102789A (en) * 1996-06-14 1998-01-06 Daikin Ind Ltd Method and apparatus for inspecting abnormal sound in rotating machine
JPH11241945A (en) * 1998-02-25 1999-09-07 Mitsubishi Electric Corp Foreign sound inspecting device
JP2004117368A (en) * 2003-10-14 2004-04-15 Tokyo Electron Ltd Acoustic sensor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56104246A (en) * 1980-01-23 1981-08-19 Rion Co Ltd Product inspecting apparatus by sound discrimination
JPH05333079A (en) * 1992-06-02 1993-12-17 Mitsubishi Electric Corp Surveillance diagnosis device
JPH06109858A (en) * 1992-09-24 1994-04-22 Hitachi Cable Ltd Underground pipe line abnormality detecting method
JPH102789A (en) * 1996-06-14 1998-01-06 Daikin Ind Ltd Method and apparatus for inspecting abnormal sound in rotating machine
JPH11241945A (en) * 1998-02-25 1999-09-07 Mitsubishi Electric Corp Foreign sound inspecting device
JP2004117368A (en) * 2003-10-14 2004-04-15 Tokyo Electron Ltd Acoustic sensor

Similar Documents

Publication Publication Date Title
JP4005128B2 (en) Signal quality evaluation
EP2232488B1 (en) Objective measurement of audio quality
CN108346434B (en) Voice quality assessment method and device
Fujimura et al. Classification of voice disorders using a one-dimensional convolutional neural network
GB2456428A (en) Quality-based fusion of multiple biometrics for authentication
CN106841403A (en) A kind of acoustics glass defect detection method based on neutral net
CN111141836B (en) Method and device for nondestructive detection of early internal diseases of pome based on fusion of sound vibration multi-domain spectrum and near infrared spectrum information
CN107808663B (en) Parkinson disease voice data classification system based on DBN and RF algorithm
CN110992985A (en) Identification model determining method, identification method and identification system for identifying abnormal sounds of treadmill
CN108630228A (en) Sound quality recognition methods, device, system and vehicle
CN112200238B (en) Hard rock pulling shear rupture identification method and device based on sound characteristics
CN112990082A (en) Detection and identification method of underwater sound pulse signal
US20230245674A1 (en) Method for learning an audio quality metric combining labeled and unlabeled data
CN114566282A (en) Treatment decision system based on echocardiogram detection report
JP2006058051A (en) Acoustic test method and device
Nunes et al. Acoustic structural integrity assessment of ceramics using supervised machine learning and uncertainty-based rejection
Cunha et al. Applying non-destructive testing and machine learning to ceramic tile quality control
CN111272875A (en) Apple brittleness nondestructive testing method based on vibration sound signals
CN113094933B (en) Ultrasonic damage detection and analysis method based on attention mechanism and application thereof
Ma et al. A percussion method with attention mechanism and feature aggregation for detecting internal cavities in timber
García et al. Acoustic features analysis for recognition of normal and hypoacustic infant cry based on neural networks
CN110689875A (en) Language identification method and device and readable storage medium
TWI836708B (en) Signal processing method and abnormal sound detection system
CN117041847B (en) Adaptive microphone matching method and system for hearing aid
Berardi et al. Talker age estimation using machine learning

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Effective date: 20070329

Free format text: JAPANESE INTERMEDIATE CODE: A711

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070329

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070810

A977 Report on retrieval

Effective date: 20100311

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100824