JP2014090722A - Breath sound analyzer, breath sound analyzing method and breath sound analyzing program - Google Patents
Breath sound analyzer, breath sound analyzing method and breath sound analyzing program Download PDFInfo
- Publication number
- JP2014090722A JP2014090722A JP2012240803A JP2012240803A JP2014090722A JP 2014090722 A JP2014090722 A JP 2014090722A JP 2012240803 A JP2012240803 A JP 2012240803A JP 2012240803 A JP2012240803 A JP 2012240803A JP 2014090722 A JP2014090722 A JP 2014090722A
- Authority
- JP
- Japan
- Prior art keywords
- peak
- sound
- section
- signal
- peak section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本発明は、呼吸音を分析し、異常音を含むか否かを判断する技術に関する。 The present invention relates to a technique for analyzing respiratory sounds and determining whether or not abnormal sounds are included.
呼吸音には様々な情報が含まれている。医師は聴診器を用いて呼吸音を聴くことで異常の有無および異常の種類を診断する。一方近年、在宅医療の拡充が望まれており、医師のような専門的な知識を有していなくとも呼吸音を分析できる機器が必要になっている。そこで、呼吸音の分析をコンピュータ等の機器に実行させ、異常の有無およびその種類を判定できれば、在宅医療の拡充につながると考えられる。
特許文献1には、入力信号を呼吸音区間と非呼吸音区間とに識別し、呼吸音区間において、正常呼吸音であるか異常呼吸音であるかを識別する、呼吸状態分析装置が開示されている。
Various information is contained in the breath sound. The doctor diagnoses the presence or absence of abnormality and the type of abnormality by listening to breathing sounds using a stethoscope. On the other hand, in recent years, expansion of home medical care has been demanded, and a device capable of analyzing breathing sounds is required even if the doctor has no specialized knowledge. Therefore, if it is possible to analyze respiratory sounds in a computer or other device and determine the presence or absence and type of abnormality, it is considered that this will lead to expansion of home medical care.
医師による呼吸音の診断では一般的に、呼吸音の全体的な傾向から異常の有無を判断する。ある呼吸周期において異常な呼吸音が一回聴取されたことで異常と判断するのではなく、複数の呼吸周期に渡って呼吸音を聴取し、異常呼吸音が複数回、周期的に聴取されたことで異常と判断する。異常な呼吸音には連続性ラッセル音と断続性ラッセル音(以下、連続性ラ音、断続性ラ音)という著しく特徴が異なる音が存在し、また、疾患の種類や重症度によって連続性ラ音と断続性ラ音は、さらに細分化された特徴を示す。医師は、このような呼吸音の特徴と経験に基づいて判断を行う。
コンピュータ等の機器で、医師による判断を再現するためには、膨大な数の症例の異常呼吸音サンプルおよび正常呼吸音サンプルを用意する必要がある。また、全サンプルの音響信号を切り出して「呼吸音か非呼吸音か」および「正常呼吸音か異常呼吸音か」といった教師信号を付与するには膨大な手間がかかるのは明らかである。
以上より、学習用の膨大なデータを用いなくとも呼吸音信号から異常の有無を分析できる技術の提供が望まれている。
In diagnosis of respiratory sounds by a doctor, generally, the presence or absence of abnormality is determined from the overall tendency of respiratory sounds. Rather than judging that an abnormal breathing sound was heard once in a certain breathing cycle, we heard the breathing sound over multiple breathing cycles and listened to the abnormal breathing sound multiple times periodically. It is judged as abnormal. Abnormal breathing sounds include continuous raschel sounds and intermittent raschel sounds (hereinafter referred to as continuous rasles sounds, intermittent rasles sounds) that have markedly different characteristics. Sounds and intermittent rales show more detailed features. The doctor makes a judgment based on the characteristics and experience of such breathing sounds.
In order to reproduce the judgment by a doctor using a computer or the like, it is necessary to prepare a large number of cases of abnormal breathing sound samples and normal breathing sound samples. In addition, it is clear that it takes a lot of labor to cut out the acoustic signals of all the samples and give the teacher signals such as “whether breathing sound or non-breathing sound” and “normal breathing sound or abnormal breathing sound”.
As described above, it is desired to provide a technique capable of analyzing the presence / absence of an abnormality from a respiratory sound signal without using a huge amount of learning data.
本発明はこのような問題点に鑑み、簡便な方法で、入力された呼吸音信号から2つの特徴量を生成し、2つの特徴量を用いて呼吸音に異常音が含まれるか否かを判断するための評価値と、異常音の種類を判断するための評価値を算出できる、呼吸音分析装置、呼吸音分析方法、呼吸音分析プログラムを提供することを目的とする。 In view of such problems, the present invention generates two feature amounts from an input respiratory sound signal by a simple method, and uses the two feature amounts to determine whether or not an abnormal sound is included in the respiratory sound. It is an object of the present invention to provide a respiratory sound analysis device, a respiratory sound analysis method, and a respiratory sound analysis program capable of calculating an evaluation value for determination and an evaluation value for determining the type of abnormal sound.
上述した課題を解決する第1の発明に係る呼吸音分析装置は、呼吸音に基づく入力信号を複数の周波数帯域に分割し、各周波数帯域の信号において相対的にレベルが高い区間を示すピーク区間信号と、前記ピーク区間以外の区間を示す非ピーク区間信号を生成し、複数の前記ピーク区間信号を合成したピーク区間合成信号と、複数の前記非ピーク区間信号を合成した非ピーク区間合成信号を生成するピーク区間識別部と、前記ピーク区間合成信号から第1の特徴量を生成し、前記非ピーク区間合成信号から第2の特徴量を生成する特徴量生成部と、前記第1の特徴量と前記第2の特徴量を用いて、前記呼吸音に異常音が含まれるか否かを判断するための第1の評価値と、前記呼吸音に含まれる前記異常音の種類を判断するための第2の評価値を算出する評価値算出部と、を備える。
上述した課題を解決する第2の発明に係る呼吸音分析方法は、呼吸音に基づく入力信号を複数の周波数帯域に分割し、各周波数帯域の信号において相対的にレベルが高い区間を示すピーク区間信号と、前記ピーク区間以外の区間を示す非ピーク区間信号を生成するステップと、複数の前記ピーク区間信号を合成したピーク区間合成信号と、複数の前記非ピーク区間信号を合成した非ピーク区間合成信号を生成するステップと、前記ピーク区間合成信号から第1の特徴量を生成し、前記非ピーク区間合成信号から第2の特徴量を生成するステップと、前記第1の特徴量と前記第2の特徴量を用いて、前記呼吸音に異常音が含まれるか否かを判断するための第1の評価値と、前記呼吸音に含まれる前記異常音の種類を判断するための第2の評価値を算出するステップと、を有する。
上述した課題を解決する第3の発明に係る呼吸音分析プログラムは、呼吸音に基づく入力信号を複数の周波数帯域に分割し、各周波数帯域の信号において相対的にレベルが高い区間を示すピーク区間信号と、前記ピーク区間以外の区間を示す非ピーク区間信号を生成するステップと、複数の前記ピーク区間信号を合成したピーク区間合成信号と、複数の前記非ピーク区間信号を合成した非ピーク区間合成信号を生成するステップと、前記ピーク区間合成信号から第1の特徴量を生成し、前記非ピーク区間合成信号から第2の特徴量を生成するステップと、前記第1の特徴量と前記第2の特徴量を用いて、前記呼吸音に異常音が含まれるか否かを判断するための第1の評価値と、前記呼吸音に含まれる前記異常音の種類を判断するための第2の評価値を算出するステップと、をコンピュータに実行させる。
The respiratory sound analyzer according to the first invention for solving the above-described problem is a peak section that divides an input signal based on a respiratory sound into a plurality of frequency bands and indicates a section having a relatively high level in each frequency band signal. A signal, a non-peak section signal indicating a section other than the peak section, and a peak section synthesized signal obtained by synthesizing the plurality of peak section signals, and a non-peak section synthesized signal obtained by synthesizing the plurality of non-peak section signals. A peak section identifying section to be generated; a feature quantity generating section for generating a first feature quantity from the peak section synthesized signal; and generating a second feature quantity from the non-peak section synthesized signal; and the first feature quantity And a first evaluation value for determining whether or not an abnormal sound is included in the respiratory sound, and a type of the abnormal sound included in the respiratory sound, using the second feature amount Second evaluation value Comprising an evaluation value calculation unit that calculates a.
In the respiratory sound analysis method according to the second invention for solving the above-described problem, an input signal based on a respiratory sound is divided into a plurality of frequency bands, and a peak section indicating a section having a relatively high level in each frequency band signal Generating a signal, a non-peak section signal indicating a section other than the peak section, a peak section synthesized signal obtained by synthesizing a plurality of the peak section signals, and a non-peak section synthesis obtained by synthesizing a plurality of the non-peak section signals. Generating a signal, generating a first feature amount from the peak interval composite signal, generating a second feature amount from the non-peak interval composite signal, the first feature amount, and the second feature amount. And a second evaluation value for determining the type of the abnormal sound included in the respiratory sound, and a first evaluation value for determining whether or not the abnormal sound is included in the respiratory sound. Evaluation value A calculating and.
A respiratory sound analysis program according to a third invention for solving the above-described problem is a peak section that divides an input signal based on a respiratory sound into a plurality of frequency bands, and indicates a section having a relatively high level in each frequency band signal Generating a signal, a non-peak section signal indicating a section other than the peak section, a peak section synthesized signal obtained by synthesizing a plurality of the peak section signals, and a non-peak section synthesis obtained by synthesizing a plurality of the non-peak section signals. Generating a signal, generating a first feature amount from the peak interval composite signal, generating a second feature amount from the non-peak interval composite signal, the first feature amount, and the second feature amount. And a second evaluation value for determining the type of the abnormal sound included in the respiratory sound, and a first evaluation value for determining whether or not the abnormal sound is included in the respiratory sound. To execute the steps of: calculating a value to the computer.
本発明によれば、簡便な方法で、入力された呼吸音信号から2つの特徴量を生成し、2つの特徴量を用いて呼吸音に異常音が含まれるか否かを判断するための評価値と、異常音の種類を判断するための評価値を算出できる呼吸音分析装置、呼吸音分析方法、呼吸音分析プログラムを提供できる。 According to the present invention, two feature values are generated from an input respiratory sound signal by a simple method, and the evaluation for determining whether or not an abnormal sound is included in the respiratory sound using the two feature values. A respiratory sound analysis apparatus, a respiratory sound analysis method, and a respiratory sound analysis program capable of calculating a value and an evaluation value for determining the type of abnormal sound can be provided.
以下、本発明の呼吸音分析装置の一実施形態について、添付図面を参照して説明する。
図1に、第1実施形態の呼吸音分析装置のブロック図を示す。呼吸音分析装置100は、信号取得部110と、ピーク区間検出部120と、特徴量生成部130と、評価値算出部140と、判定部150と、を備える。呼吸音分析装置100が行う呼吸音分析処理を、図2のフローチャートを用いて説明する。
Hereinafter, an embodiment of the respiratory sound analyzer of the present invention will be described with reference to the accompanying drawings.
FIG. 1 shows a block diagram of the respiratory sound analyzer of the first embodiment. The respiratory
信号取得部110は、マイク等の図示しない収音装置で収音した呼吸音信号を受け取り、必要に応じて信号変換を行い、ピーク区間識別部120に出力する。信号変換は例えばA/D変換である。
The
ピーク区間識別部120は、図3に示すように複数の帯域分割フィルタ2x,(x=1〜n、以下同様)と、ピーク信号生成部3xと、信号合成部40を備える。ピーク区間識別部120は、ステップS201にて呼吸音信号に基づく入力信号Sを受け取り、帯域分割フィルタ21〜2nで複数(1〜n)の周波数帯域に分割する。帯域分割フィルタ21〜2nは、入力信号Sをそれぞれが有するバンドパスフィルタでフィルタリングした信号s(x),(s(1)〜s(n))を、対応するピーク信号生成部31〜3nに供給する。
ピーク区間識別部120のピーク信号生成部3xはステップS202にて、各周波数帯域の信号s(x)から、周波数の時間変化における後述するピーク区間を示すピーク信号ps(x),(ps(1)〜ps(n))を生成する。ピーク信号生成部3xはピーク信号ps(x)を信号合成部40に供給する。本実施形態ではピーク区間を検出する対象とした分析対象周波数は0Hz〜2kHzとしたが、この限りではない。
As shown in FIG. 3, the peak
In step S202, the peak signal generating unit 3x of the peak
図4にピーク信号生成部3nが周波数帯域(n)の信号s(n)から求めたピーク信号ps(n)を示す。ピーク信号ps(n)は、周波数帯域の信号s(n)のレベルが一点鎖線で示すあるレベル以上となる区間(以下、ピーク区間)に立ち上がり、信号s(n)のレベルがあるレベルより小さくなる区間(以下、非ピーク区間)で立ち下がる信号である。ピーク区間識別部120は分割した各周波数帯域で同様に信号s(x)のピーク信号ps(x)を求め、求めたピーク信号ps(x)を基に図5に示す合成信号Pを生成する。
なお、周波数帯域(x)の信号s(x)毎に、ピーク区間となるか非ピーク区間となるかの基準となるレベルは異なり、またそのレベルは一定値ではなく信号s(x)の分布に基づいて可変させてもよい。例えば、信号s(x)の移動平均値を各時刻における基準レベルとする。周波数帯域(x)の信号s(x)において、相対的にレベルが大きい区間がピーク区間、ピーク区間と識別された以外の区間が非ピーク区間である。
FIG. 4 shows the peak signal ps (n) obtained from the signal s (n) in the frequency band (n) by the
It should be noted that for each signal s (x) in the frequency band (x), the reference level is different depending on whether it is a peak interval or a non-peak interval, and the level is not a constant value but a distribution of the signal s (x) You may make it vary based on. For example, the moving average value of the signal s (x) is set as the reference level at each time. In the signal s (x) of the frequency band (x), a section having a relatively high level is a peak section, and a section other than the section identified as the peak section is a non-peak section.
ピーク区間識別部120の信号合成部40は、ピーク信号生成部3xが生成したピーク信号ps(x)から、図5に示す合成信号Pを生成する(ステップS203)。合成信号Pは、合成対象とする各ピーク信号ps(x)のピーク区間を合成したピーク区間合成信号P1と、非ピーク区間を合成した非ピーク区間合成信号P0とを含む。図5の時刻t1から時刻t2における合成信号Pは、合成の対象であるピーク信号ps(1)からピーク信号ps(n)のうち、時刻t1に最初に立ち上がるピーク信号ps(2)から時刻t2にて最後に立ち下がるピーク信号ps(1)を合成して生成した、時刻t1に立ち上がり時刻t2に立ち下がるピーク区間合成信号P1である。図5の時刻t2から時刻t3における合成信号Pは、合成の対象であるピーク信号ps(1)からピーク信号ps(n)のうち、時刻t2にて立ち下がるピーク信号ps(1)から時刻t3に最初に立ち上がるピーク信号ps(n)までを合成して生成した、非ピーク区間合成信号P0である。
合成信号Pのピーク区間合成信号P1は、入力信号Sを分割した各周波数帯域(x)の信号s(x)において、相対的にレベルが大きい区間を示すピーク区間信号を合成した信号で、非ピーク区間合成信号P0は、入力信号Sを分割した各周波数帯域(x)の信号s(x)において、ピーク区間以外の区間である非ピーク区間を示す非ピーク区間信号を合成した信号である。
なお、合成信号Pの生成には、全ての周波数帯域の信号s(x)から求めたピーク信号ps(x)を用いてもよいし、選択した周波数帯域の信号s(x)から求めたピーク信号ps(x)を用いてもよい。
The
The peak section synthesized signal P1 of the synthesized signal P is a signal obtained by synthesizing a peak section signal indicating a section having a relatively high level in the signal s (x) of each frequency band (x) obtained by dividing the input signal S. The peak section synthesized signal P0 is a signal obtained by synthesizing a non-peak section signal indicating a non-peak section that is a section other than the peak section in the signal s (x) of each frequency band (x) obtained by dividing the input signal S.
Note that the peak signal ps (x) obtained from the signals s (x) in all frequency bands may be used to generate the synthesized signal P, or the peak obtained from the signal s (x) in the selected frequency band. The signal ps (x) may be used.
ラッセル音(以下、ラ音)に代表される異常な呼吸音は、正常な呼吸音と比較して特定の周波数成分において振幅(またはパワー)が大きいという特徴を有する。そのため、周波数帯域(x)の信号s(x)についてピーク区間と非ピーク区間を示すピーク信号ps(x)を求めることで、異常音を含む疑いが高い区間(ピーク区間)とそうでない区間(非ピーク区間)とに、周波数帯域の信号s(x)を大まかに分けられる。
また、本実施形態における異常な呼吸音である連続性ラ音は狭い周波数帯域で長く連続して聴こえるという特徴を有し、断続性ラ音は広い周波数帯域でごく短時間、断続的に聴こえるという特徴を有することから、ピーク区間識別部120で入力信号Sを複数の周波数帯域(x)に分割する際、各周波数帯域に含まれる周波数成分が重複していてもよい。
ピーク区間識別部120は、入力信号Sを複数の周波数帯域に分割した複数の信号s(x)から、各周波数帯域の信号s(x)において相対的にレベルが高いピーク区間を示すピーク区間信号と、ピーク区間以外の区間を示す非ピーク区間信号とを有するピーク信号ps(x)を生成し、複数のピーク区間信号を合成したピーク区間合成信号P1および複数の非ピーク区間を合成した非ピーク区間合成信号P0を有する合成信号Pを生成する。入力信号Sは、ピーク区間識別部120が生成した合成信号Pにより、ピーク区間と非ピーク区間とに識別される。
An abnormal breathing sound typified by a Russell sound (hereinafter referred to as a “rabble sound”) has a characteristic that an amplitude (or power) is large in a specific frequency component as compared with a normal breathing sound. Therefore, by obtaining the peak signal ps (x) indicating the peak interval and the non-peak interval for the signal s (x) in the frequency band (x), the interval (peak interval) having a high suspicion including abnormal noise and the interval ( The signal s (x) in the frequency band can be roughly divided into (non-peak period).
In addition, the continuous rarity which is an abnormal breathing sound in the present embodiment has a feature that it can be heard continuously for a long time in a narrow frequency band, and the intermittent rarity is heard intermittently for a very short time in a wide frequency band. Due to the characteristics, when the peak
The peak
特徴量生成部130は、ピーク区間識別部120が生成した合成信号Pを構成するピーク区間合成信号P1、非ピーク区間合成信号P0を基に、入力信号Sのピーク区間と非ピーク区間の特徴量をそれぞれ求める。入力信号Sを、短時間高速フーリエ変換等の周波数解析方法を用いて、単位時間フレーム毎に周波数帯域の信号に変換し、ピーク区間、非ピーク区間のそれぞれの区間において、周波数毎の統計値を算出する。統計値は、例えば周波数毎の振幅や振幅から求めるパワーの、平均値や中央値、分散、尖度、歪度、最大値と最小値との差や比等、周波数の分布特徴を示す値を用いるのが望ましい。
The feature
図6(A)、(B)は特徴量生成部130が、ピーク区間と非ピーク区間からそれぞれ求めた周波数分布を、横軸が周波数f、縦軸が周波数成分の特徴量として示す図である。本実施形態ではピーク区間合成信号P1を基にピーク区間から求めた周波数分布をピーク区間の特徴量CP、非ピーク区間合成信号P0を基に非ピーク区間から求めた周波数分布を非ピーク区間の特徴量NPとする。
図6(A)のピーク区間の特徴量CPを破線511や、512で囲んだ箇所は、周波数の特徴量が図6(B)に示す非ピーク区間の特徴量NPと比較して高いことを示す箇所であり、ピーク区間の特徴量CPの特徴部分である。周波数f1やf2では相対的にパワーが大きい信号が多く検出されたことを示す。
図6(B)の非ピーク区間の特徴量NPと、ピーク区間の特徴量CPを比較すると、破線511や、512で囲んだ周波数帯域の分布に差が出る。ピーク区間の特徴量CPと非ピーク区間の特徴量NPに差が生じる箇所は、異常音に基づく差である可能性が高い。このような差に着目して異常音の有無を判断する。
6A and 6B are diagrams showing the frequency distributions obtained by the feature
In the portion surrounded by the
When the feature quantity NP in the non-peak section in FIG. 6B and the feature quantity CP in the peak section are compared, there is a difference in the distribution of frequency bands surrounded by
図7(A)〜図7(C)を用いて特徴量生成部130が生成する特徴量について説明する。図7(A)に、連続性ラ音を含む呼吸音の入力信号Sから求めたピーク区間の特徴量CPと非ピーク区間の特徴量NPとを示す。上記したように連続性ラ音は、狭い周波数帯域で時間的に連続した信号で表される。連続性ラ音は、例えば高い周波数の音であればピューという笛のような音、低い周波数の音であればボーという唸り声のような音である。ピーク区間に連続性ラ音の区間を多く含む場合、ピーク区間の特徴量CPは、鎖線611、612で囲んだ箇所のように、ある周波数成分を多く含むことを示す。ピーク区間の特徴量CPの鎖線611、612で囲んだ周波数帯域では、同周波数帯域における非ピーク区間の特徴量NPと大きな差があることが分かる。
図7(B)に、断続性ラ音を含む呼吸音の入力信号Sから求めたピーク区間の特徴量CPと非ピーク区間の特徴量NPとを示す。断続性ラ音は、上記したように広い周波数帯域で時間的に断続した信号で表される。断続性ラ音は、プチプチやブツブツというインパルス性ノイズが断続するような音である。ピーク区間に断続性ラ音の区間を多く含む場合、鎖線621で示す様な広い周波数帯域において、ピーク区間の特徴量CPと非ピーク区間の特徴量NPとに差があることが分かる。
The feature amount generated by the feature
FIG. 7B shows the feature quantity CP in the peak section and the feature quantity NP in the non-peak section obtained from the input signal S of the respiratory sound including intermittent rales. Intermittent rales are represented by signals that are intermittent in time in a wide frequency band as described above. Intermittent rales are sounds such as impulsive noises such as bubble wrap and buzz. It can be seen that when the peak section includes many intermittent radon sections, there is a difference between the feature quantity CP in the peak section and the feature quantity NP in the non-peak section in a wide frequency band as indicated by the
図7(C)に、本実施形態における異常音である、連続性ラ音も断続性ラ音も含まない呼吸音の入力信号Sから求めた、ピーク区間の特徴量CPと非ピーク区間の特徴量NPとを示す。異常音が含まれない、いわゆる正常な呼吸音の場合、呼気と吸気との振幅の差や、周囲のノイズ等により発生するピーク区間が含まれる。正常な呼吸音に基づく入力信号Sから得られたピーク信号ps(x)は、連続性ラ音や断続性ラ音のように特定の周波数成分あるいは周波数帯域において相対的にパワーが大きい信号が検出されない。従って分析対象の周波数全域で、図7(C)に示すようにピーク区間の特徴量CPと非ピーク区間の特徴量NPとに大きな差がない。
図7(A)〜図7(C)にて説明したように、ピーク区間における周波数分布、非ピーク区間における周波数分布をそれぞれ特徴量とすることで、入力信号Sに異常音を含む場合と含まない場合とでピーク区間、非ピーク区間の特徴量に明確な差が表れる。各区間の特徴量は、各要素を用いて、分散や尖度、歪度等の統計値をさらに算出した値としてもよい。
FIG. 7C shows the peak section feature amount CP and the non-peak section feature obtained from the input signal S of the breathing sound that does not include the continuous rarity and intermittent rarity, which are abnormal sounds in the present embodiment. The quantity NP is indicated. In the case of a so-called normal breathing sound that does not include abnormal sounds, a peak interval that occurs due to a difference in amplitude between exhalation and inspiration, ambient noise, or the like is included. The peak signal ps (x) obtained from the input signal S based on a normal breathing sound is detected as a signal having a relatively high power in a specific frequency component or frequency band such as a continuous rarity or intermittent rarity. Not. Accordingly, as shown in FIG. 7C, there is no significant difference between the feature value CP in the peak section and the feature value NP in the non-peak section in the entire frequency to be analyzed.
As described with reference to FIGS. 7A to 7C, the frequency distribution in the peak section and the frequency distribution in the non-peak section are used as feature amounts, respectively, so that the case where the input signal S includes abnormal sound is included. There is a clear difference in the feature values between the peak and non-peak sections. The feature amount of each section may be a value obtained by further calculating statistical values such as variance, kurtosis, and skewness using each element.
評価値算出部140は、特徴量生成部130で生成したピーク区間の特徴量CPと非ピーク区間の特徴量NPとを用いて、判定部150が呼吸音に異常音が含まれるか否かを評価するために用いる評価値を算出する(ステップS205)。
評価値の算出には例えば、コサイン類似度や相互相関値等のベクトルの類似性を示す値、ユークリッド距離やマハラノビス距離等のベクトルの距離、ピーク区間の特徴量CPと非ピーク区間の特徴量NPの各要素の比や差に基づいた統計値(平均値や分散等)等を用いることができる。ベクトルのサイズが大きい場合は類似度の特徴が表れにくいことがあるため、隣接要素を平均によって1つの要素にまとめる等の処理により、ベクトルの特徴を保存しつつベクトルサイズを縮小するのが望ましい。また、評価値の特性に応じて特徴量を正規化してもよい。ベクトルは特徴量CP、特徴量NPであり、各周波数fにおける特徴量(スカラー)の集合である。
The evaluation
The calculation of the evaluation value includes, for example, a value indicating vector similarity such as cosine similarity and cross-correlation value, vector distance such as Euclidean distance and Mahalanobis distance, feature quantity CP in the peak section and feature quantity NP in the non-peak section. Statistical values (average value, variance, etc.) based on the ratio or difference of each element can be used. When the vector size is large, it may be difficult to display the similarity feature. Therefore, it is desirable to reduce the vector size while preserving the vector feature by, for example, combining adjacent elements into one element by averaging. Further, the feature amount may be normalized according to the characteristic of the evaluation value. The vector is a feature quantity CP and a feature quantity NP, and is a set of feature quantities (scalars) at each frequency f.
判定部150は、評価値算出部140で得られた評価値が条件を満たしているか否かを判定する(ステップS206)。条件を満たしていない場合は、異常音なしと判断し(ステップS207)、条件を満たしている場合は異常音ありと判断する(ステップS208)。
評価値の算出にコサイン類似度を用いる場合、特徴量CPとNPの類似度が高いほど1に近い値となる。従って1に近い値、例えば0.9、を閾値として類似度が閾値以下であるか否かを条件とする。評価値の算出にユークリッド距離を用いる場合、正規化の条件によってベクトル間の距離は異なるが、特徴量CPと特徴量NPの類似度が高いほど0に近い値となる。従って正規化の条件に合わせて少なくとも0より大きい閾値を設定し、類似度が閾値以上であるか否かを条件とする。
評価値の算出に、特徴量に含まれる各要素の比を用いる場合、特徴量CPと特徴量NPの類似度が高いほど1に近い値を有する要素が多くなる。
The
When the cosine similarity is used to calculate the evaluation value, the higher the similarity between the feature amounts CP and NP, the closer to 1. Therefore, a value close to 1, for example, 0.9 is set as a threshold value, and the condition is whether the similarity is equal to or less than the threshold value. When the Euclidean distance is used to calculate the evaluation value, the distance between the vectors varies depending on the normalization condition, but the value becomes closer to 0 as the similarity between the feature quantity CP and the feature quantity NP increases. Therefore, a threshold value greater than at least 0 is set according to the normalization condition, and the condition is whether the similarity is equal to or greater than the threshold value.
When the ratio of each element included in the feature value is used for calculating the evaluation value, the higher the similarity between the feature value CP and the feature value NP, the more elements having a value closer to 1.
図8(A)〜(C)は、図7(A)〜(C)にそれぞれ示す特徴量CPと特徴量NPの、周波数毎に求めた特徴量NPに対する特徴量CPの比Rを示す。図7(A)で示した連続性ラ音を含む呼吸音の特徴量CPと特徴量NPは、図8(A)に示すように一部の周波数帯域711、712で比Rが1を大きく上回る。図7(B)で示した断続性ラ音を含む呼吸音の特徴量CPと特徴量NPは、図8(B)に示すように広い周波数帯域721で比Rが1を上回る。
図8(A)、(B)から明らかなように、断続性ラ音を含む呼吸音から求めた比Rが1を上回る周波数帯域721は、連続性ラ音を含む呼吸音から求めた比Rが1を上回る周波数帯域711、712より広い。図8(A)に示す、連続性ラ音を含む呼吸音から求めた比Rが1を上回る周波数帯域711、712は、分析処理に用いる全周波数に対して非常に少ない数の周波数を含む狭い領域である。図8(B)に示す、断続性ラ音を含む呼吸音から求めた比Rが1を上回る周波数帯域721は、分析処理に用いる周波数のうちほぼ全ての周波数を含む広い領域である。
8A to 8C show the ratio R of the feature value CP to the feature value NP obtained for each frequency between the feature value CP and the feature value NP shown in FIGS. 7A to 7C, respectively. As shown in FIG. 8A, the feature value CP and the feature value NP of the respiratory sound including the continuous rales shown in FIG. 7A have a ratio R of 1 larger in some
As is clear from FIGS. 8A and 8B, the
図7(C)で示した異常音を含まない呼吸音の特徴量CPと特徴量NPは、図8(C)に示すように、比Rが分析処理に用いる周波数のうちほぼ全ての周波数において約1を示す。図8(A)〜図8(C)で説明した異常音の有無で異なる特徴に基づいた条件としては、各要素の比の平均値が1より大きい(例えば1.5以上等)や、複数の周波数において1より充分に大きい(例えば2以上等)、といったものが挙げられる。また、分散や尖度、歪度を用いてもよい。 As shown in FIG. 8C, the feature value CP and the feature value NP of the respiratory sound that do not include the abnormal sound shown in FIG. About 1 is shown. As conditions based on characteristics that differ depending on the presence or absence of abnormal sounds described in FIG. 8A to FIG. 8C, the average value of the ratio of each element is greater than 1 (for example, 1.5 or more), or a plurality of conditions And a frequency sufficiently higher than 1 (for example, 2 or more). Further, dispersion, kurtosis, and skewness may be used.
ステップS209では、ステップS207の異常音を含まないとする判断またはステップS208の異常音を含むとする判断のいずれかに基づいて表示情報を生成し、呼吸音の分析処理を終了する。第1実施形態の呼吸音分析処理によって、学習のためのデータを必要とせず、かつ、簡便な方法で呼吸音に異常音が含まれるか否かを判断することができる。 In step S209, display information is generated based on either the determination that the abnormal sound is not included in step S207 or the determination that the abnormal sound is included in step S208, and the analysis process of the respiratory sound is terminated. With the respiratory sound analysis processing of the first embodiment, it is possible to determine whether or not an abnormal sound is included in the respiratory sound by a simple method without requiring data for learning.
<第2実施形態>
本実施形態の呼吸音分析処理は、第1実施形態で説明した呼吸音分析処理によって呼吸音に異常音が含まれると判断された場合に、更にその異常音の種類を識別する。本実施形態では連続性ラ音と断続性ラ音とを識別する。
図9に示す本実施形態の呼吸音分析装置101は、第1実施形態の呼吸音分析装置100とは、評価値算出部141と判定部151とを備える点で異なる。本実施形態の呼吸音分析装置101が備える評価値算出部141と判定部151以外の構成は、第1実施形態の呼吸音分析装置100と同じであるため同じ符号を付し、説明を省略する。呼吸音分析装置101が行う呼吸音分析処理を図10のフローチャートを用いて説明する。
Second Embodiment
In the respiratory sound analysis process of this embodiment, when it is determined by the respiratory sound analysis process described in the first embodiment that an abnormal sound is included in the respiratory sound, the type of the abnormal sound is further identified. In this embodiment, a continuous ra sound and an intermittent ra sound are identified.
The respiratory
入力信号Sが呼吸音分析装置101に入力されてから特徴量生成部130が特徴量を生成するまでの処理は、第1実施形態のステップS201〜ステップS204と同じであるため、図10に示すフローチャートにおいて、同じ符号を付し、説明を省略する。
The processing from when the input signal S is input to the
評価値算出部141は、異常音の有無を判断する評価値だけでなく、異常音が連続性ラ音を含むか否か、異常音が断続性ラ音を含むか否か、をそれぞれ判断する評価値も算出する。ステップS801において、評価値算出部141は、以下のように評価値を求める。
図7(A)に示すように連続性ラ音を含む呼吸音の特徴量CPは、鎖線611、鎖線612で示す一部の周波数帯域にピークを含むため、隣接する周波数間での特徴量の変化が大きい箇所を含む場合が多い。一方、図7(B)に示すように断続性ラ音を含む呼吸音の特徴量CPは、隣接する周波数間の特徴量の変化が、図7(A)に示す連続性ラ音を含む場合よりも緩やかである場合が多い。このような特徴により、特徴量CPの微分値を算出すると、図7(A)に示す連続性ラ音を含む呼吸音の場合は、微分値は急峻な変化が多くなるが、図7(B)に示す断続性ラ音を含む呼吸音の場合は、微分値は一定の値や緩やかな変化が多くなる。従って本実施形態では、二階微分値を求め、その零交差回数を、連続性ラ音を含むか否かの評価値とした。
また、その他の評価値としては、微分値の分布のばらつきを示す分散や、尖り具合を示す尖度等の統計値を用いたり、図8(A)〜(C)に示す呼吸音の特徴量CPと特徴量NPから求めた比Rから統計値を算出して用いたりしても良い。
The evaluation
As shown in FIG. 7 (A), the feature value CP of the breathing sound including continuous rales includes a peak in a part of the frequency band indicated by the
In addition, as other evaluation values, statistical values such as dispersion indicating variation in the distribution of differential values, kurtosis indicating the degree of kurtosis, etc. are used, or respiratory sound feature values shown in FIGS. A statistical value may be calculated and used from the ratio R obtained from the CP and the feature quantity NP.
図8(B)に示すように断続性ラ音を含む呼吸音から求めた比Rは、第1実施形態でも述べたように、分析処理に用いる周波数のほぼ全ての周波数において1を超えている。一方、図8(A)に示す連続性ラ音を含む呼吸音から求めた比Rは、1を超えている周波数が断続性ラ音と比較して少ない。従って本実施形態では、閾値を1から2の値に設定し、分析に用いた周波数全体に対する閾値を超えた周波数の割合を算出した値を、断続性ラ音を含むか否かの評価値とした。 As shown in FIG. 8B, the ratio R obtained from the breathing sound including intermittent rarity exceeds 1 in almost all frequencies used in the analysis processing as described in the first embodiment. . On the other hand, the ratio R obtained from the respiratory sound including the continuous rales shown in FIG. 8 (A) has a frequency exceeding 1 less than that of the intermittent rales. Therefore, in this embodiment, the threshold value is set to a value of 1 to 2, and the value calculated for the ratio of the frequency exceeding the threshold value to the entire frequency used for the analysis is an evaluation value as to whether or not intermittent rales are included. did.
本実施形態における判定部151はまず、ステップS801で評価値算出部141が算出した評価値を用いてステップS802にて呼吸音に異常音が含まれるか否かの判断処理を行うが、これは第1実施形態の判定部150が行うステップS206〜ステップS208と同様の判断処理であるため、ステップS802〜ステップS804の説明は省略する。
In the present embodiment, the
ステップS804において異常音ありと判断された場合、ステップS805に進み、判定部151は連続性ラ音を含むか否かを評価するための評価値が、所定の条件を満たすか否かを判定する。条件を満たすと判定すると、呼吸音は連続性ラ音を含み(ステップS807)、満たさないと判定すると、呼吸音は連続性ラ音を含まない(ステップS806)。ここでステップS805における判定の条件は、二階微分値の零交差回数が三回以上か否か、とした。
続くステップS808において、断続性ラ音を含むか否か評価するための評価値が、所定の条件を満たすか否かを判定する。条件を満たすと判定すると、呼吸音は断続性ラ音を含み(ステップS810)、満たさないと判定すると、呼吸音は断続性ラ音を含まない(ステップS809)。ここでステップS808における判定の条件は、分析に用いた全周波数に対する閾値を超えた周波数の割合が60%以上か否か、とした。
If it is determined in step S804 that there is an abnormal sound, the process proceeds to step S805, and the
In a succeeding step S808, it is determined whether or not an evaluation value for evaluating whether or not an intermittent sound is included satisfies a predetermined condition. If it is determined that the condition is satisfied, the breathing sound includes an intermittent sound (step S810). If it is determined that the condition is not satisfied, the breathing sound does not include an intermittent sound (step S809). Here, the determination condition in step S808 is whether or not the ratio of the frequency exceeding the threshold to all frequencies used in the analysis is 60% or more.
ステップS811では、異常音の有無、異常音がある場合は、異常音が連続性ラ音を含むか否か、異常音が断続性ラ音を含むか否か、について表示情報を生成して分析処理を終了する。
第2実施形態の呼吸音分析処理により、学習のためのデータを必要とせず、簡便な方法で呼吸音に異常音が含まれるか否かを判断でき、さらに異常音の種類(連続性ラ音、断続性ラ音)も判断することができる。
In step S811, display information is generated and analyzed for the presence or absence of an abnormal sound, and if there is an abnormal sound, whether the abnormal sound includes a continuous rabble or whether the abnormal sound includes an intermittent rabble. The process ends.
With the respiratory sound analysis processing of the second embodiment, it is possible to determine whether or not an abnormal sound is included in the respiratory sound by a simple method without requiring data for learning. , Intermittent rales) can also be determined.
なお、第1実施形態、第2実施形態の呼吸音分析装置は、判定部150、151を備えなくてもよい。特徴量や評価値を表示部200に表示させ、ユーザが表示された情報に基づいて異常音を含むか否かの判断、異常音の種類の判断をすればよい。
なお、第1実施形態、第2実施形態の呼吸音分析装置が行う呼吸音分析処理を、プログラムとしてコンピュータに実行させてもよい。
Note that the respiratory sound analyzers of the first and second embodiments may not include the
In addition, you may make a computer perform the respiratory sound analysis process which the respiratory sound analyzer of 1st Embodiment and 2nd Embodiment performs as a program.
100、101 呼吸音分析装置
110 信号取得部
120 ピーク区間識別部
130 特徴量生成部
140、141 評価値算出部
150、151 判定部
200 表示部
DESCRIPTION OF
Claims (4)
前記ピーク区間合成信号から第1の特徴量を生成し、前記非ピーク区間合成信号から第2の特徴量を生成する特徴量生成部と、
前記第1の特徴量と前記第2の特徴量を用いて、前記呼吸音に異常音が含まれるか否かを判断するための第1の評価値と、前記呼吸音に含まれる前記異常音の種類を判断するための第2の評価値を算出する評価値算出部と、を備える呼吸音分析装置。 The input signal based on the respiratory sound is divided into a plurality of frequency bands, and a peak section signal indicating a relatively high level section in each frequency band signal and a non-peak section signal indicating a section other than the peak section are generated. A peak section identifying signal for generating a peak section synthesized signal obtained by synthesizing a plurality of the peak section signals, and a non-peak section synthesized signal obtained by synthesizing the plurality of non-peak section signals;
A feature quantity generating unit that generates a first feature quantity from the peak section synthesized signal and a second feature quantity from the non-peak section synthesized signal;
Using the first feature value and the second feature value, a first evaluation value for determining whether or not the respiratory sound includes an abnormal sound, and the abnormal sound included in the respiratory sound A respiratory sound analyzer comprising: an evaluation value calculation unit that calculates a second evaluation value for determining the type of the respiratory sound.
複数の前記ピーク区間信号を合成したピーク区間合成信号と、複数の前記非ピーク区間信号を合成した非ピーク区間合成信号を生成するステップと、
前記ピーク区間合成信号から第1の特徴量を生成し、前記非ピーク区間合成信号から第2の特徴量を生成するステップと、
前記第1の特徴量と前記第2の特徴量を用いて、前記呼吸音に異常音が含まれるか否かを判断するための第1の評価値と、前記呼吸音に含まれる前記異常音の種類を判断するための第2の評価値を算出するステップと、を有する呼吸音分析方法。 The input signal based on the breathing sound is divided into a plurality of frequency bands, and a peak section signal indicating a relatively high level section in each frequency band signal and a non-peak section signal indicating a section other than the peak section are generated. Steps,
Generating a peak interval synthesized signal obtained by synthesizing a plurality of peak interval signals, and a non-peak interval synthesized signal obtained by synthesizing a plurality of non-peak interval signals;
Generating a first feature quantity from the peak section synthesized signal and generating a second feature quantity from the non-peak section synthesized signal;
Using the first feature value and the second feature value, a first evaluation value for determining whether or not the respiratory sound includes an abnormal sound, and the abnormal sound included in the respiratory sound Calculating a second evaluation value for determining the type of breathing sound.
複数の前記ピーク区間信号を合成したピーク区間合成信号と、複数の前記非ピーク区間信号を合成した非ピーク区間合成信号を生成するステップと、
前記ピーク区間合成信号から第1の特徴量を生成し、前記非ピーク区間合成信号から第2の特徴量を生成するステップと、
前記第1の特徴量と前記第2の特徴量を用いて、前記呼吸音に異常音が含まれるか否かを判断するための第1の評価値と、前記呼吸音に含まれる前記異常音の種類を判断するための第2の評価値を算出するステップと、をコンピュータに実行させる呼吸音分析プログラム。
The input signal based on the breathing sound is divided into a plurality of frequency bands, and a peak section signal indicating a relatively high level section in each frequency band signal and a non-peak section signal indicating a section other than the peak section are generated. Steps,
Generating a peak interval synthesized signal obtained by synthesizing a plurality of peak interval signals, and a non-peak interval synthesized signal obtained by synthesizing a plurality of non-peak interval signals;
Generating a first feature quantity from the peak section synthesized signal and generating a second feature quantity from the non-peak section synthesized signal;
Using the first feature value and the second feature value, a first evaluation value for determining whether or not the respiratory sound includes an abnormal sound, and the abnormal sound included in the respiratory sound And a step of calculating a second evaluation value for determining the type of the respiratory sound analysis program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012240803A JP6036178B2 (en) | 2012-10-31 | 2012-10-31 | Respiratory sound analyzer, respiratory sound analysis method and respiratory sound analysis program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012240803A JP6036178B2 (en) | 2012-10-31 | 2012-10-31 | Respiratory sound analyzer, respiratory sound analysis method and respiratory sound analysis program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014090722A true JP2014090722A (en) | 2014-05-19 |
JP6036178B2 JP6036178B2 (en) | 2016-11-30 |
Family
ID=50935274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012240803A Active JP6036178B2 (en) | 2012-10-31 | 2012-10-31 | Respiratory sound analyzer, respiratory sound analysis method and respiratory sound analysis program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6036178B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017063824A (en) * | 2015-09-28 | 2017-04-06 | 株式会社アニモ | Information processing method and device |
WO2017130415A1 (en) * | 2016-01-29 | 2017-08-03 | パイオニア株式会社 | Biological sound analysis device, biological sound analysis method, computer program, and recording medium |
KR20220075483A (en) * | 2020-11-30 | 2022-06-08 | 한국전자기술연구원 | Respiratory disease diagnosis method and system based on vital signal including respiratory sound |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007014501A (en) * | 2005-07-06 | 2007-01-25 | Toshiba Corp | Respiratory condition determining device, method and program |
US20120150054A1 (en) * | 2010-12-08 | 2012-06-14 | Sony Corporation | Respiratory condition analysis apparatus, respiratory condition display apparatus, processing method therein, and program |
-
2012
- 2012-10-31 JP JP2012240803A patent/JP6036178B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007014501A (en) * | 2005-07-06 | 2007-01-25 | Toshiba Corp | Respiratory condition determining device, method and program |
US20120150054A1 (en) * | 2010-12-08 | 2012-06-14 | Sony Corporation | Respiratory condition analysis apparatus, respiratory condition display apparatus, processing method therein, and program |
JP2012120688A (en) * | 2010-12-08 | 2012-06-28 | Sony Corp | Respiratory condition analysis apparatus, respiratory condition display apparatus, processing method therein, and program |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017063824A (en) * | 2015-09-28 | 2017-04-06 | 株式会社アニモ | Information processing method and device |
WO2017130415A1 (en) * | 2016-01-29 | 2017-08-03 | パイオニア株式会社 | Biological sound analysis device, biological sound analysis method, computer program, and recording medium |
JPWO2017130415A1 (en) * | 2016-01-29 | 2018-09-27 | パイオニア株式会社 | Body sound analysis apparatus, body sound analysis method, computer program, and recording medium |
US11185251B2 (en) | 2016-01-29 | 2021-11-30 | Pioneer Corporation | Biological sound analyzing apparatus, biological sound analyzing method, computer program, and recording medium |
KR20220075483A (en) * | 2020-11-30 | 2022-06-08 | 한국전자기술연구원 | Respiratory disease diagnosis method and system based on vital signal including respiratory sound |
KR102445294B1 (en) * | 2020-11-30 | 2022-09-20 | 한국전자기술연구원 | Respiratory disease diagnosis method and system based on vital signal including respiratory sound |
Also Published As
Publication number | Publication date |
---|---|
JP6036178B2 (en) | 2016-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11116478B2 (en) | Diagnosis of pathologies using infrasonic signatures | |
JP6922708B2 (en) | Anomaly detection computer program, anomaly detection device and anomaly detection method | |
US20210345991A1 (en) | Diagnosis of pathologies using infrasonic signatures | |
Chen et al. | Algorithm for heart rate extraction in a novel wearable acoustic sensor | |
JP6231681B2 (en) | Respiratory sound analysis device, respiratory sound analysis method, computer program, and recording medium | |
WO2017218818A2 (en) | Method for eliminating noise in signal data from a piezoelectric device and detecting stenosis | |
JP2014050672A (en) | Respiratory sound analysis device, respiratory sound analysis method and respiratory sound analysis program | |
JP6036178B2 (en) | Respiratory sound analyzer, respiratory sound analysis method and respiratory sound analysis program | |
CN107811610B (en) | Respiration rate detection method and device, electronic equipment and storage medium | |
WO2015178439A2 (en) | Device and method for supporting diagnosis of central/obstructive sleep apnea, and computer-readable medium having stored thereon program for supporting diagnosis of central/obstructive sleep apnea | |
JP6467044B2 (en) | Shunt sound analysis device, shunt sound analysis method, computer program, and recording medium | |
Aichinger et al. | Comparison of an audio-based and a video-based approach for detecting diplophonia | |
Nguyen et al. | Measuring instantaneous frequency of local field potential oscillations using the Kalman smoother | |
TW201332512A (en) | Method and apparatus for heart rate measurement | |
US11439320B2 (en) | Biological-sound analysis device, biological-sound analysis method, program, and storage medium | |
CN104605886B (en) | Stridulate sound detection device and method | |
JP6531187B2 (en) | Body sound analysis device, body sound analysis method, computer program and recording medium | |
JP6031863B2 (en) | Heart sound analysis apparatus, heart sound analysis method, and heart sound analysis program | |
JPWO2020090763A1 (en) | Processing equipment, systems, processing methods, and programs | |
JP2019017406A (en) | Noise removal device of kinetic recall output signal of time series data, noise removal method, program, analysis device of respiration, heart beat and voice by cluster analysis, analysis method and program | |
US10441243B2 (en) | Biological sound analyzing apparatus, biological sound analyzing method, computer program, and recording medium | |
Song et al. | Engagement-Free and Contactless Bed Occupancy and Vital Signs Monitoring | |
Choklati et al. | On the Modelling of Phonocardiogram Signals: Laplace Kernel and Cyclostationarity Based Approaches | |
JP7122225B2 (en) | Processing device, system, processing method, and program | |
Maciuk et al. | Analysis of lung auscultatory phenomena using the Wigner-Ville Distribution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160405 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161017 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6036178 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |