JP2011154138A - Masker sound generation apparatus, and program - Google Patents
Masker sound generation apparatus, and program Download PDFInfo
- Publication number
- JP2011154138A JP2011154138A JP2010014872A JP2010014872A JP2011154138A JP 2011154138 A JP2011154138 A JP 2011154138A JP 2010014872 A JP2010014872 A JP 2010014872A JP 2010014872 A JP2010014872 A JP 2010014872A JP 2011154138 A JP2011154138 A JP 2011154138A
- Authority
- JP
- Japan
- Prior art keywords
- band
- signal
- noise
- output
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
Description
本発明は、マスカ音を生成して音の漏れ聞こえを防ぐ技術に関する。 The present invention relates to a technique for generating a masker sound and preventing sound leakage.
マスキング効果は、2種類の音信号を同じ空間内に伝搬させた場合に、空間内の者が、2種類の音信号の音響的特徴(周波数成分,時間波形等)の関係に応じて、それらの音信号に気づき難くなる現象である。特許文献1には、このマスキング効果を利用して話声の漏れ聞こえを防ぐ技術の開示がある。同文献に開示されたマスキングシステムは、隣接する一方の部屋のマイクにより採取した音声を示す音信号を、マスキングの対象となるターゲット音信号とする。そして、このマスキングシステムは、ターゲット音信号を一音節分の信号の纏まり毎に区切り、区切った各区間を並べ替えるスクランブル処理を施し、スクランブル処理を施した音信号をマスカ音信号として他方の部屋のスピーカから放射する。この技術によると、ターゲット音信号とターゲット音信号に近い音の特徴を持ったマスカ音信号が放射されるため、マスキング効果により、そのマスカ音信号が放射された部屋内の者はターゲット音信号の聞き取りが困難になる。 The masking effect is that when two kinds of sound signals are propagated in the same space, the person in the space can change the sound characteristics (frequency components, time waveforms, etc.) of the two kinds of sound signals. This is a phenomenon that makes it difficult to notice the sound signal. Patent Document 1 discloses a technique for preventing leakage of speech using this masking effect. In the masking system disclosed in this document, a sound signal indicating sound collected by a microphone in one adjacent room is set as a target sound signal to be masked. This masking system then scrambles the target sound signal for each group of signals for one syllable, rearranges the divided sections, and uses the scrambled sound signal as a masker sound signal for the other room. Radiates from the speaker. According to this technology, the target sound signal and the masker sound signal having the sound characteristics close to the target sound signal are radiated. Therefore, the person in the room from which the masker sound signal was radiated is masked. Hearing becomes difficult.
しかしながら、この種のマスキングシステムでは、マスキングの対象となる音声に近い特徴を持った音の信号を、その音声をマスキングする手段であるマスカ音信号として利用する。このため、マスカ音信号の放射先が会話音や暗騒音の少ない静かな環境の部屋である場合、室内の者に不快な印象を与えてしまうという問題があった。
本発明は、このような背景の下に案出されたものであり、室内の者を不快にさせることなく高いマスキング効果を得ることを目的とする。
However, in this type of masking system, a sound signal having a characteristic close to the sound to be masked is used as a masker sound signal that is means for masking the sound. For this reason, when the radiation destination of the masker sound signal is a room in a quiet environment with little conversational sound and background noise, there is a problem that an unpleasant impression is given to the person in the room.
The present invention has been devised under such a background, and an object of the present invention is to obtain a high masking effect without making a person in the room uncomfortable.
本発明は、音信号を、第1の周波数帯域の成分を含む第1の帯域信号と、前記第1の周波数帯域と異なる第2の周波数帯域の成分を含む第2の帯域信号とに分割する帯域分割手段と、前記帯域分割手段が分割した第1の帯域信号の配列順を変更した配列順変更信号を出力する配列順変更手段と、前記帯域分割手段が分割した第2の帯域信号と同じ周波数帯域の雑音成分を含む雑音信号を出力する雑音出力手段と、前記配列順変更手段が出力した配列順変更信号と前記雑音出力手段が出力した雑音信号とを加算したマスカ音信号を出力する加算手段とを具備するマスカ音生成装置を提供する。 The present invention divides a sound signal into a first band signal including a component of a first frequency band and a second band signal including a component of a second frequency band different from the first frequency band. Same as the band dividing means, the arrangement order changing means for outputting the arrangement order changing signal obtained by changing the arrangement order of the first band signals divided by the band dividing means, and the second band signal divided by the band dividing means Noise output means for outputting a noise signal including a noise component in a frequency band, and addition for outputting a masker sound signal obtained by adding the arrangement order change signal output by the arrangement order change means and the noise signal output by the noise output means And a masker sound generating device.
本発明では、マスキングの対象となる音信号のパワースペクトルにおける大きなパワーを持った周波数帯域を第1の周波数帯域とすることにより、大きなパワーを有する周波数成分の特徴だけがマスキングの対象のそれと似通っているマスカ音信号を生成することができる。そして、そのような特徴を有するマスカ音信号を室内に放射することにより、室内の者を不快にさせることなく高いマスキング効果を得ることができる。 In the present invention, by setting the frequency band having a large power in the power spectrum of the sound signal to be masked as the first frequency band, only the characteristics of the frequency component having the large power are similar to those of the masking target. A masker sound signal can be generated. Then, by radiating a masker sound signal having such characteristics into the room, a high masking effect can be obtained without making the person in the room uncomfortable.
また、本発明は、コンピュータに、音信号を、第1の周波数帯域の成分を含む第1の帯域信号と、前記第1の周波数帯域と異なる第2の周波数帯域の成分を含む第2の帯域信号とに分割する帯域分割手段と、前記帯域分割手段が分割した第1の帯域信号の配列順を変更した配列順変更信号を出力する配列順変更手段と、前記帯域分割手段が分割した第2の帯域信号と同じ周波数帯域の雑音成分を含む雑音信号を出力する雑音出力手段と、前記配列順変更手段が出力した配列順変更信号と前記雑音出力手段が出力した雑音信号とを加算したマスカ音信号を出力する加算手段とを実現させるプログラムを提供する。 In addition, the present invention provides a computer with a second band including a sound signal, a first band signal including a first frequency band component, and a second frequency band component different from the first frequency band. A band dividing unit that divides the signal into signals, an arrangement order changing unit that outputs an arrangement order changing signal obtained by changing the arrangement order of the first band signals divided by the band dividing unit, and a second divided by the band dividing unit. Noise output means for outputting a noise signal including a noise component in the same frequency band as the band signal, and a masker sound obtained by adding the arrangement order change signal output by the arrangement order change means and the noise signal output by the noise output means A program for realizing an adding means for outputting a signal is provided.
以下、図面を参照しつつ本発明の一実施形態について説明する。
<第1実施形態>
図1は、本発明の第1実施形態であるマスカ音生成装置10とマイクロホン93およびスピーカ94とを含むマスキングシステムの構成を示すブロック図である。このシステムにおけるマスカ音生成装置10は、壁90により仕切られた2つの部屋91,92のうち一方の部屋91内の話者の音声(ターゲット音という)を聞こえ難くするマスカ音信号Mを生成し、他方の部屋92へ出力する装置である。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
<First Embodiment>
FIG. 1 is a block diagram showing a configuration of a masking system including a masker sound generating device 10, a
このマスカ音生成装置10は、部屋91内のマイクロホン93が採取した音信号Xを音声データSとして音声メモリ19に記憶する処理と、音声メモリ19内の音声データSを素材としてマスカ音信号Mを生成して出力する処理を行う。マスカ音信号Mの素材とする音データSは部屋91内の話者本人の音声のものでも別人の音声のものでもよいが、少なくとも部屋91内の話者の音声と同じ性別の音声データSを利用することが好ましい。
The masker sound generation device 10 stores the sound signal X collected by the
このマスカ音生成装置10の操作部50は、データの収録を指示する操作、音声メモリ19内の各音声データSのうち1つをマスカ音信号Mの素材として選択する操作、部屋91内の話者の性別を選択する操作、マスカ音信号Mの生成を指示する操作などを受け付ける。
The
A/D変換部11には、部屋91に固定されたマイクロホン93が収音した音声のアナログ波形信号が入力される。A/D変換部11は、そのアナログ波形信号をデジタル信号に変換し、音信号Xとして出力する。書込制御部15は、データの収録を指示する操作と性別を選択する操作が操作部50によって行われた場合、その時から発話時間長T1(T1は、通常の話速で一文を話すのに要する時間長:例えば、T1=30秒とする)の間にA/D変換部11から出力される音信号Xを音声データSとし、操作部50により指定された性別を示す識別子を付加して音声メモリ19に書き込む。データ供給制御部70は、操作部50によって、性別および音声データSの種類を選択する操作とマスカ音信号Mの生成を指示する操作が行われた場合、操作部50の操作によって音声メモリ19内から選択された種類の音声データSを読み出し、読み出した音声データSを音信号Xとして制御部12に供給する。
The analog waveform signal of the sound collected by the
制御部12は、データ供給制御部70から入力される音信号Xに信号処理を施すことにより発話時間長T1分のマスカ音信号Mを生成し、生成したマスカ音信号Mをバッファ17に書き込む。この制御部12による信号処理については後述する。発音制御部18は、制御部12によってバッファ17に書き込まれた発話時間長T1分のマスカ音信号Mを読み出してD/A変換部14へ出力する処理を繰り返す。D/A変換部14は、発音制御部18から出力されるマスカ音信号Mをアナログ波形信号に変換し、部屋92に固定されたスピーカ94へ出力する。このマスカ音信号Mは、スピーカ94からマスカ音として放音される。
The control unit 12 performs signal processing on the sound signal X input from the data
制御部12は、CPU20、RAM21、およびROM22を有する。CPU20は、RAM21をワークエリアとして利用しつつ、ROM22に記憶された音生成プログラム23を実行する。音生成プログラム23は、雑音発生部31、帯域分割部32、雑音出力部35,36、配列順変更部37、および加算部38の各機能をCPU20に実現させるプログラムである。
The control unit 12 includes a
雑音発生部31は、操作部50によってマスカ音信号Mの生成を指示する操作が行われると、雑音信号Yの発生を開始する。雑音信号Yは、ホワイトノイズのサンプル列である。帯域分割部32には、この雑音信号Yとデータ供給制御部70の出力信号である音信号Xとが入力される。帯域分割部32は、音信号Xを、第1の周波数帯域W1の成分とその低域側および高域側の第2の周波数帯域W2LおよびW2Hの成分を各々含む3種類の帯域信号XB,XL,XHに分割する役割と、雑音信号Yを、第2の周波数帯域W2LおよびW2Hの成分を各々含む2種類の帯域信号YLおよびYHに分割する役割とを果たす。
The
より具体的に説明すると、帯域分割部32は、LPF(Low Pass Filter)41、HPF(High Pass Filter)42、BPF(Band Pass Filter)43、LPF44、およびHPF45の5種類のフィルタを有している。BPF43は、音信号Xにおけるカットオフ周波数fcLとカットオフ周波数fcH(fcH>fcL)の間の周波数帯域(周波数帯域W1)の信号を帯域信号XBとして出力する。LPF41は、音信号Xにおけるカットオフ周波数fcLより低い周波数帯域(周波数帯域W2L)の信号を帯域信号XLとして出力する。HPF42は、音信号Xにおけるカットオフ周波数fcHより高い周波数帯域(周波数帯域W2H)の信号を帯域信号XHとして出力する。LPF44は、雑音信号Yにおけるカットオフ周波数fcLより低い周波数帯域(周波数帯域W2L)の信号を帯域信号YLとして出力する。HPF45は、雑音信号Yにおけるカットオフ周波数fcHより高い周波数帯域(周波数帯域W2H)の信号を帯域信号YHとして出力する。
More specifically, the
設定部34は、女性の音声用のカットオフ周波数fcLおよびfcHと男性の音声用のカットオフ周波数fcLおよびfcHのうち操作部50の操作により選択された性別のものをLPF41、HPF42、BPF43、LPF44、およびHPF45に設定する。ここで、女性の音声用のカットオフ周波数fcLおよびfcHと男性の音声用のカットオフ周波数fcLおよびfcHは、標準的な女性の音声のパワースペクトルと標準的な男性の音声のパワースペクトルを各々利用して次のように求められたものである。図2(A)は、標準的な女性の音声のパワースペクトルを示す図であり、図2(B)は、標準的な男性の音声のパワースペクトルを示す図である。図2(A)および図2(B)に示すように、女性の音声のパワースペクトルの波形の重心は、男性の音声のそれより高域側に位置している。本実施形態では、図2(A)に示す標準的な女性の音声のパワースペクトルにおける閾値Th以上のパワーを持った帯域の下限と上限の周波数を女性の音声用のカットオフ周波数fcLおよびfcHとする。また、図2(B)に示す標準的な男性の音声のパワースペクトルにおける閾値Th以上のパワーを持った帯域の下限と上限の周波数を男性の音声用のカットオフ周波数fcLおよびfcHとする。
Setting
図1において、BPF43の出力信号XBは配列順変更部37に入力される。配列順変更部37は、BPF43の出力信号XBの配列順を変更した配列順変更信号XB’を出力する。この配列順変更部37は、図3に示すように、データ供給制御部70からBPF43を介して入力される発話時間長T1(T1=30秒)分の帯域信号XBを発話時間長T2(例えば、T2=5秒とする)ずつの6個の纏まりに区切り、それらの時間長T2の各々をなす一連の音サンプルを発音時間長T3(T3は、一音節の発音時間に相当する時間長:例えば、T3=100m秒)の一定の長さのフレームk(k=1〜N)に区切る。例えば、T2=5秒,T3=100m秒である場合、発話時間長T2内におけるフレーム数Nは、5/0.1=50個である。そして、配列順変更部37は、発話時間長T2内のN個のフレームk(k=1〜N)を並べ替え、フレームk(k=1〜N)を並べ替えた信号を配列順変更信号XB’として出力する。配列順変更部37によるフレームk(k=1〜N)の並べ替えは、以下の7つの態様a〜gのいずれかにより行う。
In Figure 1, the output signal X B of BPF43 is input to the sequential
a.時間長T2内において、フレームk(k=1〜N)の各々を元の位置とは異なった位置に移動し、かつ、各フレームkの前に位置するフレームおよび後に位置するフレームが、並び替えにより異なったものになるようにする(図4)。
b.時間長T2内において、フレームk(k=1〜N)の各々を元の位置とは異なった位置に移動し、かつ、フレームk(k=1〜N)の一部については、各フレームkの前に位置するフレームおよび後に位置するフレームが、並び替えにより異なったものになるようにする(図5)。
c.時間長T2内において、フレームk(k=1〜N)のうち一部を元の位置とは異なった位置に各々移動し、かつ、それらの移動する各フレームkについては、各フレームkの前に位置するフレームおよび後に位置するフレームが、並び替えにより異なったものになるようにする(図6)。
d.時間長T2内において、フレームk(k=1〜N)のうち先頭からN−m(m<N)個のフレームkをフレームm個分ずつ後方に移動し、それらN−m個のフレームkの元の位置に残りのフレームkを移動する(図7)。
e.時間長T2内において、フレームk(k=1〜N)のうち末尾からN−m(m<N)個のフレームkをフレームm個分ずつ前方に移動し、それらN−m個のフレームkの元の位置に残りのフレームkを移動する(図8)。
f.時間長T2内において、フレームk(k=1〜N)を先頭から2個ずつの各組にし、各組のフレームkの前後関係を入れ替える(図9)。
g.時間長T2内において、フレーム1→フレーム2…フレームN−1→フレームNの配列順を逆転させてフレームN→フレームN−1…フレーム2→フレーム1にする(図10)。
a. Within the time length T2, each frame k (k = 1 to N) is moved to a position different from the original position, and the frame located before and after each frame k is rearranged. (Fig. 4).
b. Within the time length T2, each frame k (k = 1 to N) is moved to a position different from the original position, and for each part of the frame k (k = 1 to N), each frame k The frame located before and after the frame is made different by rearrangement (FIG. 5).
c. Within the time length T2, a part of the frame k (k = 1 to N) is moved to a position different from the original position, and for each moving frame k, the front of each frame k is moved. The frame located at and the frame located later are made different by rearrangement (FIG. 6).
d. Within the time length T2, N−m (m <N) frames k from the beginning of the frame k (k = 1 to N) are moved backward by m frames, and these N−m frames k The remaining frame k is moved to its original position (FIG. 7).
e. Within the time length T2, Nm (m <N) frames k from the end of the frame k (k = 1 to N) are moved forward by m frames, and the Nm frames k are moved forward. The remaining frame k is moved to the original position (FIG. 8).
f. Within the time length T2, the frames k (k = 1 to N) are set to two sets from the beginning, and the front-rear relations of the frames k of the sets are switched (FIG. 9).
g. Within the time length T2, the arrangement order of frame 1 → frame 2... Frame N−1 → frame N is reversed to frame N → frame N−1... Frame 2 → frame 1 (FIG. 10).
図1において、LPF41および44の出力信号XLおよびYLは雑音出力部35に入力される。雑音出力部35は、LPF44の出力信号YLをLPF41の出力信号XLの音と等しい音のエネルギーを持つように増幅し、雑音信号YL'として出力する。より具体的に説明すると、雑音出力部35は、LPF41から時間長T2分の信号XLが入力される度に、その時間長T2分の信号XLの振幅の2乗平均(信号XLが示す音のエネルギーの時間長T2分の時間平均)EXLを求める。また、雑音出力部35は、LPF44から時間長T2分の信号YLが入力される度に、その時間長T2分の信号YLの振幅の2乗平均(信号YLが示す音のエネルギーの時間長T2分の時間平均)EYLを求める。そして、雑音出力部35は、これらの値EXLおよびEYLを次式(1)に代入して求まるゲインGをLPF44から出力された時間長T2分の出力信号YLに乗算し、乗算結果を時間長T2分の雑音信号YL'として出力する。
G=EXL/EYL・・・(1)
In FIG. 1, output signals X L and Y L of the
G = EX L / EY L (1)
HPF42および45の出力信号XHおよびYHは雑音出力部36に入力される。雑音出力部36は、HPF45の出力信号YHをHPF42の出力信号XHの音と等しい音のエネルギーを持つように増幅し、雑音信号YH'として出力する。雑音出力部36における雑音信号YH'の生成の具体的な手順は雑音出力部35における雑音信号YL'の生成の具体的な手順と同様である。
The output signals X H and Y H of the
加算部38は、配列順変更部37から時間長T2分ずつ出力される信号XB'と雑音出力部35および36から時間長T2分ずつ出力される信号YL’およびYH'を加算し、この加算結果をマスカ音信号Mとして出力する。加算部38が出力したマスカ音信号Mはバッファ17に書き込まれる。そして、そのマスカ音信号MがD/A変換部14による変換を経てスピーカ94から放音される。
The adding
以上説明した本実施形態によると、大きなパワーを持った周波数成分だけが部屋91内の話者の音声のそれと似通った特徴を有するマスカ音信号Mを生成することができる。そして、このマスカ音信号Mをスピーカ94から部屋92に放射することにより、部屋92内の者を不快にさせることなく高いマスキング効果を得ることができる。
According to the present embodiment described above, it is possible to generate a masker sound signal M in which only a frequency component having a large power has characteristics similar to that of a speaker's voice in the
<第2実施形態>
図11は、本発明の第2実施形態であるマスカ音生成装置10Aとマイクロホン93およびスピーカ94とを含むマスキングシステムの構成を示すブロック図である。図11において、第1実施形態のマスカ音生成装置10と同じ要素には同一の符号を付してある。
Second Embodiment
FIG. 11 is a block diagram showing a configuration of a masking system including a masker sound generation device 10A, a
このマスカ音生成装置10Aは、マスカ音信号Mの素材となる音声データSそのもののパワースペクトルに基づいてLPF41、HPF42、BPF43、LPF44、およびHPF45のカットオフ周波数fcLおよびfcHを設定する。このマスカ音生成装置10Aでは、データ供給制御部70と帯域分割部32内のBPF43,LPF41,およびHPF42の間に遅延部71が介挿されており、データ供給制御部70と設定部34Aの間にFFT(Fast Fourier Transform)部33が介挿されている。遅延部71は、データ供給制御部70の出力信号Xに時間長T1の遅延を与えてからBPF43,LPF41,およびHPF42に出力する。FFT部33は、データ供給制御部70から時間長T3(T3=100m秒)分の音サンプルが出力される度に、時間長T3分の音サンプルにFFTを施し、FFTにより求まったパワースペクトルを出力する。
The masking sound generating apparatus 10A,
設定部34Aは、FFT部33が出力したパワースペクトルにおいて、パワーが閾値以上となる周波数帯域を第1の周波数帯域W1とし、この第1の周波数帯域W1の下限および上限の周波数をカットオフ周波数fcLおよびfcHとしてLPF41,44,BPF43,およびHPF42,45に設定する。より具体的に説明すると、設定部34Aは、FFT部33から音声データSの長さである時間長T1分のパワースペクトルの列が出力されるのを待ち、それらのパワースペクトルの時間平均(以下、平均スペクトルという)を求める。そして、設定部34Aは、この平均スペクトルにおける各周波数成分のパワーを低域側から順に走査し、閾値Th以上のパワーを持った最も低域側の周波数をLPF41および44とBPF43におけるカットオフ周波数fcLとする。また、設定部34Aは、平均スペクトルにおける各周波数成分のパワーを高域側から順に走査し、閾値Th以上のパワーを持った最も高域側の周波数をHPF42および45とBPF43におけるカットオフ周波数fcHとする。
In the power spectrum output from the
以上説明した本実施形態によると、部屋92内の者を不快にさせることなくマスキング効果を得ることができる。
According to the present embodiment described above, a masking effect can be obtained without making the person in the
<第3実施形態>
図12は、本発明の第3実施形態であるマスカ音生成装置10Bとマイクロホン93およびスピーカ94とを含むマスキングシステムの構成を示すブロック図である。図12において、第1および第2実施形態のマスカ音生成装置10および10Aと同じ要素には同一の符号を付してある。
<Third Embodiment>
FIG. 12 is a block diagram showing a configuration of a masking system including a masker sound generation device 10B, a
このマスカ音生成装置10Bは、マイクロホン93により採取された最新の音信号Xを素材とするマスカ音信号Mの生成とその信号Xのパワースペクトルを利用したカットオフ周波数fcLおよびfcHの更新をリアルタイムに行う。このマスカ音生成装置10Bは、書込制御部15、音声メモリ19、およびデータ供給制御部70を有していない。このマスカ音生成装置10Bでは、A/D変換部11の出力信号Xが遅延部71とFFT部33に入力される。遅延部71およびFFT部33の役割は第2実施形態のものの役割と同じである。
The masking sound generating apparatus 10B, the updating of the latest cutoff and the sound signal X using the generation and power spectrum of the signal X masking sound signal M to the material frequency fc L and fc H taken by the
設定部34Bは、FFT部34からパワースペクトルが出力される度に、出力されたものを含む時間長T1分のパワースペクトルの移動平均(以下、移動平均スペクトルという)を求める。そして、設定部34Bは、最新の時間長T1分の移動平均スペクトルが求まる都度、移動平均スペクトルにおける閾値Th以上のパワーを持った帯域の最も低域側の周波数をカットオフ周波数fcLとしてLPF41および44とBPF43に設定し、最も高域側の周波数をカットオフ周波数fcHとしてHPF42および45とBPF43に設定する。
Each time the power spectrum is output from the
以上説明した本実施形態によると、部屋91に不特定多数人が出入りして部屋91を利用する場合においても、部屋92内の者を不快にさせることなく高いマスキング効果を得ることができる。
According to the present embodiment described above, even when an unspecified number of people enter and leave the
<第4実施形態>
図13は、本発明の第4実施形態であるマスカ音生成装置10Cとスピーカ94とを含むマスキングシステムの構成を示すブロック図である。図13において、第1、第2、および第3実施形態のマスカ音生成装置10、10A、および10Bと同じ要素には同一の符号を付してある。
<Fourth embodiment>
FIG. 13 is a block diagram showing a configuration of a masking system including a masker sound generation device 10C and a
このマスカ音生成装置10Cでは、標準的な女性および男性の音声を素材としてマスカ音信号Mを生成する。このマスカ音生成装置10Cは、A/D変換部11および書込制御部15を有していない。音声メモリ19には、標準的な女性の時間長T1分の音声を示す音声データSFと、標準的な男性の時間長T1分の音声を示す音声データSMとが予め記憶されている。本実施形態では、操作部50の操作により、部屋91内の話者の性別として女性が選択された場合、設定部34は女性の音声用のカットオフ周波数fcLおよびfcHをLPF41、HPF42、BPF43、LPF44、およびHPF45に設定し、データ供給制御部70は音声データSFを音声メモリ19から読み出してHPF42、BPF43、およびLPF44に供給する。また、部屋91内の話者の性別として男性が選択された場合、設定部34は男性の音声用のカットオフ周波数fcLおよびfcHをLPF41、HPF42、BPF43、LPF44、およびHPF45に設定し、データ供給制御部70は音声データSMを音声メモリ19から読み出してHPF42、BPF43、およびLPF44に供給する。
The masker sound generation device 10C generates a masker sound signal M using standard female and male voices as materials. The masker sound generation device 10 </ b> C does not include the A /
以上説明した本実施形態では、部屋91内の話者の性別として女性が選択された場合には、予め準備された音声データSFから女性の話者向けのマスカ音信号Mを生成し、男性が選択された場合には、予め準備された音声データSMから男性の話者向けのマスカ音信号Mを生成する。よって、部屋91内の音声をマイクロホン93を使って収音できない場合でも、部屋92内の者を不快にさせることなく高いマスキング効果を得ることができる。
In the present embodiment described above, when a woman is selected as the gender of a speaker in the
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態があり得る。例えば、以下の通りである。
(1)上記第1〜第4実施形態において、設定部34がボリュームやつまみなどの操作子を有し、部屋91内の話者がその操作子の操作を通じてカットオフ周波数fcLおよびfcHをマニュアル設定できるようにしてもよい。この実施形態によると、部屋91内の話者は、部屋92内の暗騒音の音量が大きい場合はカットオフ周波数fcLおよびfcHの間の帯域幅を広くし、部屋92内の暗騒音の音量が小さい場合はカットオフ周波数fcLおよびfcHの間の帯域幅を狭める、というように、部屋92に放音するマスカ音信号Mの周波数成分の特徴をその部屋92の音響環境に応じて調整することができる。また、第1〜第3実施形態におけるマスカ音生成装置10,10A,または10Bは、部屋92内の暗騒音の音量を検出する検出手段を有し、設定部34は、検出手段が検出した音量に応じて、カットオフ周波数fcLおよびfcHの間の帯域幅を変更するようにしてもよい。
Although one embodiment of the present invention has been described above, the present invention may have other embodiments. For example, it is as follows.
(1) In the first to fourth embodiments, the setting
(2)上記第1実施形態において、女性の声に似せたマスカ音信号M1と男性の声に似せたマスカ音信号M2を生成し、マスカ音信号M1とM2を加算したマスカ音信号Mを部屋92のスピーカ94から放音してもよい。この実施形態によると、部屋91内において女性の話者と男性の話者が同時に話していても、部屋92内の者を不快にさせることなく高いマスキング効果を得ることができる。
(2) In the first embodiment, a masker sound signal M1 resembling a female voice and a masker sound signal M2 resembling a male voice are generated, and the masker sound signal M1 obtained by adding the masker sound signals M1 and M2 is stored in the room. Sound may be emitted from 92
この場合において、次のようにして2種類のマスカ音信号M1およびM2を生成するとよい。まず、図1に示すマスカ音生成装置10の帯域分割部32内に、LPF41,44,BPF43,HPF42,45とLPF41’,44’,BPF43’,HPF42’,45’とを設ける。さらに、LPF41,44,BPF43,HPF42,45に女性の音声用のカットオフ周波数fcLおよびfcHを設定し、LPF41’,44’,BPF43’,HPF42’,45’に男性の音声用のカットオフ周波数fcLおよびfcHを設定する。そして、帯域分割部32内のLPF41,BPF43,HPF42に女性の音声の音信号Xを供給してマスカ音信号M1を生成するとともに、同部32内のLPF41’,BPF43’,HPF42’に男性の音声の音信号Xを供給してマスカ音信号M2を生成し、これらの2種類の信号M1およびM2を加算したものをマスカ音信号Mとして部屋92のスピーカ94から放音する。
In this case, two types of masker sound signals M1 and M2 are preferably generated as follows. First,
また、次のようにして2種類のマスカ音信号M1およびM2を生成してもよい。まず、時間長T4(例えば、T4=5/2秒とする)の間、LPF41,44,BPF43,HPF42,45に女性の音声用のカットオフ周波数fcLおよびfcHを設定した状態で、LPF41,BPF43,HPF42に女性の音声の音信号Xを供給し、マスカ音信号M1を生成する。マスカ音信号M1はバッファに記憶する。次の時間長T4の間、LPF41,44,BPF43,HPF42,45に男性の音声用のカットオフ周波数fcLおよびfcHを設定した状態で、LPF41,BPF43,HPF42に男性の音声の音信号Xを供給し、マスカ音信号M2を生成する。そして、このマスカ音信号M2とバッファに書き込んでおいたマスカ音信号M1を加算したものをマスカ音信号Mとして部屋92のスピーカ94から放音する。以上の処理を時間長2×(T4)毎に繰り返すのである。
Further, two types of masker sound signals M1 and M2 may be generated as follows. First, the
(3)上記第1実施形態において、ターゲット音の発声元が女性であるか男性であるかを判定し、この判定結果に応じて女性用のカットオフ周波数fcLおよびfcHと男性用のカットオフ周波数fcLおよびfcHの切り換えを行ってもよい。この実施形態は、次のようにして実現する。まず、マスカ音信号Mの生成を開始する際、マイクロホン93により採取した音信号XにFFTを施し、このFFTの処理結果を所定のアルゴリズムで解析することで、部屋91内の話者が女性であるか男性であるかを判定する。そして、部屋91内の話者が女性である場合は、LPF41,44,BPF43,HPF42,45に女性の音声用のカットオフ周波数fcLおよびfcHを設定するとともに、音声メモリ19内から女性の音声データSを読み出し、この音声データSを素材としてマスカ音信号Mを生成する。部屋91内の話者が男性である場合は、LPF41,44,BPF43,HPF42,45に男性の音声用のカットオフ周波数fcLおよびfcHを設定するとともに、音声メモリ19内から男性の音声データSを読み出し、この音声データSを素材としてマスカ音信号Mを生成する。
(3) In the first embodiment, it is determined whether the sound source of the target sound is female or male, and the cut-off frequencies fc L and fc H for female and the cut for male are determined according to the determination result. The off frequencies fc L and fc H may be switched. This embodiment is realized as follows. First, when the generation of the masker sound signal M is started, the sound signal X collected by the
(4)上記第3実施形態において、設定部34Bは、FFT部33からパワースペクトルが出力される度に、出力された最新のパワースペクトルを用いてカットオフ周波数fcLおよびfcHを更新してもよい。また、設定部34Bは、カットオフ周波数fcLおよびfcHを、前回求めたものから今回求めたものへと所定時間長をかけて緩やかに変化させるようにしてもよい。
(4) In the third embodiment, each time the power spectrum is output from the
(5)上記第3実施形態において、マスカ音信号Mの生成を指示する操作が行われた後の最初の時間長T1分の平均スペクトルに基づいてLPF41,44、BPF43,HPF42,45のカットオフ周波数fcL,fcHを設定し、以降は、そのカットオフ周波数fcL,fcHを切り換えることなくマスカ音信号Mの生成を行うようにしてもよい。
(5) In the third embodiment, the cutoff of the
(6)上記第4実施形態では、音声メモリ19に男性と女性の音声データSFおよびSMを記憶させた。しかし、3種類以上の音声データSを音声メモリ19に記憶してもよい。この実施形態は、次のようにして実現する。性別や言語(日本語、英語、中国語など)を異にする様々な音声の音声データSを、各音声データSが示す音声波形のパワースペクトルと対応付けて音声メモリ19に記憶させておく。そして、マスカ音信号Mの生成の際、マイクロホン93によって収音したターゲット音の音信号XにFFTを施し、FFTによって求めたパワースペクトルに最も近いものと対応付けられた音声データSを音声メモリ19から読み出し、この音声データSを素材としてマスカ音信号Mを生成する。また、言語を異にする複数種類の音声データSを音声メモリ19に記憶させておき、音声メモリ19内の複数種類の音声データSのうち操作部50の操作によって選択された言語のものを素材としてマスカ音信号Mを生成してもよい。
(6) In the fourth embodiment, male and female voice data SF and SM are stored in the
(7)上記第3実施形態において、配列順変更部37は、上述した態様a〜態様gを時間長T1または時間長T2毎にランラムに選択し、選択した態様でフレームk(k=1〜N)の配列順を変更するようにしてもよい。また、この配列順の変更の態様の切り換えを、時間長T1や時間長T2と異なる周期で行ってもよいし、態様の切り換えのタイミング自体をランダムに決定してもよい。
(7) In the third embodiment, the arrangement
(8)上記第1〜第4実施形態において、配列順変更部37は、音信号Xを区切った各フレームkのパワースペクトルやその他の分析結果に応じて各フレームkの移動先を決定してもよい。この実施形態は、次のようにして実現する。まず、配列順変更部37は、音信号Xをフレームk(k=1〜N)に区切った後、フレームk(k=1〜N)の各々を分析し、フレームk(k=1〜N)を母音に相当する区間のフレームkと子音に相当する区間のフレームkとに分ける。そして、フレームk(k=1〜N)のうち母音に相当する区間の各フレームk同士の位置をランダムに変更するとともに、子音に相当する区間の各フレームk同士の位置をランダムに変更する。
(8) In the first to fourth embodiments, the arrangement
(9)上記第1〜第4実施形態は、壁90により仕切られた2つの部屋91および92間の音声の漏れ聞こえの防止に本発明を適用したものであった。しかし、壁90などが間に介在しない2つの領域AおよびBのうち一方の領域A(またはB)で発生した音を他方の領域B(またはA)で聞こえ難くする用途に本発明を適用してもよい。また、異なる空間に居る者同士の通話を実現させる通話装置(例えば、携帯電話、IP電話、インターフォン等)における各話者の話声を周りに聞こえ難くする用途に本発明を適用してもよい。この実施形態は、例えば、通話装置に第1〜第4実施形態のマスカ音生成装置10,10A,10B,または10Cを内蔵し、マスカ音生成装置10,10A,10B,または10Cが話者の音声から生成したマスカ音信号Mを話者の周りに放音することによって実現可能である。この場合において、発話者にイヤホンを装着させたり通話装置のスピーカの指向性を制御することにより、マスカ音信号Mが通話の相手方まで伝送されて会話が混乱する事態を防ぐようにするとなおよい。
(9) In the first to fourth embodiments, the present invention is applied to the prevention of sound leakage between the two
(10)上記第2および第3実施形態では、設定部34Aおよび34Bは、音信号Xの平均スペクトル(または移動平均スペクトル)においてパワーが閾値Th以上となる周波数帯域の最も低域側および高域側の周波数をカットオフ周波数fcLおよびfcHとした。しかし、カットオフ周波数fcLおよびfcHの決定に用いる閾値Thを高域側と低域側とで異ならせてもよい。この実施形態は、次のようにして実現する。まず、設定部34A(または34B)は、図14に示すように、カットオフ周波数fcLの決定に閾値Th'1を用い、カットオフ周波数fcHの決定に閾値Th'2(Th'2≠Th'1)を用いる。そして、設定部34A(または34B)は、音信号Xの平均スペクトル(または移動平均スペクトル)における各周波数成分のパワーを低域側から順に走査し、閾値Th'1以上のパワーを持った最も低域側の周波数をLPF41および44とBPF43におけるカットオフ周波数fcLとする。また、設定部34A(または34B)は、平均スペクトル(または移動平均スペクトル)における各周波数成分のパワーを高域側から順に走査し、閾値Th'2以上のパワーを持った最も高域側の周波数をHPF42および45とBPF43におけるカットオフ周波数fcHとする。この場合において、閾値Th'1およびTh'2は、人の聴感特性(ラウドネス特性(周波数軸上の感度)や臨界帯域(周波数軸上の分解能))を考慮して最適化するとよい。
(10) In the second and third embodiments, the setting
(11)上記第1〜第4実施形態では、帯域分割部32は、音信号Xを、第1の周波数帯域W1の成分を含む帯域信号XBと、第1の周波数帯域W1の高域側および低域側の第2の周波数帯域W2LおよびW2Hの成分を含む2種類の帯域信号XLおよびXHとに分割した。しかし、音信号Xを、第1の周波数帯域W1および第2の周波数帯域W2LおよびW2Hの各々について2種類以上の帯域信号に分割してもよい。この実施形態では、例えば、帯域分割部32は、図15に示すように、音信号Xの平均スペクトル(または移動平均スペクトル)の波形が閾値Th”を跨いだ起伏を繰り返すものである場合、閾値Th”以上のパワーを有する複数個(図15の例では3個)の帯域を第1の周波数帯域W1−i(i=1〜3)とし、帯域W1−1の低域側、帯域W1−1と帯域W1−2の間、帯域W1−2と帯域W1−3の間、および帯域W1−3の高域側の4つの帯域を第2の周波数帯域W2−j(j=1〜4)とする。帯域分割部32は、音信号Xを帯域W1−i(i=1〜3)およびW2−j(j=1〜5)の成分を各々含む7種類の帯域信号XW1−i(i=1〜3)およびXW2−j(j=1〜4)に分割する。また、帯域分割部32の後段に設けた複数個の配列順変更部37により、帯域信号XW1−i(i=1〜3)の配列順を変更した配列順変更信号XW1'−i(i=1〜3)を生成するととともに、同部32の後段に複数個ずつ設けた雑音出力部35および36により、帯域信号XW2−j(j=1〜4)と同じ周波数成分を含む雑音信号XW2'−j(j=1〜4)を生成する。そして、これらの信号XW1'−i(i=1〜3)およびXW2'−j(j=1〜4)を加算したものをマスカ音信号Mとする。
(11) In the first to fourth embodiments, the
(12)上記第1〜第4実施形態において、雑音出力部35および36は、LPF44およびHPF45の出力信号YLおよびYHを増幅することなくそのまま雑音信号YLおよびYHとして出力し、加算部38においてその2種類の雑音信号YLおよびYHと配列順変更部37の出力信号XB'を加算してもよい。
(12) In the first to fourth embodiments, the
(13)上記第1〜第4実施形態において、配列順変更部37は、帯域信号XBをフレームk(k=1,2…N)に区切り、区切ったフレームk(k=1,2…N)を並べ替えることにより配列順の変更を行った。しかし、フレームk(k=1,2…N)を並べ替える代わりに、フレームkの各々をなす一連の音サンプル自体の配列順を変更してもよい。また、配列順変更部37による配列順の変更は、図16に示すように、並べ替え前の信号XBのフレームk(k=1〜6)の一部が並べ替え後の信号XB’において複数個現れるような態様で行ってもよい。
(13) In the above first to fourth embodiments, the arrangement
(14)上記第1〜第4実施形態において、所定時間長分のマスカ音信号Mを生成して当該マスカ音生成装置10,10A,10B,10C内のメモリに記憶し、当該マスカ音生成装置10,10A,10B,10Cを後刻起動した際に、メモリに記憶されているマスカ音信号Mを読み出して部屋92に放音するようにしてもよい。
(14) In the first to fourth embodiments, a masker sound signal M for a predetermined time length is generated and stored in the memory in the masker sound generators 10, 10A, 10B, 10C, and the masker sound generator When the 10, 10A, 10B, and 10C are activated later, the masker sound signal M stored in the memory may be read and emitted to the
10,10A,10B,10C…マスカ音生成装置、11…A/D変換部、12…制御部、14…D/A変換部、17…バッファ、15…書込制御部、18…発音制御部、19…音声メモリ、20…CPU,21…RAM、22…ROM、23…音生成プログラム、32…帯域分割部、33…FFT部、34…設定部、35,36…雑音出力部、37…配列順変更部、38…加算部、41,44…LPF,42,45…HPF、43…BPF、50…操作部、70…データ供給制御部、71…遅延部、90…壁、91,92…部屋、93…マイクロホン、94…スピーカ。 DESCRIPTION OF SYMBOLS 10, 10A, 10B, 10C ... Masker sound production | generation apparatus, 11 ... A / D conversion part, 12 ... Control part, 14 ... D / A conversion part, 17 ... Buffer, 15 ... Write control part, 18 ... Sound generation control part , 19 ... voice memory, 20 ... CPU, 21 ... RAM, 22 ... ROM, 23 ... sound generation program, 32 ... band dividing unit, 33 ... FFT unit, 34 ... setting unit, 35, 36 ... noise output unit, 37 ... Arrangement order changing unit, 38 ... adding unit, 41, 44 ... LPF, 42,45 ... HPF, 43 ... BPF, 50 ... operating unit, 70 ... data supply control unit, 71 ... delaying unit, 90 ... wall, 91,92 ... room, 93 ... microphone, 94 ... speaker.
Claims (4)
前記帯域分割手段が分割した第1の帯域信号の配列順を変更した配列順変更信号を出力する配列順変更手段と、
前記帯域分割手段が分割した第2の帯域信号と同じ周波数帯域の雑音成分を含む雑音信号を出力する雑音出力手段と、
前記配列順変更手段が出力した配列順変更信号と前記雑音出力手段が出力した雑音信号とを加算したマスカ音信号を出力する加算手段と
を具備することを特徴とするマスカ音生成装置。 Band dividing means for dividing the sound signal into a first band signal including a component of a first frequency band and a second band signal including a component of a second frequency band different from the first frequency band; ,
An arrangement order changing means for outputting an arrangement order change signal obtained by changing the arrangement order of the first band signals divided by the band dividing means;
Noise output means for outputting a noise signal including a noise component in the same frequency band as the second band signal divided by the band dividing means;
A masker sound generating apparatus comprising: an adding means for outputting a masker sound signal obtained by adding the array order changing signal output from the array order changing means and the noise signal output from the noise output means.
前記第1の周波数帯域の高域側および低域側の周波数帯域を前記第2の周波数帯域とし、これらの周波数帯域の成分を各々含む2種類の帯域信号を前記第2の帯域信号として分割し、
前記雑音出力手段は、
前記帯域分割手段が前記第2の帯域信号として分割した2種類の帯域信号の各々と同じ周波数帯域の雑音成分を含む2種類の雑音信号を出力する
ことを特徴とする請求項1に記載のマスカ音生成装置。 The band dividing means includes
The high frequency side and the low frequency side of the first frequency band are defined as the second frequency band, and two types of band signals each including components of these frequency bands are divided as the second band signal. ,
The noise output means includes
2. The masker according to claim 1, wherein two types of noise signals including noise components in the same frequency band as each of the two types of band signals divided by the band dividing unit as the second band signals are output. Sound generator.
前記スペクトル算出手段が算出したパワースペクトルにおいて、パワーが閾値以上となる一又は複数の周波数帯域を前記第1の周波数帯域として設定する設定手段と
を具備することを特徴とする請求項1または2に記載のマスカ音生成装置。 Spectrum calculating means for calculating a power spectrum of the sound signal;
The power spectrum calculated by the spectrum calculating means comprises setting means for setting one or a plurality of frequency bands having power equal to or higher than a threshold as the first frequency band. The masker sound generation device described.
音信号を、第1の周波数帯域の成分を含む第1の帯域信号と、前記第1の周波数帯域と異なる第2の周波数帯域の成分を含む第2の帯域信号とに分割する帯域分割手段と、
前記帯域分割手段が分割した第1の帯域信号の配列順を変更した配列順変更信号を出力する配列順変更手段と、
前記帯域分割手段が分割した第2の帯域信号と同じ周波数帯域の雑音成分を含む雑音信号を出力する雑音出力手段と、
前記配列順変更手段が出力した配列順変更信号と前記雑音出力手段が出力した雑音信号とを加算したマスカ音信号を出力する加算手段と
を実現させるプログラム。
On the computer,
Band dividing means for dividing the sound signal into a first band signal including a component of a first frequency band and a second band signal including a component of a second frequency band different from the first frequency band; ,
An arrangement order changing means for outputting an arrangement order change signal obtained by changing the arrangement order of the first band signals divided by the band dividing means;
Noise output means for outputting a noise signal including a noise component in the same frequency band as the second band signal divided by the band dividing means;
A program for realizing an addition means for outputting a masker sound signal obtained by adding the arrangement order change signal output by the arrangement order change means and the noise signal output by the noise output means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010014872A JP5691180B2 (en) | 2010-01-26 | 2010-01-26 | Maska sound generator and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010014872A JP5691180B2 (en) | 2010-01-26 | 2010-01-26 | Maska sound generator and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011154138A true JP2011154138A (en) | 2011-08-11 |
JP5691180B2 JP5691180B2 (en) | 2015-04-01 |
Family
ID=44540169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010014872A Expired - Fee Related JP5691180B2 (en) | 2010-01-26 | 2010-01-26 | Maska sound generator and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5691180B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11996073B2 (en) | 2020-08-07 | 2024-05-28 | Yamaha Corporation | Masking sound adjustment method and masking sound adjustment device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004510191A (en) * | 2000-09-21 | 2004-04-02 | ロイヤルカレッジ オブ アート | Equipment for acoustically improving the environment |
JP2005534061A (en) * | 2002-07-24 | 2005-11-10 | アプライド マインズ インク | Method and system for masking languages |
JP2008233670A (en) * | 2007-03-22 | 2008-10-02 | Yamaha Corp | Sound masking system, sound masking generating method, and program |
-
2010
- 2010-01-26 JP JP2010014872A patent/JP5691180B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004510191A (en) * | 2000-09-21 | 2004-04-02 | ロイヤルカレッジ オブ アート | Equipment for acoustically improving the environment |
JP2005534061A (en) * | 2002-07-24 | 2005-11-10 | アプライド マインズ インク | Method and system for masking languages |
JP2008233670A (en) * | 2007-03-22 | 2008-10-02 | Yamaha Corp | Sound masking system, sound masking generating method, and program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11996073B2 (en) | 2020-08-07 | 2024-05-28 | Yamaha Corporation | Masking sound adjustment method and masking sound adjustment device |
Also Published As
Publication number | Publication date |
---|---|
JP5691180B2 (en) | 2015-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110473567B (en) | Audio processing method and device based on deep neural network and storage medium | |
US8861742B2 (en) | Masker sound generation apparatus and program | |
US20190279610A1 (en) | Real-Time Audio Processing Of Ambient Sound | |
JP5103973B2 (en) | Sound masking system, masking sound generation method and program | |
CN105493177B (en) | System and computer-readable storage medium for audio processing | |
EP3800900A1 (en) | A wearable electronic device for emitting a masking signal | |
US8391509B2 (en) | Audio-separating apparatus and operation method thereof | |
JP2010217883A (en) | Masking sound generating apparatus, masking system, masking sound generating method, and program | |
JP2016177204A (en) | Sound masking device | |
EP4371112A1 (en) | Speech enhancement | |
JP2010091897A (en) | Voice signal emphasis device | |
JP2008090296A (en) | Voice-scrambling-signal creation method and apparatus, and voice scrambling method and device | |
US20160275932A1 (en) | Sound Masking Apparatus and Sound Masking Method | |
JP2012063614A (en) | Masking sound generation device | |
JP5682115B2 (en) | Apparatus and program for performing sound masking | |
JP5691180B2 (en) | Maska sound generator and program | |
JP5446926B2 (en) | Maska sound generator and program | |
JP5644122B2 (en) | Maska sound generator | |
EP4371311A1 (en) | Data augmentation for speech enhancement | |
JP4527654B2 (en) | Voice communication device | |
JP5054477B2 (en) | Hearing aid | |
JP5446927B2 (en) | Maska sound generator and program | |
JP2014202777A (en) | Generation device and generation method and program for masker sound signal | |
JP2008294599A (en) | Sound emitting and collecting apparatus and system | |
JP2005202335A (en) | Method, device, and program for speech processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150119 |
|
LAPS | Cancellation because of no payment of annual fees |