JP3548706B2 - Zone-specific sound pickup device - Google Patents
Zone-specific sound pickup device Download PDFInfo
- Publication number
- JP3548706B2 JP3548706B2 JP2000009102A JP2000009102A JP3548706B2 JP 3548706 B2 JP3548706 B2 JP 3548706B2 JP 2000009102 A JP2000009102 A JP 2000009102A JP 2000009102 A JP2000009102 A JP 2000009102A JP 3548706 B2 JP3548706 B2 JP 3548706B2
- Authority
- JP
- Japan
- Prior art keywords
- zone
- band
- divided
- signal
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【0001】
【発明の属する技術分野】
この発明は、複数のマイクロホンを用いて、所望のゾーンにある音源からの音のみを収音する装置に関する。
【0002】
【従来の技術】
従来、特定のゾーンにある音源からの音を収音する場合、複数のマイクロホンを配列して、各マイクロホンの出力信号に、受音すべき点(特定ゾーン)から各マイクロホンまでの距離に応じて時間遅延を与え、それぞれのマイクロホンの出力和を取り出す、遅延和アレーと呼ばれる受音方法があった。しかし、この方法では、マイクロホン出力の同位相加算を用いるため、特に低い周波数帯域において、特定ゾーンからの音を高いSN比で取り出すためにはマイクロホン間隔を大きくとる必要があり、そのため、装置規模が大きくなるという問題があった。
【0003】
これに対し、マイクロホンの本数を減らして、特定のゾーンからの音を収音する方法も提案されている(特開平10−313497号公報:「音源分離方法、装置および記録媒体」)。この手法は、二つ以上のマイクロホンを用い、各二つのマイクロホン間での2等分線により領域を2分することにより、複数の領域(ゾーン)を構成し、一つの音源からの音響信号が二つのマイクロホンに収音された時、その音源に近いマイクロホンの出力信号の方が他方のマイクロホンの出力信号よりレベルが大きい、また到達時間が早いことを利用して、各マイクロホンの出力信号を、各帯域信号が一つの音源からの音響信号の成分よりなる程度に小さく、複数の周波数帯域に分割し、これら各マイクロホン出力信号の同一帯域信号のレベル差、又は到達時間差を検出することにより、異なるゾーンに存在する音源からの音響信号を分離して取出す、つまりマイクロホンで受音した信号に対し、所望のゾーンにある音源からの周波数成分のみを抽出することによって、特定のゾーンにある音源からの音だけを抽出することを特徴とする。この方式は、マイクロホン出力の同位相加算を用いないため、遅延和アレーに比べると少ないマイクロホン数で複数のゾーンを形成することが出来る。
【0004】
しかし、この手法を用いても、特定の角度範囲の方向から来る音を抽出することは出来るが、特定の距離から来る音だけを収音するということは困難であった。これは、マイクロホンと音源との距離を知る手がかりがマイクロホンに入る音圧の大小関係だけであり、なおかつ、音圧は一般に音源の発音状態によって時時刻刻変わるため、音圧だけでマイクロホンと音源との距離を正確に測ることが難しいためである。またこの従来の手法において、ゾーンの変更を単純に行うことができなかった。
【0005】
【課題を解決するための手段】
この発明によれば、所望のゾーンにある音源からの周波数成分のみを抽出することによって特定方向にある音源からの音を収音する入力・帯域分割手段を複数個用い、特定の距離および特定の方向から来る音源の信号のみ抽出することを特徴とする。また、入力・帯域分割手段を複数個に拡張し、帯域分割された周波数成分の選択を、論理演算により行い、その論理演算の手法の変更や論理演算する帯域信号のゾーンの変更により、収音する音源のゾーンの特定の距離又は特定方向を変更することを可能とする。
【0006】
【発明の実施の形態】
図1に、この発明の実施例を示す。入力手段1,2はそれぞれ、音源からの音響信号を収音して電気信号に変換する。この実施例では入力手段1,2としては、例えば指向性マイクロホンなどを用い、音源の方向によって感度差を生じるものを用いることで受音可能な音響空間の特定の範囲(以下、ゾーン)を決定することができるものである。例えば、指向性マイクロホンよりなる入力手段1,2の指向特性の主ビ─ムの方向がそれぞれ図2Aに示すゾーン3,4を形成し、これらのゾーン3,4が交差するようにされる。入力手段1,2の各出力信号はそれぞれ、帯域分割手段5へ供給される。帯域分割手段5では、各入力手段1,2としての各指向性マイクロホンからの出力信号はそれぞれ、複数の周波数帯域信号に分割される。この帯域分割は、一つの周波数帯域に含まれる成分が単独音源からの周波数のみで生成されていると近似できる程度に細かく分割する。この帯域分割の方法には、例えば、フーリエ変換が用いられる。入力手段1,2と帯域分割手段5は入力・帯域分割手段6を構成する。入力・帯域分割手段6よりの帯域分割された信号はスペクトル選択手段7と論理演算手段8とへ供給される。
【0007】
論理演算手段8では、各入力手段1,2について決定されたゾーンに対して、論理演算(AND,OR,NOT等)を定義することで、新たなゾーンを決定する。図2Aに示した二つのゾーン3,4に対して、例えば次の論理演算により新たなゾーンを決定できる。
(ゾーン3)∩(ゾーン4)
(ゾーン3)∪(ゾーン4)
(ゾーン3)∩(ゾーン4)′
ここでA∩BはAとBの論理積、A∪BはAとBの論理和、A′はAの否定をそれぞれ表わす。
【0008】
上記新たに決定されたゾーンのうち、例えば(ゾーン3)∩(ゾーン4)を図に示すと、図2B中の斜線部で示すゾーン9、つまりゾーン3とゾーン4との重なり部分のゾーンになる。論理演算手段8により決定されるゾーンの種類は、入力手段1,2により決定されたゾーンそれぞれに対し、あらゆる論理演算を施した場合に生じるゾーンの種類に等しい。所で論理演算手段8により決定されたゾーンに存在する音源からの音響信号を取出すために、入力手段1,2の各出力信号がそれぞれ周波数分割された各帯域信号S1iとS2i(i=1,…,n、nは分割帯域数)は2値化部8aでそのレベル(パワー)が所定値以上か以下かにより、論理値「1」か「0」に変換される。これら2値化された帯域信号QS1iとQS2iが論理演算部8bに入力されて、論理演算部8bに設定された論理演算が、両入力手段1,2の同一周波数帯域ごとの2値化帯域信号に対して行われる。論理演算部8bが論理積(AND)に設定されていればQS1i∩QS2iがそれぞれ演算される。論理演算部8bによる論理演算の種類の設定は、ゾーン設定部8cの設定特質に応じた論理演算が行われるように、ハードウェアで構成されている場合は、予め設けられている複数種類の論理演算回路中の対応する1つが選択使用され、ソフトウェアで構成されている場合は複数種類の論理演算プログラムの一つの対応するものが選択される。
【0009】
スペクトル選択手段7では、論理演算手段8により決定されたゾーンにある音源からの周波数成分を選択する。説明のため、音源A,B,Cの三つが図2Cに示すようにゾーン9、ゾーン3のゾーン9以外の部分、ゾーン4のゾーン9以外の部分にそれぞれ配置されてあるとする。例えば、(ゾーン3)∩(ゾーン4)=(ゾーン9)にある音源(図2C中の音源A)からの音だけを収音するためには、入力手段1よりの帯域信号(スペクトル)と入力手段2よりの帯域信号(スペクトル)のうち、同一周波数帯域において両方の入力手段からの信号にパワーが存在する(もしくはある大きさ以上のパワーを持つ)周波数成分のみ選択すれば、つまり論理演算手段8よりの演算結果QS1i∩QS2iが「1」の帯域信号を選択すると(ゾーン3)∩(ゾーン4)=(ゾーン9)にある音源(この場合音源A)からの音響信号のみ抽出できる。例えば図1に示すように、スペクトル選択手段7に帯域信号S1iを入力するゲート7G1iと帯域信号S2iを入力するゲート7G2iとを設け、これらゲート7G1iと7G2iを論理演算手段8からのゲート制御信号GC1iとGC2iによりそれぞれ開閉制御する、つまりゲート制御信号GC1i(GC2i)が論理「1」であれば対応するゲート7G1i(7G2i)を開とし、論理「0」であれば対応するゲート7G1i(7G2i)を閉とする。ゲート制御信号GC1i、GC2iはゾーン設定部8cで設定されたゾーンに基づく論理演算結果により得られる。
【0010】
例えば図2Cに示した例において、ゾーン設定部8Cで(ゾーン3)∩(ゾーン4)=(ゾーン9)が設定されている場合に、入力手段1により収音された信号の周波数スペクトル、つまり帯域分割手段5で周波数分割された帯域分割信号を周波数順に配列した結果が、図3Aに示すように音源Aからの音響信号にもとづくものとして太い実線で示す状態で、また音源Bからの音響信号にもとづくものとして太い点線で示す状態で得られたとし、入力手段2により収音された信号の周波数スペクトルが、図3bに示すように音源Aからの音響信号にもとづくものとして太い実線で示す状態で、また音源Cからの音響信号にもとづくものとして細い実線で示す状態で得られたとすると、図3AとB中の太い実線に対応するスペクトル(分割帯域信号)と対応した各2値化信号QS1iとQS2iの論理積(QS1i∩QS2i)のみが論理「1」となり、この論理「1」のゲート制御信号GC1i又は/及びGC2iにより、対応するゲート7G1i又は/及び7G2iを開として、図3Cに示すように太い実線で示す2スペクトル(分割帯域信号)のみ、つまりゾーン9内のみの音源Aからの音響信号の分割帯域信号がスペクトル選択手段7から取出される。
【0011】
また図2Cに示した例において、入力手段1及び入力手段2の各収音ゾーン3及び4内に存在する全ての音源からの分割帯域信号(スペクトル)を選出する場合は、ゾーン設定部8cでゾーン3とゾーン4の合成ゾーンが設定され、論理演算手段8でQS1iとQS2iの論理和が演算され、入力手段1よりの帯域分割信号S1i、入力手段2よりの帯域分割信号S2iのうち少なくともどちらか一方においてパワーが存在し(またはある大きさ以上のパワーを持つ)帯域についてゲート制御信号GC1i(及びGC2i)=QS1i∪QS2i=1となり、ゲート7G1i又は/及び7G2iが開とされる。ゾーン3及びゾーン4内にある音源A,B,Cからの全ての音響信号の分割帯域信号が取出される。
【0012】
更にゾーン設定部8cで、図2Cにおける例においてゾーン3中のゾーン4を除くゾーン(図2C中で斜線を施したゾーン)が設定されると、論理演算手段8でQS1iとQS2iの反転との論理積が演算され、QS1i∩QS2i′=1となるゲート7G1iが開とされ、入力手段1からの分割帯域信号(スペクトル)S1iから、入力手段1からの分割帯域信号と入力手段2からの分割帯域信号の両方にパワーが存在する(またはある大きさ以上のパワーを持つ)分割帯域信号が除去された分割帯域信号がスペクトル選択手段7から選出される。
【0013】
図1において、信号合成手段11では、スペクトル選択手段7で選択された、設定ゾーンにある音源からの帯域分割信号のみが集めて合成され、必要に応じて時間波形に戻す。この時間波形に戻す操作としては、例えば、逆フーリエ変換が用いられる。設定ゾーンの音源からの帯域分割信号を集めて合成し、時間領域信号に変換することなく、例えば音声認識などのための音響信号分析に用いてもよい。
【0014】
図1に示した実施例では、例えば図2に示したゾーン3,4以外のゾーンにある音源からの音は無視できるほど小さいと仮定できる場合のみ、ゾーン3,4の音だけを正確に収音可能である。具体的には、指向性が特に鋭い超指向性マイクロホンなどを、屋外や無響室など自由空間を仮定できる場所で使ったときのような理想的な環境で特に効果がある。しかし実際には、屋内で収音する場合など、図4Aに示すようにゾーン3、ゾーン4以外の音源Dから入る音も無視できない大きさであることが多い。そこで、設定したゾーンにある音源からの音だけを収音可能にする。実施例を図5を参照して説明する。
【0015】
入力手段1,2として、例えば、複数のマイクロホンを用いる。入力手段1,2としてそれぞれ例えば図4Bに示すように2個のマイクロホンM1−1,M1−2を用いる。図4Bに示すように、例えば音源(スピーカ)AがマイクロホンM1−2に比べてマイクロホンM1−1の近くにあるとき、音源Aからの音は、マイクロホンM1−2に比べてマイクロホンM1−1に早く、かつ大きな音圧で到達する。各マイクロホンM1−1,M1−2の出力信号はそれぞれ帯域分割手段5により図1の場合と同様に複数の帯域信号S1−11〜S1−1n,S1−21〜S1−2nに分割される。パラメータ値差検出手段21−1では、このマイクロホンM1−1,M1−2間の到達時間差または到達レベル差を、周波数帯域分割された各帯域信号の同一周波数帯域についてそれぞれ算出する。
【0016】
ゾーン決定手段22−1では、パラメータ値差検出手段21−1で算出した各帯域信号についてのマイクロホン間時間差、マイクロホン間レベル差を用いて、ゾーン定義ならびに各ゾーンにある音源からの周波数成分(帯域信号)を決定する。例えば、図4Cに示すように、マイクロホンM1−1とM1−2の間を2等分する線を境界線23とし、境界線23よりマイクロホンM1−1側の領域に音源がある場合は、音はマイクロホンM1−2に比べてマイクロホンM1−1に早く、大きな音圧で到達し、境界線23よりマイクロホンM1−2側の領域に音源がある場合はその逆になる。よって、境界線23よりマイクロホンM1−1側をゾーン31、マイクロホンM1−2側をゾーン4と定義した場合、マイクロホンM1−1,M1−2に入った音響信号を帯域分割した各信号に対し、マイクロホンM1−1に入った周波数成分(分割帯域信号)のパワーがマイクロホンM1−2に入ったものよりも大きい、または到達時間が早い分割帯域信号をゾーン31にある音源からの分割帯域信号と決定する。同様に、マイクロホンM1−2に入った周波数成分(分割帯域信号)のパワーがマイクロホンM1−1に入ったものよりも大きい、または到達時間が早い分割帯域信号をゾーン32にある音源からの分割帯域信号と決定する。こうすることで、ゾーン31,ゾーン32を定義し、なおかつ、そのゾーンにある音源からの分割帯域信号を決定することができる。つまりゾーン31からの分割帯域信号がD1−1〜D1−mとして、ゾーン35からの分割帯域信号がD2−1〜D2−pとして取出される。ここでゾーンごとの分割帯域信号D1−1〜D1−mとD2−1〜D2−pは互いに異なる分割帯域の信号である。
【0017】
同様にして入力手段2の二つのマイクロホンの各出力信号は分割帯域信号S2−11〜S2−1n,S2−21〜S2−2nに分割され、これらの対応帯域についてのパラメータ値差が検出手段21−2で検出され、各帯域信号はゾーン決定手段22−2で何れのゾーンの音源からの信号であるか、ゾーン33,34の各分割帯域信号D3−1〜D3−kとD4−1〜D4−qに分離される。入力手段1,2、帯域分割手段5、パラメータ値差検出手段21−1,21−2、ゾーン決定手段22−1,22−2は入力・帯域分割手段6を構成している。なおこのように各分割帯域信号が何れのゾーンに在る音響信号に基づくものであるかの決定については前記公開公報に示されている。
【0018】
入力・帯域分割手段6からの各ゾーンごと帯域分割信号は、図1に示した実施例と同様に、論理演算手段8に入力されて、新たなゾーンが設定され、その設定された新ゾーンの音源からの分割帯域信号のみがスペクトル選択手段7で選択され、その選択された分割帯域信号が、信号合成手段11により集められ合成されて、必要に応じて時間領域信号に変換されて出力される。
いま、入力手段1のマイクロホンM1−1をM1−2の各出力信号により図6Aに示すゾーン31と32が定義され、図6Bに示すように入力手段2のマイクロホンM2−1とM2−2の各出力信号によりゾーン33と34が定義され、図6Cに示すように、ゾーン31と32の境界線と、ゾーン33と34の境界線との間のゾーン、つまりゾーン32とゾーン33の重なり領域をゾーン35とする。
【0019】
論理演算手段8にゾーン35が設定された場合、論理演算手段8に入力された分割帯域信号中の、ゾーン32に属する分割帯域信号の2値化信号とゾーン33に属する分割帯域信号の2値化信号との同一帯域ごとの論理積をとり、その結果が論理「1」の分割帯域信号のみをスペクトル選択手段7から出力すればよい。また音源Aがゾーン35に、音源Bがゾーン34に、音源Cがゾーン31に在り、入力手段1によりゾーン32の音源からの分割帯域信号と決定されたものが図7Aに示す状態で、太い実線が音源Aからのスペクトル(分割帯域信号)であり、細い実線が音源Bからスペクトル(分割帯域信号)であり、ゾーン33の音源からの分割帯域信号と決定されたものが図7Bに示す状態で、太い実線が音源Aからのスペクトル(分割帯域信号)であり、実線が音源Cからのスペクトル(分割帯域信号)である場合、ゾーン35が設定されると、図7AとBの両スペクトル中の同時に存在するものがスペクトル選択手段7で図7Cに示すように選択され、ゾーン35の音源Aの分割帯域信号のみが選出される。
【0020】
また、例えば(ゾーン32)∪(ゾーン33)の周波数成分(分割帯域信号)、つまりゾーン32及びゾーン33の何れかの領域(図6Dの斜線部分)に在る音源からの分割帯域信号として、入力手段1のスペクトルのうちでゾーン決定手段22−1においてゾーン32に属すると決定された分割帯域信号と、入力手段2のスペクトルのうちでゾーン決定手段22−2においてゾーン33に属すると決定された分割帯域信号との和集合を成す分割帯域信号をスペクトル選択手段7ですべて選択する。こうすることで、新たに定義されたゾーン(ゾーン32とゾーン33とよりなるゾーン)に在る音源からの周波数成分を選択することが出来る。
【0021】
図1および図5に示した各実施例において、入力手段の数は2以上でも同様の方法で実現される。例えば図8Aに示すように比較的尖鋭な指向特性をもつ、三つの入力手段1、2及び3を設け、これら入力手段1、2及び3の各指向特性の主ビームにより決る収音ゾーン1,2及び3が互いに交差するように設置することもできる。この場合、2つのゾーンの組合せ(AND,OR,NOT)により決るゾーンや三つのゾーンの組合せによるゾーンなど各種のゾーンを選択できる。ゾーン1,2及び3が二つづつ互いに交差するようにしてもよい。
【0022】
また、図5に示した実施例において1つの入力手段に三つ以上のマイクロホンを用いることもできる。例えば図8Bに示すように、入力手段1に三つのマイクロホンM1−1,M1−2,M1−3を用いて、ゾーン1−1,1−2,1−3を形成し、入力手段2にも三つのマイクロホンM2−1,M2−2,M2−3を用いて三つのゾーン2−1,2−2,2−3を形成し、論理演算手段8により、これら六つのゾーン1−1,1−2,1−3,2−1,2−2,2−3の二つ以上の任意の組合せ(AND,OR,NOT)により決る各種ゾーンの選択を行うようにすることもできる。
【0023】
また、上記実施例では、特定の方向および距離のゾーンにある音源からの音を収音することを可能にした。しかし、例えば図9Aに示すようにそれぞれゾーン1、2を決定する指向性マイクロホンM1、M2を配置し、その重なりゾーン(図中の斜線を施したゾーン)の幅を自由に制御できる収音装置とすることもできる。図9Aで、角度φ1とφ2はそれぞれ、二つのマイクロホンM1とM2を結ぶ線分の垂直二等分線pと、マイクロホンM1、M2の指向特性の主ビームの方向とのなす角である。ここで、ゾーン1、ゾーン2はそれぞれ、楕円の内部であるとする。φ1、φ2がそれぞれ90度になるように、主ビームの方向を変化させると図9A中の斜線部で示される部分((ゾーン1)∩(ゾーン2))を収音すればその収音指向性の幅は狭くなる。逆に、φ1、φ2が小さくなるようにすると(ゾーン1)∩(ゾーン2)の部分を収音すればその収音指向性の幅は広くなる。この考え方は、他のゾーンに対しても同様に適用できる。例えば、φ1、φ2を可変にし、(ゾーン1)∪(ゾーン2)の部分を収音すれば、先とは異なった指向特性の収音が可能である。また、φ1、φ2が90度を越えると、0度から90度まで変化した場合と対称的な特性を示す。更に図1に示したように一つの入力手段自体の指向特性により収音ゾーンが決る場合と、図5に示したように一つの入力手段に複数のマイクロホンを用いて、そのマイクロホンの位置に起因して変化するマイクロホンに到達する音響信号の音圧、到達時間などのパラメータ値の差を、各マイクロホン出力信号の分割帯域信号の対応するものについて求めて複数の収音ゾーンを定義し、到来音響信号の各分割帯域ごとに何れのゾーンの音源からかを決定する場合とを、つまり図1中の入力・帯域分割手段6と図5中の入力・帯域分割手段6とを組合せ使用してもよい。
【0024】
例えば図9Bに示すように、指向特性によりゾーン1を決定する入力手段1と、指向特性によりゾーン2を決定する入力手段2を設けると共に、一つのマイクロホンM3を設け、入力手段2とマイクロホンM3とにより、図5中に示した入力手段3を構成し、入力手段2とマイクロホンM3を結ぶ線の垂直2等分線を境界線とし、マイクロホンM3側をゾーン3とすることもできる。このようにすればゾーン3に在る音源Dは、入力手段3により音源Dがゾーン3に在ることを検出でき、例えば図4Aに示した問題を回避することができる。
【0025】
さらに、上記実施例では、論理演算算出手段8により音響空間に新たなゾーンを定義し、そのゾーンのうちいずれか一つを収音するようにしたが、一つではなく、複数のゾーンよりの音響信号を各別に収音しても良い。例えば図10に示すように、図1又は図5中の入力・帯域分割手段6(又はこれらの組合せ)から、各ゾーンごとに分割された複数の分割帯域信号は論理演算手段8において、それぞれ2値化されて、論理演算回路8b1,8b2へ供給され、論理演算回路8b1,8b2に対してはそれぞれゾーン設定部8c1,8c2により設定されたゾーンとそれぞれ対応して複数のゾーンの2値化分割帯域信号間の論理演算がなされ、その論理演算回路8b1,8b2の各論理演算結果により入力・帯域分割手段6からの各ゾーンの分割帯域信号がスペクトル選択手段7−1,7−2でそれぞれ選択され、それぞれ信号合成手段11−1、11−2で設定ゾーンごとの分割帯域信号が集め合成され、必要に応じてそれぞれ時間領域信号に変換されて出力される。このようにして更に多くのゾーン対応の音響信号を各別に取出すこともできる。
【0026】
なお上述における各部の機能は、DSP(デジタルシグナルプロセッサ)などによりプログラムを解読実行させて得るようにしてもよい。上述では論理演算手段8において各種論理演算や、それに用いる分割帯域信号が属するゾーンを選択、変更できるようにしたが、これの一方又は双方を固定としてもよい。
【0027】
【発明の効果】
この発明では、複数のマイクロホンの信号を同位相加算する必要が無いため、従来の遅延和アレーに比べて小さな装置規模で、特定ゾーンの収音が可能である。さらに、従来の入力手段による収音ゾーンとは異なる新たなゾーンを、複数の入力手段と論理演算手段とにより定義し、その新たなゾーンにある音源からの周波数成分を選択可能とした。このため入力手段に対して特定の方向および特定の距離にある空間内の音を収音することも可能である。
【0028】
また、各入力手段で定義するゾーンに対し、論理演算を施すことで新たなゾーンを形成するため、例えば、特定の範囲内の音のみ収音しない、といった複雑な形状のゾーンからの収音も可能である。加えて、入力手段の指向方向を変更できるようにすれば指向性の幅が極端に狭いものから広いものまで、指向性の幅を自由に制御する収音も可能である。
さらに、入力手段として複数のマイクロホンを用い、そのマイクロホン出力の各分割帯域信号間の差分を用いることによって、各ゾーンにある音源からの周波数成分を精度良く決定し、所望の収音ゾーン以外からの不要音を抑圧することで所望のゾーンからの音を高S/Nで収音可能である。
【図面の簡単な説明】
【図1】この発明ゾーン別収音装置の実施例の機能構成を示すブロック図。
【図2】Aは指向性マイクロホンの指向特性によるゾーン形成例を示す図、Bは新たに定義されたゾーンの例(ゾーン9)=(ゾーン3)∩(ゾーン4)を示す図、Cは各ゾーンにおける音源A,B,Cの配置例を示す図である。
【図3】Aは入力手段1の出力信号のスペクトル例を示す図、Bは入力手段2の出力信号のスペクトル例を示す図、Cは(ゾーン3)∩(ゾーン4)よりの収音のスペクトルを示す図である。
【図4】Aはゾーン1、ゾーン2以外の場所にある音源からの影響を説明するための図、Bは複数マイクロホンを用いることにより生じる出力信号間のパラメータ値差分を説明するための図、Cは複数マイクロホンの出力信号パラメータ値差を用いることにより生成できるゾーンの例を示す図である。
【図5】この発明の他の実施例の機能構成を示すブロック図。
【図6】Aは図5中の入力手段1に対して定義されるゾーンの例を示す図、Bは入力手段2に対して定義されるゾーンの例を示す図、Cは(ゾーン32)∩(ゾーン33)で定義されるゾーン(斜線部)を示す図、Dは(ゾーン31)∪(ゾーン34)で定義されるゾーン(斜線部)を示す図である。
【図7】Aはゾーン32に属するスペクトルを示す図、Bはゾーン33に属するスペクトルを示す図、Cは(ゾーン32)∩(ゾーン33)に属するスペクトルを示す図である。
【図8】Aは指向性入力手段を三つ用いた場合のゾーン形成例を示す図、Bは複数のマイクロホンを用いる各入力手段1、2として三つのマイクロホンを用いた場合のゾーン形成例を示す図である。
【図9】Aはマイクロホンの角度とゾーン重なり領域の指向特性の幅との関係を説明するための図、Bは複数の指向性入力手段と、その一つと一つのマイクロホンとの組合せにより他の入力手段を構成した場合のゾーン構成例を示す図である。
【図10】この発明の更に他の実施例の機能構成を示すブロック図。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a device that collects only sound from a sound source in a desired zone using a plurality of microphones.
[0002]
[Prior art]
Conventionally, when collecting sound from a sound source in a specific zone, a plurality of microphones are arranged, and an output signal of each microphone is provided according to a distance from a point to be received (a specific zone) to each microphone. There has been a sound receiving method called a delay-sum array in which a time delay is given and the output sum of each microphone is extracted. However, in this method, since the in-phase addition of the microphone output is used, in order to take out a sound from a specific zone at a high SN ratio, particularly in a low frequency band, it is necessary to increase the microphone interval, and therefore, the device scale is reduced. There was a problem of becoming larger.
[0003]
On the other hand, a method of collecting sound from a specific zone by reducing the number of microphones has also been proposed (Japanese Patent Laid-Open No. Hei 10-313497: "Sound Source Separation Method, Apparatus and Recording Medium"). This method uses two or more microphones and divides the area into two by means of a bisector between each two microphones, thereby forming a plurality of areas (zones). When sound is picked up by two microphones, the output signal of the microphone close to the sound source has a higher level than the output signal of the other microphone, and the arrival time is faster, so that the output signal of each microphone is Each band signal is smaller than the sound signal component from one sound source, is divided into a plurality of frequency bands, and differs by detecting the level difference of the same band signal of each microphone output signal, or the arrival time difference. The sound signal from the sound source in the zone is separated and extracted, that is, the frequency component from the sound source in the desired zone is added to the signal received by the microphone. By extracting only, and extracts only the sound from the sound source in a specific zone. This method does not use in-phase addition of microphone outputs, so that a plurality of zones can be formed with a smaller number of microphones than a delay-and-sum array.
[0004]
However, even with this method, it is possible to extract sound coming from a direction in a specific angle range, but it has been difficult to collect only sound coming from a specific distance. This is because the clue to know the distance between the microphone and the sound source is only the magnitude relationship of the sound pressure that enters the microphone, and since the sound pressure generally varies from time to time depending on the sounding state of the sound source, the microphone and the sound source This is because it is difficult to measure the distance accurately. Further, in this conventional method, the zone cannot be simply changed.
[0005]
[Means for Solving the Problems]
According to the present invention, a plurality of input / band dividing means for picking up sound from a sound source in a specific direction by extracting only frequency components from a sound source in a desired zone are used, and a specific distance and a specific It is characterized in that only a signal of a sound source coming from a direction is extracted. In addition, the input / band dividing means is extended to a plurality, and the selection of the frequency components subjected to the band division is performed by a logical operation, and the sound collection is performed by changing the method of the logical operation or changing the zone of the band signal to be logically operated. It is possible to change a specific distance or a specific direction of a zone of a sound source to be changed.
[0006]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 shows an embodiment of the present invention. Each of the input means 1 and 2 collects an acoustic signal from a sound source and converts it into an electric signal. In this embodiment, for example, a directional microphone or the like is used as the input means 1 and 2, and a specific range (hereinafter, referred to as a zone) of a sound space in which sound can be received is determined by using one that produces a sensitivity difference depending on the direction of a sound source. Is what you can do. For example, the directions of the main beams of the directional characteristics of the input means 1 and 2 composed of directional microphones respectively form
[0007]
The logical operation means 8 determines a new zone by defining a logical operation (AND, OR, NOT, etc.) for the zone determined for each of the input means 1 and 2. For the two
(Zone 3) ∩ (Zone 4)
(Zone 3) ∪ (Zone 4)
(Zone 3) ∩ (Zone 4) '
Here, A∩B represents the logical product of A and B, A∪B represents the logical sum of A and B, and A ′ represents the negation of A.
[0008]
Of the newly determined zones, for example, (Zone 3) ゾ ー ン (Zone 4) is shown in FIG. 2B. In FIG. 2B, a
[0009]
The spectrum selection means 7 selects a frequency component from a sound source in the zone determined by the logic operation means 8. For the sake of explanation, it is assumed that three of the sound sources A, B, and C are arranged in
[0010]
For example, in the example shown in FIG. 2C, when (Zone 3) ∩ (Zone 4) = (Zone 9) is set in the zone setting unit 8C, the frequency spectrum of the signal collected by the
[0011]
In the example shown in FIG. 2C, when selecting divided band signals (spectrums) from all sound sources existing in the
[0012]
Further, when zones other than
[0013]
In FIG. 1, a
[0014]
In the embodiment shown in FIG. 1, for example, only the sounds in
[0015]
As the input means 1 and 2, for example, a plurality of microphones are used. For example, as shown in FIG. 4B, two microphones M1-1 and M1-2 are used as the input means 1 and 2, respectively. As shown in FIG. 4B, for example, when the sound source (speaker) A is closer to the microphone M1-1 than the microphone M1-2, the sound from the sound source A is transmitted to the microphone M1-1 as compared to the microphone M1-2. It arrives quickly and with high sound pressure. The output signals of the microphones M1-1 and M1-2 are respectively divided into a plurality of band signals S1-1-1 to S1-1n and S1-21 to S1-2n by the band dividing means 5 as in the case of FIG. The parameter value difference detecting means 21-1 calculates the arrival time difference or the arrival level difference between the microphones M1-1 and M1-2 for the same frequency band of each frequency band-divided band signal.
[0016]
The zone determining means 22-1 uses the time difference between microphones and the level difference between microphones for each band signal calculated by the parameter value difference detecting means 21-1 to define the zone and the frequency component (band) from the sound source in each zone. Signal). For example, as shown in FIG. 4C, a line that bisects between the microphones M1-1 and M1-2 is defined as a
[0017]
Similarly, the output signals of the two microphones of the input means 2 are divided into divided band signals S2-11 to S2-1n and S2-21 to S2-2n, and the parameter value difference for these corresponding bands is detected by the detecting
[0018]
The band division signal for each zone from the input / band division means 6 is input to the logical operation means 8 as in the embodiment shown in FIG. 1, a new zone is set, and a new zone is set. Only the divided band signal from the sound source is selected by the
Now, the
[0019]
When the zone 35 is set in the logical operation means 8, the binary signal of the divided band signal belonging to the
[0020]
For example, as a frequency component (divided band signal) of (Zone 32) ∪ (Zone 33), that is, as a divided band signal from a sound source located in one of the
[0021]
In each embodiment shown in FIGS. 1 and 5, even if the number of input means is two or more, the same method is realized. For example, as shown in FIG. 8A, three input means 1, 2 and 3 having relatively sharp directional characteristics are provided, and
[0022]
Further, in the embodiment shown in FIG. 5, three or more microphones can be used for one input means. For example, as shown in FIG. 8B, zones 1-1, 1-2, and 1-3 are formed using three microphones M1-1, M1-2, and M1-3 as input means 1, and input means 2 is used as input means 2. The three microphones M2-1, M2-2, and M2-3 are used to form three zones 2-1, 2-2, and 2-3. Various zones determined by an arbitrary combination (AND, OR, NOT) of two or more of 1-2, 1-3, 2-1, 2-2, and 2-3 can also be selected.
[0023]
Further, in the above embodiment, it is possible to collect sound from a sound source located in a zone of a specific direction and distance. However, for example, as shown in FIG. 9A, the directional microphones M1 and M2 for determining the
[0024]
For example, as shown in FIG. 9B, input means 1 for determining
[0025]
Further, in the above-described embodiment, a new zone is defined in the acoustic space by the logical operation calculating means 8 and any one of the zones is picked up. Sound signals may be separately collected. For example, as shown in FIG. 10, from the input / band dividing means 6 (or a combination thereof) in FIG. 1 or FIG. The values are supplied to the logical operation circuits 8b1 and 8b2, and the logical operation circuits 8b1 and 8b2 are binarized and divided into a plurality of zones corresponding to the zones set by the zone setting units 8c1 and 8c2, respectively. The logical operation between the band signals is performed, and the divided band signals of the respective zones from the input / band dividing means 6 are selected by the spectrum selecting means 7-1 and 7-2 based on the respective logical operation results of the logical operation circuits 8b1 and 8b2. The divided band signals for each set zone are collected and synthesized by the signal synthesizing means 11-1 and 11-2, respectively, and converted into time domain signals as necessary, and output. It is. In this way, more sound signals corresponding to more zones can be extracted individually.
[0026]
The functions of the respective units described above may be obtained by decoding and executing a program using a DSP (Digital Signal Processor) or the like. In the above description, the logical operation means 8 can select and change various logical operations and the zone to which the divided band signal used belongs, but one or both of them may be fixed.
[0027]
【The invention's effect】
According to the present invention, since it is not necessary to add signals of a plurality of microphones in phase, it is possible to collect sound in a specific zone with a smaller device scale than a conventional delay-and-sum array. Further, a new zone different from the sound pickup zone by the conventional input means is defined by a plurality of input means and logic operation means, and a frequency component from a sound source in the new zone can be selected. Therefore, it is possible to collect sound in a space at a specific direction and a specific distance from the input unit.
[0028]
In addition, since a new zone is formed by performing a logical operation on the zone defined by each input means, for example, sound collection from a zone having a complicated shape such that only sounds within a specific range are not collected. It is possible. In addition, if the directivity direction of the input means can be changed, it is possible to collect sound in which the directivity width is freely controlled from extremely narrow to wide.
Furthermore, by using a plurality of microphones as input means and using a difference between the divided band signals of the microphone output, a frequency component from a sound source in each zone is accurately determined, and a frequency component from a source other than a desired sound pickup zone is determined. By suppressing unnecessary sound, sound from a desired zone can be collected at a high S / N.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a functional configuration of an embodiment of a zone-specific sound collecting apparatus according to the present invention.
2A is a diagram illustrating an example of zone formation based on the directional characteristics of a directional microphone, FIG. 2B is a diagram illustrating an example of a newly defined zone (zone 9) = (zone 3) ∩ (zone 4), and FIG. FIG. 3 is a diagram illustrating an example of arrangement of sound sources A, B, and C in each zone.
3A is a diagram illustrating an example of a spectrum of an output signal of the
FIG. 4A is a diagram for explaining an influence from a sound source located in a place other than
FIG. 5 is a block diagram showing a functional configuration of another embodiment of the present invention.
6A is a diagram showing an example of a zone defined for the
7A is a diagram showing a spectrum belonging to
8A is a diagram showing an example of zone formation when three directional input means are used, and FIG. 8B is an example of zone formation when three microphones are used as input means 1 and 2 using a plurality of microphones. FIG.
FIG. 9A is a diagram for explaining the relationship between the angle of the microphone and the width of the directional characteristic of the zone overlapping area, and FIG. 9B is another diagram showing a combination of a plurality of directivity input means and one of them and one microphone; FIG. 3 is a diagram illustrating an example of a zone configuration when an input unit is configured.
FIG. 10 is a block diagram showing a functional configuration of still another embodiment of the present invention.
Claims (7)
上記入力・帯域分割手段よりの複数のゾーンの各同一周波数帯の分割帯域信号についてそれぞれ同一の論理演算を行う論理演算手段と、
その論理演算手段よりの各周波数帯の論理演算結果に基づき、上記分割帯域信号の対応するものを選択する帯域信号選択手段と、
上記選択された分割帯域信号を周波数合成する合成手段と、
を具備するゾーン別収音装置。Input / band splitting means for picking up an audio signal from a predetermined sound space range (hereinafter referred to as a zone) and outputting a divided band signal divided into a plurality of frequency bands for each zone;
Logical operation means for performing the same logical operation on the divided band signals of the same frequency band of each of the plurality of zones from the input / band dividing means,
Band signal selecting means for selecting a corresponding one of the divided band signals based on a logical operation result of each frequency band from the logical operation means,
Synthesizing means for frequency synthesizing the selected divided band signal;
A zone-specific sound collection device comprising:
これら各入力手段よりの信号をそれぞれ複数の周波数帯域に分割して上記分割帯域信号を得る周波数帯域分割手段と、
よりなることを特徴とする請求項1記載のゾーン別収音装置。The input / band splitting means includes a plurality of directional sound pickup input means having directional characteristics for determining the zone,
Frequency band dividing means for dividing the signal from each of these input means into a plurality of frequency bands to obtain the divided band signal,
2. The sound collecting device according to claim 1, wherein the sound collecting device comprises:
上記各入力手段よりの各マイクロホンの出力信号をそれぞれ複数の周波数帯域に分割する帯域分割手段と、
上記各入力手段ごとに、上記分割された出力信号の各同一帯域ごとに、マイクロホンの位置に起因して変化する、マイクロホンに到達する音響信号のパラメータの値の差を、帯域別マイクロホン間パラメータ値差として検出するパラメータ値差検出手段と、
上記各入力手段ごとに、上記複数のマイクロホンの配置で決るゾーンの何れにある音源から到来した信号であるかを、上記各マイクロホンの各分割された出力信号ごとに、上記帯域別マイクロホン間パラメータ値差に基づき決定して上記ゾーンごとの上記分割帯域信号を出力するゾーン決定手段と、
よりなることを特徴とする請求項1記載のゾーン別収音装置。The input / band splitting means includes a plurality of input means including a plurality of microphones,
Band dividing means for dividing an output signal of each microphone from each of the input means into a plurality of frequency bands,
For each of the input means, for each of the same bands of the divided output signal, the difference between the parameter values of the acoustic signal reaching the microphone, which varies due to the position of the microphone, Parameter value difference detection means for detecting as a difference,
For each of the input means, for each of the divided output signals of each of the microphones, for each of the divided output signals of each of the plurality of microphones, the zone is determined by the arrangement of the plurality of microphones. Zone determining means for determining based on the difference and outputting the divided band signal for each zone,
2. The sound collecting device according to claim 1, wherein the sound collecting device comprises:
その指向性収音入力手段よりの値を複数の周波数帯域に分割して上記分割帯域信号を得る周波数帯域分割手段と、
複数のマイクロホンよりなる少なくとも一つの入力手段と、
その入力手段よりの各マイクロホンの出力信号をそれぞれ複数の周波数帯域に分割する帯域分割手段と、
上記各入力手段ごとに、上記分割された出力信号の各同一帯域ごとに、マイクロホンの位置に起因して変化する、マイクロホンに到達する音響信号のパラメータの値の差を、帯域別マイクロホン間パラメータ値差として検出するパラメータ値差検出手段と、
上記各入力手段ごとに、上記複数のマイクロホンの配置で決るゾーンの何れにある音源から到来した信号であるかを、上記各マイクロホンの各分割された出力信号ごとに、上記帯域別マイクロホン間パラメータ値差に基づき決定して上記ゾーンごとの上記分割帯域信号を出力するゾーン決定手段と、
よりなることを特徴とする請求項1記載のゾーン別収音装置。The input / band splitting means includes at least one directional sound pickup input means having a directional characteristic for determining the zone,
Frequency band dividing means for dividing the value from the directional sound pickup input means into a plurality of frequency bands to obtain the divided band signal,
At least one input means comprising a plurality of microphones;
Band dividing means for dividing an output signal of each microphone from the input means into a plurality of frequency bands,
For each of the input means, for each of the same bands of the divided output signal, the difference between the parameter values of the acoustic signal reaching the microphone, which varies due to the position of the microphone, Parameter value difference detection means for detecting as a difference,
For each of the input means, for each of the divided output signals of each of the microphones, for each of the divided output signals of each of the plurality of microphones, the zone is determined by the arrangement of the plurality of microphones. Zone determining means for determining based on the difference and outputting the divided band signal for each zone,
2. The sound collecting device according to claim 1, wherein the sound collecting device comprises:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000009102A JP3548706B2 (en) | 2000-01-18 | 2000-01-18 | Zone-specific sound pickup device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000009102A JP3548706B2 (en) | 2000-01-18 | 2000-01-18 | Zone-specific sound pickup device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001204092A JP2001204092A (en) | 2001-07-27 |
JP3548706B2 true JP3548706B2 (en) | 2004-07-28 |
Family
ID=18537293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000009102A Expired - Fee Related JP3548706B2 (en) | 2000-01-18 | 2000-01-18 | Zone-specific sound pickup device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3548706B2 (en) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3720795B2 (en) * | 2002-07-31 | 2005-11-30 | 日本電信電話株式会社 | Sound source receiving position estimation method, apparatus, and program |
JP4052086B2 (en) * | 2002-10-23 | 2008-02-27 | オムロン株式会社 | Object detection apparatus and object detection method |
JP4085924B2 (en) | 2003-08-04 | 2008-05-14 | ソニー株式会社 | Audio processing device |
JP4873913B2 (en) * | 2004-12-17 | 2012-02-08 | 学校法人早稲田大学 | Sound source separation system, sound source separation method, and acoustic signal acquisition apparatus |
JP2007096384A (en) * | 2005-09-27 | 2007-04-12 | Yamaha Corp | Noise elimination apparatus and noise elimination program |
WO2007052604A1 (en) * | 2005-11-01 | 2007-05-10 | Matsushita Electric Industrial Co., Ltd. | Sound collecting device |
JP4473829B2 (en) * | 2006-02-28 | 2010-06-02 | 日本電信電話株式会社 | Sound collecting device, program, and recording medium recording the same |
JP4519901B2 (en) * | 2007-04-26 | 2010-08-04 | 株式会社神戸製鋼所 | Objective sound extraction device, objective sound extraction program, objective sound extraction method |
JP5032960B2 (en) * | 2007-11-28 | 2012-09-26 | パナソニック株式会社 | Acoustic input device |
JP5032959B2 (en) * | 2007-11-28 | 2012-09-26 | パナソニック株式会社 | Acoustic input device |
JP5272489B2 (en) * | 2008-04-11 | 2013-08-28 | 日産自動車株式会社 | Outside vehicle information providing apparatus and outside vehicle information providing method |
US9025782B2 (en) * | 2010-07-26 | 2015-05-05 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for multi-microphone location-selective processing |
EP2647221B1 (en) | 2010-12-03 | 2020-01-08 | Fraunhofer Gesellschaft zur Förderung der Angewand | Apparatus and method for spatially selective sound acquisition by acoustic triangulation |
US9401058B2 (en) | 2012-01-30 | 2016-07-26 | International Business Machines Corporation | Zone based presence determination via voiceprint location awareness |
JP6789690B2 (en) | 2016-06-23 | 2020-11-25 | キヤノン株式会社 | Signal processing equipment, signal processing methods, and programs |
JP2018170617A (en) * | 2017-03-29 | 2018-11-01 | 沖電気工業株式会社 | Sound pickup device, program, and method |
JP6863004B2 (en) * | 2017-03-30 | 2021-04-21 | 沖電気工業株式会社 | Sound collectors, programs and methods |
JP6763332B2 (en) * | 2017-03-30 | 2020-09-30 | 沖電気工業株式会社 | Sound collectors, programs and methods |
JP7176316B2 (en) * | 2018-09-18 | 2022-11-22 | 沖電気工業株式会社 | SOUND COLLECTION DEVICE, PROGRAM AND METHOD |
US11488573B2 (en) * | 2018-09-26 | 2022-11-01 | Panasonic Intellectual Property Corporation Of America | Acoustic object extraction device and acoustic object extraction method |
CN114363771A (en) * | 2022-01-17 | 2022-04-15 | 广州市奥威亚电子科技有限公司 | Audio processing device and system |
JP7380783B1 (en) | 2022-08-29 | 2023-11-15 | 沖電気工業株式会社 | Sound collection device, sound collection program, sound collection method, determination device, determination program, and determination method |
-
2000
- 2000-01-18 JP JP2000009102A patent/JP3548706B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001204092A (en) | 2001-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3548706B2 (en) | Zone-specific sound pickup device | |
JP6023796B2 (en) | Room characterization and correction for multi-channel audio | |
US8767975B2 (en) | Sound discrimination method and apparatus | |
US8842869B2 (en) | Method and apparatus for sound source localization using microphones | |
JP5229053B2 (en) | Signal processing apparatus, signal processing method, and program | |
JP2003255955A5 (en) | ||
JP2012147475A5 (en) | ||
JP7276470B2 (en) | Direction-of-arrival estimation device, model learning device, direction-of-arrival estimation method, model learning method, program | |
CN106303783A (en) | Noise-reduction method and device | |
JP3599653B2 (en) | Sound pickup device, sound pickup / sound source separation device and sound pickup method, sound pickup / sound source separation method, sound pickup program, recording medium recording sound pickup / sound source separation program | |
US20100189279A1 (en) | Microphone array signal processing apparatus, microphone array signal processing method, and microphone array system | |
JP3175267B2 (en) | Sound field direction information extraction method | |
CN102388624B (en) | Sound processing device and sound processing method | |
Guo et al. | A Robust Dual-Microphone Speech Source Localization Algorithm for Reverberant Environments. | |
JP4618029B2 (en) | Array microphone system | |
JP3379083B2 (en) | Sound source zone detection method, its device, and its program recording medium | |
Omoto et al. | Sound Field Reproduction by Convolving Directional Dry Signals and Directional Impulse Responses | |
JPS5983496A (en) | Micophone device | |
JPH06324689A (en) | Acoustic measuring method | |
KR101207274B1 (en) | sound reproducing apparatus | |
Wang et al. | FPGA implementation of a novel far-field sound localization system | |
Gray et al. | Direction of arrival estimation of kiwi call in noisy and reverberant bush | |
Bunkley et al. | A broadband impulsive signal detection filter for unknown acoustic sources in outdoor environments using non-coplanar microphone arrays | |
JP2002247679A (en) | Assembled-type microphone | |
JP6128547B2 (en) | Sound source separation method, apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040323 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040419 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100423 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100423 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110423 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120423 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130423 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140423 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |