JP2020134778A - Noise elimination device, noise elimination method and program - Google Patents
Noise elimination device, noise elimination method and program Download PDFInfo
- Publication number
- JP2020134778A JP2020134778A JP2019029814A JP2019029814A JP2020134778A JP 2020134778 A JP2020134778 A JP 2020134778A JP 2019029814 A JP2019029814 A JP 2019029814A JP 2019029814 A JP2019029814 A JP 2019029814A JP 2020134778 A JP2020134778 A JP 2020134778A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- noise
- unit
- time
- adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は、雑音除去装置、雑音除去方法およびプログラムに関する。 The present invention relates to denoising devices, denoising methods and programs.
例えば車両内において、運転者の音声を集音して認識等をする場合、ビームフォーミングの技術を用いて、運転者の方向からの音声を集音し、他の乗車者の方向からの音声を抑制することが望ましい。また、一般に音声を集音する場合、精度良く雑音を減衰できることが望ましい。例えば、非特許文献１には、音声信号のスペクトルから雑音スペクトルを減衰する方法が記載されている。
For example, when collecting and recognizing the driver's voice in a vehicle, the beamforming technology is used to collect the voice from the driver's direction and collect the voice from the other passenger's direction. It is desirable to suppress it. Further, in general, when collecting sound, it is desirable that noise can be attenuated with high accuracy. For example, Non-Patent
ところで、特定の方向からの音声を他の音声から分離する場合、さらに、他の雑音を除去できることが望ましい。 By the way, when separating the sound from a specific direction from other sounds, it is desirable that other noises can be further removed.
本発明は、精度良く目的信号を他信号から分離するとともに雑音信号を抑制することができる雑音除去装置、雑音除去方法およびプログラムを提供することを目的とする。 An object of the present invention is to provide a noise removing device, a noise removing method, and a program capable of accurately separating a target signal from other signals and suppressing a noise signal.
上述した課題を解決し、目的を達成するために、本発明に係る雑音除去装置は、第１検出器により検出された信号を表す第１チャネル信号を取得する第１取得部と、前記第１検出器に対して所定距離離間して設けられた第２検出器により検出された信号を表す第２チャネル信号を取得する第２取得部と、前記第１チャネル信号および予め設定された第１遅延時間の遅延をした前記第２チャネル信号に基づき、前記第１チャネル信号における目的方向とは異なる他方向から到来する信号成分を抑圧した第１信号を生成する第１ビームフォーミング部と、予め設定された第２遅延時間の遅延をした前記第１チャネル信号および前記第２チャネル信号に基づき、前記第２チャネル信号における前記目的方向から到来する信号成分を抑圧した第２信号を生成する第２ビームフォーミング部と、前記第２信号に基づき雑音信号を推定する推定部と、前記第１信号から推定された前記雑音信号を除去することにより、前記目的方向から到来する信号を表す目的信号を生成する除去部と、を備える。 In order to solve the above-mentioned problems and achieve the object, the noise removing device according to the present invention includes a first acquisition unit that acquires a first channel signal representing a signal detected by the first detector, and the first acquisition unit. A second acquisition unit that acquires a second channel signal representing a signal detected by a second detector provided at a predetermined distance from the detector, the first channel signal, and a preset first delay. A first beam forming unit that generates a first signal that suppresses a signal component arriving from a direction different from the target direction in the first channel signal based on the second channel signal delayed in time is set in advance. A second beam forming that generates a second signal that suppresses a signal component arriving from the target direction in the second channel signal based on the first channel signal and the second channel signal delayed by the second delay time. A unit, an estimation unit that estimates a noise signal based on the second signal, and a removal unit that generates a target signal representing a signal arriving from the target direction by removing the noise signal estimated from the first signal. It has a part and.
本発明によれば、精度良く目的信号を他信号から分離するとともに雑音信号を抑制することができる。 According to the present invention, it is possible to accurately separate the target signal from other signals and suppress the noise signal.
以下、添付図面を参照しながら、実施形態に係る検出システム１０を詳細に説明する。実施形態に係る検出システム１０は、目的方向から到来する目的信号を、目的方向とは異なる他方向から到来する信号から分離して出力する。
Hereinafter, the
図１は、実施形態に係る検出システム１０の構成を示す図である。検出システム１０は、第１マイクロホン２０Ｌ（第１検出器）と、第２マイクロホン２０Ｒ（第２検出器）と、第１チャネル処理部２２Ｌと、第２チャネル処理部２２Ｒと、雑音除去装置３０とを備える。
FIG. 1 is a diagram showing a configuration of a
第１マイクロホン２０Ｌおよび第２マイクロホン２０Ｒは、音声を集音して、音声を表す電気信号に変換する。第２マイクロホン２０Ｒは、第１マイクロホン２０Ｌに対して所定距離離間して設けられる。第１マイクロホン２０Ｌおよび第２マイクロホン２０Ｒは、略同一の性能を有する。第１マイクロホン２０Ｌおよび第２マイクロホン２０Ｒは、指向性の中心方向（正面方向）が同一の方向に向けて（平行に）設けられる。
The
第１チャネル処理部２２Ｌは、第１マイクロホン２０Ｌから出力された信号に対してフィルタリング処理およびアナログ／デジタル変化処理等を行い、第１マイクロホン２０Ｌにより検出された信号（本実施形態においては音声）を表す第１チャネル信号を生成する。第１チャネル処理部２２Ｌは、第１チャネル信号を雑音除去装置３０に供給する。
The first
第２チャネル処理部２２Ｒは、第２マイクロホン２０Ｒから出力された信号に対してフィルタリング処理およびアナログ／デジタル変化処理等を行い、第２マイクロホン２０Ｒにより検出された信号（本実施形態においては音声）を表す第２チャネル信号を生成する。第２チャネル処理部２２Ｒは、第２チャネル信号を雑音除去装置３０に供給する。
The second
雑音除去装置３０は、第１チャネル信号および第２チャネル信号に基づき、第１マイクロホン２０Ｌおよび第２マイクロホン２０Ｒに対して特定の方向（目的方向）から到来する信号成分（本実施形態においては音声）を表す目的信号を出力する。この際、雑音除去装置３０は、目的方向とは異なる他方向から到来する信号成分、および、雑音信号を除去する。
The
また、雑音除去装置３０には、第１遅延時間（ｄ１）、第２遅延時間（ｄ２）および雑音遅延時間（τ）が予め設定されている。第１遅延時間（ｄ１）、第２遅延時間（ｄ２）および雑音遅延時間（τ）は、固定の値であってもよいし、ユーザまたは他の装置からの指示に応じて変更されてもよい。
Further, the
本実施形態において、第１マイクロホン２０Ｌおよび第２マイクロホン２０Ｒは、指向性の中心方向（正面方向）に対して垂直方向に、所定距離離れて設けられる。また、目的方向は、正面方向より第１マイクロホン２０Ｌ側に設定される。また、他方向は、正面方向より第２マイクロホン２０Ｒ側に設定される。
In the present embodiment, the
なお、本実施形態において、検出システム１０は、音声信号を検出して、目的方向から到来する音声信号を出力する。しかし、検出システム１０は、音声信号に代えて、超音波信号または電磁波信号等を検出してもよい。この場合、検出システム１０は、第１マイクロホン２０Ｌおよび第２マイクロホン２０Ｒに代えて、対応する信号を検出する検出器を備える。例えば、この場合、検出システム１０は、検出器として、マイクロホンに代えて、超音波信号を検出するセンサまたは電磁波信号を検出するアンテナ等を備える。
In the present embodiment, the
図２は、第１遅延時間（ｄ１）を説明するための図である。第１遅延時間（ｄ１）は、他方向から到来した信号が、第２マイクロホン２０Ｒに到達する時刻と、第１マイクロホン２０Ｌに到達する時刻との時間差である。
FIG. 2 is a diagram for explaining the first delay time (d 1 ). The first delay time (d 1 ) is the time difference between the time when the signal arriving from the other direction reaches the
例えば、他方向の遠方の音源から発生された音声は、第２マイクロホン２０Ｒに到達した後に、第１マイクロホン２０Ｌに到達する。この場合、第１遅延時間（ｄ１）は、音声が第２マイクロホン２０Ｒに到達した時刻から、音声が第１マイクロホン２０Ｌに到達した時刻を減じた時間である。より具体的には、正面方向に対する他方向の角度がθ１であり、第１マイクロホン２０Ｌと第２マイクロホン２０Ｒとの間の距離がＤであり、音速がｃである場合、第１遅延時間（ｄ１）は、ｄ１＝（Ｄｓｉｎθ１）／ｃである。
For example, the sound generated from a distant sound source in the other direction reaches the
図３は、第２遅延時間（ｄ２）を説明するための図である。第２遅延時間（ｄ２）は、目的方向から到来した信号が、第１マイクロホン２０Ｌに到達する時刻と、第２マイクロホン２０Ｒに到達する時刻との時間差である。
FIG. 3 is a diagram for explaining the second delay time (d 2 ). The second delay time (d 2 ) is the time difference between the time when the signal arriving from the target direction reaches the
例えば、目的方向の遠方の音源から発生された音声は、第１マイクロホン２０Ｌに到達した後に、第２マイクロホン２０Ｒに到達する。この場合、第２遅延時間（ｄ２）は、目的方向の遠方の音源から発生された音声が、第１マイクロホン２０Ｌに到達した時刻から、第２マイクロホン２０Ｒに到達した時刻を減じた値である。より具体的には、正面方向に対する目的方向の角度がθ２であり、第１マイクロホン２０Ｌと第２マイクロホン２０Ｒとの間の距離がＤであり、音速がｃである場合、第２遅延時間（ｄ２）は、ｄ２＝（Ｄｓｉｎθ２）／ｃである。
For example, the sound generated from a sound source distant in the target direction reaches the
図４は、雑音遅延時間（τ）を説明するための図である。雑音遅延時間（τ）は、雑音信号が、第１マイクロホン２０Ｌに到達する時刻と、第２マイクロホン２０Ｒに到達する時刻との時間差である。
FIG. 4 is a diagram for explaining the noise delay time (τ). The noise delay time (τ) is the time difference between the time when the noise signal reaches the
例えば、雑音の音源が第１マイクロホン２０Ｌ側に存在する場合には、雑音遅延時間（τ）は、雑音信号が、第１マイクロホン２０Ｌに到達した時刻から、第２マイクロホン２０Ｒに到達した時刻を減じた値である。あるいは、雑音の音源が第２マイクロホン２０Ｒ側に存在する場合には、雑音遅延時間（τ）は、雑音信号が、第２マイクロホン２０Ｒに到達した時刻から、第１マイクロホン２０Ｌに到達した時刻を減じた値である。例えば、正面方向に対する雑音信号の到来方向の角度がθ３であり、第１マイクロホン２０Ｌと第２マイクロホン２０Ｒとの間の距離がＤであり、音速がｃである場合、雑音遅延時間（τ）は、τ＝｛（Ｄｓｉｎθ３）／ｃ｝である。
For example, when the noise source is on the side of the
図５は、雑音除去装置３０の機能構成を示す図である。雑音除去装置３０は、ＣＰＵ等を備える情報処理装置により実現される。この場合、雑音除去装置３０は、機能ブロックとして、第１取得部４２と、第２取得部４４と、第１ビームフォーミング部４６と、第２ビームフォーミング部４８と、推定部５０と、除去部５２とを有する。
FIG. 5 is a diagram showing a functional configuration of the
第１取得部４２は、第１チャネル処理部２２Ｌから、第１マイクロホン２０Ｌにより検出された信号を表す第１チャネル信号を取得する。第１取得部４２は、第１チャネル信号を第１ビームフォーミング部４６および第２ビームフォーミング部４８に与える。
The
第２取得部４４は、第２チャネル処理部２２Ｒから、第２マイクロホン２０Ｒにより検出された信号を表す第２チャネル信号を取得する。第２取得部４４は、第２チャネル信号を第１ビームフォーミング部４６および第２ビームフォーミング部４８に与える。
The
第１ビームフォーミング部４６は、第２チャネル信号に対して、予め設定された第１遅延時間（ｄ１）の遅延処理をする。第１ビームフォーミング部４６は、第１チャネル信号、および、第１遅延時間（ｄ１）の遅延をした第２チャネル信号に基づき、第１チャネル信号における目的方向とは異なる他方向から到来する信号成分を抑圧した第１信号を生成する。すなわち、第１ビームフォーミング部４６は、第１チャネル信号から、第１遅延時間（ｄ１）遅延した第２チャネル信号を減じる減算型のビームフォーミング処理を実行する。このような第１ビームフォーミング部４６は、第１チャネル信号に含まれる他方向から到来する信号の成分を抑圧することにより、第１チャネル信号に含まれる目的信号の成分および雑音信号の成分を残存させた第１信号を生成することができる。第１ビームフォーミング部４６は、第１信号を除去部５２に与える。
The
第２ビームフォーミング部４８は、第１チャネル信号に対して、予め設定された第２遅延時間（ｄ２）の遅延処理をする。第２ビームフォーミング部４８は、第２チャネル信号、および、第２遅延時間（ｄ２）の遅延をした第１チャネル信号に基づき、第２チャネル信号における目的方向から到来する信号成分を抑圧した第２信号を生成する。すなわち、第２ビームフォーミング部４８は、第２チャネル信号から、第２遅延時間（ｄ２）遅延した第１チャネル信号を減じる減算型のビームフォーミング処理を実行する。このように第２ビームフォーミング部４８は、第２チャネル信号に含まれる目的方向から到来する信号の成分を抑圧することにより、第２チャネル信号に含まれる他方向から到来した信号の成分および雑音信号の成分を残存させた第２信号を生成することができる。第２ビームフォーミング部４８は、第２信号を推定部５０に与える。
The
推定部５０は、第２信号に基づき雑音信号を推定する。例えば、推定部５０は、第２信号に基づき、周波数成分で表された雑音信号の振幅（雑音信号の振幅のスペクトラム）を推定する。この場合、推定部５０は、時間成分で表された第２信号に対して高速フーリエ変換（ＦＦＴ）をすることにより、周波数成分で表された第２信号を生成する。そして、推定部５０は、周波数成分で表された第２信号および雑音遅延時間（τ）に基づき、雑音信号の振幅のスペクトラムを推定する。
The
除去部５２は、第１信号から、推定部５０により推定された雑音信号を除去することにより、目的方向から到来する信号を表す目的信号を生成する。
The
例えば、除去部５２は、第１信号に基づき、周波数成分で表された、雑音信号を含む目的信号（雑音付目的信号）の振幅（雑音付目的信号の振幅のスペクトラム）を推定する。この場合、除去部５２は、時間成分で表された第１信号に対して高速フーリエ変換（ＦＦＴ）をすることにより、周波数成分で表された第１信号を生成する。そして、除去部５２は、周波数成分で表された第１信号および雑音遅延時間（τ）に基づき、雑音付目的信号の振幅のスペクトラムを推定する。
For example, the
さらに、除去部５２は、雑音付目的信号の振幅のスペクトラムから、推定部５０により推定された雑音信号の振幅のスペクトラムに係数を乗じた値を減じる。これにより、除去部５２は、目的信号の振幅のスペクトラムを生成することができる。そして、除去部５２は、目的信号の振幅のスペクトラムに対して逆高速フーリエ変換（ＩＦＦＴ）をして、時間成分で表された目的信号を生成する。除去部５２は、このように生成した目的信号を外部装置に出力する。
Further, the removing
図６は、第１ビームフォーミング部４６および第２ビームフォーミング部４８の機能構成を示す図である。
FIG. 6 is a diagram showing the functional configurations of the
第１ビームフォーミング部４６は、機能ブロックとして、第１遅延部６１と、第１時間調整部６２と、第１反転部６３と、第２時間調整部６４と、第３時間調整部６５と、第４時間調整部６６と、第２反転部６７と、第１加算部６８とを含む。また、第１ビームフォーミング部４６には、第１遅延時間（ｄ１）および雑音遅延時間（τ）が予め設定されている。
As functional blocks, the
第１遅延部６１は、第２取得部４４から出力された第２チャネル信号を第１遅延時間（ｄ１）遅らせる。第１遅延部６１は、第２チャネル信号を第１遅延時間（ｄ１）遅らせた第１中間信号を出力する。
The
第１時間調整部６２は、第１取得部４２から出力された第１チャネル信号を雑音遅延時間（τ）遅らせる。第１時間調整部６２は、第１チャネル信号を雑音遅延時間（τ）遅らせた第１調整信号を出力する。
The first
第１反転部６３は、第１時間調整部６２から出力された第１調整信号の正負を反転させる。第１反転部６３は、第１調整信号の正負を反転させた反転第１調整信号を出力する。
The
第２時間調整部６４は、第１取得部４２から出力された第１チャネル信号を雑音遅延時間（τ）進ませる。第２時間調整部６４は、第１チャネル信号を雑音遅延時間（τ）進ませた第２調整信号を出力する。
The second
第３時間調整部６５は、第１遅延部６１から出力された第１中間信号を雑音遅延時間（τ）遅らせる。第３時間調整部６５は、第１中間信号を雑音遅延時間（τ）遅らせた第３調整信号を出力する。
The third
第４時間調整部６６は、第１遅延部６１から出力された第１中間信号を雑音遅延時間（τ）進ませる。第４時間調整部６６は、第１中間信号を雑音遅延時間（τ）進ませた第４調整信号を出力する。
The fourth
第２反転部６７は、第４時間調整部６６から出力された第４調整信号の正負を反転させる。第２反転部６７は、第４調整信号の正負を反転させた反転第４調整信号を出力する。
The
第１加算部６８は、第１反転部６３から出力された反転第１調整信号、第２時間調整部６４から出力された第２調整信号、第３時間調整部６５から出力された第３調整信号、および、第２反転部６７から出力された反転第４調整信号を受け取る。そして、第１加算部６８は、反転第１調整信号、第２調整信号、第３調整信号および反転第４調整信号を加算した信号に、所定係数（α）を乗じることにより、第１信号を生成する。
The
ここで、任意の時刻ｔにおける第１チャネル信号をｌ（ｔ）、時刻ｔにおける第２チャネル信号をｒ（ｔ）としたとする。この場合、反転第１調整信号は、−ｌ（ｔ−τ）となる。また、第２調整信号は、ｌ（ｔ＋τ）となる。また、第３調整信号は、ｒ（ｔ−ｄ１−τ）となる。また、反転第４調整信号は、−ｌ（ｔ−ｄ１＋τ）となる。 Here, it is assumed that the first channel signal at an arbitrary time t is l (t) and the second channel signal at an arbitrary time t is r (t). In this case, the inversion first adjustment signal is −l (t−τ). The second adjustment signal is l (t + τ). Further, the third adjustment signal is r (t−d 1− τ). Further, the inversion fourth adjustment signal is −l (t−d 1 + τ).
このような場合、第１ビームフォーミング部４６は、時刻ｔにおける第１信号として、式（１）で表されるｇ１（ｔ）を出力する。なお、αは、所定係数であり、例えば、１／４である。
ｇ１（ｔ）＝α×［｛−ｌ（ｔ−τ）＋ｌ（ｔ＋τ）｝−｛−ｒ（ｔ−ｄ１−τ）＋ｒ（ｔ−ｄ１＋τ）｝］…（１）
In such a case, the
g 1 (t) = α × [{-l (t-τ) + l (t + τ)}-{-r (t-d 1- τ) + r (t-d 1 + τ)}] ... (1)
このような構成の第１ビームフォーミング部４６は、第１チャネル信号、および、第１遅延時間（ｄ１）の遅延をした第２チャネル信号に基づき、第１チャネル信号における目的方向とは異なる他方向から到来する信号成分を抑圧した第１信号を生成することができる。
The
第２ビームフォーミング部４８は、機能ブロックとして、第２遅延部７１と、第５時間調整部７２と、第３反転部７３と、第６時間調整部７４と、第７時間調整部７５と、第８時間調整部７６と、第４反転部７７と、第２加算部７８とを含む。第２ビームフォーミング部４８には、第２遅延時間（ｄ２）および雑音遅延時間（τ）が予め設定されている。
The
第２遅延部７１は、第１取得部４２から出力された第１チャネル信号を第２遅延時間（ｄ２）遅らせる。第２遅延部７１は、第１チャネル信号を第２遅延時間（ｄ２）遅らせた第２中間信号を出力する。
The
第５時間調整部７２は、第２遅延部７１から出力された第２中間信号を雑音遅延時間（τ）遅らせる。第５時間調整部７２は、第２中間信号を雑音遅延時間（τ）遅らせた第５調整信号を出力する。
The fifth
第３反転部７３は、第５時間調整部７２から出力された第５調整信号の正負を反転させる。第３反転部７３は、第５調整信号の正負を反転させた反転第５調整信号を出力する。
The
第６時間調整部７４は、第２遅延部７１から出力された第２中間信号を雑音遅延時間（τ）進ませる。第６時間調整部７４は、第２中間信号を雑音遅延時間（τ）進ませた第６調整信号を出力する。
The sixth
第７時間調整部７５は、第２取得部４４から出力された第２チャネル信号を雑音遅延時間（τ）遅らせる。第７時間調整部７５は、第２チャネル信号を雑音遅延時間（τ）遅らせた第７調整信号を出力する。
The seventh
第８時間調整部７６は、第２取得部４４から出力された第２チャネル信号を雑音遅延時間（τ）進ませる。第８時間調整部７６は、第２チャネル信号を雑音遅延時間（τ）進ませた第８調整信号を出力する。
The eighth
第４反転部７７は、第８時間調整部７６から出力された第８調整信号の正負を反転させる。第４反転部７７は、第８調整信号の正負を反転させた反転第８調整信号を出力する。
The
第２加算部７８は、第３反転部７３から出力された反転第５調整信号、第６時間調整部７４から出力された第６調整信号、第７時間調整部７５から出力された第７調整信号、および、第４反転部７７から出力された反転第８調整信号を受け取る。そして、第２加算部７８は、反転第５調整信号、第６調整信号、第７調整信号および反転第８調整信号を加算した信号に、所定係数（α）を乗じることにより、第２信号を生成する。
The second addition unit 78 has an inverted fifth adjustment signal output from the
ここで、任意の時刻ｔにおける第１チャネル信号をｌ（ｔ）、時刻ｔにおける第２チャネル信号をｒ（ｔ）としたとする。この場合、反転第５調整信号は、−ｌ（ｔ−ｄ２−τ）となる。また、第６調整信号は、ｌ（ｔ−ｄ２＋τ）となる。また、第７調整信号は、ｒ（ｔ−τ）となる。また、反転第８調整信号は、−ｒ（ｔ＋τ）となる。 Here, it is assumed that the first channel signal at an arbitrary time t is l (t) and the second channel signal at an arbitrary time t is r (t). In this case, reversing the fifth adjustment signal becomes -l (t-d 2 -τ) . Further, the sixth adjustment signal is l (t−d 2 + τ). The seventh adjustment signal is r (t−τ). Further, the inverted eighth adjustment signal is −r (t + τ).
このような場合、第２ビームフォーミング部４８は、時刻ｔにおける第２信号として、式（２）で表されるｇ２（ｔ）を出力する。なお、αは、所定係数であり、例えば、１／４である。
ｇ２（ｔ）＝α×［｛−ｌ（ｔ−ｄ２−τ）＋ｌ（ｔ−ｄ２＋τ）｝−｛−ｒ（ｔ−τ）＋ｒ（ｔ＋τ）｝］…（２）
In such a case, the
g 2 (t) = α × [{−l (t−d 2 −τ) + l (t−d 2 + τ)} − {−r (t−τ) + r (t + τ)}]… (2)
このような構成の第２ビームフォーミング部４８は、第２チャネル信号、および、第２遅延時間（ｄ２）の遅延をした第１チャネル信号に基づき、第２チャネル信号における目的方向から到来する信号成分を抑圧した第２信号を生成することができる。
The
図７は、推定部５０および除去部５２の機能構成を示す図である。
FIG. 7 is a diagram showing the functional configurations of the
推定部５０は、機能ブロックとして、第１周波数変換部８２と、雑音信号推定部８４とを含む。
The
第１周波数変換部８２は、第２ビームフォーミング部４８から出力された、時間成分で表された第２信号を受け取る。そして、第１周波数変換部８２は、時間成分で表された第２信号を、周波数成分で表された第２信号に変換する。
The first
例えば、第１周波数変換部８２は、時間成分で表された第２信号を、一定サンプル数分（一定時間分）取得する。そして、第１周波数変換部８２は、一定サンプル分の第２信号に対して高速フーリエ変換を実行して、周波数成分で表された第２信号を生成する。第１周波数変換部８２は、周波数成分で表された第２信号を雑音信号推定部８４に与える。
For example, the first
雑音信号推定部８４は、周波数成分で表された第２信号と、予め設定された雑音遅延時間（τ）とに基づき、周波数成分で表された雑音信号の振幅（雑音信号の振幅のスペクトラム）を推定する。より具体的には、雑音信号推定部８４は、式（３）を演算することにより、角周波数ωにおける雑音信号の振幅を推定する。
なお、｜Ｎ（ω）｜は、角周波数ωにおける雑音信号の振幅の推定値である。また、｜Ｇ２（ω）｜は、角周波数ωにおける第２信号の振幅である。 Note that | N (ω) | is an estimated value of the amplitude of the noise signal at the angular frequency ω. Further, | G 2 (ω) | is the amplitude of the second signal at the angular frequency ω.
また、雑音信号推定部８４は、予め設定された閾値であるεを記憶していてもよい。雑音信号推定部８４は、εをユーザまたは他の装置から受け取っている。 Further, the noise signal estimation unit 84 may store ε, which is a preset threshold value. The noise signal estimation unit 84 receives ε from the user or another device.
そして、ｓｉｎ２｛ω（τ／２）｝≦εの場合、雑音信号推定部８４は、式（３）に代えて、式（４）を演算することにより、角周波数ωにおける雑音信号の振幅を推定する。
εは、０に非常に近い値である。従って、ｓｉｎ２｛ω（τ／２）｝が非常に小さくなる領域において、雑音信号推定部８４は、近似的に、角周波数ωにおける雑音信号の振幅を推定することができる。 ε is a value very close to 0. Therefore, in the region where sin 2 {ω (τ / 2)} becomes very small, the noise signal estimation unit 84 can approximately estimate the amplitude of the noise signal at the angular frequency ω.
以上のような構成により、推定部５０は、雑音信号の振幅のスペクトラムを推定することができる。
With the above configuration, the
なお、第２信号は、目的方向から到来した目的信号が抑制され、他方向から到来した信号の成分および雑音信号の成分が残存している。推定部５０は、このような第２信号に基づき、雑音信号の振幅のスペクトラムを推定する。従って、推定部５０が推定した雑音信号の振幅のスペクトラムは、雑音信号の振幅の成分とともに、他方向から到来した信号の振幅の成分も含まれる。
As for the second signal, the target signal arriving from the target direction is suppressed, and the component of the signal arriving from the other direction and the component of the noise signal remain. The
除去部５２は、機能ブロックとして、第２周波数変換部８６と、目的信号推定部８８と、減算処理部９０と、時間変換部９２とを含む。
The
第２周波数変換部８６は、第１ビームフォーミング部４６から出力された、時間成分で表された第１信号を受け取る。そして、第２周波数変換部８６は、時間成分で表された第１信号を、周波数成分で表された第１信号に変換する。
The second
例えば、第２周波数変換部８６は、時間成分で表された第１信号を、一定サンプル数分（一定時間分）取得する。そして、第２周波数変換部８６は、一定サンプル分の第１信号に対して高速フーリエ変換を実行して、周波数成分で表された第１信号を生成する。第２周波数変換部８６は、周波数成分で表された第１信号を目的信号推定部８８に与える。
For example, the second
目的信号推定部８８は、周波数成分で表された第１信号と、予め設定された雑音遅延時間（τ）とに基づき、周波数成分で表された、雑音信号を含む目的信号である雑音付目的信号の振幅（雑音付目的信号の振幅のスペクトラム）を推定する。より具体的には、目的信号推定部８８は、式（５）を演算することにより、角周波数ωにおける雑音付目的信号の振幅を推定する。
なお、｜Ｘ（ω）｜は、角周波数ωにおける、雑音付目的信号の振幅の推定値である。また、｜Ｇ１（ω）｜は、角周波数ωにおける第１信号の振幅である。 Note that | X (ω) | is an estimated value of the amplitude of the noise-added target signal at the angular frequency ω. Further, | G 1 (ω) | is the amplitude of the first signal at the angular frequency ω.
また、目的信号推定部８８は、予め設定された閾値であるεを記憶していてもよい。εは、雑音信号推定部８４に設定される値と同一である。
Further, the target
そして、ｓｉｎ２｛ω（τ／２）｝≦εの場合、目的信号推定部８８は、式（５）に代えて、式（６）を演算することにより、角周波数ωにおける雑音付目的信号の振幅を推定する。
εは、０に非常に近い値である。従って、ｓｉｎ２｛ω（τ／２）｝が非常に小さくなる領域において、目的信号推定部８８は、近似的に、角周波数ωにおける雑音付目的信号の振幅を推定することができる。
ε is a value very close to 0. Therefore, in the region where sin 2 {ω (τ / 2)} becomes very small, the target
ここで、式（５）および（式６）は、雑音信号推定部８４が雑音信号の振幅のスペクトラムの推定に用いた式（３）および式（４）と同様の形式である。これにより、目的信号推定部８８は、雑音付目的信号の振幅のスペクトラムに含まれる雑音信号の振幅の成分を、雑音信号推定部８４が推定した雑音信号の振幅と同一にすることができる。
Here, the equations (5) and (6) are the same formats as the equations (3) and (4) used by the noise signal estimation unit 84 to estimate the amplitude spectrum of the noise signal. As a result, the target
また、第１信号は、他方向から到来した信号が抑制され、目的方向から到来した目的信号の成分および雑音信号の成分が残存している。目的信号推定部８８は、このような第１信号に対して、雑音信号推定部８４と同様の演算により振幅のスペクトラムを推定する。従って、目的信号推定部８８が推定した雑音付目的信号の振幅のスペクトラムは、目的信号の振幅の成分とともに、雑音信号の振幅の成分も含まれる。
Further, as the first signal, the signal arriving from the other direction is suppressed, and the component of the target signal arriving from the target direction and the component of the noise signal remain. The target
減算処理部９０は、目的信号推定部８８から出力された雑音付目的信号の振幅のスペクトラムを取得する。さらに、減算処理部９０は、推定部５０により推定された雑音信号の振幅のスペクトラムを取得する。そして、減算処理部９０は、雑音付目的信号の振幅のスペクトラムから、推定された雑音信号の振幅のスペクトラムに係数を乗じた値を減じることにより、目的信号の振幅のスペクトラムを生成する。
The
例えば、減算処理部９０は、予め定められた係数であるβ１およびβ２を記憶している。減算処理部９０は、β１およびβ２をユーザまたは他の装置から受け取っている。
For example, the
そして、｜ｘ（ω）｜＞（β１×｜Ｎ（ω）｜）の場合、減算処理部９０は、式（７）を演算することにより、角周波数ωにおける目的信号の振幅を算出する。
なお、｜Ｓ（ω）｜は、角周波数ωにおける目的信号の振幅の推定値である。 Note that | S (ω) | is an estimated value of the amplitude of the target signal at the angular frequency ω.
また、｜ｘ（ω）｜≦（β１×｜Ｎ（ω）｜）の場合、減算処理部９０は、式（８）を演算することにより、角周波数ωにおける目的信号の振幅を推定する。
減算処理部９０は、このように算出した目的信号の振幅のスペクトラムを時間変換部９２に与える。
The
減算処理部９０は、式（７）の演算を実行することにより、雑音付目的信号の振幅のスペクトラムから、雑音信号の振幅の成分を除去することができる。また、第１信号には、第１ビームフォーミング部４６によっては完全には抑圧できずに残存してしまっていた、他方向から到来した信号の成分も含まれている。第２信号から推定された雑音信号の振幅のスペクトラムには、他方向から到来した信号の成分も含まれる。従って、減算処理部９０は、雑音付目的信号の振幅のスペクトラムから、第２信号から推定した雑音信号の振幅のスペクトラムを除去することにより、第１信号に残存していた他方向から到来した信号の成分も、目的信号の振幅のスペクトラムから除去することができる。
The
時間変換部９２は、減算処理部９０から出力された目的信号の振幅のスペクトラムを受け取る。時間変換部９２は、目的信号の振幅のスペクトラムを、時間成分で表された目的信号に変換する。
The
例えば、時間変換部９２は、目的信号の振幅のスペクトラムに対して、逆高速フーリエ変換を実行して、一定サンプル数（一定時間分）の目的信号に変換する。
For example, the
以上のような構成により、除去部５２は、第１信号から雑音信号を除去することにより、目的信号を生成することができる。
With the above configuration, the removing
図８は、雑音除去装置３０の処理の流れを示すフローチャートである。雑音除去装置３０は、図８に示すような流れで処理を実行する。
FIG. 8 is a flowchart showing a processing flow of the
まず、Ｓ１１において、雑音除去装置３０は、一定サンプル数分の第１チャネル信号および第２チャネル信号を収集する。
First, in S11, the
続いて、Ｓ１２において、雑音除去装置３０は、一定サンプル数分の第１チャネル信号および第２チャネル信号に対して、第１ビームフォーミング処理を実行して、一定サンプル数分の第１信号を生成する。例えば、雑音除去装置３０は、第１ビームフォーミング処理として、時刻ｔ毎に式（１）で表されるｇ１（ｔ）を算出する。
ｇ１（ｔ）＝α×［｛−ｌ（ｔ−τ）＋ｌ（ｔ＋τ）｝−｛−ｒ（ｔ−ｄ１−τ）＋ｒ（ｔ−ｄ１＋τ）｝］…（１）
Subsequently, in S12, the
g 1 (t) = α × [{-l (t-τ) + l (t + τ)}-{-r (t-d 1- τ) + r (t-d 1 + τ)}] ... (1)
ｇ１（ｔ）は、時刻ｔにおける第１信号である。ｌ（ｔ＋τ）は、時刻（ｔ＋τ）における第１チャネル信号である。ｌ（ｔ−τ）は、時刻（ｔ−τ）における第１チャネル信号である。ｒ（ｔ−ｄ１＋τ）は、時刻（ｔ−ｄ１＋τ）における第２チャネル信号である。ｒ（ｔ−ｄ１−τ）は、時刻（ｔ−ｄ１−τ）における第２チャネル信号である。 g 1 (t) is the first signal at time t. l (t + τ) is the first channel signal at the time (t + τ). l (t−τ) is the first channel signal at time (t−τ). r (t-d 1 + τ ) is the second-channel signal at time (t-d 1 + τ) . r (t−d 1− τ) is the second channel signal at the time (t−d 1− τ).
続いて、Ｓ１３において、雑音除去装置３０は、一定サンプル数分の第１信号に対して高速フーリエ変換（ＦＦＴ）処理を実行して、周波数成分で表された第１信号を生成する。
Subsequently, in S13, the
続いて、Ｓ１４において、雑音除去装置３０は、一定サンプル数分の第１チャネル信号および第２チャネル信号に対して、第２ビームフォーミング処理を実行して、一定サンプル数分の第２信号を生成する。例えば、雑音除去装置３０は、第２ビームフォーミング処理として、時刻ｔ毎に、式（２）で表されるｇ２（ｔ）を算出する。
ｇ２（ｔ）＝α×［｛−ｌ（ｔ−ｄ２−τ）＋ｌ（ｔ−ｄ２＋τ）｝−｛−ｒ（ｔ−τ）＋ｒ（ｔ＋τ）｝］…（２）
Subsequently, in S14, the
g 2 (t) = α × [{−l (t−d 2 −τ) + l (t−d 2 + τ)} − {−r (t−τ) + r (t + τ)}]… (2)
ｇ２（ｔ）は、時刻ｔにおける第２信号である。ｌ（ｔ−ｄ２＋τ）は、時刻（ｔ−ｄ２＋τ）における第１チャネル信号である。ｌ（ｔ−ｄ２−τ）は、時刻（ｔ−ｄ２−τ）における第１チャネル信号である。ｒ（ｔ＋τ）は、時刻（ｔ＋τ）における第２チャネル信号である。ｒ（ｔ−τ）は、時刻（ｔ−τ）における第２チャネル信号である。 g 2 (t) is the second signal at time t. l (t−d 2 + τ) is the first channel signal at the time (t−d 2 + τ). l (t−d 2- τ) is the first channel signal at the time (t−d 2- τ). r (t + τ) is a second channel signal at time (t + τ). r (t-τ) is the second channel signal at time (t-τ).
続いて、Ｓ１５において、雑音除去装置３０は、一定サンプル数分の第２信号に対して高速フーリエ変換（ＦＦＴ）処理を実行して、周波数成分で表された第２信号を生成する。
Subsequently, in S15, the
なお、雑音除去装置３０は、Ｓ１２とＳ１４の処理を並行に実行してもよい。また、雑音除去装置３０は、Ｓ１３とＳ１５の処理を並行に実行してもよい。また、雑音除去装置３０は、Ｓ１３の前に、Ｓ１４の処理を実行してもよい。また、雑音除去装置３０は、Ｓ１４およびＳ１５の処理を実行してから、Ｓ１２およびＳ１３の処理を実行してもよい。
The
続いて、Ｓ１６において、雑音除去装置３０は、周波数成分で表された第２信号に基づき、雑音信号の振幅のスペクトラムを推定する。例えば、雑音除去装置３０は、角周波数ω毎に、式（３）で表される｜Ｎ（ω）｜を算出する。
｜Ｎ（ω）｜は、角周波数ωにおける雑音信号の振幅の推定値である。｜Ｇ２（ω）｜は、角周波数ωにおける第２信号の振幅である。 | N (ω) | is an estimated value of the amplitude of the noise signal at the angular frequency ω. | G 2 (ω) | is the amplitude of the second signal at the angular frequency ω.
なお、ｓｉｎ２｛ω（τ／２）｝≦εの場合、雑音除去装置３０は、式（３）に代えて、式（４）で表される｜Ｎ（ω）｜を算出してもよい。εは、予め設定された閾値である。
なお、第２信号は、目的方向から到来した目的信号が抑制され、他方向から到来した信号の成分および雑音信号の成分が残存している。従って、｜Ｎ（ω）｜は、雑音信号の振幅の成分とともに、他方向から到来した信号の振幅の成分も含む。 As for the second signal, the target signal arriving from the target direction is suppressed, and the component of the signal arriving from the other direction and the component of the noise signal remain. Therefore, | N (ω) | includes not only the amplitude component of the noise signal but also the amplitude component of the signal arriving from the other direction.
続いて、Ｓ１７において、雑音除去装置３０は、周波数成分で表された第１信号に基づき、雑音付目的信号の振幅のスペクトラムを推定する。例えば、雑音除去装置３０は、角周波数ω毎に、式（５）で表される｜Ｘ（ω）｜を算出する。
｜Ｘ（ω）｜は、角周波数ωにおける雑音付目的信号の振幅の推定値である。｜Ｇ１（ω）｜は、角周波数ωにおける第１信号の振幅である。 | X (ω) | is an estimated value of the amplitude of the noise-added target signal at the angular frequency ω. | G 1 (ω) | is the amplitude of the first signal at the angular frequency ω.
また、ｓｉｎ２｛ω（τ／２）｝≦εの場合、雑音除去装置３０は、式（５）に代えて、式（６）で表される｜Ｎ（ω）｜を算出してもよい。
なお、第１信号は、他方向から到来した信号が抑制され、目的方向から到来した目的信号の成分および雑音信号の成分が残存している。従って、｜Ｘ（ω）｜は、目的信号の振幅の成分とともに、雑音信号の振幅の成分も含む。また、さらに、第１ビームフォーミング処理によっては完全には抑圧できずに、第１チャネル信号に他方向から到来した信号の成分が含まれている場合には、｜Ｘ（ω）｜は、他方向から到来した信号の成分もさらに含む。 As for the first signal, the signal arriving from the other direction is suppressed, and the component of the target signal arriving from the target direction and the component of the noise signal remain. Therefore, | X (ω) | includes the amplitude component of the noise signal as well as the amplitude component of the target signal. Further, when the first beamforming process cannot completely suppress the first channel signal and the first channel signal contains a component of a signal arriving from another direction, | X (ω) | It also includes the components of the signal coming from the direction.
雑音除去装置３０は、Ｓ１６とＳ１７の処理を並行に実行してもよい。また、雑音除去装置３０は、Ｓ１６の前に、Ｓ１７の処理を実行してもよい。
The
続いて、Ｓ１８において、雑音除去装置３０は、Ｓ１７で推定した雑音付目的信号の振幅のスペクトラムから、Ｓ１６で推定した雑音信号の振幅のスペクトラムに所定係数を乗じた値を減算する。
Subsequently, in S18, the
例えば、｜ｘ（ω）｜＞（β１×｜Ｎ（ω）｜）の場合、雑音除去装置３０は、角周波数ω毎に、式（７）で表される｜Ｓ（ω）｜を算出する。
また、例えば、｜ｘ（ω）｜≦（β１×｜Ｎ（ω）｜）の場合、雑音除去装置３０は、角周波数ω毎に、式（８）で表される｜Ｓ（ω）｜を算出する。
｜Ｓ（ω）｜は、角周波数ωにおける目的信号の振幅の推定値である。β１およびβ２は、予め定められた係数である。 | S (ω) | is an estimated value of the amplitude of the target signal at the angular frequency ω. β 1 and β 2 are predetermined coefficients.
Ｓ１８を実行することにより、雑音除去装置３０は、雑音信号を除去した目的信号の振幅のスペクトラムを生成することができる。さらに、Ｓ１６で推定された、雑音信号の振幅のスペクトラムには、他方向から到来した信号の成分も含まれている。従って、Ｓ１８を実行することにより、雑音除去装置３０は、第１ビームフォーミング処理によっては完全には抑圧できずに第１信号に残像していた他方向から到来した信号の成分も、目的信号の振幅のスペクトラムから除去することができる。
By executing S18, the
続いて、Ｓ１９において、雑音除去装置３０は、目的信号の振幅のスペクトラムに対して逆高速フーリエ変換（ＩＦＦＴ）処理を実行して、時間成分で表された目的信号を生成する。続いて、Ｓ２０において、雑音除去装置３０は、生成した時間成分で表された目的信号を外部装置に出力する。
Subsequently, in S19, the
以上のように、雑音除去装置３０は、第１ビームフォーミング処理により、他方向から到来する信号を抑制した第１信号を生成することができる。さらに、雑音除去装置３０は、第２ビームフォーミング処理により、目的方向から到来する目的信号を抑制した第２信号を生成することができる。そして、雑音除去装置３０は、第２信号に基づき他方向から到来する信号を含む雑音信号を推定し、第１信号から、推定した雑音信号を除去する。これにより、雑音除去装置３０は、雑音信号とともに、第１ビームフォーミング処理によっては完全には抑圧できずに第１信号に残像していた他方向から到来した信号の成分も、目的信号から除去することができる。
As described above, the
このように、本実施形態に係る、雑音除去装置３０によれば、精度良く目的信号を他信号から分離するとともに、雑音信号を抑制することができる。
As described above, according to the
図９は、目的方向から音声信号が発生され、他方向から音声信号が発生されておらず、さらに、雑音信号も発生されていない場合のシミュレーション例を示す図である。 FIG. 9 is a diagram showing a simulation example in which an audio signal is generated from a target direction, no audio signal is generated from another direction, and no noise signal is generated.
なお、図９の（Ａ）は、第１チャネル信号の一例を示す。図９の（Ｂ）は、第２チャネル信号の一例を示す。図９の（Ｃ）は、除去部５２に第１チャネル信号をそのまま入力した比較例に係る装置（雑音除去装置３０から第１ビームフォーミング部４６を除いた構成の装置）から出力される目的信号を示す。図９の（Ｄ）は、比較例に係る装置において第１チャネル信号と第２チャネル信号を逆にした場合に出力される信号を示す。また、図９の（Ｅ）は、実施形態に係る雑音除去装置３０から出力される目的信号を示す。図９の（Ｆ）は、実施形態に係る雑音除去装置３０において、第１チャネル信号と第２チャネル信号を逆にした場合に出力される信号を示す。
Note that FIG. 9A shows an example of the first channel signal. FIG. 9B shows an example of a second channel signal. FIG. 9C shows a target signal output from a device according to a comparative example in which the first channel signal is directly input to the removing unit 52 (a device having a configuration in which the
図９の（Ｄ）と図９の（Ｆ）とを比較すると、雑音除去装置３０の方が、比較例に係る装置よりも強度が低い。すなわち、雑音除去装置３０は、比較例に係る装置よりも、他方向から到来する音声信号の成分を小さくすることができる。従って、雑音除去装置３０は、目的方向から到来する音声信号と、他方向から到来する音声信号との分離特性を向上させることができる。
Comparing (D) of FIG. 9 and (F) of FIG. 9, the
図１０は、目的方向から音声信号が発生され、他方向から音声信号が発生されておらず、さらに、雑音信号も発生されている場合のシミュレーション例を示す図である。 FIG. 10 is a diagram showing a simulation example in which an audio signal is generated from a target direction, an audio signal is not generated from another direction, and a noise signal is also generated.
なお、図１０の（Ａ）は、第１チャネル信号の一例を示す。図１０の（Ｂ）は、第２チャネル信号の一例を示す。図１０の（Ｃ）は、比較例に係る装置から出力される目的信号を示す。図１０の（Ｄ）は、比較例に係る装置において第１チャネル信号と第２チャネル信号を逆にした場合に出力される信号を示す。また、図１０の（Ｅ）は、実施形態に係る雑音除去装置３０から出力される目的信号を示す。図１０の（Ｆ）は、実施形態に係る雑音除去装置３０において、第１チャネル信号と第２チャネル信号を逆にした場合に出力される信号を示す。
Note that FIG. 10A shows an example of the first channel signal. FIG. 10B shows an example of a second channel signal. FIG. 10C shows a target signal output from the device according to the comparative example. FIG. 10D shows a signal output when the first channel signal and the second channel signal are reversed in the apparatus according to the comparative example. Further, FIG. 10 (E) shows a target signal output from the
図１０の（Ｄ）と図１０の（Ｆ）とを比較すると、図９の場合と同様に、実施形態に係る雑音除去装置３０の方が、比較例に係る装置よりも強度が低い。従って、雑音除去装置３０は、目的方向から到来する音声信号と、他方向から到来する音声信号との分離特性を向上することができる。
Comparing (D) of FIG. 10 and (F) of FIG. 10, the
図１０の（Ｃ）と図１０の（Ｅ）とを比較すると、雑音除去装置３０の方が、比較例に係る装置よりも、雑音信号の強度が低い。すなわち、雑音除去装置３０は、比較例に係る装置よりも、雑音信号を小さくすることができる。従って、雑音除去装置３０は、雑音除去特性を向上させることができる。
Comparing (C) of FIG. 10 and (E) of FIG. 10, the
（雑音除去装置３０のハードウェア構成）
図１１は、雑音除去装置３０のハードウェア構成を示す図である。
(Hardware configuration of noise removing device 30)
FIG. 11 is a diagram showing a hardware configuration of the
雑音除去装置３０は、例えば、図１１に示すような情報処理装置により実現される。雑音除去装置３０は、一例として、一般のコンピュータと同様のハードウェア構成であってよい。雑音除去装置３０は、ＣＰＵ（Central Processing Unit）２０１と、操作装置２０２と、表示装置２０３と、ＲＯＭ（Read Only Memory）２０５と、ＲＡＭ（Random Access Memory）２０６と、記憶装置２０７と、通信装置２０８と、バス２０９とを備える。各部は、バス２０９により接続される。
The
ＣＰＵ２０１は、ＲＡＭ２０６の所定領域を作業領域としてＲＯＭ２０５または記憶装置２０７に予め記憶された各種プログラムとの協働により各種処理を実行し、雑音除去装置３０を構成する各部の動作を統括的に制御する。また、ＣＰＵ２０１は、ＲＯＭ２０５または記憶装置２０７に予め記憶されたプログラムとの協働により、操作装置２０２、表示装置２０３および通信装置２０８等を動作させる。
The CPU 201 executes various processes in cooperation with various programs stored in the
操作装置２０２は、タッチパネル、マウスやキーボード等の入力デバイスであって、ユーザから操作入力された情報を指示信号として受け付け、その指示信号をＣＰＵ２０１に出力する。表示装置２０３は、ＬＣＤ（Liquid Crystal Display）等であり、ＣＰＵ２０１からの表示信号に基づいて、各種情報を表示する。
The
ＲＯＭ２０５は、雑音除去装置３０の制御に用いられるプログラムおよび各種設定情報等を書き換え不可能に記憶する。ＲＡＭ２０６は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の揮発性の記憶媒体である。ＲＡＭ２０６は、ＣＰＵ２０１の作業領域として機能する。
The
記憶装置２０７は、フラッシュメモリ等の半導体による記憶媒体、磁気的または光学的に記録可能な記憶媒体等の書き換え可能な記録装置である。記憶装置２０７は、雑音除去装置３０の制御に用いられるプログラムを記憶する。
The
通信装置２０８は、第１チャネル処理部２２Ｌおよび第２チャネル処理部２２Ｒとデータの送受信をする。また、通信装置２０８は、ネットワークを介してサーバ等とデータの送受信をしてもよい。
The communication device 208 transmits / receives data to / from the first
本実施形態の雑音除去装置３０で実行されるプログラムは、例えば、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供される。また、本実施形態の雑音除去装置３０で実行されるプログラムは、持ち運び可能な記憶媒体等に予め組み込んで提供されてもよい。
The program executed by the
本実施形態の雑音除去装置３０で実行されるプログラムは、第１取得モジュールと、第２取得モジュールと、第１ビームフォーミングモジュールと、第２ビームフォーミングモジュールと、推定モジュールと、除去モジュールとを含むモジュール構成となっている。ＣＰＵ２０１（プロセッサ）は、記憶媒体等からこのようなプログラムを読み出して、上記各モジュールをＲＡＭ２０６（主記憶装置）にロードする。そして、ＣＰＵ２０１（プロセッサ）は、このようなプログラムを実行することにより、第１取得部４２、第２取得部４４、第１ビームフォーミング部４６、第２ビームフォーミング部４８、推定部５０および除去部５２として機能する。なお、第１取得部４２、第２取得部４４、第１ビームフォーミング部４６、第２ビームフォーミング部４８、推定部５０および除去部５２の一部または全部がハードウェアにより構成されていてもよい。
The program executed by the
以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。また、上述の各実施形態および変形例は、任意に組み合わせることができる。 Although the embodiment according to the present invention has been described above, the present invention is not limited to the above-described embodiment as it is, and at the implementation stage, the components can be modified and embodied without departing from the gist thereof. In addition, various inventions can be formed by an appropriate combination of the plurality of components disclosed in the above-described embodiment. For example, some components may be removed from all the components shown in the embodiments. In addition, the above-described embodiments and modifications can be arbitrarily combined.
１０ 検出システム
２０Ｌ 第１マイクロホン
２０Ｒ 第２マイクロホン
２２Ｌ 第１チャネル処理部
２２Ｒ 第２チャネル処理部
３０ 雑音除去装置
４２ 第１取得部
４４ 第２取得部
４６ 第１ビームフォーミング部
４８ 第２ビームフォーミング部
５０ 推定部
５２ 除去部
６１ 第１遅延部
６２ 第１時間調整部
６３ 第１反転部
６４ 第２時間調整部
６５ 第３時間調整部
６６ 第４時間調整部
６７ 第２反転部
６８ 第１加算部
７１ 第２遅延部
７２ 第５時間調整部
７３ 第３反転部
７４ 第６時間調整部
７５ 第７時間調整部
７６ 第８時間調整部
７７ 第４反転部
７８ 第２加算部
８２ 第１周波数変換部
８４ 雑音信号推定部
８６ 第２周波数変換部
８８ 目的信号推定部
９０ 減算処理部
９２ 時間変換部
10
Claims (15)
前記第１検出器に対して所定距離離間して設けられた第２検出器により検出された信号を表す第２チャネル信号を取得する第２取得部と、
前記第１チャネル信号および予め設定された第１遅延時間の遅延をした前記第２チャネル信号に基づき、前記第１チャネル信号における目的方向とは異なる他方向から到来する信号成分を抑圧した第１信号を生成する第１ビームフォーミング部と、
予め設定された第２遅延時間の遅延をした前記第１チャネル信号および前記第２チャネル信号に基づき、前記第２チャネル信号における前記目的方向から到来する信号成分を抑圧した第２信号を生成する第２ビームフォーミング部と、
前記第２信号に基づき雑音信号を推定する推定部と、
前記第１信号から推定された前記雑音信号を除去することにより、前記目的方向から到来する信号を表す目的信号を生成する除去部と、
を備える雑音除去装置。 A first acquisition unit that acquires a first channel signal representing a signal detected by the first detector,
A second acquisition unit that acquires a second channel signal representing a signal detected by a second detector provided at a predetermined distance from the first detector, and a second acquisition unit.
A first signal that suppresses signal components arriving from a direction different from the target direction in the first channel signal based on the first channel signal and the second channel signal delayed by a preset first delay time. 1st beamforming section to generate
Based on the first channel signal and the second channel signal delayed by a preset second delay time, a second signal in which the signal component arriving from the target direction in the second channel signal is suppressed is generated. 2 beam forming part and
An estimation unit that estimates a noise signal based on the second signal,
A removal unit that generates a target signal representing a signal arriving from the target direction by removing the noise signal estimated from the first signal.
A noise eliminator equipped with.
前記第１チャネル信号および前記第２チャネル信号は、集音された音声を電気信号に変換した音声信号である
請求項１に記載の雑音除去装置。 The first detector and the second detector are microphones that collect sound and convert it into an electric signal.
The noise removing device according to claim 1, wherein the first channel signal and the second channel signal are voice signals obtained by converting the collected voice into an electric signal.
前記第２チャネル信号を前記第１遅延時間、遅らせた第１中間信号を出力する第１遅延部と、
前記第１チャネル信号を予め設定された雑音遅延時間、遅らせた第１調整信号を出力する第１時間調整部と、
前記第１調整信号の正負を反転させた反転第１調整信号を出力する第１反転部と、
前記第１チャネル信号を前記雑音遅延時間、進ませた第２調整信号を出力する第２時間調整部と、
前記第１中間信号を前記雑音遅延時間、遅らせた第３調整信号を出力する第３時間調整部と、
前記第１中間信号を前記雑音遅延時間、進ませた第４調整信号を出力する第４時間調整部と、
前記第４調整信号の正負を反転させた反転第４調整信号を出力する第２反転部と、
前記反転第１調整信号、前記第２調整信号、前記第３調整信号および前記反転第４調整信号を加算した信号に、所定係数を乗じることにより、前記第１信号を生成する第１加算部と、
を有する請求項１または２に記載の雑音除去装置。 The first beamforming unit is
A first delay unit that outputs a first intermediate signal that delays the second channel signal by the first delay time, and
A first time adjustment unit that outputs a first adjustment signal that delays the first channel signal with a preset noise delay time, and
An inverted first inversion unit that outputs an inverted first adjustment signal in which the positive and negative of the first adjustment signal is inverted, and a first inversion unit.
A second time adjustment unit that outputs a second adjustment signal that advances the first channel signal by the noise delay time, and
A third time adjustment unit that outputs a third adjustment signal that delays the first intermediate signal by the noise delay time, and
A fourth time adjustment unit that outputs a fourth adjustment signal that advances the first intermediate signal by the noise delay time, and
A second inversion unit that outputs an inverted fourth adjustment signal in which the positive and negative of the fourth adjustment signal is inverted, and
A first addition unit that generates the first signal by multiplying a signal obtained by adding the inverted first adjustment signal, the second adjustment signal, the third adjustment signal, and the inverted fourth adjustment signal by a predetermined coefficient. ,
The noise removing device according to claim 1 or 2.
前記第１チャネル信号を前記第２遅延時間、遅らせた第２中間信号を出力する第２遅延部と、
前記第２中間信号を前記雑音遅延時間、遅らせた第５調整信号を出力する第５時間調整部と、
前記第５調整信号の正負を反転させた反転第５調整信号を出力する第３反転部と、
前記第２中間信号を前記雑音遅延時間、進ませた第６調整信号を出力する第６時間調整部と、
前記第２チャネル信号を前記雑音遅延時間、遅らせた第７調整信号を出力する第７時間調整部と、
前記第２チャネル信号を前記雑音遅延時間、進ませた第８調整信号を出力する第８時間調整部と、
前記第８調整信号の正負を反転させた反転第８調整信号を出力する第４反転部と、
前記反転第５調整信号、前記第６調整信号、前記第７調整信号および前記反転第８調整信号を加算した信号に、前記所定係数を乗じることにより、前記第２信号を生成する第２加算部と、
を有する請求項３に記載の雑音除去装置。 The second beamforming unit is
A second delay unit that outputs a second intermediate signal that delays the first channel signal for the second delay time, and
A fifth time adjustment unit that outputs a fifth adjustment signal that delays the second intermediate signal by the noise delay time, and
A third inversion unit that outputs an inverted fifth adjustment signal in which the positive and negative of the fifth adjustment signal is inverted, and
A sixth time adjustment unit that outputs a sixth adjustment signal that advances the second intermediate signal by the noise delay time, and
A seventh time adjustment unit that outputs a seventh adjustment signal that delays the second channel signal by the noise delay time, and
An eighth time adjustment unit that outputs an eighth adjustment signal that advances the second channel signal by the noise delay time, and
Inverted inversion of the positive and negative of the 8th adjustment signal The 4th inversion unit that outputs the 8th adjustment signal and
A second addition unit that generates the second signal by multiplying the signal obtained by adding the inverted fifth adjustment signal, the sixth adjustment signal, the seventh adjustment signal, and the inverted eighth adjustment signal by the predetermined coefficient. When,
The noise removing device according to claim 3.
ｇ１（ｔ）＝α×［｛−ｌ（ｔ−τ）＋ｌ（ｔ＋τ）｝−｛−ｒ（ｔ−ｄ１−τ）＋ｒ（ｔ−ｄ１＋τ）｝］…（１）
ｇ１（ｔ）は、時刻ｔにおける前記第１信号であり、
ｌ（ｔ＋τ）は、時刻（ｔ＋τ）における前記第１チャネル信号であり、
ｌ（ｔ−τ）は、時刻（ｔ−τ）における前記第１チャネル信号であり、
ｒ（ｔ−ｄ１＋τ）は、時刻（ｔ−ｄ１＋τ）における前記第２チャネル信号であり、
ｒ（ｔ−ｄ１−τ）は、時刻（ｔ−ｄ１−τ）における前記第２チャネル信号であり、
τは、予め設定された雑音遅延時間であり、
ｄ１は、前記第１遅延時間である
請求項１または２に記載の雑音除去装置。 The first beamforming unit generates the first signal at time t by calculating the equation (1).
g 1 (t) = α × [{-l (t-τ) + l (t + τ)}-{-r (t-d 1- τ) + r (t-d 1 + τ)}] ... (1)
g 1 (t) is the first signal at time t, and is
l (t + τ) is the first channel signal at the time (t + τ).
l (t-τ) is the first channel signal at time (t-τ), and is
r (t-d 1 + τ) is the second channel signal at the time (t-d 1 + τ).
r (t-d 1- τ) is the second channel signal at the time (t-d 1- τ).
τ is a preset noise delay time,
The noise removing device according to claim 1 or 2, wherein d 1 is the first delay time.
ｇ２（ｔ）＝α×［｛−ｌ（ｔ−ｄ２−τ）＋ｌ（ｔ−ｄ２＋τ）｝−｛−ｒ（ｔ−τ）＋ｒ（ｔ＋τ）｝］…（２）
ｇ２（ｔ）は、時刻ｔにおける前記第２信号であり、
ｌ（ｔ−ｄ２＋τ）は、時刻（ｔ−ｄ２＋τ）における前記第１チャネル信号であり、
ｌ（ｔ−ｄ２−τ）は、時刻（ｔ−ｄ２−τ）における前記第１チャネル信号であり、
ｒ（ｔ＋τ）は、時刻（ｔ＋τ）における前記第２チャネル信号であり、
ｒ（ｔ−τ）は、時刻（ｔ−τ）における前記第２チャネル信号であり、
ｄ２は、前記第２遅延時間である
請求項５に記載の雑音除去装置。 The first beamforming unit generates the first signal at time t by calculating the equation (2).
g 2 (t) = α × [{−l (t−d 2 −τ) + l (t−d 2 + τ)} − {−r (t−τ) + r (t + τ)}]… (2)
g 2 (t) is the second signal at time t, and is
l (t−d 2 + τ) is the first channel signal at the time (t−d 2 + τ).
l (t−d 2- τ) is the first channel signal at the time (t−d 2- τ).
r (t + τ) is the second channel signal at the time (t + τ).
r (t-τ) is the second channel signal at time (t-τ).
The noise removing device according to claim 5, wherein d 2 is the second delay time.
前記第２遅延時間は、前記目的方向から到来した信号が前記第１検出器に到達する時刻と前記第２検出器に到達する時刻との時間差であり、
前記雑音遅延時間は、前記雑音信号が前記第１検出器に到達する時刻と前記第２検出器に到達する時刻との時間差である
請求項３から６の何れか１項に記載の雑音除去装置。 The first delay time is a time difference between the time when a signal arriving from the other direction reaches the second detector and the time when the signal arrives at the first detector.
The second delay time is a time difference between the time when the signal arriving from the target direction reaches the first detector and the time when the signal arrives at the second detector.
The noise removing device according to any one of claims 3 to 6, wherein the noise delay time is a time difference between the time when the noise signal reaches the first detector and the time when the noise signal reaches the second detector. ..
時間成分で表された前記第２信号を周波数成分で表された前記第２信号に変換する第１周波数変換部と、
周波数成分で表された前記第２信号と前記雑音遅延時間とに基づき、前記雑音信号の振幅のスペクトラムを推定する雑音信号推定部と、
を有し、
前記除去部は、
時間成分で表された前記第１信号を周波数成分で表された前記第１信号に変換する第２周波数変換部と、
周波数成分で表された前記第１信号と前記雑音遅延時間とに基づき、前記雑音信号を含む前記目的信号である雑音付目的信号の振幅のスペクトラムを推定する目的信号推定部と、
前記雑音付目的信号の振幅のスペクトラムから、推定された前記雑音信号の振幅のスペクトラムに係数を乗じた値を減じることにより、前記目的信号の振幅のスペクトラムを生成する減算処理部と、
前記目的信号の振幅のスペクトラムを時間成分で表された前記目的信号に変換する時間変換部と、
を有する請求項７に記載の雑音除去装置。 The estimation unit
A first frequency conversion unit that converts the second signal represented by the time component into the second signal represented by the frequency component, and
A noise signal estimation unit that estimates the amplitude spectrum of the noise signal based on the second signal represented by the frequency component and the noise delay time.
Have,
The removal part
A second frequency conversion unit that converts the first signal represented by the time component into the first signal represented by the frequency component, and
A target signal estimation unit that estimates the amplitude spectrum of the noise-added target signal, which is the target signal including the noise signal, based on the first signal represented by the frequency component and the noise delay time.
A subtraction processing unit that generates a spectrum of the amplitude of the target signal by subtracting a value obtained by multiplying the estimated spectrum of the amplitude of the noise signal by a coefficient from the spectrum of the amplitude of the target signal with noise.
A time conversion unit that converts the amplitude spectrum of the target signal into the target signal represented by a time component, and
The noise removing device according to claim 7.
｜Ｇ２（ω）｜は、角周波数ωにおける前記第２信号の振幅である
請求項８に記載の雑音除去装置。 The noise signal estimation unit estimates the amplitude of the noise signal at the angular frequency ω by calculating the equation (3).
The noise removing device according to claim 8, wherein | G 2 (ω) | is the amplitude of the second signal at the angular frequency ω.
請求項９に記載の雑音除去装置。 When sin 2 {ω (τ / 2)} ≦ ε, the noise signal estimation unit calculates the equation (4) instead of the equation (3) to obtain the amplitude of the noise signal at the angular frequency ω. Estimate and
｜Ｇ１（ω）｜は、角周波数ωにおける前記第１信号の振幅である
請求項９または１０に記載の雑音除去装置。 The target signal estimation unit estimates the amplitude of the noise-added target signal at the angular frequency ω by calculating the equation (5).
The noise removing device according to claim 9 or 10, wherein | G 1 (ω) | is the amplitude of the first signal at an angular frequency ω.
請求項１１に記載の雑音除去装置。 When sin 2 {ω (τ / 2)} ≦ ε, the target signal estimation unit calculates the equation (6) instead of the equation (5) to generate the noise-added objective signal at the angular frequency ω. Estimate the amplitude of
β１およびβ２は、予め定められた係数である
請求項１１または１２に記載の雑音除去装置。 In the case of | x (ω) |> (β 1 × | N (ω) |), the subtraction processing unit estimates the amplitude of the target signal at the angular frequency ω by calculating the equation (7).
The noise removing device according to claim 11 or 12, wherein β 1 and β 2 are predetermined coefficients.
前記情報処理装置が、
第１検出器により検出された信号を表す第１チャネル信号を取得し、
前記第１検出器に対して所定距離離間して設けられた第２検出器により検出された信号を表す第２チャネル信号を取得し、
前記第１チャネル信号および予め設定された第１遅延時間の遅延をした前記第２チャネル信号に基づき、前記第１チャネル信号における目的方向とは異なる他方向から到来する信号成分を抑圧した第１信号を生成し、
予め設定された第２遅延時間の遅延をした前記第１チャネル信号および前記第２チャネル信号に基づき、前記第２チャネル信号における前記目的方向から到来する信号成分を抑圧した第２信号を生成し、
前記第２信号に基づき周波数成分で表された雑音信号を推定し、
周波数成分で表された前記第１信号から、周波数成分で表された推定された前記雑音信号を除去することにより、前記目的方向から到来する信号を表す目的信号を生成する、
雑音除去方法。 A noise removal method performed by an information processing device.
The information processing device
Acquire the first channel signal representing the signal detected by the first detector,
A second channel signal representing a signal detected by a second detector provided at a predetermined distance from the first detector is acquired.
A first signal that suppresses signal components arriving from a direction different from the target direction in the first channel signal based on the first channel signal and the second channel signal delayed by a preset first delay time. To generate
Based on the first channel signal and the second channel signal delayed by a preset second delay time, a second signal in which the signal component arriving from the target direction in the second channel signal is suppressed is generated.
A noise signal represented by a frequency component is estimated based on the second signal, and the noise signal is estimated.
By removing the estimated noise signal represented by the frequency component from the first signal represented by the frequency component, a target signal representing the signal arriving from the target direction is generated.
Noise removal method.
前記情報処理装置を、
第１検出器により検出された信号を表す第１チャネル信号を取得する第１取得部と、
前記第１検出器に対して所定距離離間して設けられた第２検出器により検出された信号を表す第２チャネル信号を取得する第２取得部と、
前記第１チャネル信号および予め設定された第１遅延時間の遅延をした前記第２チャネル信号に基づき、前記第１チャネル信号における目的方向とは異なる他方向から到来する信号成分を抑圧した第１信号を生成する第１ビームフォーミング部と、
予め設定された第２遅延時間の遅延をした前記第１チャネル信号および前記第２チャネル信号に基づき、前記第２チャネル信号における前記目的方向から到来する信号成分を抑圧した第２信号を生成する第２ビームフォーミング部と、
前記第２信号に基づき周波数成分で表された雑音信号を推定する推定部と、
周波数成分で表された前記第１信号から、周波数成分で表された推定された前記雑音信号を除去することにより、前記目的方向から到来する信号を表す目的信号を生成する除去部と、
して機能させるためのプログラム。 A program for making an information processing device function as a noise removal device.
The information processing device
A first acquisition unit that acquires a first channel signal representing a signal detected by the first detector,
A second acquisition unit that acquires a second channel signal representing a signal detected by a second detector provided at a predetermined distance from the first detector, and a second acquisition unit.
A first signal that suppresses signal components arriving from a direction different from the target direction in the first channel signal based on the first channel signal and the second channel signal delayed by a preset first delay time. 1st beamforming section to generate
Based on the first channel signal and the second channel signal delayed by a preset second delay time, a second signal in which the signal component arriving from the target direction in the second channel signal is suppressed is generated. 2 beam forming part and
An estimation unit that estimates a noise signal represented by a frequency component based on the second signal,
A removing unit that generates a target signal representing a signal arriving from the target direction by removing the estimated noise signal represented by the frequency component from the first signal represented by the frequency component.
A program to make it work.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019029814A JP7252779B2 (en) | 2019-02-21 | 2019-02-21 | NOISE ELIMINATION DEVICE, NOISE ELIMINATION METHOD AND PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019029814A JP7252779B2 (en) | 2019-02-21 | 2019-02-21 | NOISE ELIMINATION DEVICE, NOISE ELIMINATION METHOD AND PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020134778A true JP2020134778A (en) | 2020-08-31 |
| JP7252779B2 JP7252779B2 (en) | 2023-04-05 |
Family
ID=72278533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019029814A Active JP7252779B2 (en) | 2019-02-21 | 2019-02-21 | NOISE ELIMINATION DEVICE, NOISE ELIMINATION METHOD AND PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7252779B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007018293A1 (en) * | 2005-08-11 | 2007-02-15 | Asahi Kasei Kabushiki Kaisha | Sound source separating device, speech recognizing device, portable telephone, and sound source separating method, and program |
| JP2017537344A (en) * | 2014-11-06 | 2017-12-14 | ヴォーカルズーム システムズ リミテッド | Noise reduction and speech enhancement methods, devices and systems |
-
2019
- 2019-02-21 JP JP2019029814A patent/JP7252779B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007018293A1 (en) * | 2005-08-11 | 2007-02-15 | Asahi Kasei Kabushiki Kaisha | Sound source separating device, speech recognizing device, portable telephone, and sound source separating method, and program |
| JP2017537344A (en) * | 2014-11-06 | 2017-12-14 | ヴォーカルズーム システムズ リミテッド | Noise reduction and speech enhancement methods, devices and systems |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7252779B2 (en) | 2023-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8036888B2 (en) | Collecting sound device with directionality, collecting sound method with directionality and memory product | |
| EP3276621B1 (en) | Noise suppression device and noise suppressing method | |
| JP6780644B2 (en) | Signal processing equipment, signal processing methods, and signal processing programs | |
| US8891780B2 (en) | Microphone array device | |
| JP2003534570A (en) | How to suppress noise in adaptive beamformers | |
| EP2938098B1 (en) | Directional microphone device, audio signal processing method and program | |
| JP6225245B2 (en) | Signal processing apparatus, method and program | |
| JP2006313997A (en) | Noise level estimating device | |
| WO2006070560A1 (en) | Noise suppressing device, noise suppressing method, noise suppressing program, and computer readable recording medium | |
| US9747919B2 (en) | Sound processing apparatus and recording medium storing a sound processing program | |
| KR101581885B1 (en) | Apparatus and Method for reducing noise in the complex spectrum | |
| JP4473829B2 (en) | Sound collecting device, program, and recording medium recording the same | |
| JPWO2018003158A1 (en) | Correlation function generation device, correlation function generation method, correlation function generation program and wave source direction estimation device | |
| JP5982900B2 (en) | Noise suppression device, microphone array device, noise suppression method, and program | |
| EP3288030A1 (en) | Gain adjustment apparatus and gain adjustment method | |
| US10951978B2 (en) | Output control of sounds from sources respectively positioned in priority and nonpriority directions | |
| JP4543731B2 (en) | Noise elimination method, noise elimination apparatus and system, and noise elimination program | |
| JP7252779B2 (en) | NOISE ELIMINATION DEVICE, NOISE ELIMINATION METHOD AND PROGRAM | |
| JP2007067549A (en) | Sound collector, sound collecting method and program and its recording medium | |
| JP2012149906A (en) | Sound source position estimation device, sound source position estimation method and sound source position estimation program | |
| EP2809086B1 (en) | Method and device for controlling directionality | |
| JP4051325B2 (en) | Speaker position detection method, apparatus, program, and recording medium | |
| JP5700850B2 (en) | Delay estimation method, echo cancellation method using the method, apparatus, program and recording medium therefor | |
| JP6903947B2 (en) | Non-purpose sound suppressors, methods and programs | |
| JP6263890B2 (en) | Audio signal processing apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220909 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220920 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230324 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7252779 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |