JP2018196050A - ノイズ除去装置、ノイズ除去方法およびノイズ除去プログラム - Google Patents
ノイズ除去装置、ノイズ除去方法およびノイズ除去プログラム Download PDFInfo
- Publication number
- JP2018196050A JP2018196050A JP2017099995A JP2017099995A JP2018196050A JP 2018196050 A JP2018196050 A JP 2018196050A JP 2017099995 A JP2017099995 A JP 2017099995A JP 2017099995 A JP2017099995 A JP 2017099995A JP 2018196050 A JP2018196050 A JP 2018196050A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- digital data
- data
- signal
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 21
- 238000006243 chemical reaction Methods 0.000 claims abstract description 24
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000005236 sound signal Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 230000000052 comparative effect Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B3/00—Line transmission systems
- H04B3/02—Details
- H04B3/20—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
- H04B3/23—Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a replica of transmitted signal in the time domain, e.g. echo cancellers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
【課題】スピーカへの出力信号による、マイクロホンからの入力信号へのエコーを除去する際に、装置の内部のノイズを除去する。【解決手段】ノイズ除去装置10は、マイクロホン30からの入力信号をデジタルデータに変換し入力デジタルデータを生成する第1変換部であるADC12と、内部のノイズ信号をデジタルデータに変換する第2変換部であるADC14と、スピーカ20への出力信号に対応するデジタルデータとADC14によって変換されたデジタルデータとを参照データとし、ADC12によって変換された入力デジタルデータから参照データに対応する成分を除去する信号処理部100とを有する。ノイズ除去装置10が有しているエコー除去の機能を利用して、エコー成分とともに、ノイズを除去する。【選択図】図1
Description
本発明は、ノイズ除去装置、ノイズ除去方法およびノイズ除去プログラムに関する。
カーオーディオには、ユーザーの音声を検出するシステムとして、ハンズフリーと呼ばれるシステム(以下、ハンズフリーシステムと呼ぶ)を有するものがある。ハンズフリーシステムでは、マイクロホンを用いて集音した運転者の音声をデジタルデータに変換する。マイクロホンなどのアナログ信号については、本来入力される音声信号以外に装置内部のノイズが混入することがある。例えば、ハンズフリーシステムに用いられるアナログデジタル変換器に使われている電源やグランドにノイズが混入すると、変換された後の音声のデジタルデータはノイズが含まれたデータとなる。
ここで、デジタル化された検出信号にリアルタイムにノイズ除去処理を施す技術として、特許文献1が知られている。特許文献1では、最近取得された検出信号の累積加算値の平均値を演算し、その演算結果をノイズ除去処理後の検出信号としている。
ハンズフリーシステムでは、エコー除去装置を設けて音響エコーを除去することがある。特許文献1に記載の技術によると、ノイズを除去するために累積加算処理を行って平均値を演算する必要があることから、ハンズフリーシステムに適用するには改善の余地がある。
本発明は、上記に鑑みてなされたものであって、その目的は、装置内部に混在したノイズを除去できるノイズ除去装置、ノイズ除去方法およびノイズ除去プログラムを提供することである。
上述した課題を解決し、目的を達成するために、本発明のある態様によるノイズ除去装置は、マイクロホンからの入力信号をデジタルデータに変換し入力デジタルデータを生成する第1変換部と、内部ノイズ信号をデジタルデータに変換する第2変換部と、スピーカへの出力信号に対応するデジタルデータと前記第2変換部によって変換されたデジタルデータとを参照データとし、前記入力デジタルデータから前記参照データに対応する成分を除去する信号処理部と、を有する。
上述した課題を解決し、目的を達成するために、本発明のある態様によるノイズ除去方法は、マイクロホンからの入力信号を第1変換部によってデジタルデータに変換し入力デジタルデータを生成する工程と、内部ノイズ信号を第2変換部によってデジタルデータに変換する工程と、スピーカへの出力信号に対応するデジタルデータと前記第2変換部によって変換されたデジタルデータとを参照データとし、信号処理部によって前記入力デジタルデータから前記参照データに対応する成分を除去する工程と、を有する。
上述した課題を解決し、目的を達成するために、本発明のある態様によるノイズ除去プログラムは、コンピュータを、通信相手からの受信データに、内部ノイズ信号のデジタルデータを加算する加算部、加算されたデジタルデータを参照データとし、前記参照データとエコーパスの特性を模擬した特性情報とに基づいて前記参照データを処理して生成したキャンセルデータを前記通信相手への送信信号から減算するエコーキャンセル部、として機能させるためのノイズ除去プログラムである。
本発明によれば、装置内部に混入したノイズを、エコーとともに除去することができる。
以下に、本発明の実施形態を図面に基づいて詳細に説明する。以下の実施形態の説明において、同一又は同等の構成部分については同一の符号を付し、その説明を簡略又は省略する。なお、実施形態により本発明が限定されるものではない。また、実施形態の構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。また、この実施形態に記載された複数の変形例は、当業者自明の範囲内にて任意に組み合わせが可能である。
[ノイズ除去装置]
図1は、本実施形態によるノイズ除去装置の構成例を示す図である。図1において、本実施形態によるノイズ除去装置10は、車両1に搭載されて用いられる。車両1には、スピーカ20と、マイクロホン(以下、マイクと略称する)30とが搭載される。スピーカ20は、車両1内に音声を出力する。スピーカ20は、入力されるアナログの音声信号を、音声に変換する。マイク30は、車両1内の音声を取得する。マイク30は、取得した音声をアナログの音声信号に変換する。
図1は、本実施形態によるノイズ除去装置の構成例を示す図である。図1において、本実施形態によるノイズ除去装置10は、車両1に搭載されて用いられる。車両1には、スピーカ20と、マイクロホン(以下、マイクと略称する)30とが搭載される。スピーカ20は、車両1内に音声を出力する。スピーカ20は、入力されるアナログの音声信号を、音声に変換する。マイク30は、車両1内の音声を取得する。マイク30は、取得した音声をアナログの音声信号に変換する。
ノイズ除去装置10は、信号処理部100と、増幅部(Amplifier;以下、AMPと呼ぶ)11および15と、アナログデジタル変換部(Analog Digital Converter;以下、ADCと呼ぶ)12および14と、デジタルアナログ変換部(Digital Analog Converter;以下、DACと呼ぶ)13と、を有する。
信号処理部100は、デジタルの音声データに対して、エコーやノイズ等の対象の音声以外を除去する処理を行う。信号処理部100は、例えば、DSP(Digital Signal Processor)を利用して実現することができる。信号処理部100は、SOC(System-on-a-chip)によって実現してもよい。信号処理部100は、DSPとSOCとの両方を利用して実現してもよい。
AMP11は、マイクアンプである。AMP11は、マイク30から出力されるアナログの音声信号を増幅する。
ADC12は、入力されるアナログの音声信号をデジタルの音声データに変換する第1変換部である。ADC12によって変換されたデジタルの音声データは、信号処理部100に入力される。
DAC13は、入力されるデジタルの音声データをアナログの音声信号に変換する。DAC13によって変換されたアナログの音声信号は、AMP15に入力される。
AMP15は、スピーカアンプである。AMP15は、入力されるアナログの音声信号を増幅する。AMP15が増幅したアナログの音声信号は、スピーカ20に入力される。
ADC14は、入力されるアナログの信号をデジタルのデータに変換する第2変換部である。ADC14は、自装置すなわちノイズ除去装置10内部のノイズ信号を入力する。本実施形態では、ADC14は、デジタルデータに変換すべき信号が入力される入力端子が、アナロググランド106に接続されている。アナロググランド106は、例えば、AMP11のアナロググランドである。ADC14は、アナロググランド106の電圧レベルをデジタルのデータに変換する。このため、本来0[V]であるはずのアナロググランド106にノイズが混在していれば、ADC14はそのノイズの電圧レベルに対応するデジタルデータを出力する。ADC14によって変換されたデジタルのデータは、ノイズ除去装置10内部のノイズに対応するデータである。
ADC14の変換結果である音声データには、ADC14に繋がっている電源電圧、グランド、中点電圧からのノイズがADC12と同じ成分で混入している。ノイズ除去装置10は、ADC14によって変換されたデータを自装置内部のノイズとして参照データに加えることにより、信号処理部100のエコー除去処理を用いてスピーカ20およびマイク30によるエコーだけでなく自装置内部のノイズについてもマイク30への入力音声から取り除く。
ところで、ノイズを有効に除去するには、ADC12に混入するノイズとできるだけ同じ成分のノイズをADC14に入力することが好ましい。このため、ノイズ除去装置10は、複数のADCを有する1つの集積回路を用いて、ADC12およびADC14を実現することが好ましい。本実施形態のノイズ除去装置10は、ステレオ入出力チャンネルを有するADC集積回路を用意し、一方の入出力チャンネルにADC12を、他方の入出力チャンネルにADC14を対応付ける。ノイズ除去装置10は、物理的に1つの集積回路を用いてADC12およびADC14を実現する。こうすることで、ADC12およびADC14がノイズ成分の影響を同じように受ける。ADC12を実現する集積回路と、ADC14を実現する集積回路とを物理的に別のものとすると、ADC12およびADC14とが受けるノイズ成分の影響は異なることがある。これに対し、物理的に1つの集積回路に設けられているADC12およびADC14を用いれば、ADC12とADC14とはノイズ成分の影響を同じように受けるので、別々のADC集積回路をADC12およびADC14に用いるよりも、ノイズを有効に除去できる。ステレオ入出力チャンネルを有するADC集積回路にかぎらず、ADC12とADC14とを、物理的に1つの集積回路に複数含まれている変換部それぞれによって実現すればよい。
電話機40は、音声信号を通話相手側に送信すると共に、通話相手側からの音声信号を受信する。電話機40は、例えば、移動電話機やスマートフォンである。
[信号処理部]
図2は、図1中の信号処理部100の構成例を示す図である。信号処理部100は、加算部101と、エコーキャンセル部102と、ノイズサプレッサ103とを有する。
図2は、図1中の信号処理部100の構成例を示す図である。信号処理部100は、加算部101と、エコーキャンセル部102と、ノイズサプレッサ103とを有する。
加算部101は、スピーカ20に向けて出力するデジタルの音声データとADC14によって変換されたデジタルデータとを加算する。加算部101の加算結果は、参照データとしてエコーキャンセル部102に入力される。なお、信号処理部100は、エコーキャンセル部102に入力される参照データを遅延させる遅延部を有していてもよい。
エコーキャンセル部102は、デジタルの音声データを参照データとして入力する。参照データは、スピーカ20から出力するアナログの音声信号に変換する前の音声データである。エコーキャンセル部102は、マイク30に入力された音声信号を変換したデジタルの音声データから、参照データに対応する成分を除去するエコー除去処理を行う。エコー除去処理とは、マイク30に入力された音声信号を変換したデジタルの音声データから、参照データに対応する成分を差し引く処理である。このエコー除去処理を行うことにより、スピーカ20から出力される音声が通話相手に出力する音声に含まれないようにすることができる。
ノイズサプレッサ103は、デジタルの音声データについて処理を行い、音声に混入したノイズを抑制する。特に、ノイズサプレッサ103は、ロードノイズなどを小さくする処理を行う。加算部101、エコーキャンセル部102、および、ノイズサプレッサ103は、例えば、DSPを利用して実現することができる。
[エコーキャンセル部]
図3は、エコーキャンセル部102の構成例を示す図である。図3に示すように、エコーキャンセル部102は、適応フィルタ1021と、減算部1022とを有する。
図3は、エコーキャンセル部102の構成例を示す図である。図3に示すように、エコーキャンセル部102は、適応フィルタ1021と、減算部1022とを有する。
適応フィルタ1021は、スピーカ20の出力からマイク30への入力までの空間すなわちエコーパスの特性に基づいて参照データを処理してキャンセルデータを生成する。より具体的には、適応フィルタ1021は、エコーパスの特性を模擬した特性情報を、参照データに掛けてキャンセルデータを生成する。適応フィルタ1021は、適応フィルタ係数で畳み込み処理を行い、キャンセルデータを生成する。適応フィルタ1021は、生成したキャンセルデータを減算部1022に入力する。
減算部1022は、マイク30に入力される音声信号に対応する音声データからキャンセルデータを減算する。減算部1022の出力は誤差データとして適応フィルタ1021に入力される。適応フィルタ1021は、フィルタ係数を更新し、誤差信号が最小になるように収束させる動作を行う。
[動作]
次に、車両1に搭載されたハンズフリーシステムの動作について説明する。ハンズフリーシステムの動作については、ノイズ除去装置10の動作を中心に説明する。
次に、車両1に搭載されたハンズフリーシステムの動作について説明する。ハンズフリーシステムの動作については、ノイズ除去装置10の動作を中心に説明する。
本実施形態では、エコーキャンセル機能を使用して、エコーに加え、装置内部のノイズを減らす。エコーキャンセル部102は、消したい音の音源の入力である参照データと、マイク入力のような所望の音と消したい不要な音とが混ざったデータとが入力され、消したい音を消した処理後のデータを出力する。エコーキャンセル部102は、通常はスピーカ20への出力音声データを参照データとして入力することで、参照データに対応する成分を除去する。マイク30から入力するスピーカ20からの音声を消すことで、エコーの無い音がエコーキャンセル部102の出力から得られる。
通話相手側への送話側の経路は、以下のようになる。すなわち、マイク30は、車両1内の音声を取得する。マイク30は、取得した音声をアナログの音声信号に変換する。マイク30によって変換された音声信号は、AMP11に入力される。AMP11は、音声信号の電圧レベルを増幅する。AMP11は、後段でクリップしない程度に、音声信号の電圧レベルを調整する。ADC12は、AMP11によってレベルが調整されたアナログの音声信号をデジタルの音声データに変換する。ADC12によって変換されたデジタルの音声データは、信号処理部100に入力される。信号処理部100は、デジタルの音声データについて、エコーを除去する処理を行う。信号処理部100によってエコーが除去された音声データは、ノイズ除去装置10から出力される。ノイズ除去装置10から出力された音声データは、電話機40に入力される。電話機40は、音声データを通話相手側の図示しない電話機に送信する。
通話相手側の電話機からの受話側の経路は、以下のようになる。すなわち、電話機40は、通話相手側の電話機から受信した、デジタルの音声データを出力する。ノイズ除去装置10は、電話機40から出力されるデジタルの音声データを入力する。ノイズ除去装置10は、信号処理部100においてデジタルの音声データについて必要な処理を行う。信号処理部100は、デジタルの音声データを出力する。信号処理部100が出力するデジタルの音声データは、DAC13に入力される。DAC13は、入力されるデジタルの音声データをアナログの音声信号に変換する。DAC13によって変換されたアナログの音声信号は、AMP15に入力される。AMP15は、音声信号の電圧レベルを増幅する。AMP11によって電圧レベルが増幅された音声信号は、スピーカ20に入力される。スピーカ20は、車両1内に音声を出力する。
ここで、車両1内に、スピーカ20とマイク30とが設けられている。このため、スピーカ20が車両1内に出力した音声は、マイク30に入力される。その場合、エコーが発生し聞き取りづらくなることがある。そこで、信号処理部100のエコーキャンセル部102において、エコー除去処理を行う。
エコーキャンセル部102は、デジタルの音声データを参照データとして入力する。参照データであるデジタルの音声データは、スピーカ20から出力するアナログの音声信号に変換する前の音声データである。ADC14によって変換された、ノイズに対応するデジタルデータは、加算部101によって参照データに加算される。エコーキャンセル部102は、マイク30に入力された音声信号を変換したデジタルの音声データから、参照データに対応する成分を差し引くエコー除去処理を行う。このエコー除去処理を行うことにより、スピーカ20から出力される音声が、通話相手に出力する音声に含まれないようにすることができる。
以上説明したように、本実施形態では、マイク30の入力音声のデータとADC14によって変換されたデータとを加算したデータをエコーキャンセル部102の参照データとする。ADC14には、ADC14が繋がっているグランドからノイズがADC12と同じ成分で入ってくる。この装置内部のノイズに対応するデータを参照データに加えることによって、エコーキャンセルの動作を用いてスピーカ20からマイク30へのエコーだけでなく自装置内部のノイズも通話相手への音声データから取り除くことができる。
[比較例]
次に、比較例として、エコー除去装置について説明する。比較例のエコー除去装置は、図1に示すノイズ除去装置10においてADC14を設けず、かつ、図2において加算部101を設けない構成である。
次に、比較例として、エコー除去装置について説明する。比較例のエコー除去装置は、図1に示すノイズ除去装置10においてADC14を設けず、かつ、図2において加算部101を設けない構成である。
図4は、比較例によるエコー除去装置10Aの構成を示す図である。図5は、図4のエコー除去装置10Aにおける信号処理部100Aの構成例を示す図である。比較例は、ADC14と加算部101とを設けない構成であり、ADC14の出力を参照データに加えない。
通話相手側への送話側の経路は、以下のようになる。すなわち、AMP11から出力されるアナログの音声信号は、ADC12でデジタルの音声データに変換されて、信号処理部100Aに入力される。信号処理部100Aは、デジタルの音声データについて、エコーを除去する処理を行う。信号処理部100Aによってエコーが除去された音声データは、エコー除去装置10Aから出力される。
通話相手側からの受話側の経路は、図1および図2を参照して上述した経路と同様である。すなわち、エコー除去装置10Aの信号処理部100Aが出力するデジタルの音声データは、DAC13によってアナログの音声信号に変換され、AMP15に入力される。AMP15によって電圧レベルが増幅された音声信号により、スピーカ20から音声が出力される。
図5において、エコーキャンセル部102は、デジタルの音声データを参照データとして入力し、キャンセルデータを生成する。エコーキャンセル部102は、マイク30に入力された音声信号を変換したデジタルの音声データから、キャンセルデータを差し引くエコー除去処理を行う。
ここで、図4のADC12以降の信号処理部100Aにおいては、デジタル処理を行うため、アナログノイズは混入しない。マイク30への音声以外のノイズとしては、マイク30からAMP11までの配線に飛び込むノイズ、AMP11の電源やグランドに混入するノイズ、ADC12の電源、グランド、中点電圧に混入するノイズなどがある。装置の電源のノイズやグランドノイズは、マイク30に入力される信号のノイズフロアに影響する。
AMP11は、クリップしないように電圧を調整して音量を下げているので、音声を規定の音量に増幅すると、上記のような自装置内部のノイズも増幅してしまうことがある。このため、マイク30の配線のノイズを低減する必要がある。マイク30の配線に混入するノイズ成分は、AMP11の入力側を差動入力とし、入力電圧同士の差分をとることで除去できる。しかしながら、装置内部の電源やグランドに混入するノイズを除去することはできない。
また、ハンズフリーシステム用のマイク30は、高ダイナミックレンジを必要とする。マイク30は、大きな音でも波形がマイク30やADC12への入力の許容レベルを超えないように設計されている。このため、通常時にマイク30から得られる音声信号のレベルはとても小さいので、混入するノイズのレベルが大きい場合、音声がノイズに埋もれて聞き取りにくくなる。
[比較例に対するメリット]
一方、図1から図3を参照して説明した本実施形態によるノイズ除去装置10は、ADC14を有する。ADC14は、装置内部のノイズをデジタルデータに変換する。ADC14によって変換されたデジタルデータは、加算部101によって参照データに加算される。エコーキャンセル部102は、装置内部のノイズを含む参照データに基づいて、エコー除去処理を行う。このように、ノイズ除去装置10が有しているエコー除去の機能を利用して、エコー成分とともに、ノイズを除去する。電源やグランドに混入するノイズを除去するための処理を別に行う必要はなく、装置全体の処理負荷が増加せずにノイズを除去することができる。
一方、図1から図3を参照して説明した本実施形態によるノイズ除去装置10は、ADC14を有する。ADC14は、装置内部のノイズをデジタルデータに変換する。ADC14によって変換されたデジタルデータは、加算部101によって参照データに加算される。エコーキャンセル部102は、装置内部のノイズを含む参照データに基づいて、エコー除去処理を行う。このように、ノイズ除去装置10が有しているエコー除去の機能を利用して、エコー成分とともに、ノイズを除去する。電源やグランドに混入するノイズを除去するための処理を別に行う必要はなく、装置全体の処理負荷が増加せずにノイズを除去することができる。
装置内部のノイズを除去できれば、ロードノイズなどを小さくさせるノイズサプレッサの強度を弱めることができるので、出力される音声の品質も劣化しなくなる。また、ノイズが下がることで、信号対雑音比(signal-to-noise ratio)が良くなり、音声が聞き取りやすくなるメリットもある。さらに、装置内部のノイズに埋もれた小さな音声についても認識できるようになるので、ノイズサプレッサやエコーサプレッサなどの機能によってかき消されなくなる。
[変形例]
図1から図3を参照して説明したノイズ除去装置10では、アナロググランドをADC14に入力している。変形例として、電源とアナロググランドとの間の電圧をADC14に入力してもよい。
図1から図3を参照して説明したノイズ除去装置10では、アナロググランドをADC14に入力している。変形例として、電源とアナロググランドとの間の電圧をADC14に入力してもよい。
図6は、変形例によるノイズ除去装置10Bの構成を示す図である。図6に示すように、本例のノイズ除去装置10Bは、電源107とアナロググランド106との間に設けられた抵抗素子108および抵抗素子109を有する。抵抗素子108と抵抗素子109とは電源107とアナロググランド106との間に直列に接続されている。抵抗素子108と抵抗素子109との間の接続点は、ADC14の入力端子に接続される。このため、抵抗素子108の抵抗値と抵抗素子109の抵抗値との比による抵抗分圧で設定される電圧値がADC14に入力される。例えば、抵抗素子108と抵抗素子109とを同じ抵抗値に設定しておけば、電源107の電圧値とアナロググランド106の0[V]との中点の電圧値がADC14に入力される。つまり、ADC14は、デジタルデータに変換すべき信号が入力される入力端子の電圧値が、電源107の電圧とアナロググランド106との間の電圧値に設定されており、設定された電圧値におけるノイズ信号をデジタルデータに変換する。
したがって、抵抗素子108と抵抗素子109とで設定された電圧値(以下、設定電圧値とよぶ)にノイズが混入していれば、そのノイズ成分がADC14によってデジタルデータに変換される。ADC14によって変換されたノイズ成分のデータは、信号処理部100Bに入力される。
図7は、図6のノイズ除去装置10Bにおける信号処理部100Bの構成例を示す図である。本例の信号処理部100Bは、加算部101と、エコーキャンセル部102と、ノイズサプレッサ103と、減算部104とを有する。減算部104は、ADC14によって変換されたノイズ成分のデータから、基準データを減算する。基準データは、設定電圧値に対応するデジタルデータである。加算部101、エコーキャンセル部102、ノイズサプレッサ103、および、減算部104は、例えば、DSPを利用して実現することができる。
ADC14の入力端子に入力される信号にノイズ成分が混入していなければ、設定電圧値をADC14で変換したデジタルデータが減算部104に入力される。ノイズ成分が混入していなければ、減算部104に入力されるデジタルデータは、基準データと一致する。このため、減算部104によって基準データが減算されると、減算部104の出力データは0[V]に対応するデータとなる。0[V]に対応するデータは、加算部101に入力される。
一方、ADC14の入力端子に入力される信号にノイズ成分が混入していれば、設定電圧値にノイズ成分を加えた信号をADC14で変換したデジタルデータが減算部104に入力される。ノイズ成分が混入していれば、減算部104に入力されるデジタルデータは、基準データと一致しない。このため、減算部104によって基準データが減算されると、減算部104の出力データは0[V]ではなく、ノイズ成分に対応するデータとなる。ノイズ成分に対応するデータは、加算部101に入力される。
加算部101の加算結果は、先述したように、参照データとしてエコーキャンセル部102に入力される。エコーキャンセル部102は、先述したように、エコー除去処理とともにノイズ除去を行う。
なお、抵抗素子108の抵抗値と抵抗素子109の抵抗値との比を予め調整しておけば、アナロググランド106に近いレベルのノイズ成分や電源107の電圧に近いレベルのノイズ成分をADC14に入力し、エコー除去処理とともにノイズ除去を行うことができる。つまり、抵抗素子108と抵抗素子109とによって、ノイズ成分が混入しやすいレベルを設定しておけば、より有効にノイズ除去を行うことができる。例えば、電源に混入するノイズが大きい場合は、中点電圧ではなく、電源電圧値により近い電圧値がADC14に入力されるように抵抗値の比を設定しておく。
以上説明したように、マイク30の入力音声のデータとADC14によって変換されたデータとを加算したデータをエコーキャンセル部102の参照データとする。ADC14には、ADC14の入力端子が繋がっている電源電圧、アナロググランド、中点電圧からノイズがADC12と同じ成分で入ってくる。この装置内部のノイズに対応するデータを参照データに加えることによって、エコーキャンセルの動作を用いてスピーカ20からマイク30へのエコーだけでなく自装置内部のノイズも通話相手への音声データから取り除くことができる。
[エコー除去処理の例]
図8は、信号処理部100によるエコー除去動作の例を示すフローチャートである。ステップS101では、加算部101が、通信相手からの受信データに、ノイズ信号のデジタルデータを加算する。ステップS102では、加算されたデジタルデータを参照データとして入力する適応フィルタ1021が、適応フィルタ係数で畳み込み処理を行い、キャンセルデータを生成する。ステップS103では、減算部1022が、通信相手へ送信するデジタルデータからキャンセルデータを減算する。
図8は、信号処理部100によるエコー除去動作の例を示すフローチャートである。ステップS101では、加算部101が、通信相手からの受信データに、ノイズ信号のデジタルデータを加算する。ステップS102では、加算されたデジタルデータを参照データとして入力する適応フィルタ1021が、適応フィルタ係数で畳み込み処理を行い、キャンセルデータを生成する。ステップS103では、減算部1022が、通信相手へ送信するデジタルデータからキャンセルデータを減算する。
[ノイズ除去方法]
上記ノイズ除去装置により、以下のノイズ除去方法が実現される。すなわち、マイクロホンからの入力信号を第1変換部によってデジタルデータに変換し入力デジタルデータを生成する工程と、内部ノイズ信号を第2変換部によってデジタルデータに変換する工程と、スピーカへの出力信号に対応するデジタルデータと上記第2変換部によって変換されたデジタルデータとを参照データとし、信号処理部によって上記入力デジタルデータから上記参照データに対応する成分を除去する工程と、を有するノイズ除去方法が実現される。このノイズ除去方法によれば、自装置内部に混入したノイズを、エコーとともに除去することができる。
上記ノイズ除去装置により、以下のノイズ除去方法が実現される。すなわち、マイクロホンからの入力信号を第1変換部によってデジタルデータに変換し入力デジタルデータを生成する工程と、内部ノイズ信号を第2変換部によってデジタルデータに変換する工程と、スピーカへの出力信号に対応するデジタルデータと上記第2変換部によって変換されたデジタルデータとを参照データとし、信号処理部によって上記入力デジタルデータから上記参照データに対応する成分を除去する工程と、を有するノイズ除去方法が実現される。このノイズ除去方法によれば、自装置内部に混入したノイズを、エコーとともに除去することができる。
[ノイズ除去プログラム]
上記ノイズ除去装置は、コンピュータを、通信相手からの受信データに、内部ノイズ信号のデジタルデータを加算する加算部、加算されたデジタルデータを参照データとし、上記参照データとエコーパスの特性を模擬した特性情報とに基づいて上記参照データを処理して生成したキャンセルデータを上記通信相手への送信信号から減算するエコーキャンセル部、として機能させるためのノイズ除去プログラムを利用して実現してもよい。このノイズ除去プログラムを利用すれば、自装置内部に混入したノイズを、エコーとともに除去することができる。
上記ノイズ除去装置は、コンピュータを、通信相手からの受信データに、内部ノイズ信号のデジタルデータを加算する加算部、加算されたデジタルデータを参照データとし、上記参照データとエコーパスの特性を模擬した特性情報とに基づいて上記参照データを処理して生成したキャンセルデータを上記通信相手への送信信号から減算するエコーキャンセル部、として機能させるためのノイズ除去プログラムを利用して実現してもよい。このノイズ除去プログラムを利用すれば、自装置内部に混入したノイズを、エコーとともに除去することができる。
[まとめ]
以上説明したように、本実施形態では、エコーキャンセル部が有しているエコー除去の機能を利用して、エコー成分とともに、ノイズを除去する。電源やグランドに混入するノイズを除去するために累積加算処理などを特別に行う必要はなく、装置全体の処理負荷が増加せずにノイズを除去することができる。
以上説明したように、本実施形態では、エコーキャンセル部が有しているエコー除去の機能を利用して、エコー成分とともに、ノイズを除去する。電源やグランドに混入するノイズを除去するために累積加算処理などを特別に行う必要はなく、装置全体の処理負荷が増加せずにノイズを除去することができる。
本実施形態によるノイズ除去装置は、マイクとスピーカとを有する装置について適用することができる。例えば、インカーコミュニケーションをはじめとする自動車内でのハンズフリーシステムの他、テレビ電話、移動電話機やスマートフォンを用いたハンズフリー通話、テレビ会議システム、カラオケ装置について適用できる。
1 車両
10、10B ノイズ除去装置
10A エコー除去装置
11、15 増幅部
12、14 アナログデジタル変換部
13 デジタルアナログ変換部
20 スピーカ
30 マイクロホン
40 電話機
100、100A、100B 信号処理部
101 加算部
102 エコーキャンセル部
103 ノイズサプレッサ
104、1022 減算部
106 アナロググランド
107 電源
108、109 抵抗素子
1021 適応フィルタ
10、10B ノイズ除去装置
10A エコー除去装置
11、15 増幅部
12、14 アナログデジタル変換部
13 デジタルアナログ変換部
20 スピーカ
30 マイクロホン
40 電話機
100、100A、100B 信号処理部
101 加算部
102 エコーキャンセル部
103 ノイズサプレッサ
104、1022 減算部
106 アナロググランド
107 電源
108、109 抵抗素子
1021 適応フィルタ
Claims (8)
- マイクロホンからの入力信号をデジタルデータに変換し入力デジタルデータを生成する第1変換部と、
内部ノイズ信号をデジタルデータに変換する第2変換部と、
スピーカへの出力信号に対応するデジタルデータと前記第2変換部によって変換されたデジタルデータとを参照データとし、前記入力デジタルデータから前記参照データに対応する成分を除去する信号処理部と、を有するノイズ除去装置。 - 前記第2変換部は、デジタルデータに変換すべき信号が入力される入力端子が、アナロググランドに接続されており、前記アナロググランドにおけるノイズ信号をデジタルデータに変換する請求項1に記載のノイズ除去装置。
- 前記第2変換部は、デジタルデータに変換すべき信号が入力される入力端子の電圧値が、電源電圧とアナロググランドとの間の電圧値に設定されており、設定された電圧値におけるノイズ信号をデジタルデータに変換する請求項1に記載のノイズ除去装置。
- 前記信号処理部は、前記スピーカへの出力信号に対応するデジタルデータと前記第2変換部によって変換されたデジタルデータとを加算する加算部を含み、
前記加算部の出力を前記参照データとする請求項1から請求項3のいずれか1つに記載のノイズ除去装置。 - 前記信号処理部は、前記参照データが入力され、前記スピーカの出力から前記マイクロホンへの入力までの空間の特性に基づいて前記参照データを処理して生成したキャンセルデータを出力する適応フィルタと、
前記キャンセルデータを前記入力デジタルデータから減算する減算部と、を含む請求項1から請求項4のいずれか1つに記載のノイズ除去装置。 - 前記第1変換部と前記第2変換部とが、物理的に1つの集積回路に設けられている請求項1から請求項5のいずれか1つに記載のノイズ除去装置。
- マイクロホンからの入力信号を第1変換部によってデジタルデータに変換し入力デジタルデータを生成する工程と、
内部ノイズ信号を第2変換部によってデジタルデータに変換する工程と、
スピーカへの出力信号に対応するデジタルデータと前記第2変換部によって変換されたデジタルデータとを参照データとし、信号処理部によって前記入力デジタルデータから前記参照データに対応する成分を除去する工程と、
を有するノイズ除去方法。 - コンピュータを、
通信相手からの受信データに、内部ノイズ信号のデジタルデータを加算する加算部、
加算されたデジタルデータを参照データとし、前記参照データとエコーパスの特性を模擬した特性情報とに基づいて前記参照データを処理して生成したキャンセルデータを前記通信相手への送信信号から減算するエコーキャンセル部、
として機能させるためのノイズ除去プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017099995A JP6821126B2 (ja) | 2017-05-19 | 2017-05-19 | ノイズ除去装置、ノイズ除去方法およびノイズ除去プログラム |
CN201880012058.4A CN110301140B (zh) | 2017-05-19 | 2018-02-16 | 噪声去除装置、噪声去除方法以及记录介质 |
EP18802614.0A EP3611936B1 (en) | 2017-05-19 | 2018-02-16 | Noise elimination device, noise elimination method and noise elimination program |
PCT/JP2018/005404 WO2018211759A1 (ja) | 2017-05-19 | 2018-02-16 | ノイズ除去装置、ノイズ除去方法およびノイズ除去プログラム |
US16/596,818 US10796710B2 (en) | 2017-05-19 | 2019-10-09 | Noise elimination device, noise elimination method, and noise elimination program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017099995A JP6821126B2 (ja) | 2017-05-19 | 2017-05-19 | ノイズ除去装置、ノイズ除去方法およびノイズ除去プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018196050A true JP2018196050A (ja) | 2018-12-06 |
JP6821126B2 JP6821126B2 (ja) | 2021-01-27 |
Family
ID=64273735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017099995A Active JP6821126B2 (ja) | 2017-05-19 | 2017-05-19 | ノイズ除去装置、ノイズ除去方法およびノイズ除去プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10796710B2 (ja) |
EP (1) | EP3611936B1 (ja) |
JP (1) | JP6821126B2 (ja) |
CN (1) | CN110301140B (ja) |
WO (1) | WO2018211759A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113038345B (zh) * | 2019-12-09 | 2023-03-14 | 北京君正集成电路股份有限公司 | 一种在采集音频过程中优化音频信号的系统 |
CN113035224B (zh) * | 2019-12-09 | 2022-08-26 | 北京君正集成电路股份有限公司 | 一种消除回音提高音频质量的设备 |
CN113035219B (zh) * | 2019-12-09 | 2023-10-31 | 北京君正集成电路股份有限公司 | 一种消除回音提高音频质量的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04108246A (ja) * | 1990-08-29 | 1992-04-09 | Oki Electric Ind Co Ltd | ハンズフリー電話装置 |
JPH08288899A (ja) * | 1995-04-11 | 1996-11-01 | Saitama Nippon Denki Kk | 携帯電話機 |
JP2006050067A (ja) * | 2004-08-02 | 2006-02-16 | Sony Corp | ノイズ低減回路、電子機器、ノイズ低減方法 |
JP2011069901A (ja) * | 2009-09-24 | 2011-04-07 | Fujitsu Ltd | 雑音除去装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3361724B2 (ja) * | 1997-06-11 | 2003-01-07 | 沖電気工業株式会社 | エコーキャンセラ装置 |
JPH11101656A (ja) | 1997-09-26 | 1999-04-13 | Nippon Denshi Kogyo Kk | 信号処理方法および信号処理装置 |
US7003096B2 (en) * | 2002-09-12 | 2006-02-21 | Plantronics, Inc. | Full duplex telephone set using echo cancellation and side tone management for high gain stability |
US7359504B1 (en) * | 2002-12-03 | 2008-04-15 | Plantronics, Inc. | Method and apparatus for reducing echo and noise |
US20060188089A1 (en) * | 2005-02-18 | 2006-08-24 | Diethorn Eric J | Reduction in acoustic coupling in communication systems and appliances using multiple microphones |
US20090003586A1 (en) * | 2007-06-28 | 2009-01-01 | Fortemedia, Inc. | Signal processor and method for canceling echo in a communication device |
US20140133648A1 (en) * | 2008-03-06 | 2014-05-15 | Andrzej Czyzewski | Method and apparatus for acoustic echo cancellation in voip terminal |
CN101667426A (zh) * | 2009-09-23 | 2010-03-10 | 中兴通讯股份有限公司 | 一种消除环境噪声的装置及方法 |
FR2976111B1 (fr) * | 2011-06-01 | 2013-07-05 | Parrot | Equipement audio comprenant des moyens de debruitage d'un signal de parole par filtrage a delai fractionnaire, notamment pour un systeme de telephonie "mains libres" |
US9385674B2 (en) * | 2012-10-31 | 2016-07-05 | Maxim Integrated Products, Inc. | Dynamic speaker management for multichannel audio systems |
CN203219384U (zh) * | 2012-12-26 | 2013-09-25 | 深圳市金立通信设备有限公司 | 一种处理通话环境噪声的装置及移动终端 |
US20140363008A1 (en) * | 2013-06-05 | 2014-12-11 | DSP Group | Use of vibration sensor in acoustic echo cancellation |
JP2017199949A (ja) * | 2016-04-25 | 2017-11-02 | 株式会社Jvcケンウッド | エコー除去装置、エコー除去方法およびエコー除去プログラム |
US10382092B2 (en) * | 2017-11-27 | 2019-08-13 | Verizon Patent And Licensing Inc. | Method and system for full duplex enhanced audio |
-
2017
- 2017-05-19 JP JP2017099995A patent/JP6821126B2/ja active Active
-
2018
- 2018-02-16 WO PCT/JP2018/005404 patent/WO2018211759A1/ja unknown
- 2018-02-16 CN CN201880012058.4A patent/CN110301140B/zh active Active
- 2018-02-16 EP EP18802614.0A patent/EP3611936B1/en active Active
-
2019
- 2019-10-09 US US16/596,818 patent/US10796710B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04108246A (ja) * | 1990-08-29 | 1992-04-09 | Oki Electric Ind Co Ltd | ハンズフリー電話装置 |
JPH08288899A (ja) * | 1995-04-11 | 1996-11-01 | Saitama Nippon Denki Kk | 携帯電話機 |
JP2006050067A (ja) * | 2004-08-02 | 2006-02-16 | Sony Corp | ノイズ低減回路、電子機器、ノイズ低減方法 |
JP2011069901A (ja) * | 2009-09-24 | 2011-04-07 | Fujitsu Ltd | 雑音除去装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3611936B1 (en) | 2021-10-27 |
US20200043510A1 (en) | 2020-02-06 |
EP3611936A4 (en) | 2020-04-01 |
CN110301140B (zh) | 2021-10-26 |
EP3611936A1 (en) | 2020-02-19 |
CN110301140A (zh) | 2019-10-01 |
JP6821126B2 (ja) | 2021-01-27 |
US10796710B2 (en) | 2020-10-06 |
WO2018211759A1 (ja) | 2018-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6311136B2 (ja) | 双方向会話補助装置及び双方向会話補助方法 | |
JP4913155B2 (ja) | 音響エコーキャンセラ | |
JP2758846B2 (ja) | ノイズキャンセラ装置 | |
JP2005318636A (ja) | 車両用キャビンのための屋内通信システム | |
JPWO2002095975A1 (ja) | エコー処理装置 | |
US10796710B2 (en) | Noise elimination device, noise elimination method, and noise elimination program | |
JP4765117B2 (ja) | エコー防止回路、フィルタ係数設定方法、及びプログラム | |
JP2928130B2 (ja) | ハンズフリー通信装置 | |
EP2384023A1 (en) | Using a loudspeaker as a vibration sensor | |
JP2005247181A (ja) | 車載ハンズフリー装置 | |
JP2021097292A (ja) | エコーキャンセル装置、エコーキャンセル方法およびエコーキャンセルプログラム | |
JP5383008B2 (ja) | 音声明瞭度改善システム及び音声明瞭度改善方法 | |
JP2000252891A (ja) | 信号処理装置 | |
JP7434845B2 (ja) | エコーキャンセル装置、エコーキャンセル方法およびプログラム | |
US9531884B2 (en) | Stereo echo suppressing device, echo suppressing device, stereo echo suppressing method, and non-transitory computer-readable recording medium storing stereo echo suppressing program | |
JP2013005106A (ja) | 場内拡声装置、場内拡声方法、及びそのプログラム | |
US11122366B2 (en) | Method and apparatus for attenuation of audio howling | |
JP7183119B2 (ja) | 音声信号処理装置 | |
US12112733B2 (en) | Communication support system | |
JP5631523B2 (ja) | エコー消去装置 | |
JP2021097293A (ja) | エコーキャンセル装置、エコーキャンセル方法およびエコーキャンセルプログラム | |
JP2019165276A (ja) | エコーキャンセル装置、エコーキャンセル方法およびエコーキャンセルプログラム | |
JP2001094479A (ja) | 反響消去装置 | |
JP3221937B2 (ja) | 無線電話装置 | |
KR100842681B1 (ko) | 오디오 증폭 장치 및 오디오 증폭 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6821126 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |