JP2018527857A - 音響装置における再生管理のためのイベント検出 - Google Patents
音響装置における再生管理のためのイベント検出 Download PDFInfo
- Publication number
- JP2018527857A JP2018527857A JP2018526614A JP2018526614A JP2018527857A JP 2018527857 A JP2018527857 A JP 2018527857A JP 2018526614 A JP2018526614 A JP 2018526614A JP 2018526614 A JP2018526614 A JP 2018526614A JP 2018527857 A JP2018527857 A JP 2018527857A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- ambient sound
- detecting
- microphone
- input signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000004891 communication Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000003362 replicative effect Effects 0.000 claims abstract 3
- 230000002093 peripheral effect Effects 0.000 claims description 33
- 230000004044 response Effects 0.000 claims description 29
- 230000003595 spectral effect Effects 0.000 claims description 22
- 238000005259 measurement Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 4
- 206010019133 Hangover Diseases 0.000 description 10
- 230000008901 benefit Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 4
- 238000010219 correlation analysis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L2025/783—Detection of presence or absence of voice signals based on threshold decision
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2410/00—Microphones
- H04R2410/05—Noise reduction with a separate noise microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
Abstract
Description
・周辺音響の到来方向推定DOAが、近傍界音響の受入角以内である(ブロック16)
・最大正規化相互相関統計量normMaxCorrが、閾値normMaxCorrThres1よりも大きい(ブロック17)
・干渉−近傍界所望信号比idrが、閾値idrThres1よりも小さい(ブロック18)
・信号speechDetに示されるように音声活動が検出される(ブロック19)
・マイク間レベル差統計量imdが、閾値imdThよりも大きい(ブロック42)
・音楽が背景において検出されない(ブロック20)
・到来方向推定DOAが、近接音響の受入角以内である(ブロック21)
・最大正規化相互相関統計量normMaxCorrが、閾値normMaxCorrThres2よりも大きい(ブロック22)
・背景雑音レベルnoiseLevelが、閾値noiseLevelTh未満である(ブロック23)
・信号proxSpeechDetに示されるように近接音声活動が検出される(ブロック19)
・SFM変化統計量sfmSwingが、閾値sfmSwingThよりも大きい(ブロック37)
・干渉−近傍界所望信号比idrが、閾値idrThres2よりも大きい(ブロック40)
・マイク間レベル差統計量imdが、0dBに近い(ブロック43)
・干渉−近傍界所望信号比idrが、閾値idrThres2よりも大きい(ブロック39)
・近接音声活動が検出される(ブロック27)
・最大正規化相互相関統計量normMaxCorrが、閾値normMaxCorrThres3よりも大きい(ブロック28)
・到来方向推定DOAが近接音響の受入角以内である(ブロック29)
・音楽が背景において検出されない(ブロック30)
・低若しくは中間レベルの背景雑音が存在する、又は一切の背景雑音が存在しない(ブロック31)。この条件は、推定背景雑音レベルを閾値noiseLevelThLoと比較することによって検証される。低雑音レベルが検出された場合、近接発話の存在を確認するために、以下の2つの条件が試験される。
・SFM変化統計量sfmSwingが閾値sfmSwingThよりも大きい(ブロック38)
・マイク間レベル差統計量imdが、0dBに近い(ブロック44)
・定常的背景雑音が存在する(ブロック32)。定常的背景雑音は、所定時間に渡り音楽検出器(ブロック9)によって生成されるSFMの、ピーク−二乗平均平方根値の比を計算することによって検出してもよい。具体的には、上述の比が高い場合、非定常的な雑音が存在する可能性がある。非定常的な雑音のスペクトル平坦性測定は、定常的な雑音よりも早く変化する傾向にあるからである。
・高い雑音レベルが存在する(ブロック32)。推定背景雑音が閾値noiseLevelLoよりも大きく且つ閾値noiseLevelHiよりも小さい場合に、高い雑音条件を検出してもよい。
・近くで話している近接話者が存在する(ブロック33)。最大正規化相互相関統計量normMaxCorrが閾値normMaxCorrThres4よりも大きい場合(閾値normMaxCorrThres4は、近くの話者の存在を示すために、normMaxCorrThres3よりも大きくてよい)、近くで話している近接話者が検出されてもよい。
・低、中間若しくは高レベルの背景雑音が存在する、又は一切の背景雑音が存在しない(ブロック34)。この条件は、推定背景雑音レベルが閾値noiseLevelThHi未満の場合に検出されてもよい。
・音楽が存在しない(ブロック35)。
・近くで話している近接話者が存在する(ブロック33)。最大正規化相互相関統計量normMaxCorrが閾値normMaxCorrThres4よりも大きい場合(閾値normMaxCorrThres4は、近くの話者の存在を示すために、normMaxCorrThres3よりも大きくてよい)、近くで話している近接話者が検出されてもよい。
・低、中間若しくは高レベルの背景雑音が存在する、又は一切の背景雑音が存在しない(ブロック34)。この条件は、推定背景雑音レベルが閾値noiseLevelThHi未満の場合に検出されてもよい。
・到来方向推定DOAが、警報信号の受入角以内である(ブロック24)
・最大正規化相互相関統計量normMaxCorrが、閾値normMaxCorrThres5よりも大きい(ブロック25)
・スペクトル平坦性測定sfm[]が、全てのサブバンドではないが、殆どのサブバンドにおいて雑音スペクトルが平坦であることを示す(ブロック26)
/*瞬間検出が真(true)の場合、ホールドオフカウンタをインクリメントし、ハングオーバー*カウンタをリセットする*/
if(instDet == TRUE)
{
holdOffCntr = holdOffCntr + 1;
hangOverCntr = 0;
}
/*瞬間検出が偽の場合、ハングオーバーカウンタをインクリメントし、ホールドオフ*カウンタをリセットする*/
else
{
hangOverCntr = hangOverCntr + 1;
holdOffCntr = 0;
}
/******************
*ホールドオフロジック*
******************/
/*瞬間検出が一定時間真であり続け、且つ前回の有効な検出が偽(false)であった場合、*有効な検出は真状態に遷移する*/
if(holdOffCntr > holdOffThres && validDet == FALSE)
{
validDet = TRUE;
holdOffCntr = 0;
hangOverCntr = 0;
}
/*******************
*ハングオーバーロジック*
*******************/
/*瞬間NF検出が一定時間偽であり続け、且つ前回の有効なNF検出が真であった場合、*有効なNF検出は偽状態に遷移する*/
if(hangOverCntr > hangOverThres && validDet == TRUE)
{
validDet = FALSE;
holdOffCntr = 0;
hangOverCntr = 0;
}
/***********************************
*会話モード移行ロジック*
***********************************/
/*イベント検出が真であり、且つモードが会話モードでない場合、
*時間をインクリメントして会話モードカウンタに移行する。カウンタが閾値を超えた場合、
*会話モードに切り替えてカウンタをリセットする。
*イベント検出は、連続的に真である必要は無いことに注意。*/
if(convModeEn == FALSE && validDet == TRUE)
{
timeToEnterConvModeCntr = timeToEnterConvModeCntr + 1;
if(timeToEnterConvModeCntr > timeToEnterConvModeThres)
{
convModeEn = TRUE;
timeToEnterConvModeCntr = 0;
timeToExitConvModeCntr = 0;
}
}
/*********************************
*会話モード終了ロジック*
*********************************/
/*イベント検出が偽であり、且つモードが会話モードである場合、
*時間をインクリメントして会話モードカウンタを終了する。カウンタが閾値を超えた場合、
*通常モードに切り替えてカウンタをリセットする。
*イベント検出は、連続的に偽でなければならないことに注意。*/
if(convModeEn == TRUE && validDet == FALSE)
{
timeToExitConvModeCntr++;
if(timeToExitConvModeCntr > timeToExitConvModeThres)
{
convModeEn = FALSE;
timeToEnterConvModeCntr = 0;
timeToExitConvModeCntr = 0;
}
}
else
{
timeToExitConvModeCntr = 0;
}
if(convModeEn == TRUE)
{
playBackGain = (1−alpha)*convModeGain + alpha*playBackGain
}
else
{
playBackGain = (1−beta)*normalModeGain + beta*playBackGain
}
Claims (68)
- 音響装置における音響情報を処理するための方法であって、
通信用音響出力信号を生成することによって、前記音響装置の少なくとも1つの変換器に音響情報を複製する工程と、
前記音響装置外部の周辺音響を示す少なくとも1つの入力信号を受信する工程と、
前記少なくとも1つの入力信号から、前記周辺音響における近傍界音響を検出する工程と、
前記近傍界音響の検出に応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する工程と
を含む方法。 - 前記少なくとも1つの入力信号から、前記周辺音響の方向を決定する工程と、
前記周辺音響の方向が、前記周辺音響が前記音響装置のユーザからの音響であることを示すことに応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する工程と
を更に含む、請求項1に記載の方法。 - 前記少なくとも1つの入力信号から、前記周辺音響の方向を決定する工程と、
前記周辺音響の方向が、前記周辺音響が前記音響装置のユーザからの発話であることを示すことに応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する工程と
を更に含む、請求項1に記載の方法。 - 前記音響情報の特徴を修正する工程が、前記音響情報を減衰させる工程を含む、請求項1に記載に記載の方法。
- 前記近傍界音響の検出が少なくとも所定時間継続することに応じて、前記音響情報の特徴を修正する工程を更に含む、請求項1に記載の方法。
- 前記少なくとも1つの入力信号から、前記周辺音響において前記近傍界音響が存在しないことを検出する工程と、
少なくとも第2の所定時間の間前記近傍界音響が存在しないことに応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正することを停止する工程と、
を更に含む、請求項5に記載の方法。 - 前記近傍界音響を検出する工程に加えて、前記少なくとも1つの入力信号から、前記周辺音響における前記近傍界音響以外の周辺音響を検出する工程と、
前記周辺音響の検出に応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する工程と
を更に含む、請求項1に記載の方法。 - 前記少なくとも1つの入力信号から、前記周辺音響の方向を決定する工程と、
前記周辺音響の方向が、前記周辺音響が前記近傍界音響以外の音響であることを示すことに応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する工程と
を更に含む、請求項7に記載の方法。 - 前記少なくとも1つの入力信号から、前記周辺音響が背景雑音を含むか否かを検出する工程と、
前記周辺音響における前記背景雑音の検出に応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する工程と
を更に含む、請求項7に記載の方法。 - 前記少なくとも1つの入力信号から、前記周辺音響が音調警報を含むか否かを検出する工程と、
前記周辺音響における前記音調警報の検出に応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する工程と
を更に含む、請求項7に記載の方法。 - 前記周辺音響における前記音調警報を検出する工程が、
前記少なくとも1つの入力信号から、前記周辺音響の方向を検出する工程と、
前記少なくとも1つの入力信号から、前記周辺音響のスペクトル平坦性測定を検出する工程と、
前記少なくとも1つの入力信号から、前記周辺音響の近傍界空間統計量を検出する工程と、
前記周辺音響の方向、前記背景雑音の有無、及び前記近傍界空間統計量に基づいて、前記音調警報を検出する工程と
を含む、請求項10に記載の方法。 - 前記少なくとも1つの入力信号が、第1のマイクでの周辺音響を示す第1のマイク信号と、第2のマイクでの周辺音響を示す第2のマイク信号とを含み、
前記近傍界空間統計量が、前記第1のマイク信号と前記第2のマイク信号との間の相関を含む、
請求項11に記載の方法。 - 前記周辺音響の方向を検出する工程が、前記周辺音響の方向が近傍界音響の受入角以内であるか否かを決定する工程を含む、請求項11に記載の方法。
- 前記周辺音響の前記近傍界空間統計量を検出する工程が、正規化相互相関統計量が閾値よりも大きいか否かを検出する工程を含む、請求項11に記載の方法。
- 前記周辺音響の前記スペクトル平坦性測定を検出する工程が、前記雑音スペクトルが前記周辺音響の全てのサブバンドではないが、前記周辺音響の殆どのサブバンドにおいて平坦であるか否かを検出する工程を含む、請求項11に記載の方法。
- 前記周辺音響における前記近傍界音響を検出する工程が、
前記少なくとも1つの入力信号から、前記周辺音響の方向を検出する工程と、
前記少なくとも1つの入力信号から、前記周辺音響における発話の存在を検出する工程と、
前記少なくとも1つの入力信号から、前記周辺音響の近傍界空間統計量を検出する工程と、
前記方向、発話の有無、及び前記周辺音響の前記近空間統計量に基づいて、前記近傍界音響を検出する工程と
を含む、請求項1に記載の方法。 - 前記少なくとも1つの入力信号が、第1のマイクでの周辺音響を示す第1のマイク信号と、第2のマイクでの周辺音響を示す第2のマイク信号とを含み、
前記近傍界空間統計量が、前記第1のマイク信号と前記第2のマイク信号との間の相関を含む、
請求項16に記載の方法。 - 前記少なくとも1つの入力信号が、第1のマイクでの周辺音響を示す第1のマイク信号と、第2のマイクでの周辺音響を示す第2のマイク信号とを含み、
前記近傍界空間統計量が、前記近傍界音響と紐づく干渉−信号比を含む、
請求項16に記載の方法。 - 前記少なくとも1つの入力信号が、第1のマイクでの周辺音響を示す第1のマイク信号と、第2のマイクでの周辺音響を示す第2のマイク信号とを含み、
前記近傍界空間統計量が、前記第1のマイク信号と前記第2のマイク信号との間のマイク間レベル差を含む、
請求項16に記載の方法。 - 前記周辺音響の方向を検出する工程が、前記周辺音響の方向が近傍界音響の受入角以内であるか否かを決定する工程を含む、請求項16に記載の方法。
- 前記周辺音響の前記近傍界空間統計量を検出する工程が、
正規化相互相関統計量が第1閾値よりも大きいか否かを検出する工程と、
干渉−近傍界所望信号比が第2閾値よりも小さいか否かを検出する工程と、
マイク間レベル差が、第3閾値よりも大きいか否かを検出する工程と
を含む、請求項16に記載の方法。 - 前記第2閾値が、前記周辺音響における背景雑音の推定に基づいて調整される、請求項21に記載の方法。
- 前記第3閾値が、前記周辺音響における背景雑音の推定に基づいて調整される、請求項21に記載の方法。
- 前記少なくとも1つの入力信号から、前記周辺音響の方向を検出する工程と、
前記少なくとも1つの入力信号から、前記周辺音響における背景雑音の存在を検出する工程と、
前記少なくとも1つの入力信号から、前記周辺音響における近接発話の存在を検出する工程と、
前記少なくとも1つの入力信号から、前記周辺音響の音量を検出する工程と、
前記少なくとも1つの入力信号から、前記周辺音響の近傍界空間統計量を検出する工程と、
前記方向、背景雑音の有無、前記発話の有無、前記音量、及び前記周辺音響の前記近空間統計量に基づいて、近接音響イベントを含む音響イベントの存在を検出する工程と、
前記音響イベントの存在に応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する工程と
を更に含む、請求項1に記載の方法。 - 前記周辺音響のスペクトル成分の変化を検出する工程と、
前記方向、背景雑音の有無、前記発話の有無、前記音量、前記周辺音響の前記近空間統計量、及び前記周辺音響の前記スペクトル成分に基づいて、近接音響イベントを含む音響イベントの存在を検出する工程と
を更に含む、請求項24に記載の方法。 - 前記少なくとも1つの入力信号が、第1のマイクでの周辺音響を示す第1のマイク信号と、第2のマイクでの周辺音響を示す第2のマイク信号とを含み、
前記近傍界空間統計量が、前記第1のマイク信号と前記第2のマイク信号との間の相関を含む、
請求項25に記載の方法。 - 前記少なくとも1つの入力信号が、第1のマイクでの周辺音響を示す第1のマイク信号と、第2のマイクでの周辺音響を示す第2のマイク信号とを含み、
前記近傍界空間統計量が、前記近傍界音響と紐づく干渉−信号比を含む、
請求項25に記載の方法。 - 前記少なくとも1つの入力信号が、第1のマイクでの周辺音響を示す第1のマイク信号と、第2のマイクでの周辺音響を示す第2のマイク信号とを含み、
前記近傍界空間統計量が、前記第1のマイク信号と前記第2のマイク信号との間のマイク間レベル差を含む、
請求項25に記載の方法。 - 前記周辺音響における近接発話の存在を検出する工程が、定常的背景雑音を検出する工程を含む、請求項25に記載の方法。
- 前記周辺音響における近接発話の存在を検出する工程が、近くで話している近接話者からの発話を検出する工程を含む、請求項25に記載の方法。
- 前記周辺音響における近接発話の存在を検出する工程が、前記少なくとも1つの入力信号から、前記周辺音響のスペクトル平坦性測定を検出する工程を含み、前記周辺音響の前記スペクトル平坦性測定を検出する工程が、前記周辺音響のスペクトル成分の変化を検出する工程を含む、請求項25に記載の方法。
- 音響装置の少なくとも一部を実現するための集積回路であって、
通信用音響出力信号を生成することによって、前記音響装置の少なくとも1つの変換器に音響情報を複製するように構成された音響出力と、
前記音響装置外部の周辺音響を示す入力信号を受信するように構成されたマイク入力と、
前記入力信号から、前記周辺音響における近傍界音響を検出し、
前記近傍界音響の検出に応じて、前記音響情報の特徴を修正する
ように構成されたプロセッサと
を含む、集積回路。 - 前記プロセッサが更に、
前記少なくとも1つの入力信号から、前記周辺音響の方向を決定し、
前記周辺音響の方向が、前記周辺音響が前記音響装置のユーザからの音響であることを示すことに応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する
ように構成されている、請求項32に記載の集積回路。 - 前記プロセッサが更に、
前記少なくとも1つの入力信号から、前記周辺音響の方向を決定し、
前記周辺音響の方向が、前記周辺音響が前記音響装置のユーザからの発話であることを示すことに応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する
ように構成されている、請求項32に記載の集積回路。 - 前記音響情報の特徴を修正することが、前記音響情報を減衰させることを含む、請求項32に記載の集積回路。
- 前記プロセッサが更に、前記近傍界音響の検出が少なくとも所定時間継続することに応じて、前記音響情報の特徴を修正するように構成されている、請求項32に記載の集積回路。
- 前記プロセッサが更に、前記少なくとも1つの入力信号から、前記周辺音響において前記近傍界音響が存在しないことを検出し、
少なくとも第2の所定時間の間前記近傍界音響が存在しないことに応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正することを停止する
ように構成されている、請求項36に記載の集積回路。 - 前記プロセッサが更に、
前記近傍界音響を検出することに加えて、前記少なくとも1つの入力信号から、前記周辺音響における前記近傍界音響以外の周辺音響を検出し、
前記周辺音響の検出に応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する
ように構成されている、請求項36に記載の集積回路。 - 前記プロセッサが更に、
前記少なくとも1つの入力信号から、前記周辺音響の方向を決定し、
前記周辺音響の方向が、前記周辺音響が前記近傍界音響以外の音響であることを示すことに応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する
ように構成されている、請求項38に記載の集積回路。 - 前記プロセッサが更に、
前記少なくとも1つの入力信号から、前記周辺音響が背景雑音を含むか否かを検出し、
前記周辺音響における前記背景雑音の検出に応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する
ように構成されている、請求項38に記載の集積回路。 - 前記プロセッサが更に、
前記少なくとも1つの入力信号から、前記周辺音響が音調警報を含むか否かを検出し、
前記周辺音響における前記音調警報の検出に応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する
ように構成されている、請求項38に記載の集積回路。 - 前記周辺音響における前記音調警報を検出することが、
前記少なくとも1つの入力信号から、前記周辺音響の方向を検出することと、
前記少なくとも1つの入力信号から、前記周辺音響のスペクトル平坦性測定を検出することと、
前記少なくとも1つの入力信号から、前記周辺音響の近傍界空間統計量を検出することと、
前記周辺音響の方向、前記背景雑音の有無、及び前記近傍界空間統計量に基づいて、前記音調警報を検出することと
を含む、請求項41に記載の集積回路。 - 前記少なくとも1つの入力信号が、第1のマイクでの周辺音響を示す第1のマイク信号と、第2のマイクでの周辺音響を示す第2のマイク信号とを含み、
前記近傍界空間統計量が、前記第1のマイク信号と前記第2のマイク信号との間の相関を含む、
請求項41に記載の集積回路。 - 前記周辺音響の方向を検出することが、前記周辺音響の方向が近傍界音響の受入角以内であるか否かを決定することを含む、請求項42に記載の集積回路。
- 前記周辺音響の前記近傍界空間統計量を検出することが、正規化相互相関統計量が閾値よりも大きいか否かを検出することを含む、請求項42に記載の集積回路。
- 前記周辺音響の前記スペクトル平坦性測定を検出することが、前記雑音スペクトルが前記周辺音響の全てのサブバンドではないが、前記周辺音響の殆どのサブバンドにおいて平坦であるか否かを検出することを含む、請求項42に記載の集積回路。
- 前記周辺音響における前記近傍界音響を検出することが、
前記少なくとも1つの入力信号から、前記周辺音響の方向を検出することと、
前記少なくとも1つの入力信号から、前記周辺音響における発話の存在を検出することと、
前記少なくとも1つの入力信号から、前記周辺音響の近傍界空間統計量を検出することと、
前記方向、発話の有無、及び前記周辺音響の前記近空間統計量に基づいて、前記近傍界音響を検出することと
を含む、請求項32に記載の集積回路。 - 前記少なくとも1つの入力信号が、第1のマイクでの周辺音響を示す第1のマイク信号と、第2のマイクでの周辺音響を示す第2のマイク信号とを含み、
前記近傍界空間統計量が、前記第1のマイク信号と前記第2のマイク信号との間の相関を含む、
請求項47に記載の集積回路。 - 前記少なくとも1つの入力信号が、第1のマイクでの周辺音響を示す第1のマイク信号と、第2のマイクでの周辺音響を示す第2のマイク信号とを含み、
前記近傍界空間統計量が、近傍界音響と紐づく干渉−信号比を含む、
請求項47に記載の集積回路。 - 前記少なくとも1つの入力信号が、第1のマイクでの周辺音響を示す第1のマイク信号と、第2のマイクでの周辺音響を示す第2のマイク信号とを含み、
前記近傍界空間統計量が、前記第1のマイク信号と前記第2のマイク信号との間のマイク間レベル差を含む、
請求項47に記載の集積回路。 - 前記周辺音響の方向を検出することが、前記周辺音響の方向が近傍界音響の受入角以内であるか否かを決定することを含む、請求項47に記載の集積回路。
- 前記周辺音響の前記近傍界空間統計量を検出することが、
正規化相互相関統計量が第1閾値よりも大きいか否かを検出することと、
干渉−近傍界所望信号比が第2閾値よりも小さいか否かを検出することと、
マイク間レベル差が、第3閾値よりも大きいか否かを検出することと
を含む、請求項47に記載の集積回路。 - 前記第2閾値が、前記周辺音響における背景雑音の推定に基づいて調整される、請求項52に記載の集積回路。
- 前記第2閾値が、前記周辺音響における背景雑音の推定に基づいて調整される、請求項52に記載の集積回路。
- 前記プロセッサが更に、
前記少なくとも1つの入力信号から、前記周辺音響の方向を検出する工程と、
前記少なくとも1つの入力信号から、前記周辺音響における背景雑音の存在を検出し、
前記少なくとも1つの入力信号から、前記周辺音響における近接発話の存在を検出し、
前記少なくとも1つの入力信号から、前記周辺音響の音量を検出し、
前記少なくとも1つの入力信号から、前記周辺音響の近傍界空間統計量を検出し、
前記方向、背景雑音の有無、前記発話の有無、前記音量、及び前記周辺音響の前記近空間統計量に基づいて、近接音響イベントを含む音響イベントの存在を検出し、
前記音響イベントの存在に応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する
ように構成されている、請求項32に記載の集積回路。 - 前記プロセッサが更に、
前記周辺音響のスペクトル成分の変化を検出し、
前記方向、背景雑音の有無、前記発話の有無、前記音量、前記周辺音響の前記近空間統計量、及び前記周辺音響の前記スペクトル成分に基づいて、近接音響イベントを含む音響イベントの存在を検出する
ように構成されている、請求項32に記載の集積回路。 - 前記少なくとも1つの入力信号が、第1のマイクでの周辺音響を示す第1のマイク信号と、第2のマイクでの周辺音響を示す第2のマイク信号とを含み、
前記近傍界空間統計量が、前記第1のマイク信号と前記第2のマイク信号との間の相関を含む、
請求項56に記載の集積回路。 - 前記少なくとも1つの入力信号が、第1のマイクでの周辺音響を示す第1のマイク信号と、第2のマイクでの周辺音響を示す第2のマイク信号とを含み、
前記近傍界空間統計量が、近傍界音響と紐づく干渉−信号比を含む、
請求項56に記載の集積回路。 - 前記少なくとも1つの入力信号が、第1のマイクでの周辺音響を示す第1のマイク信号と、第2のマイクでの周辺音響を示す第2のマイク信号とを含み、
前記近傍界空間統計量が、前記第1のマイク信号と前記第2のマイク信号との間のマイク間レベル差を含む、
請求項56に記載の集積回路。 - 前記周辺音響における近接発話の存在を検出することが、定常的背景雑音を検出することを含む、請求項56に記載の集積回路。
- 前記周辺音響における近接発話の存在を検出することが、近くで話している近接話者からの発話を検出することを含む、請求項56に記載の集積回路。
- 前記周辺音響における近接発話の存在を検出することが、前記少なくとも1つの入力信号から、前記周辺音響のスペクトル平坦性測定を検出することを含み、前記周辺音響の前記スペクトル平坦性測定を検出することが、前記周辺音響のスペクトル成分の変化を検出することを含む、請求項56に記載の集積回路。
- 音響装置における音響情報を処理するための方法であって、
通信用音響出力信号を生成することによって、前記音響装置の少なくとも1つの変換器に音響情報を複製する工程と、
前記音響装置外部の周辺音響を示す少なくとも1つの入力信号を受信する工程と、
前記少なくとも1つの入力信号から、音響イベントを検出する工程と、
前記音響イベントの検出が少なくとも所定時間継続することに応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する工程と
を含む方法。 - 少なくとも第2の所定時間の間前記音響イベントが存在しないことに応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正することを停止する工程を更に含む、請求項63に記載の方法。
- 前記音響イベントが、近傍界イベント、近接イベント、及び警報イベントのうちの少なくとも1つを含む、請求項63に記載の方法。
- 音響装置の少なくとも一部を実現するための集積回路であって、
通信用音響出力信号を生成することによって、前記音響装置の少なくとも1つの変換器に音響情報を複製するように構成された音響出力と、
前記音響装置外部の周辺音響を示す入力信号を受信するように構成されたマイク入力と、
前記入力信号から、音響イベントを検出し、
前記音響イベントの検出が少なくとも所定時間継続することに応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正する
ように構成されたプロセッサと
を含む、集積回路。 - 前記プロセッサが更に、少なくとも第2の所定時間の間前記音響イベントが存在しないことに応じて、前記少なくとも1つの変換器に複製された前記音響情報の特徴を修正することを停止するように構成されている、請求項66に記載の集積回路。
- 前記音響イベントが、近傍界イベント、近接イベント、及び警報イベントのうちの少なくとも1つを含む、請求項66に記載の集積回路。
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562202303P | 2015-08-07 | 2015-08-07 | |
US62/202,303 | 2015-08-07 | ||
US201562237868P | 2015-10-06 | 2015-10-06 | |
US62/237,868 | 2015-10-06 | ||
US201662351499P | 2016-06-17 | 2016-06-17 | |
US62/351,499 | 2016-06-17 | ||
PCT/US2016/045834 WO2017027397A2 (en) | 2015-08-07 | 2016-08-05 | Event detection for playback management in an audio device |
US15/229,429 US11621017B2 (en) | 2015-08-07 | 2016-08-05 | Event detection for playback management in an audio device |
US15/229,429 | 2016-08-05 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018527857A true JP2018527857A (ja) | 2018-09-20 |
JP2018527857A5 JP2018527857A5 (ja) | 2019-09-12 |
JP6959917B2 JP6959917B2 (ja) | 2021-11-05 |
Family
ID=56894237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018526614A Active JP6959917B2 (ja) | 2015-08-07 | 2016-08-05 | 音響装置における再生管理のためのイベント検出 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11621017B2 (ja) |
JP (1) | JP6959917B2 (ja) |
KR (1) | KR102409536B1 (ja) |
WO (1) | WO2017027397A2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6513513B2 (ja) * | 2015-07-09 | 2019-05-15 | アルプスアルパイン株式会社 | 入力装置とその制御方法及びプログラム |
US10242696B2 (en) | 2016-10-11 | 2019-03-26 | Cirrus Logic, Inc. | Detection of acoustic impulse events in voice applications |
US10475471B2 (en) * | 2016-10-11 | 2019-11-12 | Cirrus Logic, Inc. | Detection of acoustic impulse events in voice applications using a neural network |
CN107103916B (zh) * | 2017-04-20 | 2020-05-19 | 深圳市蓝海华腾技术股份有限公司 | 一种应用于音乐喷泉的音乐开始和结束检测方法及系统 |
CN110049403A (zh) * | 2018-01-17 | 2019-07-23 | 北京小鸟听听科技有限公司 | 一种基于场景识别的自适应音频控制装置和方法 |
JP2019200387A (ja) * | 2018-05-18 | 2019-11-21 | 日本電信電話株式会社 | 検知装置、その方法、およびプログラム |
US11217268B2 (en) * | 2019-11-06 | 2022-01-04 | Bose Corporation | Real-time augmented hearing platform |
US10917704B1 (en) * | 2019-11-12 | 2021-02-09 | Amazon Technologies, Inc. | Automated video preview generation |
CN114613380A (zh) * | 2020-12-04 | 2022-06-10 | 中国移动通信集团终端有限公司 | 一种录音的方法、装置、设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002516535A (ja) * | 1998-05-15 | 2002-06-04 | ピクチャーテル コーポレイション | オーディオソースの位置決定 |
JP2004013084A (ja) * | 2002-06-11 | 2004-01-15 | Sharp Corp | 音量制御装置 |
JP2004187283A (ja) * | 2002-11-18 | 2004-07-02 | Matsushita Electric Ind Co Ltd | マイクロホン装置および再生装置 |
JP2004336251A (ja) * | 2003-05-02 | 2004-11-25 | Alpine Electronics Inc | 難聴予防装置 |
WO2006011310A1 (ja) * | 2004-07-23 | 2006-02-02 | Matsushita Electric Industrial Co., Ltd. | 音声識別装置、音声識別方法、及びプログラム |
US20080091421A1 (en) * | 2003-06-17 | 2008-04-17 | Stefan Gustavsson | Device And Method For Voice Activity Detection |
US20080240458A1 (en) * | 2006-12-31 | 2008-10-02 | Personics Holdings Inc. | Method and device configured for sound signature detection |
JP2011097268A (ja) * | 2009-10-28 | 2011-05-12 | Sony Corp | 再生装置、ヘッドホン及び再生方法 |
WO2013166439A1 (en) * | 2012-05-04 | 2013-11-07 | Setem Technologies, Llc | Systems and methods for source signal separation |
US20140270200A1 (en) * | 2013-03-13 | 2014-09-18 | Personics Holdings, Llc | System and method to detect close voice sources and automatically enhance situation awareness |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4306115A (en) * | 1980-03-19 | 1981-12-15 | Humphrey Francis S | Automatic volume control system |
US7492889B2 (en) | 2004-04-23 | 2009-02-17 | Acoustic Technologies, Inc. | Noise suppression based on bark band wiener filtering and modified doblinger noise estimate |
US8126706B2 (en) | 2005-12-09 | 2012-02-28 | Acoustic Technologies, Inc. | Music detector for echo cancellation and noise reduction |
US7903825B1 (en) | 2006-03-03 | 2011-03-08 | Cirrus Logic, Inc. | Personal audio playback device having gain control responsive to environmental sounds |
US8488803B2 (en) * | 2007-05-25 | 2013-07-16 | Aliphcom | Wind suppression/replacement component for use with electronic systems |
US8275412B2 (en) * | 2008-12-31 | 2012-09-25 | Motorola Mobility Llc | Portable electronic device having directional proximity sensors based on device orientation |
US8565446B1 (en) | 2010-01-12 | 2013-10-22 | Acoustic Technologies, Inc. | Estimating direction of arrival from plural microphones |
US8712069B1 (en) * | 2010-04-19 | 2014-04-29 | Audience, Inc. | Selection of system parameters based on non-acoustic sensor information |
US9007871B2 (en) * | 2011-04-18 | 2015-04-14 | Apple Inc. | Passive proximity detection |
US20130282372A1 (en) * | 2012-04-23 | 2013-10-24 | Qualcomm Incorporated | Systems and methods for audio signal processing |
US9338551B2 (en) * | 2013-03-15 | 2016-05-10 | Broadcom Corporation | Multi-microphone source tracking and noise suppression |
US11165399B2 (en) * | 2013-12-12 | 2021-11-02 | Jawbone Innovations, Llc | Compensation for ambient sound signals to facilitate adjustment of an audio volume |
EP3211918B1 (en) * | 2014-10-20 | 2021-08-25 | Sony Group Corporation | Voice processing system |
-
2016
- 2016-08-05 KR KR1020187006440A patent/KR102409536B1/ko active IP Right Grant
- 2016-08-05 WO PCT/US2016/045834 patent/WO2017027397A2/en active Application Filing
- 2016-08-05 US US15/229,429 patent/US11621017B2/en active Active
- 2016-08-05 JP JP2018526614A patent/JP6959917B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002516535A (ja) * | 1998-05-15 | 2002-06-04 | ピクチャーテル コーポレイション | オーディオソースの位置決定 |
JP2004013084A (ja) * | 2002-06-11 | 2004-01-15 | Sharp Corp | 音量制御装置 |
JP2004187283A (ja) * | 2002-11-18 | 2004-07-02 | Matsushita Electric Ind Co Ltd | マイクロホン装置および再生装置 |
JP2004336251A (ja) * | 2003-05-02 | 2004-11-25 | Alpine Electronics Inc | 難聴予防装置 |
US20080091421A1 (en) * | 2003-06-17 | 2008-04-17 | Stefan Gustavsson | Device And Method For Voice Activity Detection |
WO2006011310A1 (ja) * | 2004-07-23 | 2006-02-02 | Matsushita Electric Industrial Co., Ltd. | 音声識別装置、音声識別方法、及びプログラム |
US20080240458A1 (en) * | 2006-12-31 | 2008-10-02 | Personics Holdings Inc. | Method and device configured for sound signature detection |
JP2011097268A (ja) * | 2009-10-28 | 2011-05-12 | Sony Corp | 再生装置、ヘッドホン及び再生方法 |
WO2013166439A1 (en) * | 2012-05-04 | 2013-11-07 | Setem Technologies, Llc | Systems and methods for source signal separation |
US20140270200A1 (en) * | 2013-03-13 | 2014-09-18 | Personics Holdings, Llc | System and method to detect close voice sources and automatically enhance situation awareness |
Also Published As
Publication number | Publication date |
---|---|
KR102409536B1 (ko) | 2022-06-17 |
WO2017027397A2 (en) | 2017-02-16 |
JP6959917B2 (ja) | 2021-11-05 |
US20170040029A1 (en) | 2017-02-09 |
WO2017027397A3 (en) | 2017-04-20 |
KR20180036778A (ko) | 2018-04-09 |
US11621017B2 (en) | 2023-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6959917B2 (ja) | 音響装置における再生管理のためのイベント検出 | |
US11614916B2 (en) | User voice activity detection | |
TWI713844B (zh) | 用於語音處理的方法及積體電路 | |
TWI720314B (zh) | 基於相關性之近場偵測器 | |
US9520139B2 (en) | Post tone suppression for speech enhancement | |
Jeub et al. | Model-based dereverberation preserving binaural cues | |
US7464029B2 (en) | Robust separation of speech signals in a noisy environment | |
JP5581329B2 (ja) | 会話検出装置、補聴器及び会話検出方法 | |
US9558755B1 (en) | Noise suppression assisted automatic speech recognition | |
US11373665B2 (en) | Voice isolation system | |
KR102578147B1 (ko) | 통신 어셈블리에서의 사용자 음성 액티비티 검출을 위한 방법, 그것의 통신 어셈블리 | |
JP2009522942A (ja) | 発話改善のためにマイク間レベル差を用いるシステム及び方法 | |
JP2018527857A5 (ja) | ||
US9225937B2 (en) | Ultrasound pairing signal control in a teleconferencing system | |
JP2023509593A (ja) | 風雑音減衰のための方法及び装置 | |
Tokgöz et al. | Real-time estimation of direction of arrival of speech source using three microphones | |
EP3332558B1 (en) | Event detection for playback management in an audio device | |
Miyahara et al. | Gain relaxation: a solution to overlooked performance degradation in speech recognition with signal enhancement | |
Madhu et al. | Source number estimation for multi-speaker localisation and tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190805 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200923 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201001 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201228 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211008 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6959917 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |