JP2019083515A - 音源定位バイノーラル聴覚システム - Google Patents
音源定位バイノーラル聴覚システム Download PDFInfo
- Publication number
- JP2019083515A JP2019083515A JP2018189501A JP2018189501A JP2019083515A JP 2019083515 A JP2019083515 A JP 2019083515A JP 2018189501 A JP2018189501 A JP 2018189501A JP 2018189501 A JP2018189501 A JP 2018189501A JP 2019083515 A JP2019083515 A JP 2019083515A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- electronic
- user
- microphone
- binaural hearing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/552—Binaural
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/558—Remote control, e.g. of amplification, frequency
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Stereophonic System (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
(1)聴覚閾値レベルの上昇としての聴力損失
(2)聴力正常者と比較して、ノイズの中、会話を理解する能力の低下。多くの聴覚障害患者は、到来する音声に対する可聴度を増幅により回復した状態でも、ノイズ中音声明瞭度(speech−in−noise intelligibility)テストの結果が、聴力正常者よりも劣っていた。語音聴取閾値(SRT)は、音声を認識する能力の欠如の測定基準であり、ノイズ下聴き取りテストにおいて、50%正しく音声を理解できる場合の信号に必要な信号雑音比として定義される。
バイノーラル聴覚システムは、と、電子モノラル信号受信器と、DOA推定部と、バイノーラルフィルタを備えており、
前記バイノーラル聴覚機器は、
前記バイノーラル聴覚システムのユーザの第1の耳に装着されるように適用され、第1組のマイクロフォンを収容する第1ハウジングであって、前記第1組のマイクロフォンが、前記第1組のマイクロフォンに到来する音声を、第1組の対応するマイクロフォン出力信号に変換する、第1ハウジングと、
前記バイノーラル聴覚システムのユーザの第2の耳に装着されるように適用され、第2組のマイクロフォンを収容する第2ハウジングであって、前記第2組のマイクロフォンが、前記第2組のマイクロフォンに到来する音声を、第2組の対応するマイクロフォン出力信号に変換する、第2ハウジングと、
第1出力トランスデューサであって、前記バイノーラル聴覚機器着用の際に、前記第1出力トランスデューサに供給される第1トランスデューサオーディオ信号を、前記ユーザの前記第1の耳で人の聴覚系により受信可能な第1音響出力信号に変換する、第1出力トランスデューサと、
第2出力トランスデューサであって、前記バイノーラル聴覚機器着用の際に、前記第2出力トランスデューサに供給される第2トランスデューサオーディオ信号を、前記ユーザの前記第2の耳で人の聴覚系により受信可能な第2音響出力信号に変換する、第2出力トランスデューサと、を有しており、
前記電子モノラル信号受信器は、
モノラル信号送信器から発せられる電子モノラル信号を受信し、前記電子モノラル信号を復号化し、出力するように適用されており、
前記モノラル信号送信器は、前記ユーザから離れて位置する音源から発せられる音声を符号化することにより前記電子モノラル信号を生成し、
前記音源から発せられる前記音声は、前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一部が前記電子モノラル信号に対応するように、前記バイノーラル聴覚システムに伝播し、
前記DOA推定部は、
前記第1組および前記第2組のマイクロフォン出力信号を前記電子モノラル信号と相関して、前記第1組および前記第2組のマイクロフォンの指向性伝達関数を提供するように適用されており、
前記バイノーラルフィルタは、
前記指向性伝達関数、即ち到来方向に基づく伝達関数により前記電子モノラル信号をフィルタリングすることで、前記第1および前記第2出力トランスデューサにそれぞれ前記第1および前記第2トランスデューサオーディオ信号を提供し、それによって前記ユーザに前記変換された電子モノラル信号が前記音源から到来すると聴こえるように知覚させるように適用される。
前記電子モノラル信号に対応する前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一部を強調するために、
前記第1組のマイクロフォン出力信号の選択されたマイクロフォン出力信号と、前記電子モノラル信号との相互相関をとり、第1組のフィルタリングされたマイクロフォン出力信号を提供することと、
前記第2組のマイクロフォン出力信号の選択されたマイクロフォン出力信号と、前記電子モノラル信号との相互相関をとり、第2組のフィルタリングされたマイクロフォン出力信号を提供することと、
前記第1組および前記第2組のフィルタリングされたマイクロフォン出力信号に基づいてDOAを推定することと、
によって、音源から発せられる音声のDOAを推定するように適用されてもよい。
Mic1i(t)を前記第1組のマイクロフォン出力信号のマイクロフォン出力信号、
iを前記第1組のマイクロフォン出力信号の前記マイクロフォン出力信号の指数、
Micj2(t)を前記第2組のマイクロフォン出力信号のマイクロフォン出力信号、
jを前記第2組のマイクロフォン出力信号の前記マイクロフォン出力信号の指数、
Rm_n(t’)を受信された電子モノラル信号、
nを前記電子モノラル信号を発信した前記モノラル信号送信器の指数、
t’を時間tまたは逆転時間T−t、
Tを前記フィルタリングが因果的(causal)となるように付加された任意の定数、
演算子*を畳み込み演算子として、
第1組のフィルタリングされたマイクロフォン出力信号F1i(t)=Mici1(t)*Rm_n(t’)を提供することと、
第2組のフィルタリングされたマイクロフォン出力信号F2j(t)=Micj2(t)*Rm_n(t’)を提供することと、
によって、音源によって発信された音声のDOAの推定を行い、第1および第2組のマイクロフォン出力信号の、受信した電子モノラル信号Rm_n(t’)に対応する少なくとも一部を強調することと、
第1および第2組のフィルタリングされたマイクロフォン出力信号F1i(t)、F2j(t)に基づいて到来方向を推定することと、を行うように適用されてもよい。
前記バイノーラル聴覚システムは、前記バイノーラル聴覚システムのユーザの第1の耳に装着される第1組のマイクロフォンと、前記ユーザの第2の耳に装着される第2組のマイクロフォンと、電子入力であって、前記電子入力で受信した電子モノラル信号を提供する前記電子入力と、を有している。
前記方法は、
前記第1組および前記第2組のマイクロフォンのそれぞれから提供される第1組および第2組のマイクロフォン出力信号を、前記電子モノラル信号と相関して、前記第1組および前記第2組のマイクロフォンの指向性伝達関数を提供することと、
前記指向性伝達関数に基づく伝達関数により前記電子モノラル信号をフィルタリングすることと、を備える。
前記第1組のマイクロフォン出力信号の選択されたマイクロフォン出力信号を前記電子モノラル信号と相互相関して、第1組のフィルタリングされたマイクロフォン出力信号を提供するステップと、
前記第2組のマイクロフォン出力信号の選択されたマイクロフォン出力信号を前記電子モノラル信号と相互相関して、第2組のフィルタリングされたマイクロフォン出力信号を提供するステップと、を備えてもよい。
前記電子モノラル信号に対応する前記第1および前記第2組のマイクロフォン出力信号の少なくとも一部は、前記第1組および第2組のフィルタリングされたマイクロフォン出力信号に強調されている。
バイノーラル聴覚システムは、当該バイノーラル聴覚システムのユーザの第1の耳に装着される第1組のマイクロフォンと、前記ユーザの第2の耳に装着される第2組のマイクロフォンと、電子入力であって、前記電子入力で受信される電子モノラル信号を提供する電子入力と、を有している。
前記方法は、
Mic1i(t)を前記第1組のマイクロフォン出力信号のマイクロフォン出力信号、
iを前記第1組のマイクロフォン出力信号の前記マイクロフォン出力信号の指数、
Micj2(t)を前記第2組のマイクロフォン出力信号のマイクロフォン出力信号、
jを前記第2組のマイクロフォン出力信号の前記マイクロフォン出力信号の指数、
Rm_n(t’)を受信された電子モノラル信号、
nを前記電子モノラル信号を発信した前記モノラル信号送信器の指数、
t’を時間tまたは逆転時間T−t、
Tを前記フィルタリングが因果的となるように付加された任意の定数、
演算子*を畳み込み演算子として、
第1組のフィルタリングされたマイクロフォン出力信号F1i(t)=Mici1(t)*Rm_n(t’)を提供することと、
第2組のフィルタリングされたマイクロフォン出力信号F2j(t)=Micj2(t)*Rm_n(t’)を提供することと、
によって、前記電子入力で受信した前記電子モノラル信号に関連付けられた音源から発せられた音声の、前記ユーザに対する到来方向を推定して、前記選択されたマイクロフォン出力信号の、前記電子モノラル信号Rm_n(t’)に対応する少なくとも一部を強調することと、
前記第1および第2組のフィルタリングされたマイクロフォン出力信号F1i(t)、F2j(t)に基づいて、前記到来方向を推定することと、
前記到来方向に基づく伝達関数で前記電子モノラル信号をフィルタリングすることと、を備える。
前記第1および第2組のフィルタリングされたマイクロフォン出力信号の少なくとも1つから選択されたフィルタリングされたマイクロフォン出力信号間の前記時間遅延を判定することと、
前記モノラル信号送信器が前記ユーザの前方に存在するか、後方に存在するかを、前記相互相関に基づいて判定することと、を含んでもよい。
h(t)=Rm_n(−t)または、
h(t)=Rm_n(t)である。
F(t)=Mic(t)*Rm_n(−t)、
式中、F(t)はフィルタリングされたマイクロフォン出力信号であり、
Mic(t)は、ユーザの左耳に配置された1つまたは複数のマイクロフォンにより形成された、または1つまたは複数のマイクロフォンの組み合わせにより形成された出力信号の1つ、或いはユーザの右耳に配置された1つまたは複数のマイクロフォンにより形成された、または1つまたは複数のマイクロフォンの組み合わせにより形成された出力信号の1つであり、
Rm_n(−t)は、選択された時間逆転の電子モノラル信号であり、
演算子*は畳み込み演算子である。
F(t)=Mic(t)*Rm_n(−t)または、
F(t)=Mic(t)*Rm_n(t)。
F(t)=Mic(t)*Rm_n(T-t)。
以下に、ユーザの音環境に存在する、複数のN個のモノラル信号送信器のn番目のモノラル信号送信器に関連付けられたn番目の音源に対するDOAを推定する方法をより詳細に説明する。n番目の音源は、発話を含む電子モノラル信号を無線送信するスパウスマイクロフォンを使用して発話する人物であってもよい。
左耳:
EF_LF(t)=Hi_LF(t)*Rm_n(−t)
EF_LR(t)=Hi_LR(t)*Rm_n(−t)
右耳:
EF_RF(t)=Hi_RF(t)*Rm_n(−t)
EF_RR(t)=Hi_RR(t)*Rm_n(−t)
式中、
Hi_LF(t)は、左耳の前側マイクロフォンの出力信号Mic21(t)、
EF_LF(t)は、左耳の前側マイクロフォンについて確立された相関フィルタの対応出力信号、
Hi_LRは、左耳の後側マイクロフォンの出力信号Mic22(t)、
EF_LR(t)は、左耳の後側マイクロフォンについて確立された相関フィルタの対応出力信号、
Hi_RFは、右耳の前側マイクロフォンの出力信号Mic11(t)、
EF_RF(t)は、右耳の前側マイクロフォンについて確立された相関フィルタの対応出力信号、
Hi_RRは、右耳の後側マイクロフォンの出力信号Mic11(t)、
EF_RR(t)は、右耳の後側マイクロフォンについて確立された相関フィルタの対応出力信号、
*は畳み込み演算子である。
S(t)=EF_LF(t)*EF_RF(−t)+EF_LR(t)*EF_RR(−t)
U(t)=EF_LF(t)*EF_LR(−t)+EF_RF(t)*EF_RR(−t)
Yn_L(t)=HRTF_L(φn、t)*Rm_n(t)
Yn_R(t)=HRTF_R(φn、t)*Rm_n(t)
Yn_L(t)とYn_R(t)とをユーザの左耳、右耳にそれぞれ提供することで
n番目のモノラル信号送信器からの、n番目の電子モノラル信号Rm_n(t)に、DOAについての情報が付与される。
Y_L(t)=Y1_L(t)+Y2_L(t)+…+Yn_L(t)+…+YN_L(t)
Y_R(t)=Y1_R(t)+Y2_R(t)+…+Yn_R(t)+…+YN_R(t)。
電子モノラル信号をフィルタリングし、信号群からそれぞれ選択される第1および第2出力信号を出力するように適用されるバイノーラルフィルタを備えてもよく、前記信号群は、
推定DOAに基づく位相シフトにより位相がシフトされた電子モノラル信号と、
推定DOAに基づくゲインが乗算される電子モノラル信号と、
ゲインが乗算され、位相が位相シフトによりシフトされた電子モノラル信号であって、ゲインと位相シフトが推定DOAに基づく電子モノラル信号とから成り、
第1および第2出力信号は、第1および第2出力トランスデューサにそれぞれ供給されて、第1および第2トランスデューサオーディオ信号を構成することで、ユーザは、変換された電子モノラル信号が推定DOAから到来するように聴こえるように知覚する。
EF_RF(t)=Hi_RF(t)*Rm_n(−t)となり、
式中、Hi_RF(t)は右耳における前側マイクロフォン24の出力信号40であり、
EF_RF(t)は右耳における前側マイクロフォン24に対して確立された相関フィルタ32の対応する強調出力信号48である。
EF_RR(t)=Hi_RR(t)*Rm_n(−t)となり、
式中、Hi_RR(t)は右耳における後側マイクロフォン26の出力信号42であり
EF_RR(t)は右耳における後側マイクロフォンに対して確立された相関フィルタ34の対応する強調出力信号50である。
EF_LR(t)=Hi_LR(t)*Rm_n(−t)となり、
式中、Hi_LR(t)は左耳における後側マイクロフォン28の出力信号44であり、
EF_LR(t)は左耳における後側マイクロフォン28に対して確立された相関フィルタ36の対応する強調出力信号52である。
EF_LF(t)=Hi_LF(t)*Rm_n(−t)となり、
式中、Hi_LF(t)は左耳における前側マイクロフォン30の出力信号46であり、
EF_LF(t)は左耳における前側マイクロフォン30に対して確立された相関フィルタ38の対応する強調出力信号54である。
S1(t)=EF_LF(t)*EF_RF(−t)
式中、S1(t)は相関フィルタ56の出力信号60であり、EF_LF(t)は出力信号54であり、EF_RF(t)は出力信号48である。
S2(t)=EF_LR(t)*EF_RR(−t)
式中、S2(t)は相関フィルタ58の出力信号62であり、EF_LR(t)は出力信号52であり、EF_RR(t)は出力信号50である。
S(t)=EF_LF(t)*EF_RF(−t)+EF_LR(t)*EF_RR(−t)
が形成される。式中、S(t)は加算器64の出力信号66である。
U1(t)=EF_LF(t)*EF_LR(−t)が得らえる。
式中、U1(t)は相関フィルタ72の出力信号76であり、EF_LF(t)は出力信号54であり、EF_LR(t)は出力信号52である。
U2(t)=EF_RF(t)*EF_RR(−t)が得られる。
式中、U2(t)は相関フィルタ74の出力信号78であり、EF_RF(t)は出力信号48であり、EF_RR(t)は出力信号50である。
U(t)=EF_LF(t)*EF_LR(−t)+EF_RF(t)*EF_RR(−t)
が形成される。式中、U(t)は加算器80の出力信号82である。
Yn_L(t)=hrtf_L(φ、t)*Rm_n(t)
Yn_R(t)=hrtf_R(φ、t)*Rm_n(t)
そして、Yn_L(t)とYn_R(t)とがそれぞれユーザ1500の左耳と右耳に提供される(図示省略)。
Y_L(t)=Y1_L(t)+Y2_L(t)+…+Yn_L(t)+…+YN_L(t)
Y_R(t)=Y1_R(t)+Y2_R(t)+…+Yn_R(t)+…+YN_R(t)
以下の項目は、出願時の特許請求の範囲に記載の要素である。
(項目1)
バイノーラル聴覚システムであって、
バイノーラル聴覚機器と、電子モノラル信号受信器と、到来方向推定部と、バイノーラルフィルタを備えており、
前記バイノーラル聴覚機器は、
前記バイノーラル聴覚システムのユーザの第1の耳に装着されるように適用され、第1組のマイクロフォンを収容する第1ハウジングであって、前記第1組のマイクロフォンが、前記第1組のマイクロフォンに到来する音声を、第1組の対応するマイクロフォン出力信号に変換する、第1ハウジングと、
前記バイノーラル聴覚システムの前記ユーザの第2の耳に装着されるように適用され、第2組のマイクロフォンを収容する第2ハウジングであって、前記第2組のマイクロフォンが、前記第2組のマイクロフォンに到来する音声を、第2組の対応するマイクロフォン出力信号に変換する、第2ハウジングと、
第1出力トランスデューサであって、前記バイノーラル聴覚機器着用の際に、前記第1出力トランスデューサに供給される第1トランスデューサオーディオ信号を、前記ユーザの前記第1の耳で人の聴覚系により受信可能な第1音響出力信号に変換する、第1出力トランスデューサと、
第2出力トランスデューサであって、前記バイノーラル聴覚機器着用の際に、前記第2出力トランスデューサに供給される第2トランスデューサオーディオ信号を、前記ユーザの前記第2の耳で人の聴覚系により受信可能な第2音響出力信号に変換する、第2出力トランスデューサと、を有しており、
前記電子モノラル信号受信器は、
モノラル信号送信器から発せられる電子モノラル信号を受信し、
前記電子モノラル信号を復号化し、出力するように適用されており、
前記モノラル信号送信器は、前記ユーザから離れて位置する音源から発せられる音声を符号化することにより前記電子モノラル信号を生成し、
前記音源から発せられる前記音声は、前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一部が前記電子モノラル信号に対応するように、前記バイノーラル聴覚システムに伝播し、
前記到来方向推定部は、
前記第1組および前記第2組のマイクロフォン出力信号を前記電子モノラル信号と相関して、前記第1組および前記第2組のマイクロフォンの指向性伝達関数を提供するように適用されており、
前記バイノーラルフィルタは、
前記指向性伝達関数に基づく伝達関数により前記電子モノラル信号をフィルタリングすることで、前記第1および前記第2出力トランスデューサにそれぞれ前記第1および前記第2トランスデューサオーディオ信号を提供し、それによって前記ユーザに前記変換された電子モノラル信号が前記音源から到来すると聴こえるように知覚させる、ように適用されるバイノーラル聴覚システム。
(項目2)
前記到来方向推定部は、
前記電子モノラル信号に対応する前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一部を強調するために、
前記第1組のマイクロフォン出力信号の選択されたマイクロフォン出力信号と、前記電子モノラル信号との相互相関をとり、第1組のフィルタリングされたマイクロフォン出力信号を提供することと、
前記第2組のマイクロフォン出力信号の選択されたマイクロフォン出力信号と、前記電子モノラル信号との相互相関をとり、第2組のフィルタリングされたマイクロフォン出力信号を提供することと、
前記第1組および前記第2組のフィルタリングされたマイクロフォン出力信号に基づいて、前記到来方向を推定することと、によって、
前記音源から発せられる前記音声の前記ユーザでの前記到来方向を推定するように適用される、項目1に記載のバイノーラル聴覚システム。
(項目3)
前記到来方向推定部は、前記第1および前記第2組のマイクロフォン出力信号の一方から選択されたマイクロフォン信号の相互相関をとり、前記相互相関に基づいて、前記モノラル信号送信器に関連付けられる前記音源が、前記ユーザの前方に位置するか、前記ユーザの後方に位置するするかを判定するように適用される、項目2に記載のバイノーラル聴覚システム。
(項目4)
前記到来方向推定部は、前記相互相関の結果が最大となる第1の時間遅延を判定し、前記第1の時間遅延の符号に基づいて、前記モノラル信号送信器に関連付けられる前記音源が、前記ユーザの前方に位置するか、前記ユーザの後方に位置するかを判定するように適用される、項目3に記載のバイノーラル聴覚システム。
(項目5)
前記到来方向推定部は、前記第1組のマイクロフォン出力信号から選択されたマイクロフォン出力信号と、前記第2組のマイクロフォン出力信号から選択されたマイクロフォン出力信号との相互相関をとり、前記相互相関に基づいて、前記到来方向を推定するように適用される、項目1から4のいずれか一項に記載のバイノーラル聴覚システム。
(項目6)
前記到来方向推定部は、前記第1組のマイクロフォン出力信号から選択されたマイクロフォン出力信号と、前記第2組のマイクロフォン出力信号から選択されたマイクロフォン出力信号との相互相関の結果が最大となる第2の時間遅延を判定し、前記第2の時間遅延を両耳間時間差として判定するように適用される、項目5に記載のバイノーラル聴覚システム。
(項目7)
前記到来方向推定部は、前記両耳間時間差に基づいて、前記到来方向を推定するように適用される、項目6に記載のバイノーラル聴覚システム。
(項目8)
前記到来方向推定部は、前記両耳間時間差と前記第1の時間遅延の前記符号とに基づいて、前記到来方向を推定するように適用される、項目4および7に記載のバイノーラル聴覚システム。
(項目9)
前記バイノーラルフィルタは、前記電子モノラル信号をフィルタリングし、前記第1および前記第2トランスデューサオーディオ信号を出力するように適用されており、
前記第1および前記第2トランスデューサオーディオ信号は、
前記推定到来方向に基づいて、互いに位相がシフトしている前記第1および前記第2トランスデューサオーディオ信号と、
前記推定到来方向に基づいて、相互ゲイン差により増幅された前記第1および前記第2トランスデューサオーディオ信号と、
前記推定到来方向に基づいて、互いに位相がシフトしており、相互ゲイン差により増幅された前記第1および前記第2トランスデューサオーディオ信号と、
から成る信号群から選択される、項目1から8のいずれか一項に記載のバイノーラル聴覚システム。
(項目10)
前記バイノーラルフィルタの指向性伝達関数は、頭部伝達関数(Head Related Transfer Function)に略等しい、項目9に記載のバイノーラル聴覚システム。
(項目11)
前記バイノーラルフィルタは、前記電子モノラル信号を複数の周波数チャネルで個別に処理するように適用される、項目1から10のいずれか一項に記載のバイノーラル聴覚システム。
(項目12)
前記ユーザの前記頭部に装着されて、ユーザ頭部の動きについての情報を含むトラッキング信号を提供し、前記到来方向推定部に提供するように構成されるヘッドトラッカーをさらに備える、項目1から11のいずれか一項に記載のバイノーラル聴覚システム。
(項目13)
前記第1および前記第2聴覚機器は、前記ユーザの聴力損失を補償するように適用される聴力損失プロセッサを備える補聴器である、項目1から12のいずれか一項に記載のバイノーラル聴覚システム。
(項目14)
バイノーラル聴覚システムで電子モノラル信号を処理する方法であって、
前記バイノーラル聴覚システムは、前記バイノーラル聴覚システムのユーザの第1の耳に装着される第1組のマイクロフォンと、前記ユーザの第2の耳に装着される第2組のマイクロフォンと、電子入力であって、前記電子入力で受信した電子モノラル信号を提供する前記電子入力と、を有しており、
前記方法は、
前記第1組および前記第2組のマイクロフォンのそれぞれから提供される第1組および第2組のマイクロフォン出力信号を、前記電子モノラル信号と相関して、前記第1組および前記第2組のマイクロフォンの指向性伝達関数を提供することと、
前記指向性伝達関数に基づく伝達関数により前記電子モノラル信号をフィルタリングすることと、を備える方法。
(項目15)
前記第1組および前記第2組のマイクロフォンのそれぞれから提供される前記第1組および前記第2組のマイクロフォン出力信号の選択されたマイクロフォン出力信号を、前記電子モノラル信号と相互相関して、前記電子モノラル信号に対応する前記第1および前記第2組のマイクロフォン出力信号の少なくとも一部が強調された第1組および第2組のフィルタリングされたマイクロフォン出力信号のそれぞれを提供することを備える、項目14に記載の方法。
(項目16)
前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一方から選択されたマイクロフォン信号を相互相関することと、
前記相互相関に基づいて、前記モノラル信号送信器に関連付けられる音源が、前記ユーザの前方に位置するか、前記ユーザの後方に位置するするかを判定することと、を備える項目15に記載の方法。
Claims (16)
- バイノーラル聴覚システムであって、
バイノーラル聴覚機器と、電子モノラル信号受信器と、到来方向推定部と、バイノーラルフィルタを備えており、
前記バイノーラル聴覚機器は、
前記バイノーラル聴覚システムのユーザの第1の耳に装着されるように適用され、第1組のマイクロフォンを収容する第1ハウジングであって、前記第1組のマイクロフォンが、前記第1組のマイクロフォンに到来する音声を、第1組の対応するマイクロフォン出力信号に変換する、第1ハウジングと、
前記バイノーラル聴覚システムの前記ユーザの第2の耳に装着されるように適用され、第2組のマイクロフォンを収容する第2ハウジングであって、前記第2組のマイクロフォンが、前記第2組のマイクロフォンに到来する音声を、第2組の対応するマイクロフォン出力信号に変換する、第2ハウジングと、
第1出力トランスデューサであって、前記バイノーラル聴覚機器着用の際に、前記第1出力トランスデューサに供給される第1トランスデューサオーディオ信号を、前記ユーザの前記第1の耳で人の聴覚系により受信可能な第1音響出力信号に変換する、第1出力トランスデューサと、
第2出力トランスデューサであって、前記バイノーラル聴覚機器着用の際に、前記第2出力トランスデューサに供給される第2トランスデューサオーディオ信号を、前記ユーザの前記第2の耳で人の聴覚系により受信可能な第2音響出力信号に変換する、第2出力トランスデューサと、を有しており、
前記電子モノラル信号受信器は、
モノラル信号送信器から発せられる電子モノラル信号を受信し、
前記電子モノラル信号を復号化し、出力するように適用されており、
前記モノラル信号送信器は、前記ユーザから離れて位置する音源から発せられる音声を符号化することにより前記電子モノラル信号を生成し、
前記音源から発せられる前記音声は、前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一部が前記電子モノラル信号に対応するように、前記バイノーラル聴覚システムに伝播し、
前記到来方向推定部は、
前記第1組および前記第2組のマイクロフォン出力信号を前記電子モノラル信号と相関して、前記第1組および前記第2組のマイクロフォンの指向性伝達関数を提供するように適用されており、
前記バイノーラルフィルタは、
前記指向性伝達関数に基づく伝達関数により前記電子モノラル信号をフィルタリングすることで、前記第1および前記第2出力トランスデューサにそれぞれ前記第1および前記第2トランスデューサオーディオ信号を提供し、それによって前記ユーザに前記変換された電子モノラル信号が前記音源から到来すると聴こえるように知覚させる、ように適用されるバイノーラル聴覚システム。 - 前記到来方向推定部は、
前記電子モノラル信号に対応する前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一部を強調するために、
前記第1組のマイクロフォン出力信号の選択されたマイクロフォン出力信号と、前記電子モノラル信号との相互相関をとり、第1組のフィルタリングされたマイクロフォン出力信号を提供することと、
前記第2組のマイクロフォン出力信号の選択されたマイクロフォン出力信号と、前記電子モノラル信号との相互相関をとり、第2組のフィルタリングされたマイクロフォン出力信号を提供することと、
前記第1組および前記第2組のフィルタリングされたマイクロフォン出力信号に基づいて、前記到来方向を推定することと、によって、
前記音源から発せられる前記音声の前記ユーザでの前記到来方向を推定するように適用される、請求項1に記載のバイノーラル聴覚システム。 - 前記到来方向推定部は、前記第1および前記第2組のマイクロフォン出力信号の一方から選択されたマイクロフォン信号の相互相関をとり、前記相互相関に基づいて、前記モノラル信号送信器に関連付けられる前記音源が、前記ユーザの前方に位置するか、前記ユーザの後方に位置するするかを判定するように適用される、請求項2に記載のバイノーラル聴覚システム。
- 前記到来方向推定部は、前記相互相関の結果が最大となる第1の時間遅延を判定し、前記第1の時間遅延の符号に基づいて、前記モノラル信号送信器に関連付けられる前記音源が、前記ユーザの前方に位置するか、前記ユーザの後方に位置するかを判定するように適用される、請求項3に記載のバイノーラル聴覚システム。
- 前記到来方向推定部は、前記第1組のマイクロフォン出力信号から選択されたマイクロフォン出力信号と、前記第2組のマイクロフォン出力信号から選択されたマイクロフォン出力信号との相互相関をとり、前記相互相関に基づいて、前記到来方向を推定するように適用される、請求項1から4のいずれか一項に記載のバイノーラル聴覚システム。
- 前記到来方向推定部は、前記第1組のマイクロフォン出力信号から選択されたマイクロフォン出力信号と、前記第2組のマイクロフォン出力信号から選択されたマイクロフォン出力信号との相互相関の結果が最大となる第2の時間遅延を判定し、前記第2の時間遅延を両耳間時間差として判定するように適用される、請求項5に記載のバイノーラル聴覚システム。
- 前記到来方向推定部は、前記両耳間時間差に基づいて、前記到来方向を推定するように適用される、請求項6に記載のバイノーラル聴覚システム。
- 前記到来方向推定部は、前記両耳間時間差と前記第1の時間遅延の前記符号とに基づいて、前記到来方向を推定するように適用される、請求項4および7に記載のバイノーラル聴覚システム。
- 前記バイノーラルフィルタは、前記電子モノラル信号をフィルタリングし、前記第1および前記第2トランスデューサオーディオ信号を出力するように適用されており、
前記第1および前記第2トランスデューサオーディオ信号は、
前記推定到来方向に基づいて、互いに位相がシフトしている前記第1および前記第2トランスデューサオーディオ信号と、
前記推定到来方向に基づいて、相互ゲイン差により増幅された前記第1および前記第2トランスデューサオーディオ信号と、
前記推定到来方向に基づいて、互いに位相がシフトしており、相互ゲイン差により増幅された前記第1および前記第2トランスデューサオーディオ信号と、
から成る信号群から選択される、請求項1から8のいずれか一項に記載のバイノーラル聴覚システム。 - 前記バイノーラルフィルタの指向性伝達関数は、頭部伝達関数(Head Related Transfer Function)に略等しい、請求項9に記載のバイノーラル聴覚システム。
- 前記バイノーラルフィルタは、前記電子モノラル信号を複数の周波数チャネルで個別に処理するように適用される、請求項1から10のいずれか一項に記載のバイノーラル聴覚システム。
- 前記ユーザの前記頭部に装着されて、ユーザ頭部の動きについての情報を含むトラッキング信号を提供し、前記到来方向推定部に提供するように構成されるヘッドトラッカーをさらに備える、請求項1から11のいずれか一項に記載のバイノーラル聴覚システム。
- 前記第1および前記第2聴覚機器は、前記ユーザの聴力損失を補償するように適用される聴力損失プロセッサを備える補聴器である、請求項1から12のいずれか一項に記載のバイノーラル聴覚システム。
- バイノーラル聴覚システムで電子モノラル信号を処理する方法であって、
前記バイノーラル聴覚システムは、前記バイノーラル聴覚システムのユーザの第1の耳に装着される第1組のマイクロフォンと、前記ユーザの第2の耳に装着される第2組のマイクロフォンと、電子入力であって、前記電子入力で受信した電子モノラル信号を提供する前記電子入力と、を有しており、
前記方法は、
前記第1組および前記第2組のマイクロフォンのそれぞれから提供される第1組および第2組のマイクロフォン出力信号を、前記電子モノラル信号と相関して、前記第1組および前記第2組のマイクロフォンの指向性伝達関数を提供することと、
前記指向性伝達関数に基づく伝達関数により前記電子モノラル信号をフィルタリングすることと、を備える方法。 - 前記第1組および前記第2組のマイクロフォンのそれぞれから提供される前記第1組および前記第2組のマイクロフォン出力信号の選択されたマイクロフォン出力信号を、前記電子モノラル信号と相互相関して、前記電子モノラル信号に対応する前記第1および前記第2組のマイクロフォン出力信号の少なくとも一部が強調された第1組および第2組のフィルタリングされたマイクロフォン出力信号のそれぞれを提供することを備える、請求項14に記載の方法。
- 前記第1組および前記第2組のマイクロフォン出力信号の少なくとも一方から選択されたマイクロフォン信号を相互相関することと、
前記相互相関に基づいて、前記モノラル信号送信器に関連付けられる音源が、前記ユーザの前方に位置するか、前記ユーザの後方に位置するするかを判定することと、を備える請求項15に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17194985.2 | 2017-10-05 | ||
EP17194985.2A EP3468228B1 (en) | 2017-10-05 | 2017-10-05 | Binaural hearing system with localization of sound sources |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019083515A true JP2019083515A (ja) | 2019-05-30 |
JP2019083515A5 JP2019083515A5 (ja) | 2021-11-11 |
Family
ID=60022003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018189501A Ceased JP2019083515A (ja) | 2017-10-05 | 2018-10-04 | 音源定位バイノーラル聴覚システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11438713B2 (ja) |
EP (1) | EP3468228B1 (ja) |
JP (1) | JP2019083515A (ja) |
CN (1) | CN109640235B (ja) |
DK (1) | DK3468228T3 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020220720A1 (zh) * | 2019-04-30 | 2020-11-05 | 深圳市韶音科技有限公司 | 一种声学输出装置 |
US10834507B2 (en) * | 2018-05-03 | 2020-11-10 | Htc Corporation | Audio modification system and method thereof |
EP3761668B1 (en) * | 2019-07-02 | 2023-06-07 | Sonova AG | Hearing device for providing position data and method of its operation |
EP4011094A1 (en) * | 2019-08-08 | 2022-06-15 | GN Hearing A/S | A bilateral hearing aid system and method of enhancing speech of one or more desired speakers |
US11062723B2 (en) | 2019-09-17 | 2021-07-13 | Bose Corporation | Enhancement of audio from remote audio sources |
EP3941092A1 (en) * | 2020-07-16 | 2022-01-19 | Sonova AG | Fitting of hearing device dependent on program activity |
CN115250412A (zh) * | 2021-04-26 | 2022-10-28 | Oppo广东移动通信有限公司 | 音频处理方法、装置、无线耳机及计算机可读介质 |
US11856370B2 (en) | 2021-08-27 | 2023-12-26 | Gn Hearing A/S | System for audio rendering comprising a binaural hearing device and an external device |
DE102021211278B3 (de) * | 2021-10-06 | 2023-04-06 | Sivantos Pte. Ltd. | Verfahren zur Bestimmung einer HRTF und Hörgerät |
US20230319488A1 (en) * | 2022-03-29 | 2023-10-05 | The Board Of Trustees Of The University Of Illinois | Crosstalk cancellation and adaptive binaural filtering for listening system using remote signal sources and on-ear microphones |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160112811A1 (en) * | 2014-10-21 | 2016-04-21 | Oticon A/S | Hearing system |
JP2017085362A (ja) * | 2015-10-28 | 2017-05-18 | 国立研究開発法人情報通信研究機構 | 立体音再生装置およびプログラム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1316240B1 (en) * | 2000-07-14 | 2005-11-09 | GN ReSound as | A synchronised binaural hearing system |
JP4543014B2 (ja) | 2006-06-19 | 2010-09-15 | リオン株式会社 | 聴音装置 |
JP5249207B2 (ja) | 2006-06-23 | 2013-07-31 | ジーエヌ リザウンド エー/エス | 適応性のある方向性信号処理を備えた補聴装置 |
DK2347603T3 (en) * | 2008-11-05 | 2016-02-01 | Hear Ip Pty Ltd | System and method for producing a directional output signal |
JP5409786B2 (ja) | 2009-06-17 | 2014-02-05 | パナソニック株式会社 | 補聴装置 |
CN102428717B (zh) | 2009-08-11 | 2016-04-27 | 贺尔知识产权公司 | 估计声音波达方向的系统和方法 |
DK2537353T3 (en) | 2010-02-19 | 2018-06-14 | Sivantos Pte Ltd | Apparatus and method for directional spatial noise reduction |
US9215535B2 (en) * | 2010-11-24 | 2015-12-15 | Sonova Ag | Hearing assistance system and method |
EP2584794A1 (en) * | 2011-10-17 | 2013-04-24 | Oticon A/S | A listening system adapted for real-time communication providing spatial information in an audio stream |
EP2876900A1 (en) | 2013-11-25 | 2015-05-27 | Oticon A/S | Spatial filter bank for hearing system |
US9432778B2 (en) * | 2014-04-04 | 2016-08-30 | Gn Resound A/S | Hearing aid with improved localization of a monaural signal source |
CN104980869A (zh) | 2014-04-04 | 2015-10-14 | Gn瑞声达A/S | 改进的单声道信号源定位的助听器 |
DK3041270T3 (da) * | 2014-12-30 | 2019-08-05 | Gn Hearing As | Fremgangsmåde til overlejring af rumlige auditive markeringer på eksternt opfangede mikrofonsignaler |
JP6762091B2 (ja) | 2014-12-30 | 2020-09-30 | ジーエヌ ヒアリング エー/エスGN Hearing A/S | 外部からピックアップされたマイクロホン信号の上に空間聴覚キューを重ね合わせる方法 |
EP3248393B1 (en) * | 2015-01-22 | 2018-07-04 | Sonova AG | Hearing assistance system |
DK3108929T3 (da) | 2015-06-22 | 2020-08-31 | Oticon Medical As | Lydbehandling til et bilateralt cochleaimplantatsystem |
EP3157268B1 (en) | 2015-10-12 | 2021-06-30 | Oticon A/s | A hearing device and a hearing system configured to localize a sound source |
-
2017
- 2017-10-05 DK DK17194985.2T patent/DK3468228T3/da active
- 2017-10-05 EP EP17194985.2A patent/EP3468228B1/en active Active
-
2018
- 2018-09-13 US US16/130,780 patent/US11438713B2/en active Active
- 2018-09-30 CN CN201811157433.2A patent/CN109640235B/zh active Active
- 2018-10-04 JP JP2018189501A patent/JP2019083515A/ja not_active Ceased
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160112811A1 (en) * | 2014-10-21 | 2016-04-21 | Oticon A/S | Hearing system |
JP2017085362A (ja) * | 2015-10-28 | 2017-05-18 | 国立研究開発法人情報通信研究機構 | 立体音再生装置およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3468228B1 (en) | 2021-08-11 |
DK3468228T3 (da) | 2021-10-18 |
CN109640235A (zh) | 2019-04-16 |
US20190110137A1 (en) | 2019-04-11 |
EP3468228A1 (en) | 2019-04-10 |
CN109640235B (zh) | 2022-02-25 |
US11438713B2 (en) | 2022-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10869142B2 (en) | Hearing aid with spatial signal enhancement | |
US11438713B2 (en) | Binaural hearing system with localization of sound sources | |
US10431239B2 (en) | Hearing system | |
US9307331B2 (en) | Hearing device with selectable perceived spatial positioning of sound sources | |
US9930456B2 (en) | Method and apparatus for localization of streaming sources in hearing assistance system | |
US9432778B2 (en) | Hearing aid with improved localization of a monaural signal source | |
JP6193844B2 (ja) | 選択可能な知覚空間的な音源の位置決めを備える聴覚装置 | |
US11805364B2 (en) | Hearing device providing virtual sound | |
EP2351384A1 (en) | Method of rendering binaural stereo in a hearing aid system and a hearing aid system | |
EP2928213B1 (en) | A hearing aid with improved localization of a monaural signal source | |
EP2806661B1 (en) | A hearing aid with spatial signal enhancement | |
EP2887695B1 (en) | A hearing device with selectable perceived spatial positioning of sound sources | |
US11856370B2 (en) | System for audio rendering comprising a binaural hearing device and an external device | |
DK201370280A1 (en) | A hearing aid with spatial signal enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210930 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210930 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220408 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220510 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20221220 |