JP2020061597A - 聴覚サポートデバイス - Google Patents

聴覚サポートデバイス Download PDF

Info

Publication number
JP2020061597A
JP2020061597A JP2018189580A JP2018189580A JP2020061597A JP 2020061597 A JP2020061597 A JP 2020061597A JP 2018189580 A JP2018189580 A JP 2018189580A JP 2018189580 A JP2018189580 A JP 2018189580A JP 2020061597 A JP2020061597 A JP 2020061597A
Authority
JP
Japan
Prior art keywords
signal
user
microphones
processing unit
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018189580A
Other languages
English (en)
Other versions
JP7283652B2 (ja
Inventor
寧 本多
Yasushi Honda
寧 本多
好孝 村山
Yoshitaka Murayama
好孝 村山
聡介 久保
Sosuke Kubo
聡介 久保
太一 関口
Taichi Sekiguchi
太一 関口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cear Inc
Freecle
Freecle Inc
Original Assignee
Cear Inc
Freecle
Freecle Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cear Inc, Freecle, Freecle Inc filed Critical Cear Inc
Priority to JP2018189580A priority Critical patent/JP7283652B2/ja
Priority to CN201980078382.0A priority patent/CN113170266B/zh
Priority to US17/282,464 priority patent/US11405732B2/en
Priority to PCT/JP2019/038604 priority patent/WO2020071331A1/ja
Publication of JP2020061597A publication Critical patent/JP2020061597A/ja
Application granted granted Critical
Publication of JP7283652B2 publication Critical patent/JP7283652B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0224Processing in the time domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/02Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception adapted to be supported entirely by ear
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/45Prevention of acoustic reaction, i.e. acoustic oscillatory feedback
    • H04R25/453Prevention of acoustic reaction, i.e. acoustic oscillatory feedback electronically
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

【課題】聴覚サポートデバイスを装着したユーザが発した声を抑えることができる聴覚サポートデバイスを提供する。【解決手段】聴覚サポートデバイスでは、ユーザが装着することで、両側頭部に、分かれて配置される一対のマイクロフォンL、Rが位置し、ユーザの両耳又は其の近傍に、一対のスピーカ51、52が位置する。信号処理回路は、口元指向性音響処理部と、マイクロフォンL、Rの少なくとも一方の入力信号から、口元指向性音響処理部が処理したユーザの口元に位置する音源の音声を相対的に強調する信号を差し引くノイズキャンセル部と、を有する音響制御部を備える。【選択図】図2

Description

本発明は、ユーザに装着されて、周囲の音をマイクロフォンにより収音し、収音した音をスピーカにより放音する聴覚サポートデバイスに関する。
個人が有する聴力は、個人差があるものの有限であり、個人が有する聴力以上に周囲の音を聞くことは難しい。個人が本来有する以上の聴力を機器に頼らず発揮することは、難しいことであるが空想のようにそれが可能であるならば、人類の進化に貢献できる可能性がある。例えば助長器は、個人が有する以上の聴力を実現可能という点でその可能性を秘めている。
一般的に、助聴器はマイクロフォンとスピーカを備えており、マイクロフォンは周囲の音を収音し、スピーカより収音した音を放音する。助聴器は、収音した音をユーザが聴きとり易いレベルに増幅して放音し、助聴器は簡易的に周囲の音を聴きとり易くする目的でユーザに装着される。
また、加齢や疾患などで聴力が低下した難聴者の聴きとりの補助を行う機器として、医療機器に属する補聴器があり、補聴器も収音した音をユーザが聴きとり易いレベルに増幅して放音する点では、助聴器と同一の機能を有する。
特開2014−147023号公報
上記のような助聴器や補聴器を含む聴覚サポートデバイスにおいては、収音した音のレベルを一律に上げて放音している。そのため、聴覚サポートデバイスを装着したユーザが他人と対話することを想定する場面では、聴覚サポートデバイスはユーザの声まで収音してしまい、聴覚サポートデバイスがその音をスピーカから放音すれば、ユーザはスピーカからレベルが上がった自分の声を聴くこととなる。さらに、ユーザと対話者との会話が被った場合には、レベルが上がった自分の声により、対話者の声が聴きとりにくくなる。このため、聴覚サポートデバイスを装着したユーザが発した声を抑えることができる聴覚サポートデバイスが望まれていた。
本発明は、上記のような従来技術の問題点を解決するために成されたものであり、その目的は、ユーザに装着する聴覚サポートデバイスであって、ユーザが発した声を抑えることができる聴覚サポートデバイスを提供することにある。
上記の目的を達成するために、本発明に係る聴覚サポートデバイスは、ユーザに装着される聴覚サポートデバイスであって、ユーザの両耳又は其の近傍に分かれて位置し、音声を放出する一対のスピーカと、ユーザの両側頭部に分かれて配置される一対のマイクロフォンと、前記一対のマイクロフォン各々からの入力信号に基づき、ユーザの口元に位置する音源の音声を相対的に強調する口元音響処理部と、前記マイクロフォンの入力信号から、口元音響処理部が処理した信号を差し引くノイズキャンセル部と、を備えることを特徴とする。
前記一対のマイクロフォン各々からの入力信号に基づき、ユーザの発声を検知する発声検出部を更に備え、前記ノイズキャンセル部は、ユーザの発声を検知した場合に前記マイクロフォンの入力信号から、口元音響処理部が処理した信号を差し引くことを特徴とする。
前記一対のマイクロフォンの一方からの入力信号に基づき、ユーザの目線方向の音源の音声を相対的に強調する目線方向音響処理部をさらに備え、前記ノイズキャンセル部は、前方指向性音響処理部が処理した信号から、口元音響処理部が処理した信号を差し引いても良い。
前記目線方向音響処理部に信号を入力するマイクロフォンは、2つの無指向性のマイクロフォンからなり、前記2つの無指向性のマイクロフォンは、ユーザの目線方向の平行線上に配置しても良い。
切替信号に基づいてノイズキャンセル部を経た信号を前記スピーカに対して出力させる切替制御部を、さらに備えても良い。
前記一方のスピーカの近傍に配置される2つのマイクロフォンのブレを検出するブレ検出部と、前記ブレ検出部において一定時間以上のブレを検出しない場合には、前記切替信号を出力する切替信号出力部をさらに備えても良い。
ユーザの入力を受け付けるスイッチと、前記スイッチのON/OFFにより前記切替信号を出力する切替信号出力部をさらに備えても良い。
また、眼鏡型、首掛け形の聴覚サポートデバイスも本発明の一態様である。
本発明によれば、聴覚サポートデバイスを装着したユーザが発した声を抑えた音をマイクロフォンから放音することにより、ユーザが対話者の声や周囲の音を聴きとり易くすることができる。
第1実施形態に係る聴覚サポートデバイスの外観図である。 第1実施形態に係る聴覚サポートデバイスの内部構成を示すブロック図である。 第1実施形態に係る音響処理部の内部構成を示すブロック図である。 第1実施形態に係る音響処理部の構成を示す機能ブロック図である。 口元指向性音響処理部で処理された信号のポーラパターンを示すグラフである。 比較音響処理部で処理された信号のポーラパターンを示すグラフである。 ノイズキャンセル部で処理された信号のポーラパターンを示すグラフである。 第1実施形態に係る音響処理工程を示すフローチャートである。 第1実施形態に係る聴覚サポートデバイスの使用態様を示す模式図である。 第2実施形態に係る聴覚サポートデバイスの外観図である。 第2実施形態に係る聴覚サポートデバイスの内部構成を示すブロック図である。 第2実施形態に係る音響処理部の構成を示す機能ブロック図である。 ターゲット音響処理部で処理された信号のポーラパターンを示すグラフである。 ノイズキャンセル部で処理された信号のポーラパターンを示すグラフである。 他の実施形態に係る聴覚サポートデバイスの外観図である。
以下、本発明に係る聴覚サポートデバイスの実施形態について図面を参照しつつ詳細に説明する。
[1.第1実施形態]
(構成)
図1は、聴覚サポートデバイスの外観図である。また、図2は、聴覚サポートデバイスの内部構成を示すブロック図である。図1及び2に示すように、聴覚サポートデバイス1は、ユーザに装着され、ユーザの周囲の音を収音し、またユーザに対して収音した音を放音する。
この聴覚サポートデバイス1は、眼鏡型をしている。つまり、聴覚サポートデバイス1は、レンズを固定するリム2と、リムを支える左右のテンプル31、32と、左右のテンプル31、32の先端に位置し装着者の耳との接触部分となるツルとを備える。聴覚サポートデバイス1は、一対のマイクロフォンL、Rを眼鏡の左右のテンプル31、32に配置するとともに、左右のツルは内部にスピーカを備えたハウジング41、42を備える。
左右テンプル31、32内には無指向性のマイクロフォンL、Rが配置される。各マイクロフォンL、Rは、ユーザの両側頭部に分かれて位置し、ユーザの口元を中心に左右対称に配置されることとなる。
聴覚サポートデバイス1は、信号線を内包したコード11で、各マイクロフォンL、R及び一対の左右のハウジング41、42を接続して成る。両ハウジング41、42には、スピーカ51、52が収容されている。聴覚サポートデバイス1は、ハウジング41、42が各耳に対応するようにユーザに装着される。
図2に示すように、一方のハウジング42内には、スピーカ52の他、信号処理回路6等が収容されている。コード11内には装着者が操作するスイッチとして機能する感圧センサが内蔵されている。各マイクロフォンL、R、各スピーカ51、52、及び感圧センサ10は、信号線を介して信号処理回路6と接続されている。信号処理回路6の無い他方のハウジング41内に収容されたスピーカ51、及び両テンプル内に配置される各マイクロフォンL、Rは、ハウジング41、42を繋ぐコード11を介して信号処理回路6と接続される。
感圧センサ10は、マイクロフォンL、Rの起動、及び機能切替スイッチである。話者がコード11の外皮を介して感圧センサ10を押圧して使用される。感圧センサ10は、その押圧力を感知し、押圧力の感知に応答して信号処理回路6に操作信号を出力する。
信号処理回路6は、いわゆるプロセッサであり、マイコン、ASIC、FPGA又はDSP等を含む。この信号処理回路6は、マイク制御部7と放音制御部8と音響処理部9とを備える。
マイク制御部7は、マイクロフォンL、Rのドライバ回路である。マイク制御部7は、感圧センサ10と信号線を介して接続されている。このマイク制御部7は、感圧センサ10から操作信号が入力される度に、マイクロフォンL、Rに対する給電のオンオフを切り換える。放音制御部8は、音響処理部9で変換した信号をスピーカ51、52へ送出する。
音響処理部9は、マイクロフォンL、Rとスピーカ51、52との間に介在し、一対のマイクロフォンL、Rからの入力信号を音響処理し、スピーカ51、52へ送出する。音響処理部9で行う音響処理は、マイクロフォンL、Rの入力信号InM1(k)、InM2(k)から、ユーザの口元に位置する音源の音声を相対的に強調した信号InA(k)を差し引く。音響処理部9は、入力信号InM1(k)、InM2(k)を信号InA(k)と位相と合わせるためのフィルタC1を有しており、音響処理部9では、入力信号InM1(k)、InM2(k)と信号InA(k)と位相と合わせて差分を算出する。
音響処理部9では、入力信号InM1(k)、InM2(k)のそれぞれから信号InA(k)を差し引いても、入力信号InM1(k)、InM2(k)の何れか一方より信号InA(k)を差し引いてもよい。入力信号InM1(k)、InM2(k)のそれぞれから信号InA(k)を差し引く場合には、放音制御部8は、スピーカ51に対しては入力信号InM2(k)−信号InA(k)を出力し、スピーカ52に対しては入力信号InM1(k)−信号InA(k)を出力する。また、入力信号InM1(k)、InM2(k)の何れか一方より信号InA(k)を差し引く場合、例えば放音制御部8は、スピーカ51、2に入力信号InM1(k)−信号InA(k)を出力する。以下では、放音制御部8は、スピーカ51、52に入力信号InM1(k)−信号InA(k)を出力するものとして説明する。
図3は、音響処理部9の内部構成を示すブロック図であり、図4は、音響処理部9における機能ブロック図である。図3に示すように、音響処理部9は、切替制御部91、ターゲット音響処理部92、口元指向性音響処理部93、比較音響処理部94、発声検出部95、及びノイズキャンセル部96とを備える。
切替制御部91は、感圧センサ10からの入力に応じて、音響処理部9において、入力信号Lから信号InA(k)を差し引く処理を行うか否かの切替えを行う。すなわち、切替制御部91がONの場合には、音響処理部9において入力信号Lから信号InA(k)を差し引くが、切替制御部91がOFFの場合には、音響処理部9においてマイクロフォン入力信号Lから信号InA(k)を差し引く処理を行わず、放音制御部8は、必要に応じてマイクロフォンの入力信号Lのレベルの調整を行った信号をスピーカ51、52に対して出力する。
ターゲット音響処理部92は、入力信号Lに基づいてユーザの口元に位置する音源の音声を相対的に強調した信号InA(k)を差し引く対象となるターゲットとなる信号InC(k)を生成する。ターゲットとなる信号は、入力信号Lの位相を信号InA(k)と合わせることで生成する。そのため、ターゲット音響処理部92は、フィルタC1を備える。フィルタC1は、信号InA(k)との振幅二乗誤差が最小となるように、最小二乗法やウィーナー法により設計されるオールパスフィルターである。
つまり、信号InA(k)は、入力信号L、Rより生成するが生成の過程において、入力信号Lと位相がズレる。そのため、単に入力信号Lよりユーザの口元に位置する音源の音声を相対的に強調した信号InA(k)を差し引いても、ユーザが発した声を効果的に抑えることはできない。そこで、ターゲット音響処理部92は、入力信号LをフィルタC1を介すことで信号InC(k)を生成する。フィルタC1を経たことにより、生成した信号InC(k)の位相は、信号InA(k)と一致する。
口元指向性音響処理部93は、ユーザの口元に位置する音源の音声を相対的に強調した信号InA(k)を生成する。口元指向性音響処理部93は第1音響処理部と言い換えることができる。つまり、口元指向性音響処理部93は、一対のマイクロフォンL、Rの対称軸上に位置する音源から発せられた音響信号を相対的に強調する。口元指向性音響処理部93は、位相差又は時間差が同じ音響信号を相対的に強調し、位相差又は時間差が生じていればいるほど、音響信号を相対的に抑圧する。そのため、口元指向性音響処理部93は、フィルタA1とフィルタA2とを備える。
フィルタA1とフィルタA2とは、入力信号InM1(k)がフィルタA1を通過した信号InA1(k)と、入力信号InM2(k)がフィルタA2を通過した信号InA2(k)とを合算した信号である信号InA(k)の振幅が最大化されるように入力信号InM1(k)及び入力信号InM2(k)の位相を調整するフィルタである。フィルタA1のパラメータ係数であるH1及びフィルタA2のパラメータ係数であるH2は、口元からマイクロフォンL、Rまでの伝達関数により一義的に決定される値である。口元指向性音響処理部93が生成した信号InA(k)は、図5に示すポーラパターンを有する。
比較音響処理部94は、ユーザの口元に位置する音源以外の音声を相対的に強調した信号InB(k)を生成する。比較音響処理部94では、一対のマイクロフォンL、Rの対称軸上に位置する音源以外から発せられた音響信号を相対的に強調する。そのため、比較音響処理部94は、フィルタB1とフィルタB2とを備える。
フィルタB1とフィルタB2とは、入力信号InM1(k)がフィルタB1を通過した信号InB1(k)と、入力信号InM2(k)がフィルタB2を通過した信号InB2(k)とを合算した信号である信号InB(k)の振幅が最小化されるように入力信号InM1(k)及び入力信号InM2(k)の位相を調整するフィルタである。フィルタB1のパラメータ係数であるH3及びフィルタB2のパラメータ係数であるH4は、口元からマイクロフォンL、Rまでの伝達関数により一義的に決定される値である。比較音響処理部94が生成した信号InB(k)は、図6に示すポーラパターンを有する。
発声検出部95は、口元指向性音響処理部93で処理した信号InA(k)、比較音響処理部94で処理した信号InB(k)、及び所定の閾値に基づいて、ユーザが発声の有無の検出を行う。発声検出部95では、口元指向性音響処理部93を経た信号InA(k)と比較音響処理部94を経た信号InB(k)との比を閾値thと比較する。これにより、ユーザの発声の有無の検知を行う。ユーザが発声を行っていない場合には、信号Aと信号Bの強度に大きな差は生じない。一方、ユーザが発生を行った場合には、ユーザの口元に位置する音源の音声を相対的に強調した信号Aの強度が大きく成る。そのため、信号A/信号Bとすることで、強度の差はより強調される。この強調された強度を、強度に関する閾値である閾値thと比較し、閾値thを超えていればユーザが発声としていると判定する。
ノイズキャンセル部96は、発声検出部95においてユーザが発声したと判定した場合に、ターゲット音響処理部92で処理した信号InC(k)から、ユーザの口元に位置する音源以外の音声を相対的に強調した信号InA(k)を差し引く。信号InC(k)から信号InA(k)を差し引く方法としては、スペクトル減算法や、MMSE−STSA法や、ウィーナーフィルタリング法などを用いることができる。ノイズキャンセル部を経た信号においては、図7に示すポーラパターンにおいて、実線部分より点線部分を差し引いた特性を有する。
(作用)
以上のような構成を有する本実施形態では、デバイスのサポートを必要とする場合には、聴覚サポートデバイス1を頭部に装着している必要がある。聴覚サポートデバイス1は眼鏡型であるため、ユーザが視力の矯正が必要な場合には、度入りレンズを装着することで、常に装着していることとなる。また、視力の矯正が必要で無い場合には、必要に応じて装着しても良い。この場合にでも、眼鏡型であるため、ユーザは周囲から聴覚サポートを行うデバイスを装着していると気が付かれずに聴覚サポートデバイス1を装着することができる。
ユーザが聴覚サポートデバイス1を装着すると、左右のテンプル31、32に配置されるマイクロフォンL、Rは、ユーザの両側頭部に分かれて位置し、ユーザの口元を中心に左右対称に配置されることとなる。また、スピーカ51、2はユーザの左右の耳の近傍に配置される。
聴覚サポートデバイス1の電源がON、つまりマイク制御部7がマイクロフォンL、Rの給電を開始又は維持している状態で、ユーザが感圧センサ10を操作し、通常モードと自分の声抑制モードとの切替えを行う。通常モードとは、マイクロフォンL、Rからの信号のレベルを調整した信号をスピーカ51、52より放音するモードであり、マイクロフォンL、Rからの信号に対してユーザの声を抑制する処理を行わないモードである。一方、自分の声抑制モードとは、マイクロフォンL、Rからの信号に対してユーザが発した声を抑える処理を行うモードである。以下、図8を参考にして、聴覚サポートデバイス1の動作を説明する。
自分の声抑制モードが選択されると、マイクロフォンL、Rからの入力信号InM1(k)と入力信号InM2(k)の入力先が音響処理部9に切り替えられる(S01)。
入力信号InM1(k)と入力信号InM2(k)が入力された口元指向性音響処理部93では、入力信号InM1(k)と入力信号InM2(k)に基づいてユーザの口元に位置する音源の音声を相対的に強調した信号InA(k)を生成する(S02)。
また、入力信号InM1(k)と入力信号InM2(k)が入力された比較音響処理部94では、入力信号InM1(k)と入力信号InM2(k)に基づいてユーザの口元に位置する音源以外の音声を相対的に強調した信号InB(k)を生成する(S03)。
入力信号InM1(k)が入力するターゲット音響処理部92は、入力信号InM1(k)に基づいて信号InC(k)を生成する(S04)。
そして、発声検出部95により口元指向性音響処理部93で処理した信号InA(k)、比較音響処理部94で処理した信号InB(k)、及び所定の閾値に基づいて、ユーザが発声の有無の検出を行う(S05)。発声検出部95において、ユーザの発声を検出した場合(S05のYES)には、ノイズキャンセル部96により、信号InC(k)から信号InA(k)を差し引いた信号に基づきスピーカ51、52へ送出する(S06)。一方、ユーザの発声を検出しない場合(S05のNO)には、ノイズキャンセル部96で信号InC(k)から信号InA(k)を差し引かず、信号InC(k)のみをスピーカ51、52へ送出する(S07)。そして、信号InC(k)または信号InC(k)から信号InA(k)を差し引いた信号に基づいてスピーカから放音する(S08)。これを、自分の声抑制モードの終了または聴覚サポートデバイス1の電源がOFFになるまで繰り返す(S09)。
ここで、図9は、聴覚サポートデバイス1の使用態様を示す模式図である。聴覚サポートデバイス1をユーザが装着すると、テンプル31、32に収納されたマイクロフォンL、Rは両側頭部に位置する。マイクロフォンL、Rが配置される位置は、リムより等距離であるため、マイクロフォンL、Rは、口元Mを中心にしてほぼ左右対称位置に存在する。すなわち、口元Mは、マイクロフォンL、Rの対称軸AS上に存在する音源となる。
口元指向性音響処理部93は、位相差又は時間差が同じ音響信号を相対的に強調し、位相差又は時間差が生じていればいるほど、音響信号を相対的に抑圧する。対称軸AS上の音源から発せられる音響信号は同位相及び同着である。そのため、口元指向性音響処理部93では、口元Mを含む単一指向性の範囲EUが形成され、口元指向性音響処理部93を経た信号InA(k)では、ユーザの音声が相対的に強調され、周囲の雑音は相対的に抑制されることとなる。
一方、ターゲット音響処理部92に入力された入力信号InM1(k)は、無指向性のマイクロフォンLにより収音された信号であり、ターゲット音響処理部92が算出する信号InC(k)も特定の方向の指向性を有するものではない。すなわち、信号InC(k)はユーザの周囲の音を均等に収音して信号である。ユーザが発声した場合に、ノイズキャンセル部96で信号InC(k)から信号InA(k)を差し引くことは、ユーザの周囲の音を均等に収音して信号から、ユーザが発声した音声を差し引くということと換言することができる。
(効果)
(1)以上のように、本実施形態に係る聴覚サポートデバイス1では、ユーザが装着することで、両側頭部に分かれて配置される一対のマイクロフォンL、Rが位置し、ユーザの両耳又は其の近傍は、一対のスピーカが位置する。一例としては、眼鏡型聴覚サポートデバイス1のように、テンプル31、32にマイクロフォンL、Rを配置し、ツルと一体化したハウジングにスピーカ51、52を収容するようにした。そして、一対のマイクロフォンL、Rからの入力信号に基づき、ユーザの口元に位置する音源の音声を相対的に強調する口元指向性音響処理部93と、少なくとも何れか一方のマイクロフォンL、Rの入力信号から、口元指向性音響処理部93が処理した信号を差し引くノイズキャンセル部とを備えるようにした。
口元指向性音響処理部93では、マイクロフォンL、Rからの入力信号は、両マイクロフォンL、Rの対称軸上に位置する話者の口から発せられる音声を相対的に強調するように音響処理し、信号InA(k)とする。一方、ターゲット音響処理部92では、マイクロフォンL、Rの入力信号の位相を信号InA(k)と合わせ、信号InC(k)とする。信号InC(k)から信号InA(k)を差し引くことで、ユーザの周囲の音を均等に収音して信号から、ユーザが発声した音声を差し引くことができる。
(2)また、マイクロフォンL、Rからの入力信号に基づいてユーザの発声を検知する発声検出部95を更に備えている。ユーザが対話者と会話する場合に、常に声を発しているわけではなく、声を発声するタイミングは限られる。ユーザが声を発していない場合にも、フィルタリングを行いユーザの周囲の音を均等に収音して信号からユーザの口元に位置する音源の音声を相対的に強調した信号を引くと、スピーカから放音される音は逆に不自然なものとなる。そのため、フィルタリングを行うタイミングは、ユーザの発声を検知した場合にのみ行うことが望ましい。発声検出部95では、マイクロフォンL、Rからの入力信号InM1(k)と入力信号InM2(k)に基づいてユーザが発声を検知することができるので、付加的な構成によらずユーザが発声を検知した場合にのみユーザの周囲の音を均等に収音して信号から、ユーザが発声した音声を差し引くことができる。
(3)さらに、感圧センサ10からの切替信号に基づいてユーザが発した声のフィルタリングを行うか否かの切替を行う切替制御部91を備える。周囲の環境や個人差によっては、周囲の音を均等に収音して信号からユーザが発声した音声を差し引くことで、ユーザが違和感を感じる可能性がある。その場合には、切替制御部91により、フィルタリングのON/OFFの選択をしても良い。
(4)また、切替制御部91は、感圧センサからの信号だけでなく、聴覚サポートデバイス1のブレを検出するブレ検知センサからの信号に基づいて、ユーザが発した声のフィルタリングを行うか否かの切替えを行っても良い。例えば、マイクロフォンL、Rをブレ検知センサとして用いることもできる。マイクロフォンL、Rのダイヤグラムを監視することで、聴覚サポートデバイス1のブレを検出する。聴覚サポートデバイス1がブレていない場合には、ユーザの視線が一定であり対話者の方に視線が固定されている、換言すれば会話中であると判定することができる。会話中であれば、ユーザが発声する可能性は高い為、周囲の音からユーザが発声した音声を差し引く必要性が高くなる。一方、聴覚サポートデバイス1がブレている場合には、ユーザが会話中でないと判定することで、周囲の音からユーザが発声した音声を差し引くことを控えることができる。
[2.第2実施形態]
(構成)
本発明を実施するための第2の実施形態について、図面を参照して説明する。本実施形態では、実施形態のマイクロフォンLは、1つの無指向性のマイクロフォンであったが、本実施形態のマイクロフォンLは、2つの無指向性のマイクロフォンからなる。図10は、第2実施形態の聴覚サポートデバイス1の外観図であり、図11は、第2実施形態の聴覚サポートデバイス1の構成を示すブロック図である。
図10、図11に示すように、左テンプル31は、2つの無指向性のマイクロフォンL1、L2が配置される。ここで、マイクロフォンL1は、リムに近い位置に配置され、マイクロフォンL2は、リムより遠い位置、換言すればハウジング42側に配置される。マイクロフォンL1、L2は、聴覚サポートデバイス1をユーザが装着した場合、ユーザを真上及び真横から見た場合において、マイクロフォンL1、L2は、ユーザの目線方向と平行となる線上に配置される。これにより、ユーザの頭が上下左右に動いた場合でも、マイクロフォンL1、L2を用いて前方への指向性を合成した場合に、ユーザの視線方向と一致した指向性を得ることが可能となる。
図12は、音響制御部の機能を示す機能ブロック図である。図12に示すように、音響処理部9は、マイクロフォンR、L1、L2からの入力信号を音響処理し、スピーカ51、52へ送出する。音響処理部9で行う音響処理は、マイクロフォンL1、L2で収音した信号に基づいてユーザの視線方向の指向性を強調した信号InC(k)と、マイクロフォンR、L1で収音した信号に基づいてユーザの口元に位置する音源の音声を相対的に強調した信号InA(k)を生成し、信号InC(k)から信号InA(k)を差し引く処理を行う。
ターゲット音響処理部92は、マイクロフォンL1からの入力信号InM2(k)とマイクロフォンL2からの入力信号InM3(k)に基づいてユーザの視線方向の指向性を強調した信号InC(k)を生成する。加えて、ターゲット音響処理部92は、信号InC(k)の位相を信号InA(k)の位相と一致させる。本実施形態におけるターゲット音響処理部92は、第2音響処理部と言い換えることができる。ターゲット音響処理部92は、フィルタC1とフィルタC2とを備える。
フィルタC1とフィルタC2とは、入力信号InM2(k)がフィルタC1を通過した信号InC1(k)と、入力信号InM3(k)がフィルタC2を通過した信号InC2(k)とを合算した信号である信号InC(k)が、ユーザの視線方向の指向性を有するように、入力信号InM2(k)と入力信号InM3(k)の位相を調整するフィルタである。さらに、フィルタC1とフィルタC2には、信号InC(k)の位相を信号InA(k)の位相と一致させるために、信号InC(k)と信号InA(k)の振幅二乗誤差が最小になるように設計された、位相調整機能も備わっている。フィルタC1のパラメータ係数であるH5及びフィルタC2のパラメータ係数であるH6は、ユーザの視線方向の対話者からマイクロフォンL1、L2までの伝達関数により一義的に決定される値である。ターゲット音響処理部92が生成した信号InC(k)は、図13に示すポーラパターンを有する。
ノイズキャンセル部96は、発声検出部95においてユーザが発声したと判定した場合に、ターゲット音響処理部92で処理した信号InC(k)から、ユーザの口元に位置する音源以外の音声を相対的に強調した信号InA(k)を差し引く。信号InC(k)から信号InA(k)を差し引いた信号においては、図14に示すポーラパターンにおいて、実線部分より点線部分を差し引いた特性を有する。
(作用、効果)
以上のような構成を有する本実施形態では、聴覚サポートデバイス1を頭部に装着し、聴覚サポートデバイス1の電源がONになっている状態において、自分の声抑制モードが選択されると、マイクロフォンL1、L2から合成した前方への指向性を有する信号に対してユーザが発した声を抑える処理を行う。
(1)本実施形態の聴覚サポートデバイス1では、マイクロフォンRと対になるマイクロフォンLを、2つの無指向性マイクロフォンL1、L2より構成した。そして、マイクロフォンL1、L2を用いてユーザの目線方向の音源の音声を相対的に強調した信号InC(k)を生成した。そして、ノイズキャンセル部では、ユーザの目線方向の音源の音声を相対的に強調した信号InC(k)から、ユーザの口元に位置する音源以外の音声を相対的に強調した信号InB(k)を差し引く処理を行う。これにより、ユーザの前方の音を強調した信号から、ユーザが発声した音声を差し引くことができる。ユーザが会話を行う場合、ユーザの視線方向には会話対象となる対話者が位置していることが多い。ユーザの前方に指向性を向けることで対話者の言葉を強調した信号から、ユーザが発声した音声を差し引くことができる。
(2)本実施形態では、マイクロフォンRと対になるマイクロフォンLを、2つの無指向性マイクロフォンL1、L2とした。ユーザの視線方向の音を強調することを、2つの無指向性のマイクのみを使い行っている。一般的に指向性を有するマイクロフォンは、大型化する傾向にある。そのため、テンプル内部に配置することは難しい。無指向性のマイクロフォンを2つのみを用いてユーザの視線方向の音を強調することができるので、サイズの制限のあるテンプル内に配置可能なマイクロフォンのみで、ユーザの視線方向の音を強調することが可能となった。これにより、聴覚サポートデバイス1を眼鏡型にした場合にでも、テンプルのデザインの自由度が生じる。一方、このような制約にとらわれなければ、マイクロフォンLを2つの無指向性マイクロフォンL1、L2とするのではなく、指向性を有する1つのマイクロフォンとすることもできる。これにより、ユーザの前方に指向性を向けることで対話者の言葉を強調した信号から、信号から、ユーザが発声した音声を差し引くことができる。
[3.他の実施形態]
本発明は、上記の実施形態に限定されるものではなく、下記に示す他の実施形態も包含する。また、本発明は、上記の実施形態を全て又はいずれかを組み合わせた形態も包含する。さらに、これらの実施形態を発明の範囲を逸脱しない範囲で、種々の省略や置き換え、変更を行うことができ、その変形も本発明に含まれる。
例えば、聴覚サポートデバイス1は、眼鏡型としたが、ユーザが装着可能であればこれに限らない。図15は、他の実施形態における聴覚サポートデバイス1の外観を示す外観図である。図15に示す聴覚サポートデバイス1は、バンド型である。
バンド型の聴覚サポートデバイス1の場合、左右のハウジング41、42にマイクロフォンL、R、スピーカ51、52及び信号処理回路6が配置される。左右のハウジング41、42は、首掛けバンド部12で支持される。首掛けバンド部内部には、コード11が埋没され、コード11で一対のハウジング41、42が接続して成る。
バンド型の聴覚サポートデバイス1においても、信号InC(k)から信号InA(k)を差し引くことで、ユーザの周囲の音を均等に収音した信号やユーザの視線方向の音を強調した信号から、ユーザが発声した音声を差し引くことができる。
1…聴覚サポートデバイス
2…リム
31、32…テンプル
41、42…ハウジング
51、52…スピーカ
6…信号処理回路
7…マイク制御部
8…放音制御部
9…音響処理部
91…切替制御部
92…ターゲット音響処理部
93…口元指向性音響処理部
94…比較音響処理部
95…発声検出部
96…ノイズキャンセル部
10…感圧センサ
11…コード
12…バンド部

Claims (10)

  1. ユーザに装着される聴覚サポートデバイスであって、
    ユーザの両側頭部に分かれて配置される一対のマイクロフォンと、
    ユーザの両耳又は其の近傍に分かれて位置し、音声を放出する一対のスピーカと、
    前記一対のマイクロフォン各々からの入力信号に基づき、ユーザの口元に位置する音源の音声を相対的に強調する第1音響処理部と、
    前記マイクロフォンの入力信号から、第1音響処理部が処理した信号を差し引くノイズキャンセル部と、
    を備えることを特徴とする聴覚サポートデバイス。
  2. 前記一対のマイクロフォン各々からの入力信号に基づき、ユーザの発声を検知する発声検出部を更に備え、
    前記ノイズキャンセル部は、ユーザの発声を検知した場合に前記マイクロフォンの入力信号から、前記第1音響処理部が処理した信号を差し引くことを特徴とする請求項1に記載の聴覚サポートデバイス。
  3. 前記一対のマイクロフォンの一方は、2つの無指向性のマイクロフォンからなり、
    前記2つの無指向性のマイクロフォンからの入力信号に基づき、ユーザの目線方向の音源の音声を相対的に強調する第2音響処理部をさらに備え、
    前記ノイズキャンセル部は、前記第2音響処理部が処理した信号から、第1音響処理部が処理した信号を差し引くことを特徴とする請求項1または請求項2に記載の聴覚サポートデバイス。
  4. 前記2つの無指向性のマイクロフォンは、ユーザの目線方向と平行となる線上に配置されることを特徴とする請求項3に記載の聴覚サポートデバイス。
  5. 前記一対のマイクロフォンの一方からの入力信号に基づき、ユーザの目線方向の音源の音声を相対的に強調する第2音響処理部をさらに備え、
    前記ノイズキャンセル部は、
    前記第2音響処理部が処理した信号から、第1音響処理部が処理した信号を差し引くことを特徴とする請求項1または請求項2に記載の聴覚サポートデバイス。
  6. 切替信号に基づいてノイズキャンセル部を経た信号を前記スピーカに対して出力させる切替制御部を、さらに備えることを特徴とする請求項1乃至5の何れか1項に記載の聴覚サポートデバイス。
  7. 前記一方のスピーカの近傍に配置される2つのマイクロフォンのブレを検出するブレ検出部と、
    前記ブレ検出部において一定時間以上のブレを検出しない場合には、前記切替信号を出力する切替信号出力部をさらに備えることを特徴とする請求項6に記載の聴覚サポートデバイス。
  8. ユーザの入力を受け付けるスイッチと、
    前記スイッチのON/OFFにより前記切替信号を出力する切替信号出力部をさらに備えることを特徴とする請求項6または請求項7に記載の聴覚サポートデバイス。
  9. レンズを固定するリムと、前記リムを両側から支持するテンプルを更に備え、
    前記一対のマイクロフォンは、それぞれのテンプルに分かれて配置されることを特徴とする請求項1に記載の聴覚サポートデバイス。
  10. 首にかけるバンド部を更に備え、
    前記一対のマイクロフォンと前記一対のスピーカは、
    前記バンド部の両端に分かれて配置されることを特徴とする請求項1に記載の聴覚サポートデバイス。

JP2018189580A 2018-10-04 2018-10-04 聴覚サポートデバイス Active JP7283652B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018189580A JP7283652B2 (ja) 2018-10-04 2018-10-04 聴覚サポートデバイス
CN201980078382.0A CN113170266B (zh) 2018-10-04 2019-09-30 听觉辅助器件
US17/282,464 US11405732B2 (en) 2018-10-04 2019-09-30 Hearing assistance device
PCT/JP2019/038604 WO2020071331A1 (ja) 2018-10-04 2019-09-30 聴覚サポートデバイス

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018189580A JP7283652B2 (ja) 2018-10-04 2018-10-04 聴覚サポートデバイス

Publications (2)

Publication Number Publication Date
JP2020061597A true JP2020061597A (ja) 2020-04-16
JP7283652B2 JP7283652B2 (ja) 2023-05-30

Family

ID=70055150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018189580A Active JP7283652B2 (ja) 2018-10-04 2018-10-04 聴覚サポートデバイス

Country Status (4)

Country Link
US (1) US11405732B2 (ja)
JP (1) JP7283652B2 (ja)
CN (1) CN113170266B (ja)
WO (1) WO2020071331A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PE20220875A1 (es) * 2019-10-10 2022-05-26 Shenzhen Shokz Co Ltd Dispositivo de audio
US20220377468A1 (en) * 2021-05-18 2022-11-24 Comcast Cable Communications, Llc Systems and methods for hearing assistance
US20220392479A1 (en) * 2021-06-04 2022-12-08 Samsung Electronics Co., Ltd. Sound signal processing apparatus and method of processing sound signal

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0193298A (ja) * 1987-10-02 1989-04-12 Pilot Pen Co Ltd:The 自己音声感度抑圧型補聴器
JPH0490298A (ja) * 1990-08-02 1992-03-24 Matsushita Electric Ind Co Ltd 補聴器
JP2001112096A (ja) * 1999-10-01 2001-04-20 Masaharu Ashikawa 補聴用具
JP2011097268A (ja) * 2009-10-28 2011-05-12 Sony Corp 再生装置、ヘッドホン及び再生方法
JP2013081042A (ja) * 2011-10-03 2013-05-02 Kanya Matsumoto 聴力補助具
JP2014059544A (ja) * 2012-08-24 2014-04-03 21:Kk 補聴器付き眼鏡
JP2016039632A (ja) * 2014-08-05 2016-03-22 株式会社ベルウクリエイティブ 眼鏡型補聴器
WO2016063462A1 (ja) * 2014-10-24 2016-04-28 ソニー株式会社 イヤホン

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5548790B1 (ja) 2013-01-30 2014-07-16 進 庄司 集音マイク付き開放型イヤフォンおよび難聴用補助器
CN103646587B (zh) 2013-12-05 2017-02-22 北京京东方光电科技有限公司 一种智能眼镜及其控制方法
EP3188495B1 (en) * 2015-12-30 2020-11-18 GN Audio A/S A headset with hear-through mode
WO2017158507A1 (en) * 2016-03-16 2017-09-21 Radhear Ltd. Hearing aid
JP6659498B2 (ja) * 2016-08-30 2020-03-04 京セラ株式会社 生体情報測定装置、生体情報測定システム、生体情報の測定方法
EP3416167B1 (en) * 2017-06-16 2020-05-13 Nxp B.V. Signal processor for single-channel periodic noise reduction

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0193298A (ja) * 1987-10-02 1989-04-12 Pilot Pen Co Ltd:The 自己音声感度抑圧型補聴器
JPH0490298A (ja) * 1990-08-02 1992-03-24 Matsushita Electric Ind Co Ltd 補聴器
JP2001112096A (ja) * 1999-10-01 2001-04-20 Masaharu Ashikawa 補聴用具
JP2011097268A (ja) * 2009-10-28 2011-05-12 Sony Corp 再生装置、ヘッドホン及び再生方法
JP2013081042A (ja) * 2011-10-03 2013-05-02 Kanya Matsumoto 聴力補助具
JP2014059544A (ja) * 2012-08-24 2014-04-03 21:Kk 補聴器付き眼鏡
JP2016039632A (ja) * 2014-08-05 2016-03-22 株式会社ベルウクリエイティブ 眼鏡型補聴器
WO2016063462A1 (ja) * 2014-10-24 2016-04-28 ソニー株式会社 イヤホン

Also Published As

Publication number Publication date
US20210385587A1 (en) 2021-12-09
WO2020071331A1 (ja) 2020-04-09
JP7283652B2 (ja) 2023-05-30
US11405732B2 (en) 2022-08-02
CN113170266B (zh) 2022-12-09
CN113170266A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
JP7354209B2 (ja) 両側性マイクロホンアレイにおける風雑音を制御すること
JP6850954B2 (ja) 補聴装置との間のストリーミング通信のための方法および装置
CN111902866B (zh) 头戴式耳机中的双耳自适应噪声消除系统中的回声控制
US10748549B2 (en) Audio signal processing for noise reduction
US9949048B2 (en) Controlling own-voice experience of talker with occluded ear
JP6675414B2 (ja) 複数のマイクロホンを使用する音声感知
US9860656B2 (en) Hearing system comprising a separate microphone unit for picking up a users own voice
US9094749B2 (en) Head-mounted sound capture device
CN110089130B (zh) 两用双边麦克风阵列
WO2009144774A1 (ja) マイクを外耳道開口部に設置する耳掛型補聴器
CA2949929A1 (en) Methods circuits devices systems and associated computer executable code for acquiring acoustic signals
WO2019024394A1 (zh) 上行降噪耳机
CN113498005A (zh) 适于提供用户自我话音的估计量的听力装置
WO2020071331A1 (ja) 聴覚サポートデバイス
JP6514599B2 (ja) 眼鏡型補聴器
US11122373B2 (en) Hearing device configured to utilize non-audio information to process audio signals
US11417307B2 (en) Selective audio isolation from body generated sound system and method
CN116134838A (zh) 使用个性化声音简档的音频系统
CN114390419A (zh) 包括自我话音处理器的听力装置
CN113543003A (zh) 包括定向系统的便携装置
CN117156364A (zh) 包括声源定位估计器的助听器或助听器系统
US11523229B2 (en) Hearing devices with eye movement detection
US20080205677A1 (en) Hearing apparatus with interference signal separation and corresponding method
JP2019054385A (ja) 集音機器、補聴器、及び集音機器セット

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230502

R150 Certificate of patent or registration of utility model

Ref document number: 7283652

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150