JP6980695B2 - 特定音フィルタ処理装置及び特定音フィルタ処理方法 - Google Patents

特定音フィルタ処理装置及び特定音フィルタ処理方法 Download PDF

Info

Publication number
JP6980695B2
JP6980695B2 JP2018555048A JP2018555048A JP6980695B2 JP 6980695 B2 JP6980695 B2 JP 6980695B2 JP 2018555048 A JP2018555048 A JP 2018555048A JP 2018555048 A JP2018555048 A JP 2018555048A JP 6980695 B2 JP6980695 B2 JP 6980695B2
Authority
JP
Japan
Prior art keywords
sound
filter processing
signal
user
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018555048A
Other languages
English (en)
Other versions
JPWO2018105668A1 (ja
Inventor
直希 安良岡
幸生 多田
潤 井上
旬 臼井
光希 有田
成廉 早川
実穂 京谷
一樹 ▲高▼野
保彦 旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Yamaha Corp
Original Assignee
Fujitsu Ltd
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Yamaha Corp filed Critical Fujitsu Ltd
Publication of JPWO2018105668A1 publication Critical patent/JPWO2018105668A1/ja
Application granted granted Critical
Publication of JP6980695B2 publication Critical patent/JP6980695B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091Details not provided for in groups H04R1/1008 - H04R1/1083
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016Earpieces of the intra-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response

Description

本発明は、利用者の耳に装着される音響装置及び該音響装置における音響処理方法であって、その利用者に聞かせる音を選択する機能を有する音響装置及び音響処理方法に関する。
人間の聴覚機能を計算機で実現することに関し、CASA(Computational Auditory Scene Analysis)と呼ばれる技術分野が知られている(例えば非特許文献1)。この技術分野では、混合音の分離法の実現が注目されている。
亀岡弘和,ルルー・ジョナトン,小野順貴,嵯峨山茂樹、"調波時間構造化クラスタリングによるCASAへのアプローチ"、[online]、[平成28年10月27日検索]、インターネット〈URL:http://hil.t.u-tokyo.ac.jp/~kameoka/paper/Kameoka2006H10.pdf〉
人物が日ごろ耳にする音には、その人物が積極的に聞きたい音もあれば、そうではない音もある。前者の音は、例えば、会話の音声等の日常生活に必要な音、又は野鳥の鳴き声のような快適な音である。後者の音は、例えば、近くで行われている工事の音、又は頻繁に通過する自動車のエンジン音等の重低音等の、その人物にとって不快な音である。また、同じ音であっても、その音を積極的に聞きたい状況と、そうではない状況との両方があり得る。
本発明は、上述した背景の下になされたものであり、利用者の耳に装着される音響装置及び該音響装置における音響処理方法であって、利用者に聞かせる外部の音を変化させることのできる音響装置及び音響処理方法を提供することを目的とする。
上述した課題を解決するため、本発明の音響装置は、利用者の耳又は耳穴に装着されたときに、前記利用者の耳穴と外部の空間とを仕切る部材と、音を示す音信号を取得する取得部と、前記取得部で取得された音信号にフィルタ処理を施す音処理部であって、前記フィルタ処理を所定の条件に応じて変化させる音処理部と、前記フィルタ処理が施された音信号が示す音を、前記耳穴に放射する放音部と、を備える音響装置を提供する。
また、本発明は、音を示す音信号を取得する取得工程と、前記取得工程で取得された音信号にフィルタ処理を施すフィルタ処理工程と、フィルタ処理工程における前記フィルタ処理を所定の条件に応じて変化させる音処理工程と、前記フィルタ処理が施された音信号が示す音を、耳穴に放射する放音工程と、を備える音響処理方法を提供する。
本発明によれば、利用者の耳に装着される音響装置及び該音響装置における音響処理方法であって、利用者に聞かせる外部の音を変化させることのできる音響装置及び音響処理方法を提供することができる。
図1は、本発明の一実施形態に係る音響装置を装着した利用者を示す図である。 図2は、同実施形態に係る音響装置を装着した利用者の耳の周辺を拡大した図である。 図3は、同実施形態に係る信号処理部の電気的な構成を示すブロック図である。 図4は、同実施形態に係る音響装置で実行される処理の一例を示すフローチャートである。
[実施形態]
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係る音響装置10を装着した利用者Uを示す図である。図2は、音響装置10を装着した利用者Uの耳100の周辺を拡大した図である。図1及び図2には、利用者Uの右耳に音響装置10が装着された様子が示されているが、左耳にも音響装置10が装着されているものとする。なお、図面においては、本実施形態の構成を分かりやすくするため、各要素の寸法を実際の寸法とは異ならせてある。
音響装置10は、外観がカナル型のイヤホンと同等である。即ち、音響装置10は、耳100の耳穴200に装着された状態で使用される。音響装置10は、外部の音が耳穴200に透過しにくい構造となっている。音響装置10は、小型且つ軽量である。よって、利用者Uは、音響装置10を使用した状態で移動することができる。
音響装置10は、筐体11と、イヤーピース12と、検出部13と、信号処理部14と、放音部15とを含む。筐体11は、筒状の部材である。筐体11の内部には、検出部13、信号処理部14、及び放音部15が収容されている。筐体11は、耳穴200に装着されたときに、耳穴200を塞いで、耳穴200と外部の空間とを仕切る部材である。イヤーピース12は、筒状の部材である。イヤーピース12は、筐体11の一端であって、耳穴200側の端部に装着されている。イヤーピース12の素材は、耳穴200の壁部との密着度が高い素材であることが望ましい。その理由は、外部の音が耳穴200に透過しにくくなるようにするためである。かかる素材として、例えばポリウレタン又はプラスチックがあるが、これら以外の素材であってもよい。
検出部13は、外部の音を検出する。検出部13は、検出した音を音信号に変換して、信号処理部14に供給する。検出部13は、ここではマイクロホンである。この音信号は、アナログ形式の電気信号である。検出部13は、筐体11の一端であって、イヤーピース12が配置される側の端部とは反対側の端部の近傍に配置されている。
なお、筐体11は検出部13を含んでいなくてもよい。筐体11の信号処理部14の通信部141は、外部から送信された音信号を受信する。例えば、ユーザの所持している通信端末装置(例えば、スマートフォン)のマイクで検出した音を無線通信により筐体11の通信部141で受信する。また、例えば、遠隔地に配置されたロボットのマイクにより遠隔地の音を検出し、無線通信により筐体11の通信部141で遠隔地のロボットの周囲の音を示す音信号を受信する。これらの場合、通信部141は音信号を取得する取得部としても機能する。
信号処理部14は、検出部13から供給された音信号に所定の信号処理を施して、放音部15に供給する。この信号処理は、検出部13が検出した音のうちの一部の音を通過させ、残りの音を通過させないようにするフィルタ処理を含む。フィルタ処理について詳しくは後述する。信号処理部14は、例えば、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、又はDSP(Digital Signal Processor)で例示されるハードウェア回路、RAM(Random Access Memory)又はROM(Read Only Memory)で例示されるメモリ、無線通信回路及びアンテナを含む無線通信部等を含む。無線通信の規格は、例えばBluetooth(登録商標)又はWi−Fi(登録商標)があるが、これら以外の規格でもよい。
放音部15は、信号処理部14による処理済みの音信号が示す音を、耳穴200に放射する。放音部15は、ここではスピーカである。放音部15は、筐体11の一端であって、イヤーピース12が配置される側の端部も近傍に配置されている。
かかる音響装置10の機能により、利用者Uは、外部の音のうち、音響装置10によって選択された音を聞くことになる。そのために、信号処理部14は、利用者Uに聞かせるべき音を通過させ、それ以外の音を通過させないようにする信号処理を行う。
図3は、信号処理部14の電気的な構成を示すブロック図である。図3に示すように、信号処理部14は、通信部141と、選択部142と、A/D変換器143と、音処理部144と、D/A変換器145とを含む。
通信部141は、外部の装置と無線通信を行う。通信部141は、少なくとも、音処理部144が行うフィルタ処理によって通過させる音、又は通過させない音を選択するための信号を取得する無線通信を行う。
選択部142は、フィルタ処理によって通過させる音、又は通過させない音を選択する。フィルタ処理によって通過させる音は、例えば、会話の音声等の日常生活に必要な音、又は野鳥の鳴き声のような快適な音である。フィルタ処理によって通過させない音は、例えば、近くで行われている工事の音、又は頻繁に通過する自動車のエンジン音等の重低音等の、その人物にとって不快な音である。そこで、選択部142は、例えば、低い音域の音を通過させない音として選択し、それよりも高い音域の音を通過させる音として選択する。
選択部142は、利用者Uによって予め選択された(つまり、プリセットされた)音を、フィルタ処理によって通過させる音、又は通過させない音として選択する。例えば、利用者Uは、所定のアプリケーションプログラムがインストールされた通信端末装置(例えば、スマートフォン)を用いて、かかる音を選択する操作を行う。この操作に従い、通信端末装置は、無線通信により、利用者Uが選択した内容を通知する信号を、信号処理部14へ送信する。選択部142は、通信部141を用いて、通信端末装置からその信号を取得(受信)する。
選択部142は、選択した通過させる音、又は通過させない音に応じて、音処理部144のフィルタ条件(例えば、フィルタ係数)を設定する。選択部142は、フィルタ処理により通過させない音については、所定の周波数帯域(例えば、レベルが最も高い周波数帯域)のレベルが低くなるように、フィルタ条件を設定する。これ以外に、選択部142は、可聴域(例えば、200Hz〜2kHz)や音声帯域(例えば、200Hz〜4kHz)等の所定の周波数帯域全体のレベルを、所定量だけ低減させるように、フィルタ条件を設定してもよい(例えば、−20dBとする)。更に、選択部142は、通過させない音に対して所定の周波数帯域のレベルが低くなるようにフィルタ条件を設定するだけでなく、「代替音」を出力するように、音処理部144の設定をしてもよい。この場合、音処理部144は、当該所定の周波数帯域の音が検出部13により検出された場合に、利用者Uにとって心地よい所定の代替音を、同タイミングで再生させる。代替音を再生することによって、通過させない音(即ち、フィルタ処理でレベルが低くなり聞こえにくくなった音)をマスクし、更に利用者Uにとって当該音をより聞こえにくくする効果もある。このように、音処理部144が行う音処理には、フィルタ処理以外にも、所定の音を出力するための処理が含まれる場合がある。なお、選択部142は、所定の周波数帯域全体のレベルを、所定量だけ増加させるように、フィルタ条件を設定し、利用者Uが聞きたい特定の音を大きくしてもよい(例えば、+20dBとする)。
更に、選択部142は、音処理部144に音信号の加工を行わせるように、フィルタ処理により通過させる音についてのフィルタ条件を設定してもよい。音処理部144は、例えば、高域の音を若干強調してのびやかな音に加工したり、リバーブをかけて心地よい音に加工したりしてもよい。選択部142が通過させる音を選択する際には、このような加工方法も併せて設定できるようにしてもよい。
A/D変換器143は、検出部13から供給された音信号をアナログ形式からデジタル形式に変換した後に、音処理部144に供給する。
音処理部144は、少なくともA/D変換器143から供給された音信号にフィルタ処理を含む音処理を施す。音処理部144は、選択部142のフィルタ条件の設定に従うことで、音信号に施すフィルタ処理を変化させる。音処理部144は、例えば、FIRフィルタ等のデジタルフィルタを含む。音処理部144は、少なくとも、選択部142によって通過させるように選択された音を通過させ、それ以外の音を通過させないように、音信号にフィルタ処理を施す。
D/A変換器145は、音信号をデジタル形式からアナログ形式に変換した後に、放音部15に供給する。放音部15は、供給された音信号が示す音を、耳穴200に放射する。利用者Uは、この音を聞くことができる。
ところで、選択部142は、フィルタ処理により通過させる音、又は通過させない音を、プリセット以外の方法で選択してもよい。選択部142は、例えば、或る特定の音を通過させた場合に利用者Uによって入力された信号に基づいて、当該特定の音をフィルタ処理により通過させる音、又は通過させない音として選択するかどうかを判断する。かかる信号として、利用者Uの操作に応じた信号がある。例えば、利用者Uは、或る音が聞こえてきた場合に、それを不快と感じたときは、或る音が聞こえてから所定時間内にその音を聞きたくない旨を指示する操作を、通信端末装置を用いて行う。その通信端末装置は、当該操作が行われた旨を、操作が行われた時刻とともに、信号処理部14へ通知する。選択部142は、この通知を示す信号を、通信部141を用いて取得すると、その直前に通した特定の音を、以降は通過させないようにする。選択部142は、例えば、操作時刻から所定時間前までに検出された音のうち、所定の周波数帯域のレベルが所定値以上である音を、通過させない音として選択する。なお、話者認識技術により、話者の音声の特徴を抽出した特徴情報を登録し、選択部142が、特徴情報と一致する話者の音声をフィルタ処理により通過させない音として選択してもよい。これにより、特定の話者の音声のみを消すことができる。なお、特徴情報は予め記憶部(不図示)に記憶しておいてもよいし、話者の音声の特徴を抽出して特徴情報を登録してもよい。また、音響装置10は、話者の氏名、話者の特徴情報及び該特徴情報に関するフィルタの設定(フィルタ処理)が対応づけられて登録されている場合、音処理部144は、話者(例えば○○さん)の音声を通過させない音としてマスクしつつ、「○○さんが話していました」というような合成音声を「代替音」として再生しても良い。
利用者Uから入力される信号は、利用者Uの生体から検出された信号(つまり、生体信号)であってもよい。生体信号の一例として、利用者Uの脳波に応じた信号がある。或る特定の音を聞いた人物が、その音を快適と感じたか、又は不快と感じたかは、脳波の変化に基づいて推定することができる。そこで、脳波を計測する装置(図示略)は、利用者Uの脳波を逐次計測する。人物が快適と感じたか、又は不快と感じたことを示す脳波が検出された場合には、選択部142は、その旨を示す信号を受信する。この信号は、脳波を計測する装置から信号処理部14に送信されてもよいし、利用者Uの通信端末装置から送信されてもよい。音響装置10が、脳波を計測する機能を有してもよい。そして、選択部142は、取得した信号に基づいて、利用者Uが快適と感じたことを示す脳波が計測されたときに通過させた特定の音を、以降も通過させ、不快と感じたことを示す脳波が計測されたときに通過させた特定の音を、以降は通過させないようにする。なお、脳波に限らず、生体信号を検出する他の例としては、利用者Uの心拍数、体温、血圧を示す信号がある。筐体11は、利用者Uの心拍数、体温、血圧の少なくとも一つが平常値よりも所定閾値以上変化した場合(主に心拍数、体温、血圧の少なくとも一つが平常値よりも所定閾値以上高くなった場合)に利用者Uが不快に感じていることを示す信号を出力する生体信号検出部を含んでいてもよい。選択部142が、不快に感じていることを示す信号を受信する。なお生体信号検出部は、無線通信で接続された筐体11とは別体の通信端末装置に設けられていてもよい。
図4は、音響装置10で実行される処理の一例を示すフローチャートである。
選択部142は、フィルタ処理により通過させる音、又は通過させない音を選択する(ステップS1)。ここでは、選択部142は、通信部141を介して取得した信号に基づいて、利用者Uが行ったプリセットに従った選択を行う。選択部142は、ステップS1で選択した結果に基づいて、音処理部144の設定を行う(ステップS2)。この設定には少なくともフィルタ条件の設定が含まれる。この設定が行われると、検出部13は、外部の音を検出する(ステップS3)。音処理部144は、ステップS2の設定に従い、検出部13から供給された音信号にフィルタ処理を含む音処理を施す(ステップS4)。そして、放音部15は、音処理部144から供給された当該音処理後の音信号、即ち少なくともフィルタ処理が施された後の音信号が示す音を、耳穴200に放射(つまり、放音)する(ステップS5)。次に、選択部142は、フィルタ処理によって通過させる音、又は通過させない音を選択するための信号を、通信部141を用いて取得したかどうかを判断する(ステップS6)。かかる信号は、プリセット以外の方法でフィルタ処理により通過させる音、又は通過させない音を選択するための信号である。ステップS6で「NO」と判定された場合は、音響装置10の処理はステップS3に戻される。ステップS6で「YES」と判定された場合は、音響装置10の処理はステップS1に戻されて、フィルタ処理により通過させる音、又は通過させない音の選択が行われる。
以上説明した実施形態の音響装置10によれば、検出した外部の音のうち、利用者Uに聞かせるべき音を選択して、その利用者Uに聞かせることができる。更に、音響装置10は、利用者Uが聞きたい音、又はそうではない音を学習する機能を有する。これにより、音響装置10は、利用者Uが聞きたがっている音、又はそうではない音に適したフィルタ処理に基づいて、外部の音を選択的に利用者Uに聞かせることができる。
[変形例]
本発明は、上述した実施形態と異なる形態で実施することが可能である。本発明は、例えば、以下のような形態で実施することも可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
(変形例1)
選択部142は、音信号に施すフィルタ処理を、以下の(1)〜(3)で説明する条件に応じて変化させてもよい。
(1)音響装置10の位置(場所)
音処理部144は、音響装置10の位置に応じてフィルタ処理を変化させる。例えば、屋外においては、安全上の理由から、自動車等の車両のエンジン音や、救急車等の緊急車両が発する報知音(サイレン)は、利用者Uが聞くことができることが望ましいと考えられる。一方、屋内に利用者Uが居る場合は、屋外に居る場合に比べて、かかる音が聞くできないことによる支障は比較的少ないと考えられる。また、屋外において、利用者Uは、自身に無関係の人物の会話の音声は聞かなくてもよいが、屋内で利用者Uに話しかけてくる人物の声を確実に聞こえるようにしておきたい場合がある。
そこで、選択部142は、音響装置10の位置を特定し、その特定した位置に応じた音を通過させ、又は通過させないように、フィルタ条件を設定する。音響装置10の位置については、例えば、GPS(Global Positioning System)方式の測位により得る方法が考えられるが、別の方式が用いられてもよい。
(2)時刻
音処理部144は、時刻に応じてフィルタ処理を変化させる。例えば、屋外の夜間においては、利用者Uは周辺を見渡し難い。よって、安全上の理由から、自動車等の車両のエンジン音や、救急車等の緊急車両が発する報知音は、利用者Uが聞くことができることが望ましいと考えられる。一方、朝又は昼のような時刻の場合、利用者Uは周辺を見渡しやすいので、これらの音を聞くことができないことによる支障は比較的少ないと考えられる。また、利用者Uが起きている時刻は、会話の音声は聞くことできることが望ましいが、深夜のような利用者Uが睡眠中の時刻においてはかかる音声はむしろ聞こえない方が望ましい場合がある。そこで、選択部142は、時刻を特定し、その特定した時刻に応じた音を通過させ、又は通過させないように、フィルタ条件を設定する。時刻については、例えば音響装置10の計時機能を用いて特定されるとよい。
(3)利用者
音処理部144は、音響装置10の利用者に応じてフィルタ処理を変化させる。同じ音であっても、その音を快適と感じる利用者もいれば、それを不快と感じる利用者もいると考えられる。また、音響装置10が、複数の人物で共用されることも考えられる。そこで、選択部142は、音響装置10の利用者を特定し、その特定した利用者に音を通過させ、又は通過させないように、フィルタ条件を設定する。利用者の特定に関しては、例えば、音響装置10の使用開始時におけるログイン操作、又は耳音響認証の技術を用いる方法が考えられるが、これら以外の方法が用いられてもよい。なお、利用者Uの年齢、性別、好みに関する属性情報が提供され、選択部142は、提供された属性情報に応じてフィルタ条件を設定してもよい。
(4)音の到来方向
音処理部144は、音響装置10の筐体11の向き及び外部からの音の到来方向に応じてフィルタ処理を変化させる。例えば、利用者Uが道路沿いに道路の右側を歩いている場合、利用者Uの左方向(道路側)からの車の音は通過させるフィルタ処理に設定してもよい。筐体11の向きはジャイロセンサによって検出可能であり、外部からの音の到来方向は指向性マイクや、複数のマイクによって検出可能であり、道路の配置等の地理的情報はGPS(Global Positioning System)を利用することにより検出可能である。
以上説明した音信号に施すフィルタ処理を変化させる条件は、あくまで一例である。よって、音響装置10は、更に別の条件に応じてフィルタ処理を変化させることで、利用者Uに聞かせる音を変化させてもよい。
(変形例2)
上述した実施形態で説明した音響装置10の各構成要素の素材や形状、配置位置等はあくまで一例であり、種々の変形が可能である。
上述した音響装置10が備える構成のうちの一部が省略、又は変更されてもよい。例えば、音響装置10は、利用者Uから入力された信号に基づいてフィルタ処理を変化させる構成を有しなくてもよい。また、音響装置10が、利用者Uの操作を受け付ける操作手段(例えば、物理ボタン)を備えてもよい。この場合、音響装置10が無線通信を行う機能を有しなくてもよい。また、利用者Uの発話に基づいてフィルタ処理を変化させる構成としてもよい。例えば、音響装置10は、利用者Uの発話の内容(フィルタ名)とフィルタの設定とを予め対応付けておき、利用者Uの発話に応じてフィルタの設定を変更したり、フィルタのオン及びオフを切り替える構成としてもよい。また、利用者Uが「××(フィルタ名)をオンにして」と発話することにより、フィルタ名が××のフィルタをオンにする構成としてもよい。
また、音響装置10は、話者の氏名、話者の特徴情報及び該特徴情報に関するフィルタの設定(フィルタ処理)が対応づけられて登録されている場合、利用者Uによる話者の氏名の発話に応じて対応するフィルタの設定に変更する構成としてもよい。
(変形例3)
本発明の音響装置は、イヤホン型でなくてもよい。例えば、本発明の音響装置は、ヘッドフォン型のように、利用者Uの耳100を覆う構成であってもよい。この場合、イヤーカップに相当する部分が、利用者の耳に装着され、利用者の耳穴と外部の空間とを仕切る部材に相当する。
(変形例4)
上述した実施形態の信号処理部14が実現する機能は、複数のプログラムの組み合わせによって実現され、又は、複数のハードウェア資源の連携によって実現され得る。信号処理部14の機能がプログラムを用いて実現される場合、このプログラムは、磁気記録媒体(磁気テープ、磁気ディスク(HDD(Hard Disk Drive)、FD(Flexible Disk))等)、光記録媒体(光ディスク等)、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。
ここで、本開示の実施形態を以下のようにまとめる。
(1)利用者の耳又は耳穴に装着されたときに、前記利用者の耳穴と外部の空間とを仕切る部材と、音を示す音信号を取得する取得部と、前記取得部で取得された音信号にフィルタ処理を施す音処理部であって、前記フィルタ処理を所定の条件に応じて変化させる音処理部と、前記フィルタ処理が施された音信号が示す音を、前記耳穴に放射する放音部と、を備えた音響装置を提供する。
(2)上記(1)に記載の音響装置において、前記外部の音を検出する検出部をさらに備え、前記取得部は、前記検出部で検出された前記外部の音を示す音信号又は通信部を介して受信した音を示す音信号を取得する。
(3)上記(1)又は(2)に記載の音響装置において、前記フィルタ処理によって通過させる音、又は通過させない音を選択する選択部をさらに備え、前記音処理部は、前記選択部で選択された音に応じて前記フィルタ処理を変化させる。
(4)上記(3)に記載の音響装置において、前記選択部は、特定の音を通過させた場合に利用者から入力された信号に基づいて、当該特定の音を前記通過させる音、又は前記通過させない音として選択するかどうかを判断する。
(5)上記(3)又は(4)に記載の音響装置において、前記通過させる音、又は前記通過させない音を選択するための信号を取得する通信を行う通信部を備え、前記選択部は、前記通信により取得された前記信号に基づいて、前記通過させる音、又は前記通過させない音を選択する。
(6)上記(1)から(5)のいずれか1項に記載の音響装置において、前記音処理部は、当該音響装置の地理的位置に応じて前記フィルタ処理を変化させる。
(7)上記(1)から(6)のいずれか1項に記載の音響装置において、前記音処理部は、時刻に応じて前記フィルタ処理を変化させる。
(8)上記(1)から(7)のいずれか1項に記載の音響装置において、前記音処理部は、前記利用者に応じて前記フィルタ処理を変化させる。
(9)上記(1)から(8)のいずれか1項に記載の音響装置において、前記音処理部は、前記利用者の属性に応じて前記フィルタ処理を変化させる。
(10)上記(1)から(9)のいずれか1項に記載の音響装置において、前記放音部は、前記フィルタ処理が施された音信号が示す音及び当該音とは異なる代替音を同タイミングで前記耳穴に放射する。
(11)上記(3)から(10)のいずれか1項に記載の音響装置において、話者の音声の特徴に基づき前記話者を認識する話者認識部をさらに備え、前記選択部は、前記話者認識部で認識した話者の音声を前記通過させない音として選択する。
(12)上記(1)から(11)のいずれか1項に記載の音響装置において、前記利用者の生体信号を検出する生体信号検出部をさらに有し、前記音処理部は、前記生体信号の変化に応じて前記フィルタ処理を変化させる。
(13)上記(2)から(12)のいずれか1項に記載の音響装置において、前記音処理部は、前記検出部によって検出された前記利用者の発話に応じて、前記フィルタ処理を変化させる。
(14)上記(1)から(13)のいずれか1項に記載の音響装置において、前記音処理部は、当該音響装置の筐体の向き及び外部からの音の到来方向に応じて前記フィルタ処理を変化させる。
(15)音を示す音信号を取得する取得工程と、前記取得工程で取得された音信号にフィルタ処理を施すフィルタ処理工程と、フィルタ処理工程における前記フィルタ処理を所定の条件に応じて変化させる音処理工程と、前記フィルタ処理が施された音信号が示す音を、耳穴に放射する放音工程と、を備える音響処理方法を提供する。
(16)上記(15)に記載の音響処理方法において、外部の音を検出する検出工程をさらに備え、前記取得工程は、前記検出工程で検出された前記外部の音を示す音信号又は通信を介して受信した音を示す音信号を取得する。
(17)上記(15)又は(16)に記載の音響処理方法において、前記フィルタ処理によって通過させる音、又は通過させない音を選択する選択工程をさらに備え、前記音処理工程は、前記選択工程で選択された音に応じて前記フィルタ処理を変化させる。
(18)上記(17)に記載の音響処理方法において、前記選択工程は、特定の音を通過させた場合に利用者から入力された信号に基づいて、当該特定の音を前記通過させる音、又は前記通過させない音として選択するかどうかを判断する。
(19)上記(17)又は(18)に記載の音響処理方法において、前記通過させる音、又は前記通過させない音を選択するための信号を取得する通信を行う通信工程をさらに備え、前記選択工程は、前記通信により取得された前記信号に基づいて、前記通過させる音、又は前記通過させない音を選択する。
(20)上記(15)から(19)のいずれか1項に記載の音響処理方法において、前記音処理工程は、当該音響処理方法を実施する音響装置の地理的位置に応じて前記フィルタ処理を変化させる。
(21)上記(15)から(20)のいずれか1項に記載の音響処理方法において、前記音処理工程は、時刻に応じて前記フィルタ処理を変化させる。
(22)上記(15)から(21)のいずれか1項に記載の音響処理方法において、前記音処理工程は、前記利用者に応じて前記フィルタ処理を変化させる。
(23)上記(15)から(21)のいずれか1項に記載の音響処理方法において、前記音処理工程は、前記利用者の属性に応じて前記フィルタ処理を変化させる。
(24)上記(15)から(23)のいずれか1項に記載の音響処理方法において、前記放音工程は、前記フィルタ処理が施された音信号が示す音及び当該音とは異なる代替音を同タイミングで前記耳穴に放射する。
(25)上記(17)から(24)のいずれか1項に記載の音響処理方法において、話者の音声の特徴に基づき前記話者を認識する話者認識工程をさらに備え、前記選択工程は、前記話者認識工程で認識した話者の音声を前記通過させない音として選択する。
(26)上記(15)から(25)のいずれか1項に記載の音響処理方法において、前記利用者の生体信号を検出する生体信号検出工程をさらに有し、前記音処理工程は、前記生体信号の変化に応じて前記フィルタ処理を変化させる。
(27)上記(16)から(26)のいずれか1項に記載の音響処理方法において、前記音処理工程は、前記検出工程によって検出された前記利用者の発話に応じて、前記フィルタ処理を変化させる。
(28)上記(15)から(27)のいずれか1項に記載の音響処理方法において、前記音処理工程は、当該音響処理方法が実施される音響装置の筐体の向き及び外部からの音の到来方向に応じて前記フィルタ処理を変化させる。
本出願は、2016年12月6日に出願された日本特許出願(特願2016-236778)に基づくものであり、ここに参照として取り込まれる。
本発明によれば、利用者に聞かせる外部の音を変化させることができるため有用である。
10…音響装置
11…筐体
12…イヤーピース
13…検出部
14…信号処理部
141…通信部
142…選択部
143…A/D変換器
144…音処理部
145…D/A変換器
15…放音部
100…耳
200…耳穴

Claims (18)

  1. 利用者の耳又は耳穴に装着されたときに、前記利用者の耳穴と外部の空間とを仕切る部材と、
    音を示す音信号を取得する取得部と、
    前記取得部で取得された音信号に、特定の音を通過させないフィルタ処理を施す音処理部であって、前記フィルタ処理を所定の条件に応じて変化させる音処理部と、
    前記フィルタ処理が施された音信号が示す音を、前記耳穴に放射する放音部と、
    前記利用者の生体信号を検出する生体信号検出部と、
    を備え、
    前記音処理部は、前記生体信号検出部で検出する前記生体信号のうち特定の信号が検出されたときの前記音信号を前記特定の音として通過させないフィルタ処理変化させる
    特定音フィルタ処理装置。
  2. 前記音処理部は、前記利用者の属性に応じて前記フィルタ処理を変化させる
    ことを特徴とする請求項に記載の特定音フィルタ処理装置。
  3. 前記音処理部は、当該特定音フィルタ処理装置の筐体の向き及び外部からの音の到来方向に応じて前記フィルタ処理を変化させる
    ことを特徴とする請求項に記載の特定音フィルタ処理装置。
  4. 前記音処理部は、当該特定音フィルタ処理装置の地理的位置に応じて前記フィルタ処理を変化させる
    ことを特徴とする請求項に記載の特定音フィルタ処理装置。
  5. 前記外部の音を検出する検出部をさらに備え、
    前記取得部は、前記検出部で検出された前記外部の音を示す音信号又は通信部を介して受信した音を示す音信号を取得する
    ことを特徴とする請求項1から請求項のいずれか1項に記載の特定音フィルタ処理装置。
  6. 前記音処理部は、前記検出部によって検出された前記利用者の発話に応じて、前記フィルタ処理を変化させる
    ことを特徴とする請求項に記載の特定音フィルタ処理装置。
  7. 前記音処理部は、時刻に応じて前記フィルタ処理を変化させる
    ことを特徴とする請求項1から請求項のいずれか1項に記載の特定音フィルタ処理装置。
  8. 前記音処理部は、前記利用者に応じて前記フィルタ処理を変化させる
    ことを特徴とする請求項1から請求項のいずれか1項に記載の特定音フィルタ処理装置。
  9. 前記放音部は、前記フィルタ処理が施された音信号が示す音及び当該音とは異なる代替音を同タイミングで前記耳穴に放射する
    ことを特徴とする請求項1から請求項のいずれか1項に記載の特定音フィルタ処理装置。
  10. 音を示す音信号を取得する取得工程と、
    前記取得工程で取得された音信号に、特定の音を通過させないフィルタ処理を施すフィルタ処理工程と、
    フィルタ処理工程における前記フィルタ処理を所定の条件に応じて変化させる音処理工程と、
    前記フィルタ処理が施された音信号が示す音を、利用者の耳穴に放射する放音工程と、
    前記利用者の生体信号を検出する生体信号検出工程と
    を備え、
    前記音処理工程は、前記生体信号検出工程で検出する前記生体信号のうち特定の信号が検出されたときの前記音信号を前記特定の音として通過させないフィルタ処理変化させる
    特定音フィルタ処理方法。
  11. 前記音処理工程は、前記利用者の属性に応じて前記フィルタ処理を変化させる
    ことを特徴とする請求項10に記載の特定音フィルタ処理方法。
  12. 前記音処理工程は、当該特定音フィルタ処理方法が実施される音響装置の筐体の向き及び外部からの音の到来方向に応じて前記フィルタ処理を変化させる
    ことを特徴とする請求項10に記載の特定音フィルタ処理方法。
  13. 前記音処理工程は、当該特定音フィルタ処理方法を実施する音響装置の地理的位置に応じて前記フィルタ処理を変化させる
    ことを特徴とする請求項10に記載の特定音フィルタ処理方法。
  14. 外部の音を検出する検出工程をさらに備え、
    前記取得工程は、前記検出工程で検出された前記外部の音を示す音信号又は通信を介して受信した音を示す音信号を取得する
    ことを特徴とする請求項10から請求項13のいずれか1項に記載の特定音フィルタ処理方法。
  15. 前記音処理工程は、前記検出工程によって検出された前記利用者の発話に応じて、前記フィルタ処理を変化させる
    ことを特徴とする請求項14に記載の特定音フィルタ処理方法。
  16. 前記音処理工程は、時刻に応じて前記フィルタ処理を変化させる
    ことを特徴とする請求項10から請求項15のいずれか1項に記載の特定音フィルタ処理方法。
  17. 前記音処理工程は、前記利用者に応じて前記フィルタ処理を変化させる
    ことを特徴とする請求項10から請求項16のいずれか1項に記載の特定音フィルタ処理方法。
  18. 前記放音工程は、前記フィルタ処理が施された音信号が示す音及び当該音とは異なる代替音を同タイミングで前記耳穴に放射する
    ことを特徴とする請求項10から請求項17のいずれか1項に記載の特定音フィルタ処理方法。
JP2018555048A 2016-12-06 2017-12-06 特定音フィルタ処理装置及び特定音フィルタ処理方法 Active JP6980695B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016236778 2016-12-06
JP2016236778 2016-12-06
PCT/JP2017/043882 WO2018105668A1 (ja) 2016-12-06 2017-12-06 音響装置及び音響処理方法

Publications (2)

Publication Number Publication Date
JPWO2018105668A1 JPWO2018105668A1 (ja) 2019-10-24
JP6980695B2 true JP6980695B2 (ja) 2021-12-15

Family

ID=62492022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018555048A Active JP6980695B2 (ja) 2016-12-06 2017-12-06 特定音フィルタ処理装置及び特定音フィルタ処理方法

Country Status (3)

Country Link
US (1) US10805710B2 (ja)
JP (1) JP6980695B2 (ja)
WO (1) WO2018105668A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020161982A1 (ja) * 2019-02-05 2020-08-13 ソニー株式会社 音響装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563931B1 (en) 1992-07-29 2003-05-13 K/S Himpp Auditory prosthesis for adaptively filtering selected auditory component by user activation and method for doing same
JPH0822291A (ja) * 1994-07-06 1996-01-23 Sekisui Chem Co Ltd 移動可能な能動消音装置
US5867581A (en) 1994-10-14 1999-02-02 Matsushita Electric Industrial Co., Ltd. Hearing aid
JP3345534B2 (ja) * 1994-10-14 2002-11-18 松下電器産業株式会社 補聴器
JP5266313B2 (ja) * 2008-04-09 2013-08-21 パナソニック株式会社 補聴器、補聴装置、補聴方法、及び集積回路
JP2011188334A (ja) * 2010-03-10 2011-09-22 Panasonic Corp 補聴器
JP2011199697A (ja) * 2010-03-23 2011-10-06 Yamaha Corp ヘッドフォン
US20150281853A1 (en) * 2011-07-11 2015-10-01 SoundFest, Inc. Systems and methods for enhancing targeted audibility
US8638960B2 (en) * 2011-12-29 2014-01-28 Gn Resound A/S Hearing aid with improved localization
JPWO2014034086A1 (ja) * 2012-09-03 2016-08-08 パナソニックIpマネジメント株式会社 補聴器、補聴器を用いた補聴システム、および補聴方法
JP6190351B2 (ja) * 2013-12-13 2017-08-30 ジーエヌ ヒアリング エー/エスGN Hearing A/S 学習型補聴器
US9716939B2 (en) * 2014-01-06 2017-07-25 Harman International Industries, Inc. System and method for user controllable auditory environment customization
US10425717B2 (en) * 2014-02-06 2019-09-24 Sr Homedics, Llc Awareness intelligence headphone
US9202474B2 (en) * 2014-02-24 2015-12-01 The Boeing Company Effecting voice communication in a sound-restricted environment
US9560437B2 (en) * 2014-04-08 2017-01-31 Doppler Labs, Inc. Time heuristic audio control

Also Published As

Publication number Publication date
WO2018105668A1 (ja) 2018-06-14
JPWO2018105668A1 (ja) 2019-10-24
US10805710B2 (en) 2020-10-13
US20190289385A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
US11501772B2 (en) Context aware hearing optimization engine
US10817251B2 (en) Dynamic capability demonstration in wearable audio device
US11517708B2 (en) Ear-worn electronic device for conducting and monitoring mental exercises
US9648436B2 (en) Augmented reality sound system
US20180061391A1 (en) Earphones For A Personalized Acoustic Environment
US20130343584A1 (en) Hearing assist device with external operational support
US10873813B2 (en) Method and apparatus for audio pass-through
US11540743B2 (en) Ear-worn devices with deep breathing assistance
US10129633B1 (en) Automated awareness for ANR systems
KR20130133790A (ko) 보청기를 가진 개인 통신 장치 및 이를 제공하기 위한 방법
JP2015129931A (ja) 音を選択的に使用者に提供する耳栓
WO2008103925A1 (en) Method and device for sound detection and audio control
US11438710B2 (en) Contextual guidance for hearing aid
EP2876899A1 (en) Adjustable hearing aid device
US11282492B2 (en) Smart-safe masking and alerting system
JP6980695B2 (ja) 特定音フィルタ処理装置及び特定音フィルタ処理方法
US20230020019A1 (en) Audio system with ear-worn device and remote audio stream management
US20150305920A1 (en) Methods and system to reduce stuttering using vibration detection
KR20200113058A (ko) 웨어러블 디바이스를 동작하기 위한 장치 및 방법
EP2876902A1 (en) Adjustable hearing aid device
JP2007187748A (ja) 音選択加工装置
EP3664470B1 (en) Providing feedback of an own voice loudness of a user of a hearing device
US20230292064A1 (en) Audio processing using ear-wearable device and wearable vision device
JP6296646B2 (ja) 聴覚補完システム、聴覚補完装置及び聴覚補完方法
CN112416285A (zh) 智能耳机播放方法、智能耳机和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200309

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200918

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200918

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200930

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201006

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20201023

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20201027

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210518

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20211012

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20211109

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211117

R150 Certificate of patent or registration of utility model

Ref document number: 6980695

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350