JP2013236396A - 補聴装置 - Google Patents

補聴装置 Download PDF

Info

Publication number
JP2013236396A
JP2013236396A JP2013152673A JP2013152673A JP2013236396A JP 2013236396 A JP2013236396 A JP 2013236396A JP 2013152673 A JP2013152673 A JP 2013152673A JP 2013152673 A JP2013152673 A JP 2013152673A JP 2013236396 A JP2013236396 A JP 2013236396A
Authority
JP
Japan
Prior art keywords
sound source
unit
hearing aid
sound
binaural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013152673A
Other languages
English (en)
Other versions
JP5642851B2 (ja
Inventor
Mitsuru Endo
充 遠藤
Koichiro Mizushima
考一郎 水島
Takeo Kanamori
丈郎 金森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2013152673A priority Critical patent/JP5642851B2/ja
Publication of JP2013236396A publication Critical patent/JP2013236396A/ja
Application granted granted Critical
Publication of JP5642851B2 publication Critical patent/JP5642851B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065—Aids for the handicapped in understanding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/558—Remote control, e.g. of amplification, frequency

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Stereophonic System (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】逆写像ルールを用いずに、話者の発話する音声が到来する方向を再現しつつ、当該話者の発話する音声の明瞭性を高める。
【解決手段】音源から到来する音を入力して第１音響信号に変換する音源入力部と、音源入力部で変換された第１音響信号を、各音源に対応した音源信号に分離する音源分離部と、左右の耳元に配置され、音源から到来する音を入力して第２音響信号に変換する両耳マイクと、両耳マイクで変換された左右の第２音響信号から、両耳マイクを基点とした音源の方向感を表す方向感成分を算出する方向感成分算出部と、音源信号及び方向感成分に基づいて、左右の出力音響信号を生成する出力信号生成部と、出力信号生成部で生成された左右の出力音響信号を出力する両耳スピーカーと、を備える。
【選択図】図１

Description

本発明は、補聴装置に関する。
特許文献１では、発話者の方向にマイクアレーの指向性を向けて、マイクで収音する音を明瞭にする補聴装置が開示されている。また、特許文献２及び特許文献３では、ヘッドホン装着者の頭部の回転角度を、デジタル振動ジャイロやカメラなどのセンサで検出し、ヘッドホン装着者の頭部が回転しても仮想的な音像が動かない音像定位技術が開示されている。特許文献４においても、ヘッドトラッカにより頭部の回転角度を検出する方法が開示されている。
特許文献２に開示されている音像定位技術と、特許文献１に開示されている補聴装置を組み合わせた場合、例えば、図１０に示すような補聴装置が実現できる。図１０は、従来の補聴装置の構成を示すブロック図である。図１０に示す従来の補聴装置は、外部マイクアレー９００と、補聴器８００と、を備える。
補聴器８００は、両耳スピーカー８０１と、仮想音像回転部８０３と、逆写像ルール記憶部８０５と、方向基準設定部８０９と、頭部回転角度センサ８１１と、方向推定部８１３とを、備える。
頭部回転角度センサ８１１は、例えば、デジタル振動ジャイロで構成され、補聴装置を装着する者の頭部の回転角度を検知する。
方向基準設定部８０９は、方向基準設定スイッチを備える。方向基準設定部８０９は、補聴器８００を装着する者が方向基準設定スイッチを操作することで、仮想音源の方向を定める基準方向を設定したり、頭部回転角度センサ８１１をリセットしたりすることができる。
頭部回転角度センサ８１１は、補聴器８００の装着者の頭部の回転を検知する。
方向推定部８１３は、頭部回転角度センサ８１１が検知する回転角度を逆方向に積分し、定位させたい仮想音源の方向を、方向基準設定スイッチで設定された基準方向からの角度として決定する。
逆写像ルール記憶部８０５は、方向推定部８１３で決定された角度を方向感成分に変換するための逆写像ルールが記憶されている。
仮想音像回転部８０３は、逆写像ルールを参照して、後述する音源分離部９０２によって分離された発話者の音声の音像を、方向推定部８１３で決定された方向に回転させる。
両耳スピーカー８０１は、仮想音像回転部８０３と、仮想音像回転部８０３で回転した発話者の音声の音像を、左耳用の音響信号と右耳用の音響信号として表現しそれぞれ出力する。
外部マイクアレー９００は、音源入力部９０１と、音源分離部９０２と、を備える。
音源入力部９０１は、所定の配置に並べられた複数のマイクから構成され、外部からの音を多チャンネルで取り込む。
音源分離部９０２は、発話者の方向に外部マイクアレー９００の指向性を向けて発話者の音声を分離する。分離された発話者の音声は、上述した仮想音像回転部８０３へ転送される。
上述のような従来の補聴装置では、方向推定部８１３で決定された角度を方向感成分に変換するための逆写像ルールを予め保持しておき、この逆写像ルールを参照することで、装着者に対する発話者の音声の音像の方向を決定することができる。
特開平９−１４００００号公報 特開平８−９４９０号公報 特開２００４−２３１８０号公報 特表２００６−５０３５２６号公報
上述のような従来の補聴装置では、人が音の到来方向を知覚する際に手がかりとする方向感成分として、伝達関数で表現される周波数特性や両耳間音量差や両耳間時間差と、人が知覚する音の到来方向との写像関係を予め求めておき、その逆写像から音像を定位させる必要があった。
本発明の目的は、逆写像ルールを用いずに、話者の発話する音声が到来する方向を再現しつつ、当該話者の発話する音声の明瞭性を高めることができる補聴装置を提供することである。
本発明は、音源から到来する音を入力して第１音響信号に変換する音源入力部と、前記音源入力部で変換された前記第１音響信号を、各音源に対応した音源信号に分離する音源分離部と、左右の耳元に配置され、前記音源から到来する前記音を入力して第２音響信号に変換する両耳マイクと、前記両耳マイクで変換された左右の前記第２音響信号から、前記両耳マイクを基点とした前記音源の方向感を表す方向感成分を算出する方向感成分算出部と、前記音源信号及び前記方向感成分に基づいて、左右の出力音響信号を生成する出力信号生成部と、前記出力信号生成部で生成された前記左右の出力音響信号を出力する両耳スピーカーと、を備え、前記方向感成分算出部は、左右の音量と所定の基準音量との音量差を、左右独立に算出し、前記出力信号生成部は、前記音源信号及び前記音量差に基づいて、左右独立に前記出力音響信号を生成する、補聴装置を提供する。
本発明の補聴装置によれば、逆写像ルールを用いずに、話者の発話する音声が到来する方向を再現しつつ、当該話者の発話する音声の明瞭性を高めることができる。
また、上記構成によれば、左右の通信に伴う処理遅れが生じないようにできる。
本発明に係る補聴装置によれば、逆写像ルールを用いずに、話者の発話する音声が到来する方向を再現しつつ、当該話者の発話する音声の明瞭性を高めることができる。
実施の形態１の補聴装置の構成を示すブロック図 実施の形態１の補聴装置の構成を、詳細に示すブロック図 実施の形態１の補聴装置の使用例１を示す図 実施の形態１の補聴装置の使用例２を示す図 本実施の形態１の補聴装置の構成図、及び補聴装置を用いた会議システムの構成図 図５に示す補聴器１００の変形例 実施の形態２の補聴装置の構成を示すブロック図 実施の形態２の補聴装置の構成を、詳細に示すブロック図 実施の形態２の補聴装置の使用例を示す図 従来の補聴装置の構成を示すブロック図
以下、本発明の実施の形態について、図面を参照して説明する。
（実施の形態１）
図１は、実施の形態１の補聴装置の構成を示すブロック図である。図１に示すように、第１の実施の形態の補聴装置は、補聴器１００と、外部マイクアレー３００と、を備える。図３は、実施の形態１の補聴装置の使用例１を示す図であり、図４は、実施の形態１の補聴装置の使用例２を示す図である。
図２は、図１に示す補聴装置の構成を、詳細に示すブロック図である。図２において図１と同一の参照番号が付与されている構成要素は、図１における構成要素と同一の機能を有する。
図１を参照し、実施の形態１の補聴装置の一部を構成する補聴器１００の構成を説明する。補聴器１００は、右耳に装着する右ユニット及び左耳に装着する左ユニットからなる。左右の各ユニットは、両耳マイク１０１の各耳用のマイクと、方向感成分算出部１０３と、出力信号生成部１０５と、両耳スピーカー１０７の各耳用のスピーカーから構成される。補聴器１００の左右のユニット間は無線で通信する。なお、補聴器１００の左右のユニット間は有線で通信するよう構成されても良い。
両耳マイク１０１は、右ユニットの一部を構成する右耳マイク１０１Ａと左ユニットの一部を構成する左耳マイク１０１Ｂとから構成される。両耳マイク１０１は、補聴器１００の装着者の左右の耳元で、音源から補聴器１００の装着者に到来する音を入力し、音響信号に変換する。
方向感成分算出部１０３は、両耳マイク１０１で変換された音響信号から、両耳間時間差および両耳間音量差を、音源から前記両耳マイクの装着者に到来する前記音の到来方向を補聴器１００の装着者が感じる方向感成分として算出する。つまり、方向感成分は、両耳マイク１０１の装着者を基点とした音源の方向感を表す。
両耳間時間差を方向感成分として算出する場合、方向感成分算出部１０３は、右耳マイク１０１Ａで変換された右の音響信号の時間と左耳マイク１０１Ｂで変換された左の音響信号の時間とをずらしながら相互相関値を計算する。そして、相互相関値が最大となる時間を両耳間時間差とする。両耳間音量差を方向感成分として算出する場合、方向感成分算出部１０３は、両耳間時間差の分だけ、右耳マイク１０１Ａで変換された右の音響信号の時間と左耳マイク１０１Ｂで変換された左の音響信号とをずらして、左右の音響信号のパワー比を求める。そして、方向感成分算出部１０３は、左右の音響信号のパワー比を両耳間音量差とする。
上述のように、方向感成分算出部１０３は、音源から両耳マイク１０１に到達する音から、直接的に、音源から到来する音の方向感成分を算出する。そのため、実施の形態１の補聴装置は、音源から到来する音の方向を忠実に再現することができる。なお、方向感成分算出部１０３は、両耳間時間差及び両耳間音量差のいずれか一方を方向感成分として算出しても良いし、両耳間時間差及び両耳間音量差の両方を方向感成分として算出しても良い。
出力信号生成部１０５は、方向感成分算出部１０３で算出された方向感成分と、後述する外部マイクアレー３００から受信した音源信号とから、左右の各スピーカーから出力するための左右の音響信号を生成する。出力信号生成部１０５は、方向感成分のひとつである両耳間時間差から、左ユニット及び右ユニットのうち、どちらのユニットが音源から離れているかを判定する。
音源からより離れているユニットに対して出力信号生成部１０５は、後述する外部マイクアレー３００の音源分離部３０３から受信した音源信号を、両耳間時間差の分だけ遅延させる。さらに、音源からより離れているユニットに対して出力信号生成部１０５は、当該ユニットの両耳スピーカー１０７の音量を、両耳間音量差の分だけ小さくするよう制御する。
また、左右のユニットのうち音源に近いユニットに対して出力信号生成部１０５は、音源分離部３０３から受信した音源信号をそのまま両耳スピーカー１０７へ出力する。
両耳スピーカー１０７は、右ユニットの一部を構成する右耳スピーカー１０７Ａと左ユニットの一部を構成する左耳スピーカー１０７Ｂとから構成される。両耳スピーカー１０７は、補聴器１００の装着者の左右の耳元で、出力信号生成部１０５で生成された音源信号を左右の音響信号として出力する。
次に、図１を参照し、実施の形態１の補聴装置の一部を構成する外部マイクアレー３００の構成を説明する。外部マイクアレー３００は、音源入力部３０１と、音源分離部３０３と、を備える。実施の形態１の補聴装置では、外部マイクアレー３００は、補聴器１００の両耳マイク１０１よりも近い場所に設置される。外部マイクアレー３００は、補聴器１００の左右のユニット間と、無線で通信する。なお、外部マイクアレー３００は、補聴器１００の左右のユニット間と、有線で通信するように構成されても良い。
音源入力部３０１は、音源から外部マイクアレー３００に到来する音を入力し、音響信号に変換する。音源入力部３０１は、複数のマイクで構成される。
音源入力部３０１で変換された各マイクの音響信号は、音源分離部３０３へ転送される。
音源分離部３０３は、各マイクに音源から到来する音の到来時間の差を利用して、外部マイクアレー３００を基点とした音源の方向を検出する。
音源分離部３０３は、各マイクの空間配置に基づいて、各マイクに対する音の遅延時間を加味し、各マイクの音響信号を加算することで、音源分離部３０３は、外部マイクアレー３００を基点とした音源の方向に指向性処理された音源信号を生成し、補聴器１００の出力信号生成部１０５へ無線で送信する。
ここで、音源分離部３０３で生成された音源信号は、外部マイクアレー３００を基点として、対象の音源から到来する音を強調（指向性処理）されている。そのため、音源分離部３０３で生成された音源信号では、対象となる音源の音以外の音が抑圧され、対象となる音源の音が明瞭となっている。なお、外部マイクアレー３００の位置が、両耳マイク１０１の位置より音源の位置に近い場合、音源分離部３０３で生成される音源信号では、さらに対象となる音源の音が明瞭となっている。
次に、図３を参照し、実施の形態１の補聴装置の動作例１を説明する。
（動作例１）
図３に示すように、補聴器１００を装着する人物Ａと、人物Ｂと、人物Ｃとが、中央付近に外部マイクアレー３００が設置されている円卓７００を囲んで会議をしている。図３では、人物Ｂが発話をしている間、人物Ａは人物Ｂを斜め右方向に見て人物Ｂの話を聞いている。
まず、人物Ｂが発話した音が、２つのマイク系統から入力され、音響信号に変換される。第１のマイク系統は、外部マイクアレー３００の音源入力部３０１を構成する複数のマイクであり、第２のマイク系統は、補聴器１００の両耳マイク１０１である。
（第１のマイク系統）
外部マイクアレー３００の音源入力部３０１では、発話する人物Ｂから外部マイクアレー３００に到来する音（矢印１）が入力され、音響信号に変換される。外部マイクアレー３００の音源入力部３０１を構成する複数のマイクのそれぞれが、音源である人物Ｂから到来する人物Ｂの発話の音を収音する。
音源入力部３０１で変換された音響信号は、音源分離部３０３へ転送される。
音源分離部３０３では、各マイクに到来する人物Ｂの発話の音の到来時間の差を利用して、外部マイクアレー３００を基点とした音源の方向を示す音源方向が検出される。
音源分離部３０３では、各マイクの音響信号が、各マイクの空間配置に基づいて、各マイクに対する音の遅延時間を加味し加算され、外部マイクアレー３００を基点とした音源の方向に指向性処理される。そして、指向性処理された音響信号は、外部マイクアレー３００を基点とした音源の方向に指向性処理された音源信号として、補聴器１００の出力信号生成部１０５へ無線で送信される。
（第２のマイク系統）
補聴器１００の両耳マイク１０１を構成する右耳マイク１０１Ａ及び左耳マイク１０１Ｂではそれぞれ、発話する人物Ｂから両耳マイク１０１に到来する音（矢印２Ａ及び矢印２Ｂ）が、音響信号に変換される。
右耳マイク１０１Ａ及び左耳マイク１０１Ｂで、それぞれ変換された左右の音響信号は、方向感成分算出部１０３へ転送される。
方向感成分算出部１０３では、両耳マイク１０１で変換された左右の音響信号から、両耳間時間差および両耳間音量差のうち少なくともいずれか一方が、両耳マイク１０１の装着者を基点とした音源の方向を示す方向感成分として、算出される。図３に示す動作例１では、人物Ａは、音源である人物Ｂを右側に見ているので、右耳マイク１０１Ａを基準にした両耳時間差はプラスの値、両耳音量差（パワー比）は１以下の値となる（矢印２Ｂは矢印２Ａよりも長い）。方向感成分算出部１０３で算出された方向感成分は、出力信号生成部１０５へ転送される。
出力信号生成部１０５では、方向感成分算出部１０３で算出された方向感成分と外部マイクアレー３００を基点とした音源の方向に指向性処理された音源信号とから、両耳スピーカー１０７から出力するための左右の音響信号が生成される。
図３に示す動作例１では、人物Ａの左耳が人物Ａの右耳より人物Ｂから離れている。そのため、出力信号生成部１０５では、人物Ａの左耳スピーカー１０７Ｂから出力される左の音響信号が、方向感成分である両耳間時間差の分だけ遅延される。
また、出力信号生成部１０５では、左の音響信号を出力するための左耳スピーカー１０７Ｂの音量が、両耳間音量差の分だけ小さくなるよう左耳スピーカー１０７Ｂが制御される。
また、出力信号生成部１０５では、音源分離部３０３から受信した音源信号が、右の音響信号として、右耳スピーカー１０７Ａから出力するために右耳スピーカー１０７Ａへ転送される。
上述のように、両耳スピーカー１０７の左耳スピーカー１０７Ｂ及び右耳スピーカー１０７Ａから出力される音響信号では、（１）方向感成分算出部１０３で算出され、両耳マイク１０１の装着者を基点とした音源の方向感を表す方向感成分により、音源である人物Ｂの発話の音が到来する方向が忠実に再現され、かつ（２）外部マイクアレー３００を基点とした音源の方向に指向性処理された音源信号により、音源である人物Ｂの発話の音声の明瞭性が高められている。
次に、図４を参照し、実施の形態１の補聴装置の動作例２を説明する。
（動作例２）
図４に示すように、補聴器１００を装着する人物Ａと、人物Ｂと、人物Ｃとが、中央付近に外部マイクアレー３００が設置されている円卓７００を囲んで会議をしているとする。図４では、図３に示す状態から、人物Ｂが発話をやめ、人物Ａが外部マイクアレー３００を正面に見ていたのを、発話を開始した人物Ｃを正面に見る方に向きなおし、人物Ｃの発話を聞いている。
まず、人物Ｃの発話した音が、２つのマイク系統から入力され、音響信号に変換される。第１のマイク系統は、外部マイクアレー３００の音源入力部を構成する複数のマイクであり、第２のマイク系統は、補聴器１００の両耳マイク１０１である。
（第１のマイク系統）
外部マイクアレー３００の音源入力部３０１では、発話する人物Ｃから外部マイクアレー３００に到来する音が（矢印３）入力され、音響信号に変換される。
外部マイクアレー３００の音源入力部３０１を構成する複数のマイクのそれぞれが、音源である人物Ｃから到来する人物Ｃの発話の音を収音する。
音源分離部３０３では、各マイクに到来する人物Ｃの発話の音の到来時間の差を利用して、外部マイクアレー３００を基点とした音源の方向を示す音源方向が検出される。
音源分離部３０３では、各マイクの音響信号が、各マイクの空間配置に基づいて、各マイクに対する音の遅延時間を加味して加算され、外部マイクアレー３００を基点とした音源の方向に指向性処理される。そして、指向性処理された音響信号は、外部マイクアレー３００と基点とした音源の方向に指向性処理された音源信号として、補聴器１００の出力信号生成部１０５へ無線で送信される。
（第２のマイク系統）
補聴器１００の両耳マイク１０１を構成する右耳マイク１０１Ａ及び左耳マイク１０１Ｂではそれぞれ、発話する人物Ｃから両耳マイク１０１に到来する音（矢印４Ａ及び矢印４Ｂ）が、入力され、音響信号に変換される。
右耳マイク１０１Ａ及び左耳マイク１０１Ｂで、それぞれ変換された左右の音響信号は、方向感成分算出部１０３へ転送される。
方向感成分算出部１０３では、両耳マイク１０１で変換された左右の音響信号から、両耳間時間差および両耳間音量差のうち少なくともいずれか一方が、両耳マイク１０１の装着者を基点とした音源の方向感を表す方向感成分として、算出される。図４に示す動作例２では、人物Ａは、人物Ｃを左に見る方向から人物Ｃを正面に見る方向に向きなおしているので、両耳時間差は、左耳マイク１０１Ｂを基準とするとプラスの値から０に、両耳音量差（パワー比）は１より小さい値から１に、それぞれ変化する（矢印４Ａと矢印４Ｂの長さが等しくなる）。方向感成分算出部１０３で算出される方向感成分は、出力信号生成部１０５へ転送される。
出力信号生成部１０５では、方向感成分算出部１０３で算出された方向感成分と外部マイクアレー３００を基点とした音源の方向に指向性処理された音源信号とから、両耳スピーカー１０７から出力するための左右の音響信号が生成される。
両耳スピーカー１０７の左耳スピーカー１０７Ｂ及び右耳スピーカー１０７Ａから、出力信号生成部１０５で合成された左右の音響信号が出力される。
図４に示す動作例２では、人物Ａが外部マイクアレー３００を正面に見る方向から人物Ｃを正面に見る方向に向きなおす間、出力信号生成部１０５では、方向感成分である両耳間時間差が測定値から算出される値からゼロに変化する。さらに、出力信号生成部１０５は、右耳スピーカー１０７Ａの音量を、両耳間音量差の分だけ小さくするよう右耳スピーカー１０７Ａを制御し、次第に左と等しくする。そのため、人物Ａが外部マイクアレー３００を正面に見ているとき、右耳の右耳スピーカー１０７Ａからは左耳の左耳スピーカー１０７Ｂと比べて人物Ｃの発話が遅れて小さく音が出力されている。しかし、人物Ａが外部マイクアレー３００を正面に見る方向から人物Ｃを正面に見る方向に向きなおすにつれて、左耳スピーカー１０７Ｂだけでなく右耳の右耳スピーカー１０７Ａからも人物Ｃの発話が遅れずに同じ大きさの音が出力されるように変化する。そして、人物Ａは人物Ｃを正面から見たとき、人物Ａは正面から人物Ｃの発話が正面から聞こえるようになる。
言い換えると、人物Ａに対する人物Ｃの発話による音像は、補聴器１００の装着者である人物Ａの動きに応じて動かない。
上述のように動作例２において、本実施の形態１の補聴装置では、人物Ａに対する人物Ｃの発話による音像は、補聴器１００を装着する人物Ａの動きに応じて動かない。
また、両耳スピーカー１０７の左耳スピーカー１０７Ｂ及び右耳スピーカー１０７Ａから出力される音響信号では、（１）方向感成分算出部１０３で算出され、両耳マイク１０１の装着者を基点とした音源の方向を示す方向感成分により、音源である人物Ｃの発話の音声が到来する方向が忠実に再現され、かつ（２）外部マイクアレー３００を基点とした音源の方向に指向性処理された音源信号により、音源である人物Ｃの発話の音声の明瞭性が高められている。したがって、実施の形態１の補聴装置は、話者の発話する音声が到来する方向を再現しつつ、当該話者の発話する音声の明瞭性を高めることができる。
図５は、本実施の形態１の補聴装置の構成図、及び補聴装置を用いた会議システムの構成図を示す。
補聴装置は、補聴器１００と外部マイクアレー３００とを含む。補聴器１００は、補聴器本体１１０と、右耳マイク１０１Ａ及び右耳スピーカー１０７Ａ、並びに左耳マイク１０１Ｂ及び左耳スピーカー１０７Ｂとを含み、互いに有線によって接続される。外部マイクアレー３００は、スピーカーホン本体３１０と２つの外部マイク３２０とを含み、２つの外部マイク３２０とスピーカーホン本体３１０とは、有線Ｌ１によって接続される。スピーカーホン本体３１０は、４つの内蔵マイク３３０を含む。補聴器１００に含まれる補聴器本体１１０と、外部マイクアレー３００に含まれるスピーカーホン本体３１０とは、有線Ｌ２によって接続される。
補聴器本体１１０、及びスピーカーホン本体３１０は、それぞれ、電源、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、通信部、記憶部、制御部を含む。
図５に示すように、補聴装置を用いた会議システムは、補聴装置、机７１０、及び複数の椅子７２０から構成される。複数の椅子７２０は、机７１０の周りに設置される。椅子７２０に座る話者の音声は、外部マイクアレー３００、並びに右耳マイク１０１Ａ及び左耳マイク１０１Ｂに入力される。話者の音声は、外部マイクアレー３００を介して、明瞭性の高い音声成分として両耳スピーカー１０７に出力される。また、話者の音声は、右耳マイク１０１Ａ及び左耳マイク１０１Ｂを介して、方向感成分として両耳スピーカー１０７に出力される。補聴装置の利用者は、明瞭性の高い音声成分と方向感成分とに基づいて、話者の音声を明瞭に、かつ到来方向を知覚して聞くことができる。
なお、以上の説明は、有線Ｌ１、Ｌ２によって各部が接続されているものとしたが、無線によって各部が接続されてもよい。例えば、右耳マイク１０１Ａと右耳スピーカー１０７Ａと、を備える右耳ユニット１１０Ｒ、左耳マイク１０１Ｂと左耳スピーカー１０７Ｂとを備える左耳ユニット１１０Ｌ、及び外部マイクアレー３００のそれぞれが、電源、ＤＳＰ、通信部、記憶部、制御部などを含み、互いに無線で通信するとしてもよい。
また、図６に示すように、図５に示す、補聴装置を用いた会議システムにおいて、補聴器１００にリモコンユニット１３０を加えてもよい。図６中、無線で通信する部分を破線で示した。リモコンユニット１３０は、補聴器１００の出力音量を変更するなどのユーザーによる制御が基本機能であるが、４つのマイク１３１で構成されるマイクアレーを実装することにより、外部マイクアレー３００としても利用できるようになる。このリモコンユニット１３０は、たとえば、携帯電話１５０上に実装することができる。
有線であるか無線であるか、また補聴装置に含まれる各ユニットの構成によらず、いずれの場合にも、補聴装置における情報処理は、通信による処理遅延や電力消費量などを考慮して、補聴器１００と外部マイクアレー３００とに含まれる複数のユニット間で適切に分散されるのが望ましい。
例えば、図５では、図１のブロック構成に従い、スピーカーホン本体３１０が内蔵するＤＳＰが音源入力処理及び音源分離処理を行い、補聴器本体１１０が内蔵するＤＳＰがその他の処理を行えばよい。これにより、外部マイクアレー３００と補聴器１００との間の通信信号は、分離された音声信号だけを含めばよく、通信容量が少なくて済むという効果がある。また、処理量の多い音源分離を、ＡＣアダプターを利用可能なスピーカーホン本体３１０で行うことにより、補聴器本体１１０の電力消費量を抑えられるという効果がある。
また、例えば、図６では、無線通信に伴う処理遅延が、有線通信よりも顕著になるので、通信量に配慮した方がよい。
方向感成分として両耳間音量差が用いれば、左右の音量のそれぞれと所定の基準音量との差を用いて左右の出力信号の音量を決定することができる。これによって、補聴器本体１１０の左右ユニットからリモコンユニット１３０への信号の送信による処理遅れは生じないため、方向感成分が自然のままに保たれるという効果がある。さらに、左右の音量の直接比較は不要となるため、補聴器本体１１０の右ユニット内で右の出力信号を生成し、補聴器本体１１０の左ユニット内で左の出力信号を生成し、左右独立に処理を行うことが可能となるので、左右の通信に伴う処理遅れについても生じないという効果がある。
なお、本実施の形態１の補聴装置の補聴器１００の形は特に限定されるものでない。しかし例えば、本実施の形態１の補聴装置の補聴器１００の形をカナル型にすれば、本実施の形態１の補聴装置は、両耳マイク１０１の装着者の頭部の向きだけでなく、補聴器１００の装着者の各部位（耳介、肩、胴体）の大きさや形に依存する反射による影響を反映させた方向感成分を生成することができる。
なお、本実施の形態１の補聴装置では、外部マイクアレー３００を円卓７００の中央付近に設置しているが、これに限らない。各話者がヘッドセット型の外部マイクアレー３００を装着しても良い。この場合、外部マイクアレーは、音源入力部３０１で構成され、音源分離部３０３は必要ない。
なお、本実施の形態１の補聴装置では、両耳スピーカー１０７は、例えば、ヘッドホンに内蔵しても良い。
なお、本実施の形態１の補聴装置では、両耳マイク１０１は、例えば、ヘッドホンに内蔵しても良い。
なお、本実施の形態１の補聴装置では、外部マイクアレー３００の音源入力部３０１を一つのマイクで構成し、外部マイクアレー３００を両耳マイク１０１よりも、音源の近くに配置しても良い。
（実施の形態２）
図７は、実施の形態２の補聴装置の構成を示すブロック図である。また、図８は、実施の形態２の補聴装置の構成を、詳細に示すブロック図である。図７に示すように、第２の実施の形態の補聴装置は、補聴器２００と、外部マイクアレー４００と、を備える。図９は、実施の形態２の補聴装置の使用例を示す図である。
図７を参照し、実施の形態２の補聴装置の一部を構成する補聴器２００の構成を説明する。実施の形態２の補聴装置の両耳マイク及び両耳スピーカーは、実施の形態１の両耳マイク１０１及び両耳スピーカー１０７とその構成が同じである。そのため、図１と同じ参照番号が付されている。
補聴器２００は、右耳に装着する右ユニット及び左耳に装着する左ユニットからなる。左右の各ユニットは、両耳マイク１０１と、出力信号生成部２０５と、両耳伝達特性計測部２０７と、音源位置推定部２０９と、両耳スピーカー１０７と、音声検出部２１１とから構成される。補聴器２００の左右のユニット間は無線で通信する。なお、補聴器２００の左右のユニット間は有線で通信するよう構成されても良い。
両耳マイク１０１は、右ユニットの一部を構成する右耳マイク１０１Ａと左ユニットの一部を構成する左耳マイク１０１Ｂとから構成される。両耳マイク１０１は、補聴器２００の装着者の左右の耳元で、音源から補聴器２００の装着者に到来する音を入力し、音響信号に変換する。そして、変換された音響信号は、補聴器２００装着者の左右の耳の伝達関数を求めるために、両耳伝達特性計測部２０７へ転送される。
音声検出部２１１は、後述するように、外部マイクアレー４００の音源分離部４０３で分離された各音源信号を受信し、その音源信号から発話している人物の音声を検出する。音声検出部２１１は、音源ごとに分離された音源信号毎に所定の時間区間のパワーを求める。そして、所定の時間区間のパワーが閾値以上である音源を、発話している人物の音声として検出する。なお、音声検出部２１１は、発話している人物の音声を検出する場合に用いる音源信号の要素として、パワーに加えて、調波構造を表すパラメータ（例えば、ピッチを仮定した櫛型フィルタによるパワーと広帯域パワーの比）を用いても良い。
両耳伝達特性計測部２０７は、発話している人物の音声として音声検出部２１１で検出された音源信号（以下、音声信号と記載）と右耳マイク１０１Ａからひろった右の音響信号との間の伝達関数（以下、右の伝達特性と記載）を求める。同様に、両耳伝達特性計測部２０７は、音声信号と左耳マイク１０１Ｂからひろった左の音響信号との間の伝達関数（以下、左の伝達特性と記載）を求める。両耳伝達特性計測部２０７は、各耳の伝達特性と、外部マイクアレー４００を基点とした音源の方向を示す方向（以下、音源方向と記載）とを対応付ける。そのため、音声として検出された音声信号が複数ある場合でも、両耳伝達特性計測部２０７は、各音源の音源方向を表現できる。
なお、実施の形態２の補聴装置において、実施の形態１における方向感成分は、両耳伝達特性計測部２０７で求められる各耳の伝達特性が相当する。
なお、複数人の発話者が同時に発話している場合、すわなち、音声検出部２１１が、音源ごとに分離された音源信号を複数同時に検出した場合、両耳伝達特性計測部２０７は、各耳の伝達関数の計測を停止する。その場合、各耳の伝達関数の計測を停止する直前の伝達関数を利用することで、各人物の音源方向感を保持できる。
音源位置推定部２０９は、両耳伝達特性計測部２０７で求められた、音源方向と対応付けられた左右の耳の伝達関数に基づき、各音源の位置を推定することができる。
まず、音源位置推定部２０９は、音源方向と対応付けられた各耳の伝達関数のインパルス応答上で、最初のピークを持つ時間から、外部マイクアレー４００から両耳マイク１０１までの音の到達時間を求める。この到達時間から、補聴器２００の装着者からの各音源の遠近を推定することができる。さらに、音源位置推定部２０９は、左右の耳の伝達関数のインパルス応答から時間をずらしながら相互相関値を計算し、相互相関値が最大となる時間を両耳間時間差として求める。
そして、音源位置推定部２０９は、複数の音源のうち、到達時間が最小の値を持ち、かつ、両耳間時間差が０に近い音源を補聴器２００の装着自身の発話とする。したがって、音源位置推定部２０９は、両耳伝達特性計測部２０７で求められた、音源方向と対応付けられた左右の耳の伝達関数に基づき、各音源の位置を推定することができる。そして、音源位置推定部２０９の推定結果は、出力信号生成部２０５で参照される。
上述のように、実施の形態２の補聴装置では、音声検出部２１１と、両耳伝達特性計測部２０７と、音源位置推定部２０９とが、実施の形態１の方向感成分算出部と同じ機能を備えている。
出力信号生成部２０５は、両耳伝達特性計測部２０７で計測された左右の伝達特性と、及び左右の音声信号とから、それぞれ両耳スピーカー１０７の右耳スピーカー１０７Ａ及び左耳スピーカー１０７Ｂから出力するための左右の音響信号を生成する。出力信号生成部２０５は、第１のマイク系統の音声信号に、左右の伝達特性を表す伝達関数のインパルス応答を畳み込んで、左右の音響信号を生成する。
なお、出力信号生成部２０５は、必要に応じて音源位置推定部２０９の推定結果を参照し、左右の音声信号の音源が、補聴器２００の装着者自身であるかどうかを判断する。音源位置推定部２０９で、音源が補聴器２００の装着自身と判断された場合、出力信号生成部２０５は、第１のマイク系統の音声信号は両耳スピーカー１０７へ出力せず、第２のマイク系統の音声信号を両耳スピーカー１０７へ出力する。これによって、装着者自信の声も明瞭でかつ時間遅れの少ない音声を違和感なく聞くことができる。
両耳スピーカー１０７は、右ユニットの一部を構成する右耳スピーカー１０７Ａと左ユニットの一部を構成する左耳スピーカー１０７Ｂとから構成される。両耳スピーカー１０７は、補聴器２００の装着者の左右の耳元で、出力信号生成部２０５で生成された音源信号を左右の音響信号として出力する。
次に、図７、図８を参照し、実施の形態２の補聴装置の一部を構成する外部マイクアレー４００の構成を説明する。実施の形態２の補聴装置において、外部マイクアレーの音源入力部３０１は、実施の形態１の外部マイクアレーの音源入力部と同じ構成である。そのため、図１と同じ参照番号が付されている。
外部マイクアレー４００は、音源入力部３０１と、音源分離部４０３と、を備える。実施の形態２の補聴装置において、外部マイクアレー４００は、補聴器２００の両耳マイク１０１よりも、発話者Ｂ、Ｃに近い場所に設置される。外部マイクアレー４００は、補聴器２００の左右のユニット間と、無線で通信する。なお、外部マイクアレー４００は、補聴器２００の左右のユニット間と、有線で通信するように構成されても良い。
音源入力部３０１は、音源から外部マイクアレー４００に到来する音を入力し、響信号に変換する。音源入力部３０１は、複数のマイクで構成される。
音源入力部３０１で変換された各マイクの音響信号は、音源分離部４０３へ転送される。
音源分離部４０３は、各マイクに音源から到来する音の到来時間の差を利用して、外部マイクアレー４００を基点とした音源の方向を検出する。
音源分離部４０３は、各マイクの空間配置に基づいて、各マイクに対する音の遅延時間を加味し、各マイクの音響信号を加算する。そして、音源分離部３０３は、このように外部マイクアレー４００を基点とした音源の方向に指向性処理された音源信号を生成し、補聴器２００の音声検出部２１１へ無線で送信する。
ここで、音源分離部４０３で生成された音源信号は、外部マイクアレー４００を基点として、対象の音源から到来する音を強調（指向性処理）されている。そのため、音源分離部４０３で生成された音源信号では、対象となる音源の音以外の音が抑圧され、対象となる音源の音が明瞭となっている。なお、外部マイクアレー４００の位置が、両耳マイク１０１の位置より音源の位置に近い場合、音源分離部３０３で生成される音源信号では、さらに対象となる音源の音が明瞭となっている。
なお、音源分離部４０３は、独立成分分析による音源分離を行うようにしてもよい。その際、音声検出部２１１でパワーを利用するために、分離行列の逆行列の対角要素をそれぞれの独立成分に乗じて、パワー情報を復元しておく。
（動作例）
図９に示すように、補聴器２００を装着する人物Ａと、人物Ｂと、人物Ｃとが、中央付近に外部マイクアレー４００が設置されている円卓７００を囲んで会議をしているとする。図９では、人物Ｂ、人物Ｃが発話をしている間、人物Ａは人物Ｂを正面に見て人物Ｂの話を聞いている。
人物Ｂ及び人物Ｃ及び人物Ａの発話の音が、２つのマイク系統から入力され、左右の音響信号に変換される。第１のマイク系統は、外部マイクアレー４００の音源入力部を構成する複数のマイクであり、第２のマイク系統は、補聴器２００の両耳マイク１０１である。
（第１のマイク系統）
外部マイクアレー４００の音源入力部３０１では、人物Ｂから外部マイクアレー４００に到来する音（矢印５）が入力され、音響信号に変換される。同様に、外部マイクアレー４００の音源入力部３０１では、人物Ｃから外部マイクアレー４００に到来する音（矢印７）が、音響信号に変換される。また、外部マイクアレー４００の音源入力部３０１では、人物Ａから外部マイクアレー４００に到達する音（矢印９）についても、音響信号に変換される。外部マイクアレー４００の音源入力部３０１を構成する複数のマイクのそれぞれが、音源である人物Ｂ及び人物Ｃ及び人物Ａからそれぞれ到来する発話の音を収音する。音源入力部３０１で音響信号に変換された音響信号は、音源分離部４０３へ転送される。
音源分離部４０３では、例えば、各マイクに到来する人物Ｂの発話の音の到来時間の差を利用して、外部マイクアレー４００を基点とした音源の方向を示す音源方向が検出される。
音源分離部４０３では、各マイクの音響信号が、各マイクの空間配置に基づいて、各マイクに対する音の遅延時間を加味し加算され、外部マイクアレー４００を基点とした音源の方向に指向性処理される。そして、指向性処理された音響信号は、外部マイクアレー４００を基点とした音源の方向に指向性処理された音源信号として、補聴器２００の音声検出部２１１へ無線で送信される。
（第２のマイク系統、補聴器２００）
補聴器２００の両耳マイク１０１の左右のマイク１０１Ａ、１０１Ｂでは、各音源から到来する各人物（人物Ｂ又は人物Ｃ又は人物Ａ）の発話の音（矢印６Ａ、矢印８Ａ、矢印１０Ａ、矢印６Ｂ、矢印８Ｂ、矢印１０Ｂ）が入力され、それぞれ音響信号に変換される。
変換された各音源の音響信号は、各マイク１０１Ａ、１０１Ｂから、両耳伝達特性計測部２０７へ転送される。
また、音声検出部２１１では、外部マイクアレー４００の音源分離部４０３から受信した各音源信号から各人物Ｂ、人物Ｃ、人物Ａの音声が検出される。
また、音声検出部２１１では、音源ごとに分離された音源信号毎に所定の時間区間のパワーを求める。そして、所定の時間区間のパワーが閾値以上である音源を、発話している人物の音声として検出する。検出された発話人物の音声は、音源分離部４０３で指向性処理された音源信号から検出されているので、非常に明瞭となっている。
発話している人物の音声が検出された各音源信号（以下、音声信号と記載）は、両耳伝達特性計測部２０７へ転送される。
両耳伝達特性計測部２０７では、音声検出部２１１から転送された各音源（人物Ｂ又は人物Ｃまたは人物Ａ）の音声信号のそれぞれと右耳マイク１０１Ａから転送された音響信号との間の伝達関数が求められる。同様に、両耳伝達特性計測部２０７では、音声検出部２１１から転送された各音源（人物Ｂ又は人物Ｃ）の音声信号のそれぞれと左耳マイク１０１Ｂから転送された音響信号との間の伝達関数が求められる。
また、両耳伝達特性計測部２０７では、各音源の（人物Ｂ、人物Ｃ、人物Ａ）の各耳の伝達特性と外部マイクアレー４００を基点とした音源の方向を示す音源方向とが対応付けられている。
なお、二人以上の人物が同時に発話している場合、両耳伝達特性計測部２０７では、各耳の伝達関数の計測が停止される。その場合、各耳の伝達関数の計測を停止する直前の伝達関数を使用する。
音源方向と対応付けられた各音源の各耳の伝達特性は、出力信号生成部２０５及び音源位置推定部２０９へ転送される。
音源位置推定部２０９では、両耳伝達特性計測部２０７で求められた、外部マイクアレー４００を基点とした音源の方向を示す音源方向と対応付けられた左右の耳の伝達関数に基づき、各音源の位置を推定することができる。
なお、図９では、補聴器２００の装着者である人物Ａの発話は、複数の音源のうち、到達時間が最小の値を持ち（矢印１０Ｂと矢印９の長さの差が、矢印６Ｂと矢印５の長さの差や矢印８Ｂと矢印７の長さよりも小さい）、かつ、両耳間時間差が０に近い（矢印１０Ａと矢印１０Ｂの長さがほぼ等しい）音源として検出される。
出力信号生成部２０５では、各音源の左右の音声信号のそれぞれに、音源方向と対応付けられた各音源の各耳の伝達特性を表す伝達関数のインパルス応答を畳み込んで、両耳スピーカー１０７の右耳スピーカー１０７Ａ及び左耳スピーカー１０７Ｂから出力するため左右の音響信号を合成する。図９では、音源位置推定部２０９が、補聴器２００の装着者である人物Ａの発話が検出されると、出力信号生成部２０５では、第２のマイク系統の音声信号を両耳スピーカー１０７へ出力する。
両耳スピーカー１０７では、出力信号生成部２０５で合成された左右の音響信号が、それぞれ右耳スピーカー１０７Ａ及び左耳スピーカー１０７Ｂから出力される。
上述のように、実施の形態２の補聴装置では、外部マイクアレー４００で処理された各音源の音が明瞭となっている左右の音声信号と、補聴器２００の両耳伝達特性計測部２０７で求められ、音源方向が対応付けられた左右の伝達関数とから生成された左右の音響信号を両耳スピーカー１０７から出力する。そのため、実施の形態２の補聴装置は、話者の発話する音声が到来する方向を再現しつつ、当該話者の発話する音声の明瞭性を高めることができる。
また、実施の形態２の補聴装置において、補聴器２００の形は特に限定されるものでないが、例えばカナル型を用いると、出力信号生成部２０５で合成された左右の音響信号は、発話している人物が補聴器２００を装着している頭部の向きだけでなく、発話している人物の各部位（耳介、肩、胴体）の大きさや形から反射による影響を左右の伝達特性に含む。そのため、実施の形態２の補聴装置において、補聴器２００の装着者は、両耳スピーカー１０７から出力される音の方向感をリアルタイムに感じることができる。
なお、実施の形態２における補聴装置についても、実施の形態１において図５で示した補聴装置の構成図、及び会議システムの構成図を適用できる。
本出願は、２００９年１月２２日出願の日本特許出願（特願２００９−０１２２９２）に基づくものであり、その内容はここに参照として取り込まれる。
本発明に係る補聴装置は、逆写像ルールを用いずに、話者の発話する音声が到来する方向を再現しつつ、当該話者の発話する音声の明瞭性を高めることができるという効果を有し、補聴装置等として有用である。
１００、２００、８００ 補聴器
１０１ 両耳マイク
１０１Ａ 右耳マイク
１０１Ｂ 左耳マイク
１０３、２０３ 方向感成分算出部
１０５、２０５ 出力信号生成部
１０７、８０１ 両耳スピーカー
１０７Ａ 右耳スピーカー
１０７Ｂ 左耳スピーカー
１１０ 補聴器本体
１３０ リモコンユニット
２０７ 両耳伝達特性計測部
２０９ 音源位置推定部
２１１ 音声検出部
３００、４００、９００ 外部マイクアレー
３０１、９０１ 音源入力部
３０３、４０３、９０２ 音源分離部
３１０ スピーカーホン本体
３２０ 外部マイク
７００ 円卓
７１０ 机
７２０ 複数の椅子
８０３ 仮想音像回転部
８０５ 逆写像ルール記憶部
８０７ 頭部角度センサ
８０９ 方向基準設定部
８１３ 方向推定部

Claims (1)

  1. 音源から到来する音を入力して第１音響信号に変換する音源入力部と、
    前記音源入力部で変換された前記第１音響信号を、各音源に対応した音源信号に分離する音源分離部と、
    左右の耳元に配置され、前記音源から到来する前記音を入力して第２音響信号に変換する両耳マイクと、
    前記両耳マイクで変換された左右の前記第２音響信号から、前記両耳マイクを基点とした前記音源の方向感を表す方向感成分を算出する方向感成分算出部と、
    前記音源信号及び前記方向感成分に基づいて、左右の出力音響信号を生成する出力信号生成部と、
    前記出力信号生成部で生成された前記左右の出力音響信号を出力する両耳スピーカーと、
    を備え、
    前記方向感成分算出部は、左右の音量と所定の基準音量との音量差を、左右独立に算出し、
    前記出力信号生成部は、前記音源信号及び前記音量差に基づいて、左右独立に前記出力音響信号を生成する、
    補聴装置。
JP2013152673A 2009-01-22 2013-07-23 補聴装置 Active JP5642851B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013152673A JP5642851B2 (ja) 2009-01-22 2013-07-23 補聴装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009012292 2009-01-22
JP2009012292 2009-01-22
JP2013152673A JP5642851B2 (ja) 2009-01-22 2013-07-23 補聴装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010547444A Division JP5409656B2 (ja) 2009-01-22 2010-01-22 補聴装置

Publications (2)

Publication Number Publication Date
JP2013236396A true JP2013236396A (ja) 2013-11-21
JP5642851B2 JP5642851B2 (ja) 2014-12-17

Family

ID=42355824

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010547444A Active JP5409656B2 (ja) 2009-01-22 2010-01-22 補聴装置
JP2013152673A Active JP5642851B2 (ja) 2009-01-22 2013-07-23 補聴装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2010547444A Active JP5409656B2 (ja) 2009-01-22 2010-01-22 補聴装置

Country Status (3)

Country Link
US (1) US8670583B2 (ja)
JP (2) JP5409656B2 (ja)
WO (1) WO2010084769A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015139084A (ja) * 2014-01-22 2015-07-30 日東電工株式会社 聴覚補完システム、聴覚補完装置及び聴覚補完方法
JP2016140059A (ja) * 2014-12-30 2016-08-04 ジーエヌ リザウンド エー／エスＧｎ Ｒｅｓｏｕｎｄ Ａ／Ｓ 外部からピックアップされたマイクロホン信号の上に空間聴覚キューを重ね合わせる方法
JP2016201768A (ja) * 2015-04-14 2016-12-01 株式会社ファインウェル 受話装置
JP2017092732A (ja) * 2015-11-11 2017-05-25 株式会社国際電気通信基礎技術研究所 聴覚支援システムおよび聴覚支援装置
JP2017530579A (ja) * 2014-08-14 2017-10-12 レンセラール ポリテクニック インスティチュート 両耳統合相互相関自己相関メカニズム
JP2017539181A (ja) * 2014-12-22 2017-12-28 ジーエヌ ヒアリング エー／エスＧＮ Ｈｅａｒｉｎｇ Ａ／Ｓ 拡散性雑音聴取
JP2018010712A (ja) * 2017-10-18 2018-01-18 ヤマハ株式会社 サンプリング周波数推定装置
JP2018098798A (ja) * 2016-12-15 2018-06-21 シバントス ピーティーイー リミテッド 補聴器の作動方法
JP2018521520A (ja) * 2015-04-02 2018-08-02 シバントス ピーティーイー リミテッド 聴音装置
US10356231B2 (en) 2014-12-18 2019-07-16 Finewell Co., Ltd. Cartilage conduction hearing device using an electromagnetic vibration unit, and electromagnetic vibration unit
US10778824B2 (en) 2016-01-19 2020-09-15 Finewell Co., Ltd. Pen-type handset
US10779075B2 (en) 2010-12-27 2020-09-15 Finewell Co., Ltd. Incoming/outgoing-talk unit and incoming-talk unit
US10778823B2 (en) 2012-01-20 2020-09-15 Finewell Co., Ltd. Mobile telephone and cartilage-conduction vibration source device
US10795321B2 (en) 2015-09-16 2020-10-06 Finewell Co., Ltd. Wrist watch with hearing function
US10834506B2 (en) 2012-06-29 2020-11-10 Finewell Co., Ltd. Stereo earphone
US10967521B2 (en) 2015-07-15 2021-04-06 Finewell Co., Ltd. Robot and robot system
JP2021510287A (ja) * 2018-01-05 2021-04-15 オラー、ラスロ 補聴器及びその使用方法
US11526033B2 (en) 2018-09-28 2022-12-13 Finewell Co., Ltd. Hearing device

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
JP5353854B2 (ja) * 2010-09-29 2013-11-27 ブラザー工業株式会社 遠隔会議装置
JP5697482B2 (ja) * 2011-02-23 2015-04-08 京セラ株式会社 携帯電子機器及び音出力システム
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
DE102012214081A1 (de) 2012-06-06 2013-12-12 Siemens Medical Instruments Pte. Ltd. Verfahren zum Fokussieren eines Hörinstruments-Beamformers
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
KR102127640B1 (ko) 2013-03-28 2020-06-30 삼성전자주식회사 휴대 단말 및 보청기와 휴대 단말에서 음원의 위치를 제공하는 방법
DE102013207149A1 (de) * 2013-04-19 2014-11-06 Siemens Medical Instruments Pte. Ltd. Steuerung der Effektstärke eines binauralen direktionalen Mikrofons
US10425747B2 (en) 2013-05-23 2019-09-24 Gn Hearing A/S Hearing aid with spatial signal enhancement
EP2806661B1 (en) * 2013-05-23 2017-09-06 GN Resound A/S A hearing aid with spatial signal enhancement
US9036845B2 (en) * 2013-05-29 2015-05-19 Gn Resound A/S External input device for a hearing aid
KR101772152B1 (ko) 2013-06-09 2017-08-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9124990B2 (en) 2013-07-10 2015-09-01 Starkey Laboratories, Inc. Method and apparatus for hearing assistance in multiple-talker settings
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
EP2840807A1 (en) * 2013-08-19 2015-02-25 Oticon A/s External microphone array and hearing aid using it
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
CN110797019B (zh) 2014-05-30 2023-08-29 苹果公司 多命令单一话语输入方法
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
EP3038381B1 (en) * 2014-12-22 2017-08-09 GN Resound A/S Diffuse noise listening
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10368162B2 (en) * 2015-10-30 2019-07-30 Google Llc Method and apparatus for recreating directional cues in beamformed audio
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
GB2551521A (en) * 2016-06-20 2017-12-27 Nokia Technologies Oy Distributed audio capture and mixing controlling
US11195542B2 (en) 2019-10-31 2021-12-07 Ron Zass Detecting repetitions in audio data
US10433052B2 (en) * 2016-07-16 2019-10-01 Ron Zass System and method for identifying speech prosody
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10841724B1 (en) 2017-01-24 2020-11-17 Ha Tran Enhanced hearing system
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336892A1 (en) * 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US9992585B1 (en) 2017-05-24 2018-06-05 Starkey Laboratories, Inc. Hearing assistance system incorporating directional microphone customization
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN113556660B (zh) * 2021-08-01 2022-07-19 武汉左点科技有限公司 一种基于虚拟环绕立体声技术的助听方法及装置
EP4161103A1 (en) * 2021-09-29 2023-04-05 Oticon A/s A remote microphone array for a hearing aid

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09140000A (ja) * 1995-11-15 1997-05-27 Nippon Telegr & Teleph Corp <Ntt> 会議用拡聴器
JPH11308699A (ja) * 1998-04-21 1999-11-05 Nippon Telegr & Teleph Corp <Ntt> 空間音響再生装置、その両耳間差維持方法及び両耳間差補正方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3385725B2 (ja) 1994-06-21 2003-03-10 ソニー株式会社 映像を伴うオーディオ再生装置
ATE383730T1 (de) 1998-02-18 2008-01-15 Widex As Binaurales digitales hörhilfesystem
JP2001166025A (ja) * 1999-12-14 2001-06-22 Matsushita Electric Ind Co Ltd 音源の方向推定方法および収音方法およびその装置
JP3952870B2 (ja) 2002-06-12 2007-08-01 株式会社東芝 音声伝送装置、音声伝送方法及びプログラム
DE10228632B3 (de) * 2002-06-26 2004-01-15 Siemens Audiologische Technik Gmbh Richtungshören bei binauraler Hörgeräteversorgung
US20070009120A1 (en) 2002-10-18 2007-01-11 Algazi V R Dynamic binaural sound capture and reproduction in focused or frontal applications
US20080056517A1 (en) 2002-10-18 2008-03-06 The Regents Of The University Of California Dynamic binaural sound capture and reproduction in focued or frontal applications
US7333622B2 (en) 2002-10-18 2008-02-19 The Regents Of The University Of California Dynamic binaural sound capture and reproduction
EP1531650A3 (en) * 2003-11-12 2008-07-09 Gennum Corporation Hearing instrument having a wireless base unit
JP4126025B2 (ja) * 2004-03-16 2008-07-30 松下電器産業株式会社 音処理装置、音処理方法および音処理プログラム
US7564980B2 (en) * 2005-04-21 2009-07-21 Sensimetrics Corporation System and method for immersive simulation of hearing loss and auditory prostheses
JP4543014B2 (ja) * 2006-06-19 2010-09-15 リオン株式会社 聴音装置
EP2095678A1 (en) * 2006-11-24 2009-09-02 Rasmussen Digital APS Signal processing using spatial filter

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09140000A (ja) * 1995-11-15 1997-05-27 Nippon Telegr & Teleph Corp <Ntt> 会議用拡聴器
JPH11308699A (ja) * 1998-04-21 1999-11-05 Nippon Telegr & Teleph Corp <Ntt> 空間音響再生装置、その両耳間差維持方法及び両耳間差補正方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10779075B2 (en) 2010-12-27 2020-09-15 Finewell Co., Ltd. Incoming/outgoing-talk unit and incoming-talk unit
US10778823B2 (en) 2012-01-20 2020-09-15 Finewell Co., Ltd. Mobile telephone and cartilage-conduction vibration source device
US10834506B2 (en) 2012-06-29 2020-11-10 Finewell Co., Ltd. Stereo earphone
JP2015139084A (ja) * 2014-01-22 2015-07-30 日東電工株式会社 聴覚補完システム、聴覚補完装置及び聴覚補完方法
JP2017530579A (ja) * 2014-08-14 2017-10-12 レンセラール ポリテクニック インスティチュート 両耳統合相互相関自己相関メカニズム
US10356231B2 (en) 2014-12-18 2019-07-16 Finewell Co., Ltd. Cartilage conduction hearing device using an electromagnetic vibration unit, and electromagnetic vibration unit
US10848607B2 (en) 2014-12-18 2020-11-24 Finewell Co., Ltd. Cycling hearing device and bicycle system
US11601538B2 (en) 2014-12-18 2023-03-07 Finewell Co., Ltd. Headset having right- and left-ear sound output units with through-holes formed therein
JP2017539181A (ja) * 2014-12-22 2017-12-28 ジーエヌ ヒアリング エー／エスＧＮ Ｈｅａｒｉｎｇ Ａ／Ｓ 拡散性雑音聴取
JP2016140059A (ja) * 2014-12-30 2016-08-04 ジーエヌ リザウンド エー／エスＧｎ Ｒｅｓｏｕｎｄ Ａ／Ｓ 外部からピックアップされたマイクロホン信号の上に空間聴覚キューを重ね合わせる方法
JP2018521520A (ja) * 2015-04-02 2018-08-02 シバントス ピーティーイー リミテッド 聴音装置
US10798494B2 (en) 2015-04-02 2020-10-06 Sivantos Pte. Ltd. Hearing apparatus
JP2016201768A (ja) * 2015-04-14 2016-12-01 株式会社ファインウェル 受話装置
US10967521B2 (en) 2015-07-15 2021-04-06 Finewell Co., Ltd. Robot and robot system
US10795321B2 (en) 2015-09-16 2020-10-06 Finewell Co., Ltd. Wrist watch with hearing function
JP2017092732A (ja) * 2015-11-11 2017-05-25 株式会社国際電気通信基礎技術研究所 聴覚支援システムおよび聴覚支援装置
US10778824B2 (en) 2016-01-19 2020-09-15 Finewell Co., Ltd. Pen-type handset
US10638239B2 (en) 2016-12-15 2020-04-28 Sivantos Pte. Ltd. Method of operating a hearing aid, and hearing aid
JP2018098798A (ja) * 2016-12-15 2018-06-21 シバントス ピーティーイー リミテッド 補聴器の作動方法
JP2018010712A (ja) * 2017-10-18 2018-01-18 ヤマハ株式会社 サンプリング周波数推定装置
JP2021510287A (ja) * 2018-01-05 2021-04-15 オラー、ラスロ 補聴器及びその使用方法
US11526033B2 (en) 2018-09-28 2022-12-13 Finewell Co., Ltd. Hearing device

Also Published As

Publication number Publication date
WO2010084769A1 (ja) 2010-07-29
US8670583B2 (en) 2014-03-11
US20120020503A1 (en) 2012-01-26
JPWO2010084769A1 (ja) 2012-07-19
JP5409656B2 (ja) 2014-02-05
JP5642851B2 (ja) 2014-12-17

Similar Documents

Publication Publication Date Title
JP5642851B2 (ja) 補聴装置
US10431239B2 (en) Hearing system
JP6977050B2 (ja) 両側性マイクロホンアレイにおける風雑音を制御すること
CN104883636B (zh) 仿生听力耳麦
US11037544B2 (en) Sound output device, sound output method, and sound output system
JP5526042B2 (ja) 音響システム及びサウンドを提供する方法
CN109640235B (zh) 利用声源的定位的双耳听力系统
CN104185129B (zh) 具有改善的定位的助听器
JP2019534657A (ja) 二重用途の両側性マイクロホンアレイ
CN101772965A (zh) 麦克风被设置于耳道的洞口的耳背式助听器
EP2351384A1 (en) Method of rendering binaural stereo in a hearing aid system and a hearing aid system
US11805364B2 (en) Hearing device providing virtual sound
CN109845296B (zh) 双耳助听器系统和操作双耳助听器系统的方法
WO2014053024A1 (en) Binaural hearing system and method
JP2019041382A (ja) 音響デバイス
US8666080B2 (en) Method for processing a multi-channel audio signal for a binaural hearing apparatus and a corresponding hearing apparatus
EP1796427A1 (en) Hearing device with virtual sound source
WO2008119122A1 (en) An acoustically transparent earphone
US20070127750A1 (en) Hearing device with virtual sound source
CN211860528U (zh) 耳麦及音频处理系统
KR102613035B1 (ko) 위치보정 기능의 이어폰 및 이를 이용하는 녹음방법
CN118678275A (zh) 用于为双耳听力系统定位声源的方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141029

R151 Written notification of patent or utility model registration

Ref document number: 5642851

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151