JP2014194554A - 補聴器および補聴処理方法 - Google Patents

補聴器および補聴処理方法 Download PDF

Info

Publication number
JP2014194554A
JP2014194554A JP2014093347A JP2014093347A JP2014194554A JP 2014194554 A JP2014194554 A JP 2014194554A JP 2014093347 A JP2014093347 A JP 2014093347A JP 2014093347 A JP2014093347 A JP 2014093347A JP 2014194554 A JP2014194554 A JP 2014194554A
Authority
JP
Japan
Prior art keywords
consonant
time
section
hearing aid
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014093347A
Other languages
English (en)
Other versions
JP5870309B2 (ja
Inventor
Katsue Fusakawa
歌津衣 房川
Motokuni Ito
元邦 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2014093347A priority Critical patent/JP5870309B2/ja
Publication of JP2014194554A publication Critical patent/JP2014194554A/ja
Application granted granted Critical
Publication of JP5870309B2 publication Critical patent/JP5870309B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04Time compression or expansion
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/35Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using translation techniques
    • H04R25/353Frequency, e.g. frequency shift or compression
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065Aids for the handicapped in understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93Discriminating between voiced and unvoiced parts of speech signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13Hearing devices using bone conduction transducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Telephone Function (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

【課題】時間変化が激しく、持続時間の短い子音の認識率を向上させる補聴器法等を提供する。
【解決手段】有音区間内において子音区間と母音区間とを検出する音声分析手段202と、信号処理部204と、補聴器を利用する利用者の聴覚の時間分解能を示す時間分解能情報に基づき、子音区間を伸長する時間を調整する調整部301とを備え、音声分析手段202は、子音区間内において子音の種類を分析し、調整部301は、さらに、子音の種類毎に弁別可能な最低限の時間分解能を示す最小時間分解能が設定された最小時間分解能テーブルを保持し、補聴器を利用する利用者の聴覚の時間分解能を、音声分析手段202で分析された子音の種類における最小時間分解能テーブルに設定される最小時間分解能で除算して得られた値倍の時間となるよう、子音区間を伸長する時間を調整する。
【選択図】図5

Description

本発明は補聴器および補聴処理方法に関し、特に、聴覚補償のための補聴処理技術に関するものである。
高齢社会の到来により高齢の難聴者が増加している。この高齢難聴者のうち多くが、老化現象による老人性難聴をわずらっている。老人性難聴の大半は、感音性難聴と呼ばれる内耳もしくは内耳以降の神経系の障害に起因する難聴である。言い換えると、老人性難聴は、加齢に伴い、音信号を脳へ伝える信号に変換する役割を担う内耳の有毛細胞が、弱化、変形、消失等することや、変換された信号を脳へ伝える神経が損傷すること等により、音信号を脳へ伝搬しにくくなることから起こる。
従来、聴力が正常よりも低下する難聴者の聴覚を補償するものとして、補聴器が用いられてきた。補聴器では、例えば難聴者の聴力特性の劣化に応じて音を増幅させることにより聞こえを改善させる補聴技術が用いられている。また、近年では、補聴器だけでなく、高齢者向けに言葉の聞き取りをよくする補聴技術として話速変換が提案され、この話速変換を用いて、音声をゆっくり再生させる機能のあるテレビやラジオ、電話等も数多く出現している。
しかし、これらの補聴技術を用いた補聴機器は、難聴のメカニズムの一部を改善するにすぎないものである。そのため、老人性難聴者を含む感音性難聴者が補聴器を使用しても、聴力特性に応じた音の増幅だけでは、十分な聴力改善の効果を得られない。なぜなら、感音性難聴は、単に音量的に音声が聞こえないというよりも、音声を言葉として聞き分ける能力が低下しているということが特徴としてみられるからである。
ここで、感音性難聴の能力の低下の特徴として、1)ラウドネス補充現象、2)周波数選択性の低下、3)時間分解能の低下が挙げられ、下記に説明する。
1)ラウドネス補充現象とは、最小可聴域値は健聴者と比べ上昇しているが、音が可聴値以上の強さになると、音の感覚的な大きさであるラウドネスが急激に増加するという現象である。つまり、感音性難聴者は小さい音が聞こえにくいのに、少しでも可聴値以上の大きな音になると、うるさく感じるというように、音量変化に敏感になる傾向がある。なお、前述した従来の補聴技術を用いた補聴機器はこの現象に着目し、聴力改善を図ったものである。
2)感音性難聴では、周波数選択性の低下により、周波数帯域成分間のマスキング、とりわけ低域周波数成分による高域周波数成分のマスキング(上向性マスキング)の影響が増大する。つまり、感音性難聴者は、低音域の音よりも高音域の音が聞き取りにくくなるという傾向がある。なお、これに対しては、左右の耳に低域と高域とを別々に分けて提示することで、音声の明瞭度が高くなること等が報告されている(例えば、非特許文献1参照)。
3)感音声難聴では、時間分解能の低下により、音の速い変化に対応しにくくなる。そのため、例えば2つの音が継続的に与えられた場合に、一方の音が他方の音にマスキングされる継時マスキングの影響が増大する。つまり、感音性難聴者は、時間変化の速い音を知覚することや、時間的に近い音を区別することが難しくなる。なお、継時マスキングには、先行音が後続音をマスクする順向性マスキングと、後続音が先行音をマスクする逆向性マスキングの2種類がある。順向性マスキングは、ある音に反応すると、音が消えてもすぐにその反応がおさまらず、その間に発生した後続の音が聞こえにくくなるという現象を指す。また、逆向性マスキングは、強い音ほど、神経の反応は速く起こるため、弱い音の後に強い音がくると2音の区別がつかなくなり、弱い先行音が聞こえにくくなる現象を指す。
通常の会話では、母音はエネルギーが大きい、時間変化が少ない、持続時間が長いという特徴があり、逆に子音は、エネルギーの小さい、時間変化が激しい、持続時間が短いという特徴がある。そのため、感音性難聴者は、会話中の話すスピードに依存するものの、子音の前後の母音による継時マスキングが起こりやすいため、子音の聞き取りが難しい場合が多い。
さらに、感音性難聴者は、時間分解能の低下により音の速い変化に対応しにくいため、子音の前後の音による継時マスキングがなくても、結果として子音を聞き逃してしまう場合も多い。これは、時間変化が激しく持続時間の短い子音に対して、感音性難聴者の有毛細胞が反応する前にその子音が消えてしまい反応できないためである。その結果、子音を聞き逃してしまう。
このように、感音性難聴者は、時間分解能の低下により、子音の聞き取りが難しく、何を言っているか分からなかったり、違う言葉に聞こえたりするというように子音の認識率が悪化する。
それに対して、従来、継時マスキングの影響を軽減する方法がある。例えば、母音が子音を継時マスキングすることがないように、母音のフォルマント成分が大きい低域の信号を抑圧することによって、結果的に子音を強調する技術が開示されている(例えば、特許文献1参照)。また、母音の終端部分を一部、一定時間抑圧して、母音と子音の間に無音区間を置くことによって、次に来る子音への継時マスキングの影響を抑える技術も開示されている(例えば、特許文献2、特許文献3参照)。さらに、母音による子音の継時マスキングに関連する、周波数成分間で発生するマスキングを低減するために、左右の耳に異なる周波数特性の信号を与える技術も提案されている(例えば、特許文献4参照)。
このような処理を行うことで、母音から子音への継時マスキングを減らし、子音の聞き取りを改善させることができる。
特許第3596580号公報 特許第3303446号公報 特開平3−245700号公報 特開2006−87018号公報 特開昭58−70400号公報
Barbara Franklin,"The Effect of Combining Low− and High−Frequency Passbands on Consonant Recognition in the Hearing Impaired",Journal of Speech and Hearing Research,USA,American Speech−Language−Hearing Association,December 1975,Vol.18,719−727.
しかしながら、上記従来の技術は、時間分解能の低下の影響のうち母音から子音への継時マスキングを減らすことを可能にしたにすぎない。つまり、上記従来の技術では、時間変化が激しく持続時間の短い子音を感音性難聴者に知覚させ、子音認識率を改善させることに関しては解決されていない。
また、従来の話速変換は、音声の定常部分(主に母音部)を用いて、ピッチ周期を抽出し、ピッチ単位で補間を行うことで、時間伸長して話速を遅くするものである。そのため、時間変化が激しく、持続時間の短い子音を知覚させ、子音認識率を改善させることに関しては解決できていない。また、話速を遅らせることにより、唇の動作と声がずれて視覚情報と聴覚情報が同期しなくなる、いわゆるリップシンクがとれない状況が発生し、その結果会話の内容が聞きにくくなる場合がある。
そこで、本発明は、時間分解能の低下によるこれらの課題を解決するもので、時間変化が激しく、持続時間の短い子音の認識率を向上させる補聴器および補聴処理方法を提供することを目的とする。
この課題を解決するために、本発明の補聴器は、外部音声信号が入力される音声入力手段と、前記音声入力手段に入力された音声信号の有音区間と音響的に無音とみなせる区間とを検出し、検出した有音区間内において子音区間と母音区間とを検出する音声分析手段と、前記音声分析手段により検出された前記子音区間を時間的に伸長し、前記音声分析手段により検出された前記母音区間および前記音響的に無音とみなせる区間の少なくとも一方を時間的に圧縮する信号処理手段とを備える。
本構成によると、子音区間を時間伸長することで、時間変化が激しく持続時間の短い子音の認識率を改善するとともに、母音区間および/または音響的に無音とみなせる区間を圧縮することで視覚情報と聴覚情報を同期させ、リップシンクによる聴覚補助を保つことができる。
また、前記伸長された子音区間の時間の一部を、前記母音区間から信号をピッチ単位で削除することにより前記母音区間を時間的に圧縮し、前記伸長された子音区間の時間の残部を、前記音響的に無音とみなせる区間の信号を削除することにより前記音響的に無音とみなせる区間を圧縮するとしてもよい。
本構成によると、子音区間そのもの(位置・場所)ではなく、伸張処理によって増えた時間(量)のうちの一部の時間分を母音区間から削除し、リップシンクがとれない状況を回避する。それにより、時間変化が激しく持続時間の短い子音の認識率を改善でき、リップシンクによる聴覚補助も保ちつつ、音の高さが変化するといった音質の劣化を防ぐことができる。
また、前記補聴器は、さらに、前記補聴器を利用する利用者の聴覚の時間分解能を示す時間分解能情報に基づき、前記子音区間を伸長する時間を調整する調整手段を備え、前記信号処理手段は、前記音声分析手段により検出された前記子音区間を前記調整手段が調整した時間、伸長するとしてもよい。
本構成によると、補聴器利用者個人に適した子音の聞き取り改善ができる。
また、前記補聴器は、さらに、前記音声信号の音圧を算出し、算出した前記音圧に基づき、前記子音区間を伸長する時間を調整する調整手段を備え、前記信号処理手段は、前記音声分析手段により検出された前記子音区間を前記調整手段が調整した時間、伸長するとしてもよい。
本構成によると、入力音声の音圧に応じた音声の明瞭度改善ができる。
また、前記音声分析手段は、前記子音区間内において子音の種類を分析し、前記補聴器は、さらに、前記音声分析手段により分析された子音の種類に基づき、前記子音区間を伸長する時間を調整する調整手段を備え、前記信号処理手段は、前記音声分析手段により検出された前記子音区間を前記調整手段が調整した時間、伸長するとしてもよい。
本構成によると、各子音の種類に応じた最適な持続時間を与え、子音に応じた音声の明瞭度改善ができる。
本発明によれば、時間変化が激しく、持続時間の短い子音の認識率を向上させる補聴器および補聴処理方法を実現することができる。具体的には、老人性難聴を含む時間分解能が低下した感音性難聴者に対して、特に子音の聞き取りを向上させることができ、音声明瞭度を改善させることができる。
図1は、本発明の実施の形態1における補聴器の構成を示すブロック図である。 図2は、本発明の実施の形態1における音声分析手段と制御手段との動作例1を示すフローチャートである。 図3は、本発明の実施の形態1における音声分析手段と制御手段との動作例2を示すフローチャートである。 図4は、本発明の実施の形態1における音声分析手段と制御手段との動作例3のフローチャートである。 図5は、本発明の実施の形態2における補聴器の構成を示すブロック図である。 図6は、本発明の実施の形態3における補聴器の構成を示すブロック図である。 図7は、本発明の実施の形態3の変形例1における補聴器の構成を示すブロック図である。 図8は、本発明の実施の形態3の変形例2における補聴器の構成を示すブロック図である。 図9は、本発明の実施の形態4における補聴器の構成を示すブロック図である。 図10Aは、無声破裂音の音響的特徴を示す図である。 図10Bは、無声破裂音の音響的特徴を示す図である。 図10Cは、無声破裂音の音響的特徴を示す図である。 図11Aは、有声破裂音の音響的特徴を示す図である。 図11Bは、有声破裂音の音響的特徴を示す図である。 図11Cは、有声破裂音の音響的特徴を示す図である。 図12Aは、鼻子音の音響的特徴を示す図である。 図12Bは、鼻子音の音響的特徴を示す図である。 図13Aは、摩擦音の音響的特徴を示す図である。 図13Bは、摩擦音の音響的特徴を示す図である。 図13Cは、摩擦音の音響的特徴を示す図である。 図14は、伸長率テーブルの1例を示す図である。 図15は、伸長率テーブルの1例を示す図である。 図16は、最小時間分解能テーブルの1例を示す図である。 図17は、時間伸長・圧縮調整手段503の構成の一例を示す図である。 図18は、時間伸長・圧縮調整手段503の構成の一例を示す図である。 図19は、本発明の実施の形態4の変形例1における補聴器の構成を示すブロック図である。 図20は、伸長率テーブルの1例を示す図である。 図21は、時間伸長・圧縮調整手段703の構成の一例を示すブロック図である。 図22は、本実施形態4の変形例1における補聴器の動作例を示すフローチャートである。 図23は、時間伸長・圧縮調整手段703の構成の別の一例を示すブロック図である。 図24は、本発明の実施の形態4の変形例1における補聴器の別の動作例を示すフローチャートである。 図25は、本発明の実施の形態4の変形例2における補聴器の構成を示すブロック図である。 図26は、本発明の実施の形態4の変形例3における補聴器の構成を示すブロック図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図1は、本発明の実施の形態1における補聴器の構成を示すブロック図である。
図1に示す補聴器は、音声入力手段201と、音声分析手段202と、制御手段203と、信号処理部204と、音声出力手段207とを備える。
音声入力手段201は、例えばマイクロホン、誘導コイルまたは音声通信装置若しくは音声再生装置の出力を入力する外部入力端子であり、外部の音声信号が入力され、入力された音声信号を信号処理部204に出力する。
音声分析手段202は、音声入力手段201に入力される音声信号の音の種別(母音、子音、それ以外等)を分析する。具体的には、音声分析手段202は、入力された音声信号が音響的に無音とみなせる区間であるか、または有音区間であるかを判定する。さらに、音声分析手段202は、有音区間と判定された有音区間内において、子音区間と子音区間に後続する母音区間を検出することにより、子音区間と母音区間とを判定する。
例えば、音声分析手段202は、音響的に無音とみなせる区間と有音区間とを次のように判定する。音声分析手段202は、単位時間における音声信号のパワーを計算し、そのパワー値が所定閾値以上になる時間が所定継続時間を超えた場合、有音区間と判定し、所定継続時間未満である場合や所定閾値未満である場合、音響的に無音とみなせる区間と判定する。なお、有音区間と音響的に無音と見なせる区間(無音区間)とを判定する方法には、例示した以外に知られる判定方法を用いてもよい。
また、例えば、音声分析手段202は、有音区間と判定された有音区間内における子音区間と母音区間とを次のように検出して判定する。音声分析手段202は、例えば有音区間と判定された有音区間内においてフォルマント周波数またはピッチ周期を抽出(検出)し、子音と母音とが有するそれぞれの特徴から子音と母音とを判定する方法等を用いる。ここで、子音の信号は、単体では他の雑音との区別が難しいため、子音区間を判断するために後続する母音の存在とから子音区間を推定および判定を行う。なお、音声分析手段202は、フォルマント周波数およびピッチ周期のどちらに基づいて子音区間と母音区間とを判定してもよいし、上記の例示した以外に知られる判定方法を用いてもよい。
制御手段203は、音声分析手段202の分析に基づいて、信号処理部204の制御を行う。すなわち、制御手段203は、音声分析手段202で分析された音の種別(母音、子音、それ以外等)に基づいて、その音の処理内容(伸長、圧縮等)等の判断を行う。そして、信号処理部204に対して音の区間および処理内容等の情報を含む制御信号を送ることにより、信号処理部204の制御を行う。
具体的には、制御手段203は、音声分析手段202によって子音区間または子音区間に後続する母音区間が検出されたとき、検出された子音区間または子音区間に後続する母音区間に応じて、信号処理部204の制御を行う。制御手段203は、音声分析手段202において子音区間が検出された場合、時間伸長手段205が子音区間の時間伸長を行うための情報を含む制御信号を信号処理部204に入力する。さらに、制御手段203は、音声分析手段202において検出された子音区間に後続する母音区間がある場合、時間圧縮手段206が母音区間の時間圧縮を行うための情報を含む制御信号を信号処理部204に入力する。
なお、制御手段203と信号処理部204とがどのように処理分担するかは実装方法により様々な実装が可能であり、本実施の形態の処理分担に限られたものではない。例えば、制御手段203は、音の種別と処理内容のみを信号処理部204に送り、処理時間は信号処理部204が決定するとし、必要な場合には制御手段203に送信するような構成であってもかまわない。
また、時間伸長手段205が子音区間の時間伸長を行うための情報は、検出された子音の種類毎にそれぞれ決められていてもよいし、子音を大まかなグループに分類し、そのグループ毎にそれぞれ決められていてもよい。また、受聴者の時間分解能の劣化に応じて、子音の種類毎または大まかに分類された子音のグループ毎にそれぞれ決められてもよい。
信号処理部204は、時間伸長手段205と時間圧縮手段206とを有し、制御手段203からの制御信号に応じて、時間伸長手段205と時間圧縮手段206とにより、音声入力手段201から出力された音声信号の信号処理を行う。具体的には、信号処理部204は、音声入力手段201より音声信号が入力され、制御手段203より制御信号が入力される。信号処理部204は、制御手段203からの制御信号に基づいて、時間伸長手段205と時間圧縮手段206とにより、音声入力手段201から入力された音声信号を処理する。すなわち、信号処理部204は、音声分析手段202により検出された子音区間を時間的に伸長し、音声分析手段202により検出された母音区間および音響的に無音とみなせる区間の少なくとも一方を時間的に圧縮する。なお、子音を判断するために、後続する母音が音声分析手段202に入力される必要がある場合には、制御手段203から入力される制御信号には子音区間の判断遅延が生じる。そのため、一般的には遅延バッファを信号処理部204内または信号処理部204の前段に設けて判断遅延にあわせて時間圧縮および伸長手段が動作できるようにする必要がある。
時間伸長手段205は、制御手段203からの制御信号で指定された子音区間の時間伸長を行う。子音区間の時間伸長は、例えば特許文献5で開示されているように子音区間の音声信号を時間的に切り出し、その部分を繰り返す技術などにより行うことができる。さらに、子音区間の時間伸長に、フェードイン・フェードアウトを行うクロスフェードを行うことで、つなぎ目をよりスムーズにすることができる。
このように、子音の発生している時間(子音区間)を長くすることで、劣化した内耳の有毛細胞でも子音に対して反応できるようになり、また、子音の前後の母音による継時マスキングの影響を減少させることができる。これにより、子音が聞き取りづらい難聴者の、子音の認識率を改善することができる。なお、子音区間を伸長する方法は、上記の子音伸長方式に限定されるものではなく、その他の子音伸長方式を用いてもよい。その場合でも、同様の認識率改善効果がある。
時間圧縮手段206は、母音区間および前記音響的に無音とみなせる区間の少なくとも一方から子音区間を伸長した時間分を圧縮する。具体的には、時間圧縮手段206は、制御手段203からの制御信号に基づいて、上記で指定された子音区間に後続する母音区間、若しくは音響的に無音とみなせる区間の時間圧縮、または子音区間に後続する母音区間および音響的に無音とみなせる区間両方の時間圧縮を行う。また、時間圧縮手段206は、伸長された子音区間の時間の一部を、母音区間から信号をピッチ単位で削除することにより母音区間を時間的に圧縮し、伸長された子音区間の時間の残部を、音響的に無音とみなせる区間の信号を削除することにより音響的に無音とみなせる区間を圧縮する。このように、時間圧縮手段206は、子音区間そのもの(位置・場所)ではなく、伸張処理によって増えた時間(量)すなわち子音区間で時間伸長された時間分を後続の区間で時間圧縮する手当を行う。それにより、時間伸長手段205が子音区間の時間を伸長した場合でも、視覚情報と聴覚情報にズレが生じ、リップシンク(視覚と聴覚の同期)による聴覚補助ができなくなるという問題に対応することができる。
より具体的には、時間圧縮手段206は、子音の発生タイミングが視覚情報と合うように、子音区間を伸長した時間の記録等をもとにその時間分またはそれ以上、後続する母音区間の一部、または無音区間の音声信号を一部もしくは全部を削除することにより時間圧縮を行う。これは、母音区間では部分的に音を削除する処理を行ったとしても、継続時間が長く、定常状態が続くため、聞き取りにくくなることはないからである。また、無音区間の一部もしくは全部を削除しても音声の聞き取りに悪影響は及ぼさないからである。ただし、その場合でも、母音区間の時間圧縮により音の高さが変化するといった音質の劣化を防ぐために、圧縮する母音区間の母音のピッチ周期を抽出し、ピッチ単位で削除して時間を縮めるのが好ましい。なお、このようにピッチ単位で母音区間を削除する場合は、子音の伸長時間と厳密に一致させるようには削除できないと考えられる。しかし、その場合でも、母音区間を削除する場合には上述の理由により伸長時間と厳密に一致させなくても、ピッチ単位で削除することが望ましい。
なお、子音区間を伸長した時間については、制御手段203が保持してもよいし、信号処理部204が保持してもよい。また他に記録部等を設け、伸長時間を記録するような構成としてもよい。
音声出力手段207は、信号処理部204で処理された音声信号を出力する。音声出力手段207は、例えば、イヤホン、スピーカ、ヘッドフォン等だけでなく、骨導振動子のような振動子や、内耳用の電極等を利用したものでもよい。
次に、以上のように構成された本実施の形態の補聴器における音声分析手段202と制御手段203との動作の一例について説明する。図2は、本実施形態1における音声分析手段と制御手段との動作例1を示すフローチャートである。なお、以下の動作例1においては、子音検出フラグconsを用いた場合について例示する。
音声分析手段202は、まず、音声入力手段201に入力される入力音声が、有音区間であるか否かを判定する(S201)。音声分析手段202は、その入力音声が有音区間であると判定すれば(S201のYESの場合)、判定した有音区間が子音区間であるか否かを判定するステップ(S202)に進む。音声分析手段202は、そうでなければ(S201のNOの場合)、処理を終了する。
次に、ステップS202において、音声分析手段202は、その有音区間の音声が子音区間の音声であると判定すると(S202のYESの場合)、時間伸張制御を行うステップ(S204)に進む。そうでなければ(S202のNOの場合)、時間圧縮処理が必要か否かを判定するステップ(S205)に進む。ステップS204において、制御手段203は、信号処理部204の時間伸長手段205に、所定時間の時間伸長を行わせるよう制御を行い、子音検出フラグconsに1を代入する。
一方、ステップS202において、音声分析手段202は、その有音区間が子音区間ではないと判定すると(S202のNOの場合)、時間圧縮処理が必要か否かを判定するステップ(S205)に進む。ステップS205において、音声分析手段202は、子音検出フラグconsが1であると判定すると(S205のYESの場合)、さらに、その有音区間が母音区間であるか否かを判定するステップ(S206)に進む。そうでなければ(S205のNOの場合)、処理を終了する。ステップS206において、音声分析手段202は、その有音区間が母音区間と判定すると(S206のYESの場合)、ピッチ単位の時間圧縮制御を行うステップ(S208)に進む。そうでなければ(S206のNOの場合)、処理を終了する。ステップS208において、制御手段203は、時間圧縮手段206に、子音を伸長した時間分またはそれ以上の時間分の母音区間をピッチ単位で削除させて時間圧縮を行わせるよう制御を行い、子音検出フラグconsに0を代入する。
以上のように、音声分析手段202と制御手段203とは、連続して音声入力手段201に入力される入力音声についての動作を行う。なお、S205において、子音検出フラグconsが1であるか否か判定するのは、時間伸張が行われていない場合、あるいは時間伸張の後に時間圧縮が行なわれた場合(いずれもconsが0の状態)に、不必要な時間圧縮が行われるのを防止するためである。また、S206のNoは、有音区間が子音区間でも母音区間でもない雑音等の場合でも対応できるようにするためにある。
なお、以上の動作例1において、子音検出フラグconsの代わりに伸張時間変数durを用いる場合には、以下のように動作を行えばよい。すなわち、ステップS204においては、consに1を代入する代わりに、durに子音を伸張した時間を加算する。また、ステップS205においては、consが1であるか否かを判定する代わりに、durが0より大きいか否かを判定する。また、ステップS208においては、durが示す時間を超えない範囲で時間圧縮を行わせるように制御し,変数durから母音を圧縮した時間を減算する。以上のような伸張時間変数durを用いる処理は、本発明の補聴器が、例えばフレーム処理のように、入力された音声を短い時間間隔で区切って処理するような場合に、特に有効である。さらに、上述の子音検出フラグや伸張時間変数を用いる方法に限らず、伸長するべきか否かが判断できるその他の方法を用いても良い。
次に、音声分析手段202と制御手段203の他の動作例(動作例2)について説明する。図3は、本実施形態1における音声分析手段と制御手段との動作例2を示すフローチャートである。なお、以下の動作例2においても、子音検出フラグconsを用いた場合について例示するが、上述の動作例1と同様に、伸張時間変数durを用いるか、あるい
は伸長するべきか否かが判断できるその他の方法を用いても良い。
音声分析手段202は、まず、音声入力手段201に入力される入力音声が、有音区間であるか否かを判定する(S301)。音声分析手段202は、その入力音声が有音区間であると判定すれば(S301のYESの場合)、判定した有音区間が子音区間であるか否かを判定するステップ(S302)に進む。そうでなければ(S301のNOの場合)、時間圧縮処理が必要か否かを判定するステップ(S305)に進む。
次に、ステップS302において、音声分析手段202は、その有音区間の音声が子音区間の音声であると判定すると(S302のYESの場合)、時間伸張制御を行うステップ(S304)に進む。そうでなければ(S302のNOの場合)、処理を終了する。なお、ステップS304の動作は、図2のステップS204と同じであるため説明を省略する。
一方、ステップS305において、音声分析手段202は、子音検出フラグconsが1であると判定すると(S305のYESの場合)、時間圧縮制御を行うステップ(S307)に進む。そうでなければ(S305のNOの場合)、処理を終了する。ステップS307において、制御手段203は、時間圧縮手段206に、子音を伸長した時間分またはそれ以上の時間分の、音響的に無音とみなせる区間を削除させて時間圧縮を行わせるよう制御を行い、子音検出フラグconsに0を代入する。
以上のように、音声分析手段202と制御手段203とは、連続して音声入力手段201に入力される入力音声についての動作を行う。なお、動作例1と動作例2との違いは、母音区間ではなく、音響的に無音とみなせる区間を削除して時間圧縮を行う点にある。
さらに、音声分析手段202と制御手段203との他の動作例(動作例3)について説明する。図4は、本実施形態1における音声分析手段202と制御手段203との動作例3を示すフローチャートである。なお、以下の動作例3においても、子音検出フラグconsを用いた場合について例示するが、上述の動作例1あるいは動作例2と同様に、伸張
時間変数durを用いるか、あるいは伸長するべきか否かが判断できるその他の方法を用いても良い。
音声分析手段202は、まず、音声入力手段201に入力される入力音声が、有音区間であるか否かを判定する(S401)。音声分析手段202は、その入力音声が有音区間であると判定すれば(S401のYESの場合)、判定した有音区間が子音区間であるか否かを判定するステップ(S402)に進む。そうでなければ(S401のNOの場合)、時間圧縮処理が必要か否かを判定するステップ(S409)に進む。
ステップS402において、音声分析手段202は、その有音区間の音声が子音区間の音声であると判定すると(S402のYESの場合)、時間伸張制御を行うステップ(S404)に進む。そうでなければ(S402のNOの場合)、時間圧縮処理が必要か否かを判定するステップ(S405)に進む。なお、ステップS404〜ステップS406の動作は、図2のステップS204〜S206とそれぞれ同じであるため説明を省略する。
ステップS406において、音声分析手段202は、その有音区間が母音区間であると判定(検出)すると(S406のYESの場合)、ピッチ単位の時間圧縮制御を行うステップ(S408)に進む。そうでなければ(S406のNOの場合)、処理を終了する。ステップS408において、制御手段203は、時間圧縮手段206に、子音を伸長した時間分またはそれより短い時間分の、母音区間をピッチ単位で削除させて時間圧縮を行わせるよう制御を行う。そして、母音区間を圧縮した時間ならびに音響的に無音とみなせる区間を圧縮した時間の総和が、子音を伸張した時間と等しい場合は、子音検出フラグconsに0を代入する。
一方、ステップS409において、音声分析手段202は、子音判定フラグconsが1であると判定すると(S409のYESの場合)、時間圧縮制御を行うステップ(S411)に進む。そうでなければ(S409のNOの場合)、処理を終了する。ステップS411において、制御手段203は、時間圧縮手段206に、子音を伸長した時間分またはそれより短い時間分の、音響的に無音とみなせる区間を削除させて時間圧縮を行わせるよう制御を行う。そして、母音区間を圧縮した時間ならびに音響的に無音とみなせる区間を圧縮した時間の総和が、子音を伸張した時間と等しい場合は、子音検出フラグconsに0を代入する。
以上のように、音声分析手段202と制御手段203とは、連続して音声入力手段201に入力される入力音声についての動作を行う。なお、動作例1および動作例2との違いは、母音区間および音響的に無音とみなせる区間を削除して時間圧縮を行う点にある。
なお、上述の動作例3においては、母音区間あるいは音響的に無音とみなせる区間のどちらか先に検出したほうの時間圧縮制御を行うように動作するが、母音区間を先に検出してから音響的に無音とみなせる区間の時間圧縮処理を行う場合は、子音判定フラグconsに加え母音判定フラグvowを用いて、以下のように動作を行えばよい。すなわち、ステップS408においては、子音を伸長した時間より短い時間分の、母音区間をピッチ単位で削除させて時間圧縮を行わせるよう制御を行い、consに0を代入するのに加え、vowに1を代入する。ステップS409においては、consが0であり、かつ、vowが1であると判定するとS411に進む。ステップS411においては、子音伸長時間と母音圧縮時間との差分の時間分(例えば子音の伸長時間分のうち母音を縮められなかった残りの時間分)について、音響的に無音とみなせる区間の圧縮を行わせるよう制御を行い、vowに0を代入する。
以上のように、本実施の形態では、後続の母音区間、若しくは、音響的に無音とみなせる区間、または後続の母音区間と音響的に無音とみなせる区間との両方で時間圧縮処理を行う。しかし、上記で説明したこれらの区間だけでなく、後続のさらにその後に発生する他の母音区間や雑音等の区間で時間圧縮処理を行ってもよい。いずれにせよ、視覚情報と聴覚情報との不一致を解消し、リップシンクによる聴覚補助が可能となるよう、音声信号に適した区間を選択し、時間圧縮する手当を行えばよい。
以上のように、本実施の形態1によれば、時間変化が激しく、持続時間の短い子音の認識率を向上させる補聴器および補聴処理方法を実現することができる。具体的には、音声入力手段201に入力される音声信号を音声分析手段202において分析し、音響的に無音とみなせる区間であるか有音区間であるか判定し、判定した有音区間で、さらに子音区間と母音区間との判定を行う。そして、音声分析手段202の判定結果によって、制御手段203は、信号処理部204の時間伸長手段205および時間圧縮手段206を動作させる制御信号を信号処理部204に出力する。時間伸長手段205では、子音区間の時間伸長を行い、時間圧縮手段206では、後続の母音区間、若しくは音響的に無音とみなせる区間、または後続の母音区間と音響的に無音とみなせる区間との両方において子音区間で伸長した時間分を削除することにより時間圧縮する。
このように子音区間を知覚できる長さまで時間伸長することで、時間分解能が低下し、通常の会話における音声の子音を知覚しにくい難聴者が、子音の知覚時間を確保することができ、結果的に音声全体の認識度合いを向上させることができる。さらに、子音の伸長によりリップシンクによる聴覚補助ができなくなるという問題に対して、後続の母音区間、音響的に無音とみなせる区間、他の母音区間、または無意味区間等を時間圧縮することで、視覚情報との不一致をも解消できる。
なお、子音全体の分析までは行わず、伸長すべき音声の特徴を、簡易的かつ高速に検出する方法を用いて、子音区間の時間伸長を行うとしてもよい。その場合、上述した子音区間の判断遅延を少なくすることができるだけでなく、実装が簡易になるため好ましい一面もある。ここで、伸長すべき音声の特徴を簡易的かつ高速に検出する方法としては、例えば、破裂・摩擦といった先頭部分(急激な周波数成分の変化)または渡り部分(フォルマント成分の変化:フォルマント遷移)といった子音の特徴のみを検出する方法などがある。
(実施の形態2)
図5は、本発明の実施の形態2における補聴器の構成を示すブロック図である。図5に示す補聴器は、音声入力手段201と、音声分析手段202と、調整部301と、制御手段304と、信号処理部204と、音声出力手段207とを備える。なお、図5において、図1と同じ構成要素については同じ符号を用い、説明を省略する。
また、図5に示す補聴器は、実施の形態1に係る補聴器に対して、調整部301、制御手段304および信号処理部204の構成が異なる。
調整部301は、時間分解能設定手段302と時間伸長・圧縮調整手段303とで構成され、本発明の補聴器利用者の、聴覚の時間分解能に応じて、音声信号の一部を伸長する時間と、その他の一部を圧縮する時間とを調整する。例えば、調整部301は、利用者の聴覚の時間分解能の低下度合いが大きい場合には、利用者の聴覚の時間分解能の低下度合いが小さい場合に比べて、子音区間を伸長する時間を長くするよう調整する。
時間分解能設定手段302は、本発明の補聴器を利用者に適応させるため、補聴器利用前に、フィッティングプログラム等を用いてその補聴器の時間分解能に対する調整値が、フィッティングのパラメータの1つとして、設定される。このようにして設定された調整値を用いて、時間分解能設定手段302には、補聴器利用者の時間分解能の値が設定される。ここで、調整値は、補聴器の外部入力から入力されて設定されるが、時間分解能設定手段302が設定する構成に限られず、時間伸長・圧縮調整手段303も含めた調整部301により、設定される構成となっていてもよい。
例えば、時間分解能設定手段302は、補聴器利用者の聴覚の時間分解能値として、時間分解能の測定方法を用いて測定されたデータ、または、測定値に応じた、時間分解能の低下度合いのパラメータが設定される。
なお、時間分解能の測定方法は、「聴覚心理学概論」(B.J.Cムーア著 大串健吾監訳)の中に詳しく書かれている。例えば、広帯域または狭帯域雑音の中に雑音が断続するギャップを挿入し、ギャップの検知閾を測定することで時間分解能の低下度合いを算出する。このような時間分解能の測定は、補聴器のフィッティング時や耳鼻科診療の際に行えばよいし、補聴器に測定プログラムを内蔵して、補聴器のレシーバを使って音を出しながら計測する手段も考えられる。また、時間分解能の低下は継時マスキングの影響を増大させる傾向があるため、継時マスキング特性を測定することで、簡易的に時間分解能の低下度合いを算出してもよい。例えば、前記「聴覚心理学概論」によると、プローブと呼ばれる短い信号とマスカーを使って、プローブの知覚できる遅延時間、マスキング量を測定することで、簡易的に時間分解能の低下度合いを算出する。また、単純に、話速の異なる文章で聞き取り試験を行い、正答率に応じて、時間分解能の低下度合いを推測することにより時間分解能を測定するとしてもよい。
時間伸長・圧縮調整手段303は、時間分解能設定手段302で設定された時間分解能値に基づき、信号処理部204の時間伸長手段305が伸長する時間(伸長時間)と時間圧縮手段306が圧縮する時間(圧縮時間)とを調整する調整量を設定する。
具体的には、時間伸長・圧縮調整手段303は、時間分解能設定手段302で設定された時間分解能値に基づき、例えば時間分解能の低下度合いが小さい場合は、伸長時間と圧縮時間とを短めに設定し、低下度合いが大きい場合は、伸長時間と圧縮時間とを長めに設定する。このように、利用者の時間分解能の低下度合いに応じて、その利用者が子音を知覚できるまで子音を伸長することによって、継続時間の短い子音を知覚しやすくすることができる。
制御手段304は、時間伸長・圧縮調整手段303で設定された調整量を、音声分析手段202による検出結果に応じた制御信号と共に信号処理部204に出力する。すなわち、制御手段304は、音声分析手段202で分析された音の種別(母音、子音、それ以外等)に基づいて、その音の処理内容(伸長、圧縮等)等の判断を行う。そして、信号処理部204に対して、音の区間および処理内容等の情報を含む制御信号を、時間伸長・圧縮調整手段303で設定された調整量とともに送ることにより、信号処理部204の制御を行う。
時間伸長手段305は、制御手段304により信号処理部204に入力された調整量と制御信号とに基づいて、子音区間の時間伸長を行う。この子音区間の時間伸長は、図1の時間伸長手段205と同様に行うが、子音区間を伸長させる時間は入力された調整量にも基づいて決定される。
時間圧縮手段306は、制御手段304により信号処理部204に入力された調整量と制御信号とに基づいて、母音区間等の時間圧縮を行う。この時間圧縮は、図1の時間圧縮手段206と同様に行うが、母音区間等を圧縮させる時間は、入力された調整量にも基づいて決定される。
このように本実施の形態2によれば、時間分解能設定手段302と時間伸長・圧縮調整手段303とにより、利用者の聴覚の時間分解能に応じて、音声の伸長時間と圧縮時間とを調整することができる。それにより、さらに、個人に適した子音の聞き取り改善を可能とする補聴器および補聴処理方法を実現することができる。
(実施の形態3)
利用者の時間分解能は、音圧(音の大きさ)によっても変化することが知られている。そのため、本実施の形態3では、入力された音声信号の音圧に応じて、伸長処理を行う場合の例について以下説明する。
図6は、本発明の実施の形態3における補聴器の構成を示すブロック図である。図6に示す補聴器は、音声入力手段201と、音声分析手段202と、調整部401と、制御手段404と、信号処理部204と、音声出力手段207とを備える。なお、図1または図5と同じ構成要素については同じ符号を用い、説明を省略する。
図6に示す補聴器は、実施の形態1に係る補聴器に対して、調整部401および制御手段404の構成が異なる。
調整部401は、音圧算出手段402と時間伸長・圧縮調整手段403とで構成され、音声入力手段201に入力された入力音声の音圧に応じて、音声信号の一部を伸長する時間とその他の一部を圧縮する時間とを調整する。
具体的には、音圧算出手段402は、音声入力手段201に入力された入力音声の単位時間あたりの音圧を算出する。
時間伸長・圧縮調整手段403は、音圧算出手段402で算出された音圧(値)に基づいて、時間伸長手段305と時間圧縮手段306とにおいて、伸長される時間と圧縮される時間とを調整する調整量を設定する。例えば、時間伸長・圧縮調整手段403は、音圧算出手段402で算出された音圧値が所定値よりも大きいときは、伸長時間と圧縮時間を短めに設定し、前記音圧値が所定値と同じか小さいときは、伸長時間と圧縮時間を長めに設定する。ここで、所定値とは、予め定められた伸長時間と圧縮時間とにおける標準となる音圧値を意味する。また、例えば、時間伸長・圧縮調整手段403は、音圧算出手段402で算出された音圧値が所定値より大きい場合には、音圧算出手段402で算出された音圧値が所定値以下の場合に比べて、子音区間を伸長する時間を短くするよう調整する。
制御手段404は、時間伸長・圧縮調整手段403で設定された調整量を、音声分析手段202による検出結果に応じた制御信号と共に信号処理部204に出力する。すなわち、制御手段404は、音声分析手段202で分析された音の種別(母音、子音、それ以外等)に基づいて、その音の処理内容(伸長、圧縮等)等の判断を行う。そして、信号処理部204に対して、音の区間および処理内容等の情報を含む制御信号を、時間伸長・圧縮調整手段403で設定された調整量とともに送ることにより、信号処理部204の制御を行う。
このように、音声入力手段201に入力される入力音声の音圧に応じて伸長時間と圧縮時間とを変化させることで、例えば音圧が高く明瞭度が十分ある音声に対して子音が発生している時間を長くさせることができ、逆に明瞭度を下げたり、不自然さを出したりという悪影響を防ぐことができる。また音圧が低い場合は、子音が発生している時間を長くして、子音の知覚を補助することができる。
なお、音圧(音の大きさ)によっても利用者の時間分解能が変化するが、この変化は利用者毎に異なる場合が多い。そのため、補聴器利用前に利用者の音圧毎の聴力検査を実施し、音圧毎の聴力に係るパラメータを得るのが好ましい。その場合、得られた音圧毎の聴力に係るパラメータを調整部401に入力し、時間伸長・圧縮調整手段403において調整量を設定し、音圧に応じた伸長時間と圧縮時間を決めてもよい。
また、子音と母音の音圧毎の音声明瞭度を測定し、音圧毎の明瞭度に係るパラメータを、時間伸長・圧縮調整手段403を含む調整部401に入力し、前記調整量を設定し、音圧に応じた伸長時間と、圧縮時間を決めてもよい。
(変形例1)
図7は、本発明の実施の形態3の変形例1における補聴器の構成を示すブロック図である。
図7の補聴器では、図6の音圧算出手段402が音声入力手段201により入力された音声の、単位時間あたりの音圧を算出するのに対して、音声分析手段202で有音区間と判定された区間に対してのみ、音圧の算出を行う点で異なっている。図7のような構成にすることにより、音声の音響的に無音とみなせる区間や、雑音等の無意味区間の音圧算出を省くことができ、効率的な処理ができる。
以上のように、調整部401の音圧算出手段402と時間伸長・圧縮調整手段403とにより、音声入力手段201に入力される入力音声の音圧の大きさに応じて、伸長・圧縮時間を調整することができる。これにより、音圧が高く、十分に明瞭な音声の一部を伸長、圧縮することによる音声劣化を防ぐことができる補聴器および補聴処理方法を実現できる。また利用者の音圧毎の聴力に応じて音声の伸長時間と圧縮時間とを調整することにより、より個人に適した、音声の聞き取り改善ができる。さらに、子音、母音の音圧毎の明瞭度に応じて、音声の伸長時間と圧縮時間を調整することで、音声の聞き取りの改善ができる。
(変形例2)
図8は、本発明の実施の形態3の変形例2における補聴器の構成を示すブロック図である。図1、図5、または図6と同じ構成要素については同じ符号を用い、説明を省略する。
図8の補聴器は、図6の調整部401の他の構成例であり、実施の形態3に係る図6の補聴器に対して、調整部601の構成が異なる。
図8に示す調整部601は、時間分解能設定手段302と音圧算出手段402と、時間伸長・圧縮調整手段603とで構成されている。
時間伸長・圧縮調整手段603は、音圧算出手段402で算出された音圧値と、時間分解能設定手段302で設定された時間分解能値とに基づき、調整量を設定して制御手段604に出力する。なお、時間伸長・圧縮調整手段603は、図7で説明したように、音声分析手段202で有音区間と判定された区間に対してのみ、音圧算出手段402による算出処理を行うこととしてもよい。
制御手段604は、時間伸長・圧縮調整手段603で設定された調整量を、音声分析手段202による検出結果に応じた制御信号と共に信号処理部204に入力する。すなわち、制御手段604は、音声分析手段202で分析された音の種別(母音、子音、それ以外等)に基づいて、その音の処理内容(伸長、圧縮等)等の判断を行う。そして、信号処理部204に対して、音の区間および処理内容等の情報を含む制御信号を、時間伸長・圧縮調整手段603で設定された調整量とともに送ることにより、信号処理部204の制御を行う。
このように、入力音声の音圧と補聴器利用者の時間分解能との両方に応じて音声の伸長時間と圧縮時間とを調整することができる。それにより、より個人に適した聞き取りの改善することができるだけでなく、音声の不適切な伸長と圧縮とによる音声劣化を防ぐことができる補聴器および補聴処理方法を実現できる。
(実施の形態4)
図9は、本発明の実施の形態4における補聴器の構成を示すブロック図である。図9に示す補聴器は、音声入力手段201と、調整部501と、制御手段504と、信号処理部204と、音声出力手段207とを備える。なお、図1、図5または図6と同じ構成要素については同じ符号を用い、説明を省略する。
図9に示す補聴器は、実施の形態1に係る図1の補聴器に対して、調整部501、制御手段504および信号処理部204の構成が異なる。また、図9に示す補聴器は、実施の形態3に係る図5の補聴器に対して、調整部501および制御手段504の構成が異なる。
調整部501は、図9に示すように、音声分析手段502と時間伸長・圧縮調整手段503とで構成され、音声入力手段201に入力された音声の子音の種類に応じて、音声信号の一部を伸長する時間とその他の一部を圧縮する時間とを調整する調整量を設定する。
具体的には、音声分析手段502は、音声入力手段201に入力された音声が、音響的に無音とみなせる区間であるか有音区間であるかを判定し、有音区間と判定した場合に有音区間内が子音区間であるか母音区間であるかを判定する。さらに、音声分析手段502は、子音区間と判定した場合に、子音区間内での子音の種類を判定する。
ここで、子音の種類とは、分類の仕方にもよるが、例えば鹿野他「音声・音情報のデジタル信号処理」によれば、以下のように分類される。すなわち、鼻子音(m、n)、無声摩擦音(f、s、sh)、有声摩擦音(z、zh)、声門摩擦音(h)、無声破裂音(p、t、k)、有声破裂音(b、d、g)、無声破擦音(ts、ch)、半母音(w)および拗音(y)である。
また、より詳細な分類の仕方として、例えば、次のとおりである。無声口唇破裂音(p)、無声歯茎破裂音(t)、無声軟口蓋破裂音(k)、有声口唇破裂音(b)、有声歯茎破裂音(d)、有声軟口蓋破裂音(g)などの破裂音と、無声歯茎摩擦音(s)、無声硬口蓋摩擦音(sh)、有声歯茎摩擦音(z)、有声硬口蓋摩擦音(zh)、声門摩擦音(h)などの摩擦音と、無声硬口蓋破擦音(ch)、無声歯茎破擦音(ts)などの破擦音とがある。また、口唇鼻音(m)、歯茎鼻音(n)、はじき音(l)、口唇半母音(w)および、硬口蓋半母音(拗音)(y)もある。
なお、音声分析手段502において、子音の種類は、音声入力手段201に入力された音声の音声信号から母音区間を検出し、母音区間に挟まれた音声区間を時間パターンで推定することにより判定できる。具体的には、各子音の音響的特徴(スペクトラム上の特性)、すなわち、先頭にみられる急激あるいは緩やかな強度変化(初期部)と、初期部に続く部分、すなわち渡りと呼ばれる短時間のフォルマント周波数変化(フォルマント遷移部分)と、一定になったフォルマント周波数とのうちの、初期部と渡りとに基づいて、子音の種類を特定することができる。以下、いくつかの子音の種類を例に挙げて具体的に説明する。
図10A〜図10Cは、無声破裂音の音響的特徴を示す図(スペクトログラム)である。図10Aは、無声破裂音の一例として男性の声が「パ」を発する場合の音響的特徴を示す図であり、図10Bは、無声破裂音の一例として男性の声が「タ」を発する場合の音響的特徴を示す図である。図10Cは、無声破裂音の一例として男性の声が「カ」を発する場合の音響的特徴を示す図である。なお、図中、縦軸は周波数を示しており、横軸は、時間を示している。また、図中、色の濃淡は音の強度を示し、明るいところほど、音声信号に含まれる成分が強いことを示している。
この場合、図10A〜図10Cに示すように、子音の種類の一つである無声破裂音(p、t、k)が示す音響的特徴として、初期に続く部分で、渡りと呼ばれるフォルマント周波数変化(フォルマント遷移)が異なるのに加え、初期(先頭)の破裂部分(音の強度変化の激しい部分)が観察される。なお、無声破裂音(p、t、k)内では、フォルマント遷移の違いに加え、初期(先頭)の破裂部分の長さ・周波数成分が異なっていることにより、区別することができる。その例を以下に述べる。
図11A〜図11Cは、有声破裂音の音響的特徴を示す図である。図11Aは、有声破裂音の一例として男性の声が「バ」を発する場合の音響的特徴を示す図であり、図11Bは、有声破裂音の一例として男性の声が「ダ」を発する場合の音響的特徴を示す図である。図11Cは、有声破裂音の一例として男性の声が「ガ」を発する場合の音響的特徴を示す図である。
この場合、図11A〜図11Cに示すように、子音の種類の一つである有声破裂音(b、d、g)が示す音響的特徴として、初期(先頭)にバズバー(先頭の低周波成分)と、初期に続く部分に渡りと呼ばれる短時間(数十ms程度)のフォルマント周波数変化とが観察される。なお、有声破裂音(b、d、g)内では、バズバーの時間的長さや、フォルマント周波数変化により、区別することが可能であると考えられる。
図12Aおよび図12Bは、鼻子音の音響的特徴を示す図である。図12Aは、鼻子音の一例として男性の声が「マ」を発する場合の音響的特徴を示す図であり、図12Bは、鼻子音の一例として男性の声が「ナ」を発する場合の音響的特徴を示す図である。
この場合、図12Aおよび図12Bに示すように、子音の種類の一つである鼻子音(m、n)が示す音響的特徴として、初期(先頭)に、200Hz付近のエネルギーの集中が観察され、さらに、初期に続く部分で、フォルマント周波数変化が見られる。なお、鼻子音(m、n)内では、フォルマント周波数変化の形により、区別することが可能であると考えられる。
その他にも子音の分類アルゴリズムは考えられるが、このような子音分類方法を導入することで、音声分析手段502は、各子音の音響的特徴(スペクトラム上の特性)に基づき、初期の強度変化と渡りと呼ばれる短時間のフォルマント周波数変化との特徴から、子音の種類を判定(特定)することができる。
その後、信号処理部204で、伸長処理が行われる。なお、伸長処理は、例えば、鼻子音(m、n)、有声破裂音(b、d、g)の渡り(フォルマント遷移部分)を伸長するなど、時間的変化が手がかりとなっている部分(子音)だけを、その変化が知覚できるように伸長処理する。また、例えば、破裂・破擦部分を伸長するなど、音が発している継続時間が短い部分(子音)を、その成分が知覚できるように伸長処理する。
時間伸長・圧縮調整手段503は、音声分析手段502で判定された子音の種類に応じて、信号処理部204の時間伸長手段305と時間圧縮手段306とにおける伸長時間と圧縮時間とを調整する調整量を設定する。
例えば、時間伸長・圧縮調整手段503は、その伸長時間と圧縮時間の調整量とを、音声分析手段502により判定された子音の種類に応じて、次のように設定する。すなわち、時間伸長・圧縮調整手段503は、子音の調音位置、調音方式と声帯振動の有無などに基づく分類において、補聴器利用者が知覚しやすい子音と知覚しにくい子音とを示す聴力検査等のデータをテーブル等で予め保持している。そして、時間伸長・圧縮調整手段503は、聴力検査等のデータにより知覚しにくいと推定される子音に関しては、伸長時間と圧縮時間との調整量を長めに設定し、知覚しやすいと推定される子音に関しては、短めに設定する。
このように、時間伸長・圧縮調整手段503は、補聴器利用者が知覚しやすい子音と知覚しにくい子音とを示す聴力検査等のデータに基づいて、伸長および圧縮を行うことで、子音の認識率を向上させることができる。
例えば、時間伸長・圧縮調整手段503は、音声分析手段502により判定された子音の種類が無声破裂音の場合は、有声破裂音と混同することがない程度に調整量を短く設定し、有声破裂音の場合は、無声破裂音との差をはっきりさせる程度に調整量を長めに設定する。これにより、時間分解能の低下した難聴者が、無声破裂音と有声破裂音を識別することが難しいという問題に対応することができる。なお、この問題は、時間分解能の低下した難聴者にとって、両者の識別の一因となる有声開始時間(Voice onset time(VOT))を正確に知覚しにくくなることにより生じる。このような子音に関しては、VOTの違い、つまり無声破裂音と有声破裂音の違いを、子音が無声破裂音の場合と有声破裂音の場合とで調整量を変化させ、両者の違いをはっきりさせることにより子音の認識率を向上させることができる。
なお、時間伸長・圧縮調整手段503は、聴力検査等のデータとして、例えば、各子音の知覚しやすさに関する補聴器利用者の聴力情報または子音毎に設定した調整量を子音に対応づけたテーブルを保持している。もちろん、これらのテーブルは、時間伸長・圧縮手段503が保持する場合に限られず、調整部501内が記憶部を備え、その記憶部で保持する構成であってもよい。
また、聴力検査等のデータを示すテーブルは、補聴器利用者全般に対応するよう、標準化されたデータを示すものであっても、補聴器利用者個人の聴力に基づくデータを示すものであってもよい。
ここで、聴力検査等のデータを示すテーブルと、それを用いて伸長処理を行う時間伸長・圧縮調整手段503についてより具体的に説明する。
図14は、伸長率テーブルの1例を示す図である。図14に示す伸長率テーブルは、各子音の成分(種類)毎に、時間分解能と伸長率との関係を示しており、子音の種類に応じて伸長すべき倍率(調整量)を示している。ここで、図中の時間分解能の値20(ms)は、補聴器利用者全般における子音の聞き分け能力を示す時間であり、予め設定されている。
図14に示すように、例えば、有音口唇破裂音bの場合、時間伸長・圧縮調整手段503は、子音bの時間を4.5倍に伸長する。また、例えば、声門摩擦音hの場合、時間伸長・圧縮調整手段503は、子音hの時間を1.8倍に伸長する。ここで、1.0倍と示
される子音の種類については、時間伸長・圧縮調整手段503は、子音の時間を伸長しないことを示している。
なお、図14の伸長率テーブルが示す値は、子音の種類と補聴器を利用する利用者の聴覚の時間分解能との組み合わせ毎の伸長時間の倍率が設定されている一例に過ぎない。もちろん他の値でもよく、補聴器利用者が子音を聞き分け可能な伸長率になっていればよい。例えば、渡りの時間的変化が遅い硬口蓋半母音(拗音)はあまり伸長する必要はないが、渡りの時間的変化が早い、図10A〜図10Cに示した無声破裂音(p、t、k)および図11A〜図11Cに示した有声破裂音は例示したよりも伸張時間が長くなるように設定してもよい。同様に、伸長率テーブルに示される時間分解能の値は20msでなくてもよく、25msまたは15msでもよい。補聴器利用者全般として設定できる値であればよい。
また、伸長率テーブルに示す子音の種類は、図14に示す子音の種類に限られない。例えば、図15に示すように、子音の種類を、子音それぞれを共通の特徴で大まかに分類したグループの種類としてもよい。その場合には、子音の種類毎すなわち子音を大まかに分類したグループ毎について伸長率を示せばよい。また、子音の種類を大まかに分類したグループも、図16に示すような有声破裂音、無声破裂音、無声摩擦音、有声摩擦音、無声破擦音および鼻音に限られず、例えば、口唇音、歯茎音等と分類したグループでもよい。また、それらのグループ毎の伸長率は、各グループ内の代表値(例えば、平均値、最大値、最小値等)を用いて設定すればよい。この各グループ内の代表値は、予め用意した上で設定してもよいし、各グループ内の子音のそれぞれの伸長率の値から設定するとしてもよい。
図16は、最小時間分解能テーブルの1例を示す図である。図16に示す最小時間分解能テーブルは、子音の種類毎に、知覚(弁別)できるために必要な最低限の時間分解能を示している。補聴器利用者(受聴者)の時間分解能と比較し、知覚できないと判定した場合に、伸長処理を行う。ここで、補聴器利用者(受聴者)の時間分解能は、例えば25(ms)であり、予め設定されている。
図16に示すように、例えば、口唇鼻音mの場合、時間伸長・圧縮調整手段503は、25(ms)/19.3(ms)の値から子音mの時間を1.3倍に伸長する。また、例えば、有声歯茎破裂音dの場合、時間伸長・圧縮調整手段503は、25(ms)/4.1(ms)の値から子音dの時間を6.1倍に伸長する。ただし、図16中で(33.5)と記載されている、例えば硬口蓋半母音(拗音)yの場合は、伸張しなくても認識できる音であることを示しており、そのため、時間伸長・圧縮調整手段503は、1.0倍に伸長する(伸長しない)。
このように、時間伸長・圧縮調整手段503は、補聴器利用者(受聴者)の聴覚の時間分解能を、音声分析手段202により分析された子音の種類における最小時間分解能テーブルに設定される最小時間分解能で除算して得られた値倍に伸長する。
なお、図16の最小時間分解能テーブルが示す値は、一例に過ぎず、他の値でもよく、補聴器利用者が子音を聞き分け可能な伸長時間の倍率になればよい。例えば、渡りの時間的変化が遅い硬口蓋半母音(拗音)はあまり伸長する必要はないが、渡りの時間的変化が早い、図10A〜図10Cに示した無声破裂音(p、t、k)および図11A〜図11Cに示した有声破裂音は例示したよりも伸張時間が長くなるように設定してもよい。同様に、予め設定されている補聴器利用者(受聴者)の時間分解能の値は25msでなくてもよく、20msまたは15msでもよい。補聴器利用者全般として設定できる値であればよい。
また、上記同様に、最小時間分解能テーブルに示す子音の種類は、図16に示す子音の種類に限られない。例えば、図15に示すように、子音の種類を大まかに分類したグループ毎としてもよい。その他、上述した伸長率テーブルの場合と同様であるため、説明を省略する。
また、上述した伸長率テーブルおよび最小時間分解能テーブルは、上述したように、時間伸長・圧縮調整手段503が保持する場合に限られず、調整部501内に備えられた記憶部で保持する構成であってもよい。ここで、伸長率テーブルおよび最小時間分解能テーブルを時間伸長・圧縮調整手段503が保持する場合の時間伸長・圧縮調整手段503の構成の一例を図に示す。
図17および図18は、時間伸長・圧縮調整手段503の構成の一例を示す図である。
図17に示す時間伸長・圧縮調整手段503は、例えば、伸長率設定手段5031と伸長率テーブル記憶手段5032とで構成される。伸長率テーブル記憶手段5032は、上述した伸長率テーブルを保持している。伸長率設定手段5031は、補聴器利用者(受聴者)の時間分解能と、子音の種類とに基づいて伸長率テーブル記憶手段5032が保持する伸長率テーブルを参照し、伸長率を設定する。伸長率設定手段5031は、設定した伸長率を含む調整量を制御手段504に出力する。
図18に示す時間伸長・圧縮調整手段503は、例えば、伸長率設定手段5031と最小時間分解能テーブル記憶手段5033とで構成される。最小時間分解能テーブル記憶手段5033は、上述した最小時間分解能テーブルを保持している。伸長率設定手段5031は、最小時間分解能テーブル記憶手段5033が保持する最小時間分解能テーブルを参照し、補聴器利用者(受聴者)の時間分解能と比較し、知覚できないと判定した場合に、伸長率を設定する。伸長率設定手段5031は、設定した伸長率を含む調整量を制御手段504に出力する。
このように、時間伸長・圧縮調整手段503は、伸長率テーブルや最小時間分解能テーブルに基づき、子音の種類に応じて、伸長および圧縮を行う調整量を設定することができるので、子音の認識率を向上させることができる。
制御手段504は、時間伸長・圧縮調整手段503で設定された調整量を、音声分析手段502での検出結果に応じた制御信号と共に信号処理部204に出力する。すなわち、制御手段504は、音声分析手段502で判定された子音の種類に基づいて、その音の処理内容(伸長、圧縮等)等の判断を行う。そして、信号処理部204に対して、音の区間および処理内容等の情報を含む制御信号を、時間伸長・圧縮調整手段503で設定された調整量とともに送ることにより、信号処理部204の制御を行う。
以上のように、実施の形態4の補聴器は構成される。
このように本実施の形態の補聴器では、調整部501の音声分析手段502と時間伸長・圧縮調整手段503とにより、子音の種類に応じて、伸長時間と圧縮時間を調整できるため、子音の種類に応じて、子音の聞き取りを改善することができる。
(変形例1)
次に、上述した調整部501の他の構成例について説明する。
図19は、本発明の実施の形態4の変形例1における補聴器の構成を示すブロック図である。図19に示す補聴器は、音声入力手段201と、調整部701と、制御手段704と、信号処理部204と、音声出力手段207とを備える。調整部701は、音声分析手段502と、時間伸長・圧縮調整手段703と、時間分解能設定手段302とで構成されている。図1、図5、または図9と同じ構成要素については同じ符号を用い、説明を省略する。
図19に示す補聴器は、図9の補聴器に対して、調整部701、制御手段704の構成が異なる。具体的には、図19に示す補聴器の調整部701は、図9の補聴器の調整部501に対して、時間伸長・圧縮調整手段703と、時間分解能設定手段302との構成が異なる。
音声分析手段502は、上述したように、音声入力手段201に入力された音声が、音響的に無音とみなせる区間であるか有音区間であるかを判定し、有音区間と判定した場合に有音区間内が子音区間であるか母音区間であるかを判定する。さらに、音声分析手段502は、子音区間と判定した場合に、子音区間内での子音の種類を判定する。具体的には、音声分析手段502は、各子音の音響的特徴(スペクトラム上の特性)に基づき、初期の強度変化と渡りと呼ばれる短時間のフォルマント周波数変化との特徴から、子音の種類を判定(特定)する。
なお、音声分析手段502は、判定した子音区間において、伸長を行うべき音響的特徴が現れているかを判定し、伸長を行うべき音響的特徴が現れている場合に、伸長区間を設定して保持するとしてもよい。
時間分解能設定手段302は、補聴器利用前に、補聴器を利用者個人に適応させるための時間分解能値が設定されている。
時間伸長・圧縮調整手段703は、伸長率テーブルや最小時間分解能テーブルを参照して、音声分析手段502により判定された子音の種類と、時間分解能設定手段302で設定された補聴器利用者(受聴者)の時間分解能値とに基づいて調整量を設定する。時間伸長・圧縮調整手段703は、設定した調整量を制御手段704に出力する。
以上のような構成により、時間伸長・圧縮調整手段703は、入力音声の子音の種類と補聴器利用者の時間分解能との両方に応じて、音声の伸長時間と圧縮時間とを調整する調整量を設定することができる。それにより、より個人に適した聞き取りの改善できる補聴器および補聴処理方法を実現できる。
以下、具体的に、時間伸長・圧縮調整手段703が予め用意された伸長率テーブルを参照することにより設定された調整量から、子音の伸長処理を行う場合と、予め用意された最小時間分解能テーブルを参照することにより設定された調整量から、子音の伸長処理を行う場合とについて説明する。
まず、予め用意された伸長率テーブルを用いた伸長処理について説明する。
図20は、伸長率テーブルの1例を示す図である。図20に示す伸長率テーブルは、各子音の成分(種類)毎に、時間分解能と伸長率との関係を示しており、子音の種類に応じて伸長すべき倍率(調整量)を示している。
また、図21は、時間伸長・圧縮調整手段703の構成の一例を示すブロック図である。
図21に示す時間伸長・圧縮調整手段703は、例えば、伸長率設定手段7031と伸長率テーブル記憶手段7032とで構成される。伸長率テーブル記憶手段7032は、図20に示す伸長率テーブルを保持している。伸長率設定手段7031は、時間分解能設定手段302で設定された補聴器利用者(受聴者)の時間分解能と、子音の種類とに基づいて伸長率テーブル記憶手段7032が保持する伸長率テーブルを参照し、伸長率を設定する。伸長率設定手段7031は、設定した伸長率を含む調整量を制御手段704に出力する。
例えば、音声分析手段502により判定された子音の種類が、有音口唇破裂音b、かつ、時間分解能設定手段302で設定された補聴器利用者(受聴者)の時間分解能値が15msであるとする。その場合、時間伸長・圧縮調整手段703は、図20に示す伸長率テーブルを参照して、子音bと判定された子音区間を3.4倍に伸長する調整量を設定する。また、例えば、音声分析手段502により判定された子音の種類が、声門摩擦音h、かつ、時間分解能設定手段302で設定された補聴器利用者(受聴者)の時間分解能値が15msであるとする。その場合、時間伸長・圧縮調整手段703は、図20に示す伸長率テーブルを参照して、子音hと判定された子音区間を1.4倍に伸長する調整量を設定す
る。その他も同様のため、説明を省略する。
なお、図20の伸長率テーブルが示す値は、一例に過ぎず、他の値でもよく、補聴器利用者が子音を聞き分け可能な伸長時間の倍率になっていればよい。例えば、渡りの時間的変化が遅い硬口蓋半母音(拗音)はあまり伸長する必要はないが、渡りの時間的変化が早い、図10A〜図10Cに示した無声破裂音(p、t、k)および図11A〜図11Cに示した有声破裂音は例示したよりも伸張時間が長くなるように設定してもよい。一方、初期部の時間が比較的短い子音、例えば無声破裂音の伸張時間を長くすることにより、初期部の時間が比較的長い子音、例えば有声破裂音との異聴が発生する場合には、無声破裂音の伸張時間が有声破裂音の伸張時間を越えないようにするか、あるいは有声破裂音の伸張時間をさらに長くするように設定してもよい。
制御手段704は、時間伸長・圧縮調整手段703で設定された調整量を、音声分析手段502による検出結果に応じた制御信号と共に信号処理部204に出力する。すなわち、制御手段304は、信号処理部204に対して、制御信号と調整量とをともに送ることにより、信号処理部204の制御を行う。
以上のように構成された補聴器の動作例について、次に説明する。
図22は、本実施形態4の変形例1における補聴器の動作例を示すフローチャートである。なお、ステップS401〜ステップS411の動作は、図4のステップS401〜S411とそれぞれ同じであるため説明を省略する。
ステップS4040において、音声分析手段502は、判定(検出)した子音区間において、伸長を行うべき音響的特徴が現れているかを判定する(S4041)。音声分析手段502は、伸長を行うべき音響的特徴が現れていると判定すると(S4041のYESの場合)、伸長区間を設定するステップ(S4042)に進む。そうでなければ(S4041のNOの場合)、処理を終了する。
次に、音声分析手段502により判定(検出)した子音区間が伸長処理すべき伸長区間であると設定されると(S4042)、時間伸長・圧縮調整手段703は、図20に示すような伸長率テーブルを参照する。そして、時間伸長・圧縮調整手段703は、音声分析手段502により判定(検出)された入力音声の子音の種類と時間分解能設定手段302で設定された補聴器利用者の時間分解能との両方に応じて、伸長区間の伸長率と時間と、子音伸長時間に応じて母音・無音区間を圧縮する時間とを調整する調整量を設定する(S4043)。
次に、制御手段704は、時間伸長・圧縮調整手段703で設定された調整量を、音声分析手段502による検出結果に応じた制御信号と共に信号処理部204に出力する。信号処理部204は、制御手段704より出力された調整量と制御信号とに従って、伸長処理を実行する(S4044)。ここで、伸長処理とは、例えば、鼻子音(m、n)、有声破裂音(b、d、g)の渡り(フォルマント遷移部分)を伸長するなど、時間的変化が手がかりとなっている部分(子音)だけを、その変化が知覚できるように伸長処理することである。また、例えば、破裂・破擦部分を伸長するなど、音が発している継続時間が短い部分(子音)を、その成分が知覚できるように伸長処理することである。すなわち、破裂などの初期(先頭)と初期に続く渡り部分(フォルマント遷移)とに対して伸長処理を実施する。
以上のようにして、予め用意された伸長率テーブルを用いた伸長処理が行われる。
次に、予め用意された図16に示す最小時間分解能テーブルを用いた伸長処理について説明する。
図23は、時間伸長・圧縮調整手段703の構成の別の一例を示すブロック図である。
図23に示す時間伸長・圧縮調整手段703は、例えば、伸長率設定手段7031と最小時間分解能テーブル記憶手段7033とで構成される。最小時間分解能テーブル記憶手段7033は、図16に示す最小時間分解能テーブルを保持している。伸長率設定手段7031は、時間分解能設定手段302で設定された補聴器利用者(受聴者)の時間分解能と、子音の種類とに基づいて、最小時間分解能テーブル記憶手段7033が保持する最小時間分解能テーブルを参照し、伸長率を設定する。伸長率設定手段7031は、設定した伸長率を含む調整量を制御手段704に出力する。
例えば、音声分析手段502により判定された子音の種類が、口唇鼻音m、かつ、時間分解能設定手段302で設定された補聴器利用者(受聴者)の時間分解能値が25msであるとする。その場合、時間伸長・圧縮調整手段703は、図16に示す最小時間分解能テーブルを参照し、25(ms)/19.3(ms)の値から子音mと判定された子音区間を1.3倍に伸長する調整量を設定する。また、例えば、音声分析手段502により判定された子音の種類が、有声歯茎破裂音d、かつ、時間分解能設定手段302で設定された補聴器利用者(受聴者)の時間分解能値が25msであるとする。その場合、時間伸長・圧縮調整手段703は、図16に示す最小時間分解能テーブルを参照し、25(ms)/4.1(ms)の値から、子音dと判定された子音区間を6.1倍に伸長する調整量を設定する。その他も同様のため、説明を省略する。
なお、図16に示す最小時間分解能テーブルが示す値は、一例に過ぎず、他の値でもよく、補聴器利用者が子音を聞き分け可能な伸長時間の倍率になればよい。例えば、渡りの時間的変化が遅い硬口蓋半母音(拗音)はあまり伸長する必要はないが、渡りの時間的変化が早い、図10A〜図10Cに示した無声破裂音(p、t、k)および図11A〜図11Cに示した有声破裂音は例示したよりも伸張時間が長くなるように設定してもよい。一方、初期部の時間が比較的短い子音、例えば無声破裂音の伸張時間を長くすることにより、初期部の時間が比較的長い子音、例えば有声破裂音との異聴が発生する場合には、無声破裂音の伸張時間が有声破裂音の伸張時間を越えないようにするか、あるいは有声破裂音の伸張時間をさらに長くするように設定してもよい。
制御手段704は、時間伸長・圧縮調整手段703で設定された調整量を、音声分析手段502による検出結果に応じた制御信号と共に信号処理部204に出力する。すなわち、制御手段304は、信号処理部204に対して、制御信号と調整量とをともに送ることにより、信号処理部204の制御を行う。
以上のように構成された補聴器の動作例について、次に説明する。
図24は、本実施形態4の変形例1における補聴器の別の動作例を示すフローチャートである。なお、ステップS401〜ステップS411の動作は、図4のステップS401〜S411とそれぞれ同じであるため説明を省略する。また、ステップS4041と、ステップS4012の動作は、図22のステップS4041〜S4012とそれぞれ同じであるため説明を省略する。
ステップS4047において、時間伸長・圧縮調整手段703は、図16に示すような最小時間分解能テーブルを参照する。そして、時間伸長・圧縮調整手段703は、音声分析手段502により判定(検出)された入力音声の子音の種類と時間分解能設定手段302で設定された補聴器利用者の時間分解能との両方に基づいて、最小時間分解能を取得する(S4047)。次いで、時間伸長・圧縮調整手段703は伸長区間の伸長率と時間と、子音伸長時間に応じて母音・無音区間を圧縮する時間とを調整する調整量を設定する(S4048)。
次に、制御手段704は、時間伸長・圧縮調整手段703で設定された調整量を、音声分析手段502による検出結果に応じた制御信号と共に信号処理部204に出力する。信号処理部204は、制御手段704より出力された調整量と制御信号とに従って、伸長処理を実行する(S4047)。ここでの伸長処理は、上述したのと同様に、破裂などの初期(先頭)と初期に続く渡り部分(フォルマント遷移)とに対してなされる。
以上のように、予め用意された最小時間分解能テーブルを用いた伸長処理が行われる。
以上のように構成される補聴器は、補聴器利用者(受聴者)の時間分解能の劣化に応じて、子音ごとに伸長処理を行う。その伸長処理は、時間分解能に基づく伸長処理であり、予め用意された伸長率テーブルまたは最小時間分解能テーブルなどを用いて行われる。具体的には、例えば、鼻子音(m、n)、有声破裂音(b、d、g)の渡り(フォルマント遷移部分)を伸長するなど、時間的変化が手がかりとなっている部分(子音)だけを、その変化が知覚できるように伸長処理を行う。また、例えば、破裂・破擦部分を伸長するなど、音が発している継続時間が短い部分(子音)を、その成分が知覚できるように伸長処理を行う。言い換えると、破裂などの初期(先頭)と初期に続く渡り部分(フォルマント遷移)とに対して伸長処理を行う。
なお、補聴器利用者(受聴者)受聴者の時間分解能の劣化度合いは、上述したように、子音の種類によって異なるだけでなく、話速によっても異なる。
そのため、音声分析手段502は、例えば子音や母音の出現する時間間隔を測定するなどにより、話速を分析し、話速情報を保持し、時間伸長・圧縮調整手段703は、音声分析手段502に保持されている話速情報も考慮して、調整量を設定するとしてもよい。具体的には、時間伸長・圧縮調整手段703は、伸長率テーブルまたは最小時間分解能テーブルを標準的な話速の音声に対して設定し、例えば、話速が標準より1.2倍速い場合には、伸長率テーブルの値を1.2倍または最小分解能テーブルの値を1.2分の1にするなど、受聴している音声の話速に応じてテーブルを調整するとしてもよい。
また、上記の伸長処理において、補聴器利用者(受聴者)の時間分解能の値は、予め分かっており(予め用意されており)、時間分解能設定手段302にその補聴器利用者(受聴者)の時間分解能の値が設定される場合を典型例として説明しているが、それに限られない。例えば、本発明に係る補聴器の利用開始前に、調整装置等により補聴器利用者(受聴者)の時間分解能を推定(測定)して、調整装置等により推定(測定)した補聴器利用者(受聴者)の時間分解能を時間分解能設定手段302に設定するとしてもよい。この調整装置等は、時間分解能設定手段302の内部に備えていてもよいし、外部に別途用意されているとしてもよい。
ここで、調整装置等により補聴器利用者(受聴者)の時間分解能を推定する方法を例示する。
この調整装置は、補聴器利用者(受聴者)が子音をどのように聞き間違えるのを測定した異聴パターンを取得し、取得した異聴パターンから、補聴器利用者(受聴者)の時間分解能を推定する。例えば、補聴器利用者(受聴者)が子音kを間違え、子音mを正答する場合には、調整装置は、図16に示す最小時間分解能テーブルを用いて、子音kの最小時間分解能17.6msと子音mの最小時間分解能19.3msとから、その補聴器利用者(受聴者)の時間分解能を18〜19ms程度と推定する。このように、調整装置は、補聴器利用者(受聴者)の異聴パターンから、補聴器利用者(受聴者)の時間分解能を推定するとしてもよい。なお、異聴パターンの測定は、例えば、一般的な語音明瞭度検査(57S、67S)の結果を用いたり、弁別の境界線が分かるように異聴の起きやすい(紛らわしい)発生の音声を用いたりして行えばよい。
また、この調整装置は、補聴器利用者(受聴者)の異聴パターンから、補聴器利用者(受聴者)の時間分解能を推定するだけでなく、異聴の起こしやすい子音または子音のペアを特定し、時間分解能設定手段302に通知するとしてもよい。その場合、時間伸長・圧縮調整手段703は、異聴の起こしやすい子音または子音のペアの音響的特徴が明瞭になるように、異聴の起こしやすい子音または子音のペアについての調整量を設定し、制御手段に出力する。なお、時間伸長・圧縮調整手段703は、異聴の起こしやすい子音または子音のペアについての伸長率テーブルまたは最小時間分解能テーブルの値を再調整するなどで対応してもよい。そして、信号処理部204は、異聴の起こしやすい子音または子音のペアについて、音響的特徴が明瞭になるように伸長処理を行う。例えば、鼻子音(m、n)間または有声破裂音(b、d、g)間で異聴が発生する場合、それらの渡り部分の違いが知
覚できるように、伸長区間および伸長率が設定される。また、例えば、口唇音(p、b、m、w)間、歯茎音(t、 d、s、z、ts、n)間で異聴が発生する場合、初期(先頭)の破裂・破擦音等が知覚できるように、伸長区間および伸長率が設定される。このようにして、補聴器は、異聴の起こしやすい子音または子音のペアについて、音響的特徴が明瞭になるように伸長処理を行うとしてもよい。
(変形例2)
補聴器利用者(受聴者)受聴者の時間分解能の劣化度合いは、子音の種類によって異なるだけでなく、音声の大きさ(音圧)によっても異なる。そのため、変形例2では、音声の大きさを考慮した場合の構成例として、上述した変形例1における調整部501とは別の構成例について説明する。
図25は、本発明の実施の形態4の変形例2における補聴器の構成を示すブロック図である。図25に示す補聴器は、音声入力手段201と、調整部801と、制御手段804と、信号処理部204と、音声出力手段207とを備える。調整部801は、音声分析手段502と、時間伸長・圧縮調整手段803と、音圧算出手段402とで構成されている。図1、図5、または図9と同じ構成要素については同じ符号を用い、説明を省略する。
時間伸長・圧縮調整手段803は、伸長率テーブルや最小時間分解能テーブルを参照して、音声分析手段502により判定された子音の種類と音圧算出手段402で算出された音圧(値)とに基づき、調整量を設定する。例えば、時間伸長・圧縮調整手段803は、音圧算出手段402で算出された音圧が所定値よりも大きい場合には、音声分析手段502により判定された子音の種類において伸長率テーブルに設定された伸長率から所定値分差し引いた値となるよう調整量を設定する。また、時間伸長・圧縮調整手段803は、音圧算出手段402で算出された算出された音圧が所定値以下の場合には、音声分析手段502により判定された子音の種類において伸長率テーブルに設定された伸長率から所定値分付加した値となるよう調整量を設定する。時間伸長・圧縮調整手段803は、設定した調整量を制御手段804に出力する。
なお、音圧算出手段402は、上述した図8と同様に、音声分析手段502で有音区間と判定された区間に対してのみ、算出処理を行うとしてもよい。
制御手段804は、時間伸長・圧縮調整手段803で設定された調整量を、音声分析手段502での検出結果に応じた制御信号と共に信号処理部204に出力する。すなわち、制御手段804は、音声分析手段502で分析された音の種別(母音、子音、それ以外等)に基づいて、その音の処理内容(伸長、圧縮等)等の判断を行う。そして、信号処理部204に対して、音の区間および処理内容等の情報を含む制御信号を、時間伸長・圧縮調整手段303で設定された調整量とともに送ることにより、信号処理部204の制御を行う。
このようにして、伸長率テーブルや最小時間分解能テーブルを参照して、入力音声の子音の種類と入力音声の音圧の両方とに応じて、音声の伸長時間と圧縮時間とを調整することができ、個人に適した聞き取りの改善と、音声の不適切な伸長と圧縮による音声劣化を防ぐ補聴器および補聴処理方法を実現することができる。
(変形例3)
さらに、調整部501の他の構成例について説明する。
図26は、本発明の実施の形態4の変形例3における補聴器の構成を示すブロック図である。図26に示す補聴器は、音声入力手段201と、調整部901と、制御手段904と、信号処理部204と、音声出力手段207とを備える。調整部901は、音声分析手段502と、音圧算出手段402と、時間分解能設定手段302と、時間伸長・圧縮調整手段903とで構成されている。図1、図5、または図9と同じ構成要素については同じ符号を用い、説明を省略する。
時間伸長・圧縮調整手段903は、伸長率テーブルや最小時間分解能テーブルを参照して、音声分析手段502により判定された子音の種類と、音圧算出手段402で算出された音圧値と、時間分解能設定手段302で設定された時間分解能値とに基づき、調整量を設定する。時間伸長・圧縮調整手段903は、設定した調整量を制御手段904に出力する。なお、この場合も、上述した図8のように、音圧算出手段402は、音声分析手段202で有音区間と判定された区間に対してのみ、算出処理を行うこととしてもよい。
制御手段904は、時間伸長・圧縮調整手段903で設定された調整量を、音声分析手段202での検出結果に応じた制御信号と共に信号処理部204に出力する。
このようにして、伸長率テーブルや最小時間分解能テーブルを参照して、入力音声の子音の種類、入力音声の音圧、利用者の時間分解能とに応じて、音声の伸長時間と圧縮時間とを調整することができ、より個人に適した聞き取りの改善と、音声の不適切な伸長と圧縮による音声劣化を防ぐ補聴器および補聴処理方法を実現することができる。
以上のように、本発明によれば、入力音声を分析して子音区間を検出し、子音区間の時間を伸長することで、時間分解能の低化により子音の聞き取りが難しい難聴者に、子音を知覚するに十分な時間を与えることが可能になる。これにより、子音の聞き逃しや誤認識を改善し、子音認識度、ひいては音声認識度を向上させることができる。
なお、子音区間の時間を伸長させるだけでは、視覚情報と聴覚情報とにズレが生じてしまい、視覚による聴覚補助ができなくなるという問題が発生する。特に、聞き取りの難しい子音に対しては、視覚情報と聴覚情報との間に遅延が生じると、さらに聞き取りにくくなる。そのため、本発明に係る補聴器および補聴処理方法では、視覚情報と聴覚情報との間に遅延を生じさせないように、以降の子音の発生時間を揃える手当を行う。すなわち、子音区間に後続する母音区間若しくは子音区間の後に出現する音響的に無音とみなせる区間または母音区間と無音区間との両方で、子音区間を伸長させた時間分を削除することで子音区間に後続する区間の時間を圧縮する。それにより、視覚情報と聴覚情報との時間のズレが生じないようにすることができる。なお、この時間圧縮は時間を伸長した子音区間に後続する母音区間に限られず、他の母音区間に対して行ってもよいし、雑音等の無意味区間に対して行ってもよい。
また、本発明に係る補聴器および補聴処理方法では、難聴者の時間分解能の低下度合いのデータをテーブル等で保持することにより、難聴者の時間分解能の低下度合いに応じて、子音区間の伸長時間を調整する。それにより、難聴者個人に適応した子音の聞き取り改善を行うことができる。
さらに、本発明に係る補聴器および補聴処理方法では、入力音声の音圧に応じて、子音区間の伸長時間を調整する。それにより、音圧に応じた子音の聞き取り改善を行うことができる。
さらに、本発明に係る補聴器および補聴処理方法では、子音の種類を、子音の音響的特徴すなわち初期の音信号の強度変化と、初期に続く渡り(フォルマント遷移部分)とに基づいて子音の種類を判定し、子音の種類に応じて、例えばPSOLA法を用いたり、フォルマント遷移部分の波形を繰り返して複製する繰り返し処理等を用いたりして伸長処理する子音区間の伸長時間を調整する。それにより、子音の種類に応じた子音の聞き取り改善を行うことができる。なお、子音の種類に応じてとは、上述したように、子音の種類毎に応じてというだけでなく、子音の種類を大まかに分類したグループに応じてとしてもよい。例えば、有声破裂音のグループ、無声破裂音のグループ、無声摩擦音のグループ、有声摩擦音のグループ、無声破擦音のグループおよび鼻音のグループと子音の種類を大まかに分類してもよい。また、例えば、口唇音のグループ、歯茎音のグループ等と子音の種類を大まかに分類してもよい。そして、各グループ内の代表値(例えば、平均値、最大値、最小値等)を用いて伸長率を設定すればよい。この各グループ内の代表値は、予め用意した上で設定してもよいし、各グループ内の子音のそれぞれの伸長率の値から設定してもよい。
なお、子音毎ごとに個別に伸長率を設定することにより、逆に異聴が発生する場合も考えられる。その場合には、異聴の発生する子音または子音のペアについて共通の伸長率を設定するように補正(修正)すればよい。
また、本発明の伸張処理により、逆に子音の異聴が発生する場合でも、補聴器の使用初期については、異聴を許容するとしてもよい。これは、本発明の伸張処理により、補聴器利用者(受聴者)が子音ごとの音響的な違いを知覚(区別)することができれば、その異聴の示す子音を正しく認識するように学習することで、次第に異聴が解消することも可能だからである。このように、補聴器利用者(受聴者)の再学習に依存して異聴を許容するとしてもよい。
以上、本発明によれば、時間変化が激しく、持続時間の短い子音の認識率を向上させる補聴器および補聴処理方法を実現することができる。
なお、上記の本発明の補聴器および補聴処理方法において、子音全体の分析までは行わず、伸長すべき音声の特徴を、易的かつ高速に検出して、子音区間の時間伸長を開始する構成としてもよい。すなわち、例えば、破裂・摩擦を示す先頭部分(急激な周波数成分の変化)または渡り部分(フォルマント成分の変化:フォルマント遷移)など子音を示す特徴的な変化を検出すれば、子音全体の分析を待たずに、子音区間の時間伸長を開始する構成としてもよい。その場合、上述した子音区間の判断遅延を少なくすることができるだけでなく、実装が簡易になるという効果を奏する。
また、音声のスペクトラム上の特徴(フォルマント等)ではなく、音声を時間軸上で分析した場合の特徴を用いて、子音あるいは母音の判定を行っても良い。
以上、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
また、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
また、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
本発明は、補聴器および補聴処理方法に利用でき、特に、老人性難聴を含む、時間分解能の低下した感音性難聴者の、子音の聞き取りを向上させ、補聴器や音声通信機器、音声再生装置に適用した場合、音声明瞭度を向上させることが可能となる音響処理技術を用いた補聴器および補聴処理方法に利用できる。
201 音声入力手段
202、502 音声分析手段
203、304、404、504、604、704、804、904 制御手段
204 信号処理部
205、305 時間伸長手段
206、306 時間圧縮手段
207 音声出力手段
301、401、501、601、701、801、901 調整部
302 時間分解能設定手段
303、403、503、603、703、803、903 時間伸長・圧縮調整手段
402 音圧算出手段
5031、7031 伸張率設定手段
5032、7032 伸張率テーブル記憶手段
5033、7033 最小時間分解能テーブル記憶手段

Claims (5)

  1. 補聴器であって、
    外部音声信号が入力される音声入力手段と、
    前記音声入力手段に入力された音声信号の有音区間と音響的に無音とみなせる区間とを検出し、検出した有音区間内において子音区間と母音区間とを検出する音声分析手段と、
    前記音声分析手段により検出された前記子音区間を時間的に伸長し、前記音声分析手段により検出された前記母音区間および前記音響的に無音とみなせる区間の少なくとも一方を時間的に圧縮する信号処理手段と、
    前記補聴器を利用する利用者の聴覚の時間分解能を示す時間分解能情報に基づき、前記子音区間を伸長する時間を調整する調整手段とを備え、
    前記音声分析手段は、前記子音区間内において子音の種類を分析し、
    前記調整手段は、さらに、前記子音の種類毎に弁別可能な最低限の時間分解能を示す最小時間分解能が設定された最小時間分解能テーブルを保持し、前記補聴器を利用する利用者の聴覚の時間分解能を、前記音声分析手段により分析された子音の種類における前記最小時間分解能テーブルに設定される最小時間分解能で除算して得られた値倍の時間となるよう、前記子音区間を伸長する時間を調整し、
    前記信号処理手段は、前記音声分析手段により検出された前記子音区間を前記調整手段
    が調整した時間、伸長する補聴器。
  2. 前記信号処理手段は、前記伸長された子音区間の時間の一部を、前記母音区間から信号をピッチ単位で削除することにより前記母音区間を時間的に圧縮し、前記伸長された子音区間の時間の残部を、前記音響的に無音とみなせる区間の信号を削除することにより前記音響的に無音とみなせる区間を圧縮する
    請求項1に記載の補聴器。
  3. 前記子音の種類は、子音を共通の特徴で分類したグループの種類を含む
    請求項1に記載の補聴器。
  4. 前記音声分析手段は、前記検出した有音区間内において、子音の音響的特徴を検出した場合に、前記子音区間を検出したとし、
    前記信号処理手段は、前記音声分析手段が当該子音区間に続く前記母音区間を検出する前に、前記音声分析手段により検出されたとされる前記子音区間の伸長を開始する
    請求項1に記載の補聴器。
  5. 補聴処理装置における補聴処理方法であって、
    外部音声信号が入力される音声入力ステップと、
    前記音声入力ステップにおいて、入力された音声信号の有音区間と音響的に無音とみなせる区間とを検出し、検出した有音区間内において子音区間と母音区間とを検出する音声分析ステップと、
    前記音声分析ステップにおいて検出された前記子音区間を時間的に伸長し、前記音声分析ステップにおいて検出された前記母音区間および前記音響的に無音とみなせる区間の少なくとも一方を時間的に圧縮する信号処理ステップと、
    前記補聴処理方法を利用する利用者の聴覚の時間分解能を示す時間分解能情報に基づき、前記子音区間を伸長する時間を調整する調整ステップとを含み、
    前記音声分析ステップでは、前記子音区間内において子音の種類を分析し、
    前記補聴処理装置は、前記子音の種類毎に弁別可能な最低限の時間分解能を示す最小時間分解能が設定された最小時間分解能テーブルを保持し、
    前記調整ステップでは、前記補聴処理装置を利用する利用者の聴覚の時間分解能を、前記音声分析手段により分析された子音の種類における前記最小時間分解能テーブルに設定される最小時間分解能で除算して得られた値倍の時間となるよう、前記子音区間を伸長する時間を調整し、
    前記信号処理ステップでは、前記音声分析ステップにおいて検出された前記子音区間を前記調整ステップにおいて調整した時間、伸長する
    補聴処理方法。
JP2014093347A 2009-01-29 2014-04-30 補聴器および補聴処理方法 Expired - Fee Related JP5870309B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014093347A JP5870309B2 (ja) 2009-01-29 2014-04-30 補聴器および補聴処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009017549 2009-01-29
JP2009017549 2009-01-29
JP2014093347A JP5870309B2 (ja) 2009-01-29 2014-04-30 補聴器および補聴処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010530205A Division JPWO2010087171A1 (ja) 2009-01-29 2010-01-28 補聴器および補聴処理方法

Publications (2)

Publication Number Publication Date
JP2014194554A true JP2014194554A (ja) 2014-10-09
JP5870309B2 JP5870309B2 (ja) 2016-02-24

Family

ID=42395435

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010530205A Pending JPWO2010087171A1 (ja) 2009-01-29 2010-01-28 補聴器および補聴処理方法
JP2014093347A Expired - Fee Related JP5870309B2 (ja) 2009-01-29 2014-04-30 補聴器および補聴処理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2010530205A Pending JPWO2010087171A1 (ja) 2009-01-29 2010-01-28 補聴器および補聴処理方法

Country Status (5)

Country Link
US (1) US8374877B2 (ja)
EP (1) EP2383732B1 (ja)
JP (2) JPWO2010087171A1 (ja)
CN (1) CN101939784B (ja)
WO (1) WO2010087171A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017538146A (ja) * 2014-10-20 2017-12-21 アウディマックス・エルエルシー インテリジェントな音声認識および処理のためのシステム、方法、およびデバイス
JP2021026098A (ja) * 2019-08-02 2021-02-22 株式会社三菱ケミカルホールディングス コミュニケーション支援装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102481122B (zh) * 2010-06-04 2014-10-08 松下电器产业株式会社 听觉测定装置及其方法
US20120197643A1 (en) * 2011-01-27 2012-08-02 General Motors Llc Mapping obstruent speech energy to lower frequencies
DE102011006511B4 (de) 2011-03-31 2016-07-14 Sivantos Pte. Ltd. Hörhilfegerät sowie Verfahren zum Betrieb eines Hörhilfegeräts
DE102011006515A1 (de) * 2011-03-31 2012-10-04 Siemens Medical Instruments Pte. Ltd. Verfahren zur Verbesserung der Sprachverständlichkeit mit einem Hörhilfegerät sowie Hörhilfegerät
CN102222507B (zh) * 2011-06-07 2012-10-24 中国科学院声学研究所 一种适用于汉语语言的听力损失补偿方法及设备
WO2013008412A1 (ja) * 2011-07-08 2013-01-17 パナソニック株式会社 補聴適合度判定装置、および、補聴適合度判定方法
US20130013302A1 (en) * 2011-07-08 2013-01-10 Roger Roberts Audio input device
FR2979465B1 (fr) 2011-08-31 2013-08-23 Alcatel Lucent Procede et dispositif de ralentissement d'un signal audionumerique
US9286384B2 (en) 2011-09-21 2016-03-15 Sonos, Inc. Methods and systems to share media
DK2864983T3 (en) 2012-06-20 2018-03-26 Widex As PROCEDURE FOR SOUND HEARING IN A HEARING AND HEARING
JP6296219B2 (ja) 2012-07-13 2018-03-20 パナソニックIpマネジメント株式会社 補聴装置
TWI576824B (zh) * 2013-05-30 2017-04-01 元鼎音訊股份有限公司 處理聲音段之方法及其電腦程式產品及助聽器
CN104244155A (zh) * 2013-06-07 2014-12-24 杨国屏 处理声音段的方法及助听器
CN103813253B (zh) * 2014-03-11 2017-11-21 深圳市微纳集成电路与系统应用研究院 助听器声音处理方法
US10390147B2 (en) * 2015-02-24 2019-08-20 Gn Hearing A/S Frequency mapping for hearing devices
US10631113B2 (en) * 2015-11-19 2020-04-21 Intel Corporation Mobile device based techniques for detection and prevention of hearing loss
CN105357619B (zh) * 2015-12-11 2018-10-26 广州大学 一种数字助听器频率分辨力增强方法
US10098082B2 (en) * 2015-12-16 2018-10-09 Sonos, Inc. Synchronization of content between networked devices
WO2017137344A1 (en) * 2016-02-11 2017-08-17 Widex A/S Method of fitting a hearing aid system capable of detecting auditory neuro-synaptopathy, a hearing aid fitting system and a computerized device
EP3799446A1 (en) 2016-08-29 2021-03-31 Oticon A/s Hearing aid device with speech control functionality
US9967689B1 (en) 2016-09-29 2018-05-08 Sonos, Inc. Conditional content enhancement
EP3327723A1 (en) * 2016-11-24 2018-05-30 Listen Up Technologies Ltd Method for slowing down a speech in an input media content
US11412333B2 (en) * 2017-11-15 2022-08-09 Starkey Laboratories, Inc. Interactive system for hearing devices
DE102019201456B3 (de) * 2019-02-05 2020-07-23 Sivantos Pte. Ltd. Verfahren für eine individualisierte Signalverarbeitung eines Audiosignals eines Hörgerätes
CN110097874A (zh) * 2019-05-16 2019-08-06 上海流利说信息技术有限公司 一种发音纠正方法、装置、设备以及存储介质
EP4287655A1 (en) * 2022-06-01 2023-12-06 Sivantos Pte. Ltd. Method of fitting a hearing device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5879400A (ja) * 1981-11-06 1983-05-13 Gen Eng:Kk 補聴器
JPH03245700A (ja) * 1990-02-23 1991-11-01 Matsushita Electric Ind Co Ltd 補聴器
JPH075898A (ja) * 1992-04-28 1995-01-10 Technol Res Assoc Of Medical & Welfare Apparatus 音声信号処理装置と破裂性抽出装置
JPH10333695A (ja) * 1997-06-04 1998-12-18 Technol Res Assoc Of Medical & Welfare Apparatus 音声変換装置
JP2005065124A (ja) * 2003-08-19 2005-03-10 Matsushita Electric Ind Co Ltd 補聴器
JP2005287600A (ja) * 2004-03-31 2005-10-20 National Institute Of Advanced Industrial & Technology 音声情報伝達装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5870400A (ja) 1981-10-21 1983-04-26 市川 征二 速度違反警報、記録取締方法
JPS59123400A (ja) * 1982-12-29 1984-07-17 Sony Corp 時計付補聴器
US5572593A (en) * 1992-06-25 1996-11-05 Hitachi, Ltd. Method and apparatus for detecting and extending temporal gaps in speech signal and appliances using the same
JPH06289896A (ja) * 1993-03-31 1994-10-18 Hitachi Ltd 音声の特徴強調方式および装置
JP3303446B2 (ja) 1993-07-21 2002-07-22 ソニー株式会社 音声信号処理装置
JP3245700B2 (ja) 1996-07-15 2002-01-15 三菱樹脂株式会社 折畳み式収納容器
JP3596580B2 (ja) 1997-07-11 2004-12-02 ソニー株式会社 音声信号の処理回路
US6289310B1 (en) * 1998-10-07 2001-09-11 Scientific Learning Corp. Apparatus for enhancing phoneme differences according to acoustic processing profile for language learning impaired subject
US6732073B1 (en) * 1999-09-10 2004-05-04 Wisconsin Alumni Research Foundation Spectral enhancement of acoustic signals to provide improved recognition of speech
WO2002039881A2 (en) * 2000-11-15 2002-05-23 Logometrix Corporation Method for utilizing oral movement and related events
US7457741B2 (en) * 2004-03-30 2008-11-25 National Institute of Advnaced Industrial Science and Technology Device for transmitting speech information
CN1269106C (zh) * 2004-08-31 2006-08-09 四川微迪数字技术有限公司 一种用于数字助听器的中文语音信号处理方法
JP2006087018A (ja) 2004-09-17 2006-03-30 Matsushita Electric Ind Co Ltd 音響処理装置
JP4876245B2 (ja) * 2006-02-17 2012-02-15 国立大学法人九州大学 子音加工装置、音声情報伝達装置及び子音加工方法
JP4946293B2 (ja) * 2006-09-13 2012-06-06 富士通株式会社 音声強調装置、音声強調プログラムおよび音声強調方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5879400A (ja) * 1981-11-06 1983-05-13 Gen Eng:Kk 補聴器
JPH03245700A (ja) * 1990-02-23 1991-11-01 Matsushita Electric Ind Co Ltd 補聴器
JPH075898A (ja) * 1992-04-28 1995-01-10 Technol Res Assoc Of Medical & Welfare Apparatus 音声信号処理装置と破裂性抽出装置
JPH10333695A (ja) * 1997-06-04 1998-12-18 Technol Res Assoc Of Medical & Welfare Apparatus 音声変換装置
JP2005065124A (ja) * 2003-08-19 2005-03-10 Matsushita Electric Ind Co Ltd 補聴器
JP2005287600A (ja) * 2004-03-31 2005-10-20 National Institute Of Advanced Industrial & Technology 音声情報伝達装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN7013004550; 大崎美穂: '進化的計算手法を用いた聴覚障害補償に関する研究' 九州大学博士学位論文 甲第35号, 1999, pp.24-39 *
JPN7013004551; 安達忠治,外4名: 'デジタル音声処理の子音明瞭度への影響-子音部時間伸張加工の検討-' Audiology Japan Vol.47, No.3, 20040628, pp.181-191 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017538146A (ja) * 2014-10-20 2017-12-21 アウディマックス・エルエルシー インテリジェントな音声認識および処理のためのシステム、方法、およびデバイス
JP2021026098A (ja) * 2019-08-02 2021-02-22 株式会社三菱ケミカルホールディングス コミュニケーション支援装置

Also Published As

Publication number Publication date
EP2383732B1 (en) 2015-10-07
WO2010087171A1 (ja) 2010-08-05
US8374877B2 (en) 2013-02-12
EP2383732A1 (en) 2011-11-02
CN101939784B (zh) 2012-11-21
JP5870309B2 (ja) 2016-02-24
US20110004468A1 (en) 2011-01-06
EP2383732A4 (en) 2012-12-05
JPWO2010087171A1 (ja) 2012-08-02
CN101939784A (zh) 2011-01-05

Similar Documents

Publication Publication Date Title
JP5870309B2 (ja) 補聴器および補聴処理方法
US10475467B2 (en) Systems, methods and devices for intelligent speech recognition and processing
US8195454B2 (en) Speech enhancement in entertainment audio
EP3684074A1 (en) Hearing device for own voice detection and method of operating the hearing device
US20090285406A1 (en) Method of fitting a portable communication device to a hearing impaired user
CN109565625B (zh) 耳机佩戴状态监测装置及方法
US8155966B2 (en) Apparatus and method for producing an audible speech signal from a non-audible speech signal
JP2005018076A (ja) 客観的なスピーチ品質評価において時間/言語歪みを反映する方法
EP3823306B1 (en) A hearing system comprising a hearing instrument and a method for operating the hearing instrument
WO2011055489A1 (ja) 補聴器
JP4876245B2 (ja) 子音加工装置、音声情報伝達装置及び子音加工方法
JP5863928B1 (ja) 音声調整装置
KR100956167B1 (ko) 한국어 주파수 특성에 맞는 다채널 디지털 보청기의 채널설정방법 및 이를 이용한 다채널 디지털 보청기
JPH0968997A (ja) 音声処理方法及び装置
Rahman et al. Amplitude variation of bone-conducted speech compared with air-conducted speech
JP2002252894A (ja) 音響信号処理装置
JP2008102551A (ja) 音声信号の処理装置およびその処理方法
Shetty et al. Effect of compression release time of a hearing aid on sentence recognition and the quality judgment of speech
KR20090065749A (ko) 보청기 및 그 청력 측정 방법
Fortune Real ear compression ratios: the effects of venting and adaptive release time
JP5395826B2 (ja) 補聴器調整装置
JP3257379B2 (ja) 話速変換機能付補聴器
JP4669988B2 (ja) 言語学習装置
Kalveram General Introduction to human hearing and speech
Hayes Jr The effect of crossover frequency on aided speech perception in the presence of environmental sounds

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150828

R151 Written notification of patent or utility model registration

Ref document number: 5870309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees