JP2013162325A - 信号処理装置、信号処理方法、プログラム、信号処理システムおよび通信端末 - Google Patents

信号処理装置、信号処理方法、プログラム、信号処理システムおよび通信端末 Download PDF

Info

Publication number
JP2013162325A
JP2013162325A JP2012022536A JP2012022536A JP2013162325A JP 2013162325 A JP2013162325 A JP 2013162325A JP 2012022536 A JP2012022536 A JP 2012022536A JP 2012022536 A JP2012022536 A JP 2012022536A JP 2013162325 A JP2013162325 A JP 2013162325A
Authority
JP
Japan
Prior art keywords
unit
signal
adjustment parameter
command
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012022536A
Other languages
English (en)
Other versions
JP2013162325A5 (ja
JP5962038B2 (ja
Inventor
Kazutomo Kenmochi
千智 劔持
Keisuke Higashiyama
恵祐 東山
Akira Inoue
晃 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012022536A priority Critical patent/JP5962038B2/ja
Priority to CN201310031189.6A priority patent/CN103247294B/zh
Priority to US13/756,975 priority patent/US9531338B2/en
Publication of JP2013162325A publication Critical patent/JP2013162325A/ja
Publication of JP2013162325A5 publication Critical patent/JP2013162325A5/ja
Application granted granted Critical
Publication of JP5962038B2 publication Critical patent/JP5962038B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G5/00Tone control or bandwidth control in amplifiers
    • H03G5/005Tone control or bandwidth control in amplifiers of digital signals
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G5/00Tone control or bandwidth control in amplifiers
    • H03G5/16Automatic control
    • H03G5/165Equalizers; Volume or gain control in limited frequency bands
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G9/00Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/005Combinations of two or more types of control, e.g. gain control and tone control of digital or coded signals
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G9/00Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/02Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers
    • H03G9/025Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers frequency-dependent volume compression or expansion, e.g. multiple-band systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/558Remote control, e.g. of amplification, frequency
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】ユーザが、マイクロホンで収音されて得られた、あるいは再生された音響信号の調整を主観で行い得るようにする。
【解決手段】提示制御部により、音響信号に対する制御に関連する選択肢を提示する。選択肢の提示は、視覚的な提示あるいは聴覚的な提示のいずれであってもよい。提示される選択肢は、解消すべき主観的感覚および/または主観的要求であってもよい。出力部により、提示された選択肢から選択された所定の選択肢を出力する。ユーザは聞いている音に対する主観に対応した所定の選択肢の選択が可能となり、その所定の選択肢を出力させることができる。ユーザは、音(音量、音質など)の調整を、音に対する主観的感覚で行うことが可能となる。
【選択図】図1

Description

本技術は、信号処理装置、信号処理方法、プログラム、信号処理システムおよび通信端末に関する。特に、本技術は、マイクロホンで収音されて得られた、あるいは再生された音響信号の音質、音量などを調整するための信号処理装置等に関する。
従来、音を再生する装置においては、音量のみでなく、再生音にエフェクト処理、例えば、音色調整やパラメトリックイコライザ等の音質調整処理、残響付加処理等を施すことで、使用者好みの音で出力する手段が提供されてきた。これらの調整方法は、パラメトリックイコライザ等では、周波数を数十の帯域に分割し、帯域毎にゲインを調整する方法や、予め設定されたエフェクト処理名、例えば、スタジオや、ライブ等、で選択肢が提示され、使用者が選択したエフェクト処理名に応じて、予め設定されていたエフェクト処理のパラメータを記憶部より読み込む方法等であった。
音にある程度詳しい使用者においては、自分好みの音にするために必要な操作、例えば、パラメトリックイコライザであれば、どの周波数帯域のパラメータをどのように操作すれば自分好みの音に変化するか等を判断でき、この操作パラメータが細分化されている程、微調整が可能である。しかし、使用者が音を調整するための知識を有しない場合、どのように調整すれば好みの音になるかを判断することが困難な場合があった。
そのため、音を再生する装置やプログラムでは、予め調整されたエフェクト処理群に、エフェクト効果の印象に応じた名前(以下、エフェクト名)、例えば、ホールやスタジアム等、で数種用意されており、その中から選択し、更に場合によっては、効果の強弱を調整することで好みの音に調整しやすい様に工夫されてきた。
しかし、上述のエフェクト名は必ずしも使用者の主観と一意に対応していないため、使用者は、音を聞いた印象から、選択するエフェクト名を判断する必要が有り、その際にある程度の知識と経験、例えば、音がキンキンするから、キンキンしないように調整したい場合、キンキンの原因が何なのかを判断する知識と、過去の経験から最適なエフェクトを選択する等、が必要となる。
従来、対話型進化計算法と遺伝アルゴリズムを用いた方法により、主観的感覚に応じた音質調整の方法も検討されており、例えば、非特許文献1において、一定の効果が有ることが実験により報告されている。しかし、この方法は、事前に決定された音を使用者に聞かせ、その評価を得ることで調整パラメータを算出しており、ユーザが、聞いている音に対する主観で調整することは困難であった。
「対話型進化計算を用いた補聴器フィッティングにおける評価基準の変化に対応する評価値推論法の検証」、22nd Fuzzy System Symposium (Sapporo, Sept. 6-8, 2006)
本技術の目的は、ユーザが、マイクロホンで収音されて得られた、あるいは再生された音響信号の調整を主観で行うことを可能とすることにある。
本技術の概念は、
主観的に表現され、音響信号に対する制御に関連する選択肢を提示する提示制御部と、 上記提示された選択肢から選択された所定の選択肢を出力する出力部とを備える
信号処理装置にある。
本技術において、提示制御部により、音響信号に対する制御に関連する選択肢が提示される。この選択肢の提示は、視覚的な提示あるいは聴覚的な提示のいずれであってもよい。例えば、提示される選択肢は、解消すべき主観的感覚および/または主観的要求であってもよい。出力部により、提示された選択肢から選択された所定の選択肢が出力される。この場合、出力される所定の選択肢は、自身の信号処理装置内、あるいは外部機器で用いられる。
このように本技術においては、ユーザは聞いている音に対する主観に対応した所定の選択肢の選択が可能となり、その所定の選択肢を出力させることができる。つまり、ユーザは、音(音量、音質など)の調整を、音に対する主観的感覚で行うことが可能となる。
なお、本技術において、例えば、提示制御部は、選択された選択肢あるいは処理対象の音響信号の特徴量に応じて、提示する選択肢の表示態様を変更する、ようにされてもよい。これにより、ユーザは、選択肢の選択による音の調整をより適切かつ効率的に行うことが可能となる。
また、本技術において、例えば、事前に測定された個別パラメータ、選択された所定の選択肢および処理対象の音響信号の特徴量に基づいて、この処理対象の音響信号を調整する調整パラメータを算出する算出部をさらに備える、ようにされてもよい。例えば、個別パラメータは、聴覚特性を示すパラメータとされる。また、例えば、個別パラメータは、マイクロホンおよび/またはスピーカの特性を示すパラメータとされる。この場合、例えば、処理対象の音響信号を調整する処理が外部機器で行われる場合、外部機器において調整パラメータを算出する処理が不要となり、外部機器の処理負荷を軽減可能となる。
また、本技術の他の概念は、
事前に測定された個別パラメータと、主観的に表現され、提示された音響信号に対する制御に関連する選択肢から選択された所定の選択肢と、処理対象の音響信号の特徴量に基づいて算出された調整パラメータを取得する取得部と、
上記取得された調整パラメータに基づいて、上記処理対象の音響信号を調整する信号処理部とを備える
信号処理装置にある。
本技術において、取得部により、調整パラメータが取得される。この調整パラメータは、事前に測定された個別パラメータと、主観的に表現され、提示された音響信号に対する制御に関連する選択肢から選択された所定の選択肢と、処理対象の音響信号の特徴量に基づいて算出されたものである。そして、信号処理部により、取得された調整パラメータに基づいて処理対象の音響信号が調整される。
このように本技術においては、ユーザが選択した主観的表現の所定の選択肢が反映された調整パラメータに基づいて音響信号の調整が行われる。したがって、ユーザは、音(音量、音質など)の調整を、音に対する主観的感覚で行うことが可能となる。
なお、本技術において、例えば、信号処理部は、調整パラメータを蓄積する第1のバッファおよび第2のバッファを有し、一方のバッファに蓄積されている調整パラメータの使用状態で取得部により調整パラメータが取得されるとき、この取得された調整パラメータを他方のバッファに蓄積した後にこの他方のバッファに蓄積されている調整パラメータの使用状態に切り替える、ようにされてもよい。この場合、音響信号に対する調整処理の停止を回避でき、音の途切れを防止できる。
また、本技術において、例えば、信号処理部は、調整パラメータを蓄積するバッファを有し、バッファに蓄積されている調整パラメータの使用状態で取得部により調整パラメータが取得されるとき、調整された音響信号の出力をミュートし、この取得された調整パラメータをバッファに蓄積した後にこのミュートを解除する、ようにされてもよい。この場合、調整パラメータの切り替え時の異音の発生を防止でき、また、音の途切れによりユーザに調整パラメータの切り替えがあったことをアピールできる。
また、本技術において、例えば、処理対象の音響信号を解析して、この音響信号の特徴量を算出する解析部をさらに備える、ようにされてもよい。また、本技術において、例えば、調整パラメータを算出する算出部をさらに備える、ようにされてもよい。
また、本技術のさらに他の概念は、
音声入力部と、
上記音声入力部より入力された音声から、主観的に表現され、音響信号に対する制御に関連するコマンドを取得する取得部と、
事前に測定された個別パラメータと、上記取得されたコマンドと、処理対象の音響信号の特徴量に基づいて、該処理対象の音響信号を調整する調整パラメータを算出する算出部と、
上記算出された調整パラメータに基づいて、上記処理対象の音響信号を調整する信号処理部とを備える
信号処理装置にある。
本技術において、音声入力部が備えられている。例えば、この音声入力部は、処理対象の音響信号を得るためのマイクロホンを用いて構成されてもよい。取得部により、音声入力部より入力された音声から、主観的に表現され、音響信号に対する制御に関連するコマンドが取得される。
また、算出部により、事前に測定された個別パラメータと、取得されたコマンドと、処理対象の音響信号の特徴量に基づいて、この処理対象の音響信号を調整する調整パラメータが算出される。そして、信号処理部により、この算出された調整パラメータに基づいて、処理対象の音響信号が調整される。
このように本技術においては、ユーザは、主観的コマンドを音声により入力することが可能となる。また、この主観的コマンドが反映された調整パラメータに基づいて音響信号の調整が行われる。したがって、ユーザは、音(音量、音質など)の調整を、音に対する主観的感覚で行うことが可能となる。
なお、本技術において、例えば、音声入力部、コマンド取得部、算出部、信号処理部をそれぞれ有する第1の信号処理系および第2の信号処理系を持ち、一方の処理系は、音声入力部に入力された音声を他方の処理系に送信し、この他方の処理系からコマンドを受信する、ようにされてもよい。この場合、2つの信号処理系で重複してコマンド取得を行うことが回避され、処理負荷の軽減、消費電力の低減を図ることが可能となる。
また、本技術の別の概念は、
主観的に表現され、音響信号に対する制御に関連する選択肢を提示する提示制御部と、
上記提示された選択肢から選択された所定の選択肢に対応したコマンドを出力するコマンド出力部と、
上記出力されたコマンドを通信相手に送信する送信部とを備える
通信端末にある。
本技術において、提示制御部により、音響信号に対する制御に関連する選択肢が提示される。この選択肢の提示は、視覚的な提示あるいは聴覚的な提示のいずれであってもよい。例えば、提示される選択肢は、解消すべき主観的感覚および/または主観的要求であってもよい。コマンド出力部により、提示された選択肢から選択された所定の選択肢に対応したコマンドが出力される。そして、送信部により、このコマンドが通信相手に送信される。
このように本技術においては、通信端末のユーザは、通信相手からの受信音に対する主観に対応した所定の選択肢の選択が可能となり、その所定の選択肢に対応したコマンドを通信相手に送ることができる。ユーザは、通信相手から送られてくる音(音量、音質など)の調整指示を、音に対する主観的感覚で行うことが可能となる。この場合、コマンドを解釈するのが通信相手であるため、通信相手の機器特性や、備わっている信号処理が未知でも、音調整のコマンドを送ることができる。また、この場合、通信相手が音調整を行うので、ノイズ抑圧処理等をエンコード前に行えるなど効果的に処理できる。
なお、本技術は、例えば、通信相手から音響信号を受信する受信部と、少なくともコマンド出力部から出力されたコマンドに基づいて、調整パラメータを算出するパラメータ算出部と、算出された調整パラメータに基づいて、受信された音響信号を調整する信号処理部とをさらに備える、ようにされてよい。例えば、調整パラメータを算出する際に、さらに、事前に測定された個別パラメータ(聴覚特性を示すパラメータ、マイクロホンやスピーカの特性を示すパラメータなど)、あるいは処理対象の音響信号の特徴量を参照することも考えられる。
また、本技術のさらに別の概念は、
通信相手から、主観的に表現され、音響信号に対する制御に関連する所定の選択肢に対応したコマンドを受信する受信部と、
音響信号を入力する音響信号入力部と、
少なくとも上記受信されたコマンドに基づいて、調整パラメータを算出する調整パラメータ算出部と、
上記算出された調整パラメータに基づいて、上記入力された音響信号を調整する信号処理部と、
上記調整された音響信号を上記通信相手に送信する送信部とを備える
通信端末にある。
本技術によれば、ユーザが、マイクロホンで収音されて得られた、あるいは再生された音響信号の調整を主観で行うことを可能となる。
第1の実施の形態としての補聴器システムの構成例を示す図である。 補聴器およびリモコンの構成例を示すブロック図である。 リモコンの処理の流れを示すフローチャートである。 補聴器の処理の流れを示すフローチャートである。 補聴器システムの他の構成例を示す図である。 補聴器における処理対象の音声信号の特徴量に応じて、リモコンの表示部に提示(表示)される選択肢の文字の大きさが変更される例を示す図である。 補聴器における処理対象の音声信号の特徴量に応じて、リモコンの表示部に提示(表示)される選択肢の表示色が変更される例を示す図である。 選択された選択肢に応じて、リモコンの表示部に提示(表示)される選択肢が変更される例を示す図である。 選択された選択肢に応じて、リモコンの表示部に提示(表示)される選択肢が変更される例を示す図である。 リモコンの表示部に提示(表示)される選択肢の主観的表現が主観的要求である例を示す図である。 補聴器およびリモコンの他の構成例を示すブロック図である。 主観的感覚および主観的要求の表現となり得る音に対する主観的表現の一例を示す図である。 リモコンの処理の流れを示すフローチャートである。 補聴器の処理の流れを示すフローチャートである。 第2の実施の形態としてのTVシステムの構成例を示す図である。 テレビ受信機およびリモコンの構成例を示すブロック図である。 クラウド上のサーバ装置内のスピーカ特性記録部内に保持されているスピーカ特性を利用することを説明するための図である。 第3の実施の形態としての補聴器を示す図である。 補聴器の構成例を示すブロック図である。 補聴器の処理の流れを示すフローチャートである。 第4の実施の形態としての補聴器を示す図である。 補聴器の構成例を示すブロック図である。 補聴器の処理の流れを示すフローチャートである。 第5の実施の形態としての通信システムの構成例を示す図である。 携帯電話の構成例を示すブロック図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.第4の実施の形態
5.第5の実施の形態
6.変形例
<1.第1の実施の形態>
[補聴器システムの構成]
図1は、第1の実施の形態としての補聴器システム10の構成例を示している。この補聴器システム10は、一対の補聴器110L,110Rと、この補聴器110L,110Rを調整するリモートコントローラ(以下、「リモコン」という)150とにより構成されている。
補聴器110L,110Rとリモコン150は、無線通信による相互通信が可能とされている。なお、他の方法による相互通信、例えば、磁気による通信や、聞こえない音域での通信で有ってもよいことは言うまでもない。また、リモコン150は、ボタン式のリモコンで有っても良いし、タッチパネル式のリモコンで、提示されるボタンが後述するように動的に変化するような工夫があってよいし、プログラムとして通信手段を持つ他の機器、例えば、携帯端末やタブレット端末等、へインストールされて提示させてもよいことは言うまでもない。
リモコン150による補聴器110L,110Rの調整は、ユーザ(使用者)が補聴器110L,110Rを装用した状態で行う。聞こえてくる周囲の音の印象から気になる項目を選択、例えば、演劇を観賞している時に、きんきん聞こえる場合には、「きんきんする」ボタンを選択等すると、選択された項目の情報が、補聴器110L,110Rに送信され、音の調整が行われる。
図2(b)は、リモコン150の構成例を示している。このリモコン150は、制御部151と、ユーザ操作部152と、表示部153と、入力受付部154と、コマンド変換部155と、リモコン送信部156と、アンテナ157を有している。
制御部151は、CPUを備え、リモコン150の各部の動作を制御する。ユーザ操作部152および表示部153は、ユーザインタフェースを構成している。ユーザ操作部152は、ユーザが種々の操作を行う部分であり、例えばボタンあるいはタッチパネルなどにより構成される。表示部153は、例えば、液晶表示器などにより構成される。この表示部153には、操作状態の表示などの他、補聴器110の音調整を行う際には、主観的に表現され、音声信号に対する制御に関連する選択肢(図1のリモコン150に提示されている「大きすぎる」、「小さすぎる」、「きんきんする」など)が提示(表示)される。
入力受付部154は、ユーザ(使用者)が選択した選択肢の情報、例えば、選択された選択肢のIDなどを制御部151から受け取る。なお、入力受付部154は、制御部151と一体であってもよい。コマンド変換部155は、入力受付部154で受け取られた情報を、それに結びつけられたコマンドに変換する。例えば、選択肢「キンキンする」のIDが送られてきた場合に、そのIDから「キンキンする」を意味するコマンドに変換する。リモコン送信部156は、コマンド変換部155で変換されたコマンドに対して、伝送するための処理を施し、このコマンドを含む送信情報を生成し、アンテナ157から、補聴器110(110L,110R)に送信する。
図2(a)は、補聴器110(110L,110R)の構成例を示している。補聴器110は、マイクロホン111−1,111−2と、A/D変換器(ADC)112−1,112−2と、信号処理部113と、D/A変換器(DAC)114と、音量調整部115と、スピーカ116を有している。また、補聴器110は、音声解析部117と、一時記録部118と、聴覚特性記録部119と、調整パラメータ計算部120と、アンテナ121と、補聴器受信部122を有している。
マイクロホン111−1,111−2は周囲音を収音して音声信号を得る。なお、説明を簡単にするために「音声信号」として説明するが、この音声信号は厳密な意味での音声信号を意味するものではなく、音声信号を含む音響信号を意味する。2本のマイクロホン111−1,111−2を備えるのは指向性を制御する処理を可能とするためである。なお、マイクロホンは、1つでも良く、3つ以上であってもよい。A/D変換器112−1,112−2は、マイクロホン111−1,111−2で得られた音声信号をアナログ信号からデジタル信号に変換する。
信号処理部113は、A/D変換器112−1,112−2で得られた音声信号(処理対象の音声信号)に種々の処理を施す。信号処理部113は、近年のデジタル補聴器で一般的に行われる以下のような処理を行う他、処理対象の音声信号に対して、調整パラメータ計算部120で算出された調整パラメータによる調整を行う。
デジタル補聴器で一般的に行われる処理には、以下のような処理がある。例えば、出力音声のレベルを予め設定された範囲内に収めるAGC(Auto Gain Control)処理、デジタル信号を一定以上に増幅する場合のクリッピング処理、聞こえない周波数帯域の音声信号を聞こえる音声帯域に圧縮するスペクトル圧縮処理、スペクトル包絡調整処理、複数の入力信号から指向性を制御する処理、不要なノイズを低減するノイズ低減処理、音声を強調する音声強調処理、音量調整処理などである。
D/A変換器114は、信号処理部113から出力される音声信号を、デジタル信号からアナログ信号に変換する。音量調整部115は、D/A変換器114で得られた音声信号の音量を、設定された値で調整して、スピーカ116に出力する。
音声解析部117は、信号処理部113から出力されるデジタル音声信号に対して、音声解析を施して特徴量を取得する。この特徴量は、例えば、デジタル音声信号に含まれるピッチ情報や、1/3オクターブ帯域、臨界帯域等の帯域分割処理後の各帯域のパワーや、DFT等の時間周波数変換を行い、パワースペクトルを取得し、得られたパワースペクトルの最大パワーのスペクトル位置(周波数)や、パワースペクトルのケプストラム係数などである。音声解析部117は、特徴量の算出処理を、連続的に、あるいは、間欠的に行う。
一時記録部118は、音声解析部117で取得された特徴量を一時的に記録する、つまり予め設定された期間保持する。一時記録部118は、例えば、待ち行列(キュー)のように、記録領域が満たされると、最初に記録されたデータから破棄され、新しいデータを追加する等、を行い、常に一定期間内の特徴量を保持する。
聴覚特性記録部119は、ユーザの聴覚特性を個別パラメータとして記録する。ユーザの聴覚特性は事前に測定され、聴覚特性記録部119に記録される。補聴器受信部122は、アンテナ121で受信された情報から、リモコン150から送られてくる主観的感覚に対応したコマンドを取得する。調整パラメータ計算部120は、補聴器受信部122で取得されたコマンドと、一時記録部118に記録されている処理対象の音声信号の特徴量と、聴覚特性記録部119に記録されている聴覚特性に基づいて、信号処理部113において音声信号を調整するためのパラメータ(以下、「調整パラメータ」という)を算出する。
調整パラメータ計算部120は、調整パラメータの算出を、例えば、以下のように行う。例えば、「キンキンする」に対応したコマンドが送られてきた場合、時系列記録特徴量を参照し、記録された範囲で各帯域分割信号の最大パワーを取得し、聴覚特性情報との差分を取り、例えば、ISO226:2003で規格化された等ラウドネス曲線の音量が大きい位置、例えば80phone等から算出される補正を行い、最も大きなエネルギーが有る帯域のゲインを下げるような調整パラメータを算出する。
また、例えば、「声が聞こえない」に対応したコマンドが送られてきた場合には、記録されたピッチ情報から、声の帯域を予測し、会話がはっきり聞こえるように、その他の帯域のゲインを下げるような調整パラメータを算出する。また、例えば、「キーンとする」に対応したコマンドが送られてきた場合には、記録されていたパワースペクトルの最大パワーのスペクトル位置から、ハウリング抑圧処理により処理できる周波数である場合には、その処理を有効にし、できない場合には、その帯域のゲインを下げて聞こえなくするような調整パラメータを算出する。
補聴器110の通常の動作を説明する。周囲の音はマイクロホン111−1,111−2で収音され、このマイクロホン111−1,111−2からは収音された音に対応したアナログ音声信号が得られる。このアナログ音声信号は、A/D変換器112−1,112−2でアナログ信号からデジタル信号に変換され、信号処理部113に供給される。
信号処理部113では、デジタル音声信号に対して、予め設定された音声信号処理が施される。この信号処理部113から出力される処理後のデジタル音声信号は、D/A変換器114でデジタル信号からアナログ信号に変換され、音量調整部115に供給される。音量調整部115では、アナログ音声信号の音量が、設定された値で調整される。音量調整された音声信号はスピーカ116に供給され、スピーカ116からは音声信号による音声が出力される。
また、信号処理部113から出力される処理後のデジタル音声信号は、音声解析部117に供給される。この音声解析部117では、デジタル音声信号に対して、音声解析が施され、デジタル音声信号の特徴量が取得され、一時記録部118に供給され、予め設定された期間保持される。
以上が、補聴器110の通常の動作である。なお、音声解析部117および一時記録部118は、常に動作するように記したが、電力を消費しないように、リモコン操作により、動作を開始するように構成してもよい。その場合には、図示しない系により、補聴器受信部122から音声解析部117以降の動作を起動・停止する信号が渡される。例えば、タッチパネルのようなリモコンで、操作画面を表示させたときに、補聴器110へ信号を送信し、受信した補聴器110側では、受信した信号により、上述のとおり、音声解析部117および一時記録部118を有効にする操作を行う等が考えられる。
次に、ユーザ(使用者)がリモコン150を操作した場合の動作を説明する。なお、ここでは、音声解析部117および一時記録部118は、説明を簡単にするため、常時動作として説明する。
ユーザ(使用者)は、聞こえを調整したい場合、リモコン150の表示部153に提示(表示)されている選択肢の中から、気になる感覚に沿う様な主観的感覚を選択する。リモコン150では、ユーザが選択した選択肢の情報、例えば、選択された選択肢のID等が入力受付部154で受け取られ、コマンド変換部155に送られる。
コマンド変換部155では、送られてきた情報が、それに結び付けられたコマンドに変換される。例えば、選択肢「キンキンする」のIDが送られてきた場合に、そのIDから「キンキンする」を意味するコマンドに変換される。コマンド変換部155で得られたコマンドはリモコン送信部156に供給される。このリモコン送信部156では、このコマンドに対して伝送するための処理が施され、アンテナ157からコマンドを含む情報が補聴器110に送信される。
補聴器110では、リモコン150から送られてきた情報がアンテナ121で受信され、補聴器受信部122に供給される。この補聴器受信部122では、受信情報から主観的感覚に対応したコマンドが取りだされ、調整パラメータ計算部120に供給される。
調整パラメータ計算部120では、リモコン受信部122からコマンドが供給されると、調整パラメータの算出が行われる。この場合、一時記録部118に記録されている特徴量(以降、「時系列記録特徴量」という)と、聴覚特性記録部119に記録されている聴覚特性情報に基づいて、信号処理部113において音声信号(処理対象の音声信号)を調整するための調整パラメータが算出される。この調整パラメータは、信号処理部113に供給される。
信号処理部113では、調整パラメータ計算部120から調整パラメータが送られてきた場合、その調整パラメータに応じて各種信号処理が調整され、結果的に音声信号の調整が行われる。このとき、補聴用の信号も処理されているので、その処理が止まらないように調整される。
例えば、FIR(Finite impulse response)のようなフィルタ処理が有る場合には、係数領域をダブルバッファにしておき、新しい係数を使用していない面に書き込み、次の処理に移るタイミングで、バッファを入れ替えるだけとする等が望ましいが、処理構成によっては、異音が発生しないような工夫に留めておく方が良い場合もある。
すなわち、例えば、信号処理部113は、調整パラメータを蓄積する第1のバッファおよび第2のバッファを有する構成とされる。そして、一方のバッファに蓄積されている調整パラメータの使用状態で取得部により調整パラメータが取得されるとき、この取得された調整パラメータが他方のバッファに蓄積された後にこの他方のバッファに蓄積されている調整パラメータの使用状態に切り替えられる。この場合、音声信号に対する調整処理の停止を回避でき、音の途切れを防止できる。
また、例えば、信号処理部113は、調整パラメータを蓄積するバッファを有する構成とされる。そして、バッファに蓄積されている調整パラメータの使用状態で取得部により調整パラメータが取得されるとき、調整された音響信号の出力がミュートされ、この取得された調整パラメータがバッファに蓄積された後にこのミュートが解除される。この場合、調整パラメータの切り替え時の異音の発生を防止でき、また、音の途切れによりユーザに調整パラメータの切り替えがあったことをアピールできる。
図3のフローチャートは、リモコン150の処理の流れを示している。リモコン150は、この処理を、周期的に、あるいは、ユーザによる明示的な指示により実行する。リモコン150は、ステップST1において、処理を開始する。そして、リモコン150は、ステップST2において、入力待ちを行い、入力があると、ステップST3の入力処理に移る。この入力処理では、入力されたキーに応じて、終了するのか、送信するのかを判断し、送信する場合には、パラメータを作成して、ステップST4の処理に移る。
このステップST4において、リモコン150は、終了判断を行う。この終了判断では、終了を示す入力が有った場合、ステップST6に進み、例えば、リモコンの電源を切る等、直ちに処理を終了し、送信するパラメータが有る場合には、ステップST5の処理に移る。このステップST5において、リモコン150は、パラメータを送信する送信処理を行い、その後にステップST2に戻り、入力待ちの状態となる。
また、図4のフローチャートは、補聴器110の処理の流れを示している。補聴器110は、この処理を、周期的に、あるいは、ユーザによる明示的な指示により実行する。補聴器110は、ステップST11において、処理を開始する。そして、補聴器110は、ステップST12において、コマンド入力判断を行う。補聴器110は、コマンド入力が無い場合、ステップST13の音声信号処理に移る。補聴器110は、この音声信号処理において、聞こえを改善するための音声信号処理を施し、図示しない系により、スピーカに出力する。
次に、補聴器110は、ステップST14の音声信号解析処理に移る。補聴器110は、この音声信号解析処理において、調整パラメータ算出処理で用いる特徴量を算出するための音声信号解析処理を行う。補聴器110は、このステップST14の処理の後に、ステップST15の一時記録更新処理に移る。補聴器110は、この一時記録更新処理において、算出された特徴量を記録するために、一時記録部118に空きが無い場合には、例えば、リングバッファとし、一番古い特徴量が記録されている領域に上書きしていく等し、一定期間の特徴量が記録されるように処理をする。補聴器150は、このステップST15の処理の後、ステップST12に戻り、コマンド入力判断を行う。
また、ステップST12でコマンド入力が有る場合、補聴器110は、ステップST16の調整パラメータ算出処理に移る。補聴器110は、この調整パラメータ算出処理において、記録されている一定期間の特徴量と聴覚特性情報とを参照し、送信されてきたコマンドに応じた解析を行い、信号処理調整用のパラメータを算出する。
そして、補聴器110は、ステップST17の調整パラメータ反映処理に移る。補聴器110は、この調整パラメータ反映処理において、調整が必要な信号処理、例えば、フィルタ処理の係数や、AGCの設定等、を調整し、記録されている一定期間の特徴量を全てクリアする。補聴器110は、このステップST17の処理の後、上述したステップST13の音声信号処理に移る。
なお、上述の説明において、補聴器110は、ステップST17の反映処理において、一時記録部118に記録されている一定期間の特徴量を全てクリアするように説明したが、クリアしない構成も考えられる。例えば、一時記録部118の記憶容量が大きい場合にはクリアしないで新たな記録を続けることが可能となる。
上述したように、図1に示す補聴器システム10においては、リモコン150の表示部に提示される主観表現されている選択肢からユーザは聞いている音に対する主観に対応した所定の選択肢の選択が可能となる。この選択された所定の選択肢の情報が補聴器110に送られ、補聴器110では、この所定の選択肢に基づいて音声信号の音量、音質などを調整する処理が行われる。従って、ユーザは、補聴器110における音(音量、音質など)の調整を、音に対する主観的感覚で行うことができ、音に対して詳しい知識が無くても、自分の納得がいく調整が可能となる。
なお、上述の説明では、補聴器110L,110Rとリモコン150は無線通信を行うように説明したが、図5に示すように、補聴器110L,110Rとリモコン150は有線通信を行う構成であってもよい。この場合、図2に破線で示すように、リモコン150のコマンド変換部155から補聴器110の調整パラメータ計算部120に直接コマンドが供給される構成となる。この場合、リモコン150のリモコン送信部156およびアンテナ157と、補聴器110のアンテナ121および補聴器受信部122は不要となる。
また、上述では詳細な説明をしていないが、リモコン150の表示部152に提示(表示)される選択肢の表示態様が、選択された選択肢、あるいは処理対象の音声信号の特徴量に応じて動的に変更される構成とされてもよい。このような表示態様の動的な変更により、ユーザは、選択肢の選択による音の調整をより適切かつ効率的に行うことが可能となる。以下、表示態様の動的変更の例を説明する。
図6は、補聴器110における処理対象の音声信号の特徴量に応じて、リモコン150の表示部153に提示(表示)される選択肢の文字の大きさが変更される例を示している。なお、この場合には、補聴器110からリモコン150に無線あるいは有線により、音声解析部117で得られた特徴量を供給する必要がある。この例では、「A」の表示態様において、大きい音の特徴量が検出されるときには、「B」の表示態様のように、「おおきすぎる」が大きく強調表示され、さらに、関連する「響いている」も若干大きく強調表示される。なお、この例ではその他の選択肢の大きさは変化させていないが、小さくするなど変化させてもよい。例えば、大きい音の特徴量が検出されなくなったとき、あるいは、選択肢の選択が完了、つまりコマンド入力が完了したとき、「B」の表示態様から「A」の表示態様に戻るようにされる。
図7は、補聴器110における処理対象の音声信号の特徴量に応じて、リモコン150の表示部153に提示(表示)される選択肢の表示色が変更される例を示している。この例では、「A」の表示態様において、大きい音の特徴量が検出されるときには、「B」の表示態様のように、「おおきすぎる」の表示色が他の選択肢と区別される色に変更され、さらに、関連する「響いている」の表示色も他の選択肢と区別される色に変更される。なお、この例ではその他の選択肢の色は変化させていないが、表示色を淡くするなど変化させてもよい。例えば、大きい音の特徴量が検出されなくなったとき、あるいは、選択肢の選択が完了、つまりコマンド入力が完了したとき、「B」の表示態様から「A」の表示態様に戻るようにされる。
なお、補聴器110における処理対象の音声信号の特徴量に応じて上述したように表示項目の大きさや色合いなどを変化させる他に、例えば、通常状態では、「大きい」、「うるさい」、「キンキン」、「ひびく」が表示されており、入力音声のレベルが小さくなった場合に、表示項目を「こもる」、「小さい」、「はっきりしない」と変化させること等も考えられる。
図8は、選択された選択肢に応じて、リモコン150の表示部153に提示(表示)される選択肢が変更される例を示している。この例では、「A」の表示態様において、「きんきんする」が選択されるときには、「B」の表示態様のように、「きんきんする」の調整に関してさらなる調整を行う場合に便利な選択肢、例えば「もっと抑えて」、「抑え過ぎ」などが表示される。なお、「もどす」は、直前調整を取り消すためのボタンであり、「やめる」は今回の調整全てを取り消すためのボタンである。「いかがですか?」は、音声で提示することも可能である。例えば、「OK」ボタンあるいは「やめる」ボタンの操作があったとき、「B」の表示態様から「A」の表示態様に戻るようにされる。
図9も、選択された選択肢に応じて、リモコン150の表示部153に提示(表示)される選択肢が変更される例を示している。この例では、「A」の表示態様において、「うるさい」が選択されるときには、「B」の表示態様のように、「うるさい」の調整に関して、その下位階層の主観的表現にあたる選択肢、例えば「きんきん」、「ざわざわ」などが表示される。なお、「もどす」は、直前調整を取り消すためのボタンであり、「やめる」は今回の調整全てを取り消すためのボタンである。「いかがですか?」は、音声で提示することも可能である。例えば、「OK」ボタンあるいは「やめる」ボタンの操作があったとき、「B」の表示態様から「A」の表示態様に戻るようにされる。
また、上述の説明では、リモコン150の表示部153に提示(表示)される選択肢の主観的表現が「大きすぎる」、「うるさい」などの主観的感覚を示す表現である例を示した。しかし、この選択肢が、図10に示すように、「音楽が聞きたい」、「映画を見たい」などの主観的要求を示す表現とすることも考えられる。
なお、図11は、主観的感覚および主観的要求の表現となり得る音に対する主観的表現の一例を示している。
また、上述の説明では、補聴器110の調整パラメータ計算部120において、聴覚特性記録部119に個別パラメータとして記録されているユーザの聴覚特性をも加味してコマンドに対応した調整パラメータを算出している。しかし、個別パラメータとしては、この聴覚特性に限定されるものではなく、例えば、マイクロホン111−1,111−2の特性やスピーカ116の特性を合わせて、あるいは単独で用いることも考えられる。その場合、図2に破線図示するように、マイクロホンやスピーカの特性は事前に測定されて記録部に記録される。
また、上述の説明では、リモコン150では選択肢を表示部152に表示してユーザに提示するもの、つまり、視覚的な提示を行うものを示した。しかし、この選択肢の提示を図示しないスピーカからの音声出力で提示するもの、つまり聴覚的な提示を行うことも考えられる。
また、上述の説明では、補聴器110が処理対象の音声信号の解析処理および調整パラメータの算出処理を行う例を説明した。しかし、これらの処理の一方あるいは双方をリモコン150が行って、補聴器110の処理負荷の軽減、消費電力の低減を図ることも考えされる。
図12は、調整パラメータの算出処理をリモコン150で行う場合における補聴器110およびリモコン150の構成例を示している。この図12において、図2と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
図12(b)は、リモコン150の構成例を示している。このリモコン150は、制御部151と、ユーザ操作部152と、表示部153と、入力受付部154と、コマンド変換部155と、リモコン送信部156と、アンテナ157を有している。また、リモコン150は、アンテナ161と、リモコン受信部162と、一時記録部163と、聴覚特性記録部164と、調整パラメータ計算部165を有している。
リモコン受信部162は、アンテナ161で受信された、補聴器110から送られてくる処理対象の音声信号の特徴量を含む情報から、その特徴量を取得する。一時記録部163は、図2(a)に示す一時記録部118と同様に、音声解析部117で取得された特徴量を一時的に記録する、つまり予め設定された期間保持する。なお、補聴器110として補聴器110L,110Rの双方がある場合、一時記録部118は、それぞれからの特徴量を別の領域に記録する。聴覚特性記録部164は、図2(a)に示す聴覚特性記録部119と同様に、ユーザの聴覚特性を個別パラメータとして記録する。
調整パラメータ計算部165は、図2(a)に示す調整パラメータ計算部120と同様に、コマンド変換部155で得られたコマンドと、一時記録部163に記録されている処理対象の音声信号の特徴量と、聴覚特性記録部164に記録されている聴覚特性に基づいて、調整パラメータを算出する。なお、補聴器110として補聴器110L,110Rの双方がある場合、調整パラメータ計算部165は、それぞれにおける特徴量を用いて、それぞれの補聴器に対する調整パラメータを個別に算出する。
リモコン送信部156は、調整パラメータ計算部165で算出された調整パラメータに対して、伝送するための処理を施し、この調整パラメータを含む送信情報を生成し、アンテナ157から、補聴器110に送信する。なお、補聴器110として補聴器110L,110Rの双方がある場合、リモコン送信部156は、それぞれに対する調整パラメータをそれぞれの補聴器に個別に送信する。このリモコン150のその他は、図2(b)に示すリモコン150と同様に構成される。
図12(a)は、補聴器110(110L,110R)の構成例を示している。補聴器110は、マイクロホン111−1,111−2と、A/D変換器(ADC)112−1,112−2と、信号処理部113と、D/A変換器(DAC)114と、音量調整部115と、スピーカ116を有している。また、補聴器110は、音声解析部117と、補聴器送信部123と、アンテナ124と、アンテナ121と、補聴器受信部122と、調整パラメータ更新部125を有している。
補聴器送信部123は、音声解析部117で取得された特徴量に対して、伝送するための処理を施し、この特徴量を含む送信情報を生成し、アンテナ124から、リモコン150に送信する。補聴器受信部122は、アンテナ121で受信された情報から、リモコン150から送られてくる調整パラメータを取得する。調整パラメータ更新部125は、補聴器受信部122で取得された調整パラメータを、信号処理部113に設定する。この補聴器110のその他は、図2(a)に示す補聴器110と同様に構成される。
補聴器110の通常の動作を説明する。周囲の音はマイクロホン111−1,111−2で収音され、このマイクロホン111−1,111−2からは収音された音に対応したアナログ音声信号が得られる。このアナログ音声信号は、A/D変換器112−1,112−2でアナログ信号からデジタル信号に変換され、信号処理部113に供給される。
信号処理部113では、デジタル音声信号に対して、予め設定された音声信号処理が施される。この信号処理部113から出力される処理後のデジタル音声信号は、D/A変換器114でデジタル信号からアナログ信号に変換され、音量調整部115に供給される。音量調整部115では、アナログ音声信号の音量が、設定された値で調整される。音量調整された音声信号はスピーカ116に供給され、スピーカ116からは音声信号による音声が出力される。
また、信号処理部113から出力される処理後のデジタル音声信号は、音声解析部117に供給される。この音声解析部117では、デジタル音声信号に対して、音声解析が施され、デジタル音声信号の特徴量が取得される。この特徴量は補聴器送信部123に供給される。この補聴器送信部123では、この特徴量に対して伝送するための処理が施され、アンテナ124から特徴量を含む情報がリモコン150に送信される。
リモコン150では、補聴器110から送られてきた情報がアンテナ161で受信され、リモコン受信部162に供給される。このリモコン受信部162では、受信情報から補聴器110における処理対象の音声信号の特徴量が取りだされ、一時記録部118に供給されて、予め設定された期間保持される。
次に、ユーザ(使用者)がリモコン150を操作した場合の動作を説明する。ユーザ(使用者)は、聞こえを調整したい場合、リモコン150の表示部153に提示(表示)されている選択肢の中から、気になる感覚に沿う様な主観的感覚を選択する。リモコン150では、ユーザが選択した選択肢の情報、例えば、選択された選択肢のID等が入力受付部154で受け取られ、コマンド変換部155に送られる。
コマンド変換部155では、送られてきた情報が、それに結び付けられたコマンドに変換されて、調整パラメータ計算部165に供給される。調整パラメータ計算部165では、コマンド変換部155からコマンドが供給されると、調整パラメータの算出が行われる。この場合、一時記録部163に記録されている特徴量と、聴覚特性記録部164に記録されている聴覚特性情報に基づいて、調整パラメータが算出される。この調整パラメータは、リモコン送信部156に供給される。このリモコン送信部156では、調整パラメータに対して伝送するための処理が施され、アンテナ157から調整パラメータを含む情報が補聴器110に送信される。
補聴器110では、リモコン150から送られてきた情報がアンテナ121で受信され、補聴器受信部122に供給される。この補聴器受信部122では、受信情報から調整パラメータが取りだされ、調整パラメータ更新部125に供給され、信号処理部113における調整パラメータが更新される。信号処理部113では、その調整パラメータに応じて各種信号処理が調整され、結果的に音声信号の調整が行われる。
図13のフローチャートは、リモコン150の処理の流れを示している。リモコン150は、この処理を、周期的に、あるいは、ユーザによる明示的な指示により実行する。リモコン150は、ステップST21において、処理を開始する。そして、リモコン150は、ステップST22において、補聴器110から特徴量を受信しているか否かを判断する。特徴量を受信しているとき、リモコン150は、ステップST23において、一時記録更新処理を行う。この一時記録更新処理において、リモコン150は、受信された特徴量を、一時記録部に163に保持する。
次に、リモコン150は、ステップST24のコマンド入力判断処理に移る。また、ステップST22で特徴量を受信していないとき、リモコン150は、直ちにステップST24の処理に移る。コマンド入力判断処理では、リコモン150は、コマンド、すなわち、ユーザにより音(音量、音質など)の調整の要求があったか否かを判断する。要求があった場合、ステップST25の調整パラメータ算出処理に移る。この調整パラメータ算出処理では、リモコン150は、記録されている一定期間の特徴量と聴覚特性情報とを参照し、コマンドに応じた解析を行い、信号処理調整用のパラメータを算出する。
次に、リモコン150は、ステップST26の調整パラメータ送信処理に移る。この調整パラメータ送信処理では、リモコン150は、ステップST25で算出された調整パラメータを補聴器110に送信する。なお、この場合、調整パラメータ列をそのまま送信してもよいが、予め決定された通信方式に則った情報圧縮がなされて送信されてもよい。リモコン150は、ステップST26の処理の後、ステップST27において、処理を終了する。
また、図14のフローチャートは、補聴器110の処理の流れを示している。補聴器110は、この処理を、周期的に、あるいは、ユーザによる明示的な指示により実行する。補聴器110は、ステップST31において、処理を開始する。そして、補聴器110は、ステップST32において、調整パラメータを受信しているか否かを判断する。調整パラメータを受信しているとき、補聴器110は、ステップST33の調整パラメータ反映処理に移る。この調整パラメータ反映処理では、補聴器110は、信号処理部113に対して、受信された調整パラメータの設定、例えば、フィルタ処理の係数設定や、AGCの設定等を行う。
次に、補聴器110は、ステップST34の音声信号処理に移る。また、ステップST32で調整パラメータを受信していないとき、補聴器110は、直ちにステップST34の処理に移る。補聴器110は、この音声信号処理において、聞こえを改善するための音声信号処理を施し、図示しない系により、スピーカに出力する。
次に、補聴器110は、ステップST35の音声信号解析処理に移る。補聴器110は、この音声信号解析処理において、調整パラメータ算出処理で用いる特徴量を算出するための音声信号解析処理を行う。補聴器110は、このステップST35の処理の後に、ステップST36の特徴量送信処理に移る。補聴器110は、この特徴量送信処理において、ステップST35で得られた特徴量をリモコン150に送信する。なお、この場合、特徴列をそのまま送信してもよいが、予め決定された通信方式に則った情報圧縮がなされて送信されてもよい。補聴器110は、ステップST36の処理の後、ステップST37において、処理を終了する。
なお、上述の説明では、補聴器110L,110Rとリモコン150は無線通信を行うように説明したが、補聴器110L,110Rとリモコン150は有線通信を行う構成であってもよい。この場合、図12に破線で示すように、補聴器110の音声解析部117からリモコン150の一時記録部163に直接特徴量が供給され、リモコン150の調整パラメータ計算部165から補聴器110の調整パラメータ更新部125に直接調整パラメータが供給される構成となる。この場合、リモコン150においては、アンテナ161、リモコン受信部162、リモコン送信部156およびアンテナ157は不要となる。また、補聴器110において、アンテナ121、補聴器受信部122、補聴器送信部123およびアンテナ124は不要となる。
また、図12(a),(b)に示す構成では、補聴器110で音声解析処理が行われる。しかし、上述したように、この音声解析処理をもリモコン150側で行うことも考えられる。その場合、図示しないが、補聴器110からリモコン150に信号処理部113から出力される音声信号を送り、リモコン150では、その音声信号を解析して特徴量を取得することになる。その場合、補聴器110には音声解析部117が不要となり、回路規模の低減、消費電力の節約が図られることになる。
<2.第2の実施の形態>
[TVシステムの構成]
図15は、第2の実施の形態としてのTVシステム20の構成例を示している。このTVシステム20は、テレビ受信機(TV)210と、このテレビ受信機210を調整するリモートコントローラ(以下、「リモコン」という)250とにより構成されている。
テレビ受信機210とリモコン250は、無線通信による相互通信が可能とされている。なお、他の方法による相互通信、例えば、磁気による通信や、聞こえない音域での通信で有ってもよいことは言うまでもない。リモコン250は、ボタン式のリモコンで有っても良いし、タッチパネル式のリモコンで、提示されるボタンが上述した補聴器システム10におけるリモコン150と同様に、動的に変化するような工夫があってよいし、プログラムとして通信手段を持つ他の機器、例えば、携帯端末やタブレット端末等、へインストールされて提示させてもよいことは言うまでもない。
リモコン250による補聴器110L,110Rの調整は、ユーザ(使用者)がテレビ視聴を行っている状態で行う。テレビ音の印象から気になる項目を選択、例えば、きんきん聞こえる場合には、「きんきんする」ボタンを選択等すると、選択された項目の情報が、テレビ受信機210に送信されて、音の調整が行われる。
図16(b)は、リモコン250の構成例を示している。このリモコン250は、制御部251と、ユーザ操作部252と、表示部253と、入力受付部254と、コマンド変換部255と、リモコン送信部256と、アンテナ257を有している。
制御部251は、CPUを備え、リモコン250の各部の動作を制御する。ユーザ操作部252および表示部253は、ユーザインタフェースを構成している。ユーザ操作部252は、ユーザが種々の操作を行う部分であり、例えばボタンあるいはタッチパネルなどにより構成される。表示部253は、例えば、液晶表示器などにより構成される。
この表示部253には、操作状態の表示などの他、テレビ受信機210の音調整を行う際には、主観的に表現され、音声信号に対する制御に関連する選択肢(図15のリモコン250に提示されている「大きすぎる」、「小さすぎる」、「きんきんする」など)が提示(表示)される。なお、テレビ受信機210の音調整時には、リモコン250の表示部253に選択肢が表示されると同時に、テレビ受信機210の画面にも同様の表示が行われるようにしてもよい。その場合、リモコン250からテレビ受信機210に、表示情報が送信される。
入力受付部254は、ユーザ(使用者)が選択した選択肢の情報、例えば、選択された選択肢のIDなどを制御部251から受け取る。なお、入力受付部254は、制御部251と一体であってもよい。コマンド変換部255は、入力受付部254で受け取られた情報を、それに結びつけられたコマンドに変換する。例えば、選択肢「キンキンする」のIDが送られてきた場合に、そのIDから「キンキンする」を意味するコマンドに変換する。リモコン送信部256は、コマンド変換部255で変換されたコマンドに対して、伝送するための処理を施し、このコマンドを含む送信情報を生成し、アンテナ257から、テレビ受信機210に送信する。
図16(a)は、テレビ受信機210の音声系の構成例を示している。テレビ受信機210は、デジタル音声信号入力部211と、信号処理部212と、D/A変換器(DAC)213と、音量調整部214と、スピーカ215を有している。また、テレビ受信機210は、音声解析部216と、一時記録部217と、スピーカ特性記録部218と、調整パラメータ計算部219と、アンテナ220と、TV受信部221を有している。
デジタル音声信号入力部211は、例えば図示しないデジタルチューナで得られるデジタル音声信号を取得する。信号処理部212は、予め設定されたエフェクト処理、例えば仮想音場を付加する処理や、低域を増幅する処理等を施す。D/A変換器213は、信号処理部212から出力される音声信号を、デジタル信号からアナログ信号に変換する。音量調整部214は、D/A変換器213で得られた音声信号の音量を、設定された値で調整して、スピーカ215に出力する。なお、音出力部が一系統であるように示しているが、これは説明を簡単にするためであり、2つ以上あっても良いことは言うまでもない。
音声解析部216は、図2に示す音声解析部117と同様に、信号処理部212から出力されるデジタル音声信号に対して、音声解析を施して特徴量を取得する。この特徴量は、例えば、デジタル音声信号に含まれるピッチ情報や、1/3オクターブ帯域、臨界帯域等の帯域分割処理後の各帯域のパワーや、DFT等の時間周波数変換を行い、パワースペクトルを取得し、得られたパワースペクトルの最大パワーのスペクトル位置(周波数)や、パワースペクトルのケプストラム係数などである。
一時記録部217は、図2に示す一時記録部118と同様に、音声解析部216で取得された特徴量を一時的に記録する、つまり予め設定された期間保持する。スピーカ特性記録部218は、スピーカ215の特性を、個別パラメータとして記録する。このスピーカ特性は、事前に測定され、スピーカ特性記録部218に記録される。TV受信部221は、アンテナ220で受信された情報から、リモコン250から送られてくる主観的感覚に対応したコマンドを取得する。調整パラメータ計算部219は、TV受信部221で取得されたコマンドと、一時記録部217に記録されている処理対象の音声信号の特徴量と、スピーカ特性記録部218に記録されているスピーカ特性に基づいて、信号処理部212において音声信号を調整するための調整パラメータを算出する。
調整パラメータ計算部219は、調整パラメータの算出を、例えば、以下のように行う。例えば、「声が聞こえにくい」とコマンドが送られてきた場合、音声帯域、例えば500Hz〜4kHz等のスピーカの周波数特性と、時系列記録特徴量に記録されているピッチ情報から、フォルマント強調処理と子音強調処理を行うような調整パラメータを算出する。また、例えば、時系列記録特徴量に記録されているピッチ情報から、低い声のピッチ情報で有った場合、低めの帯域を強めに調整するような調整パラメータを算出する。
また、例えば、スピーカの特性が良いところを積極的に使用し、特性が悪い周波数帯域は、音が歪む原因となるため、強調処理を行わないような調整パラメータを算出する。また、例えば、時系列記録特徴量のケプストラム係数から、パワースペクトルのエンベロープを求め、背景音が有るのかを判断し、例えば、音声帯域より高域の帯域に信号が有る場合には、背景音がある等とし、背景音があると判断した場合には、更に、効果音の抑圧処理の強度を、例えばスピーカの高域の特性に合わせて調整するような調整パラメータを算出する。
テレビ受信機210の音声系の通常の動作を説明する。デジタル音声信号入力部211に入力されたデジタル音声信号は信号処理部212に供給される。この信号処理部212では、デジタル音声信号に対して、予め設定されたエフェクト処理、低域増幅処理等の音声信号処理が施される。この信号処理部212から出力される処理後のデジタル音声信号は、D/A変換器213でデジタル信号からアナログ信号に変換され、音量調整部214に供給される。音量調整部214では、アナログ音声信号の音量が、設定された値で調整される。音量調整された音声信号はスピーカ215に供給され、スピーカ215からは音声信号による音声が出力される。
また、信号処理部212から出力される処理後のデジタル音声信号は、音声解析部216に供給される。この音声解析部216では、デジタル音声信号に対して、音声解析が施され、デジタル音声信号の特徴量が取得され、一時記録部217に供給され、予め設定された期間保持される。
以上が、テレビ受信機210の音声系の通常の動作である。なお、音声解析部216および一時記録部217は、常に動作するように記したが、電力を消費しないように、リモコン操作により、動作を開始するように構成してもよい。その場合には、図示しない系により、リモコン受信部221から音声解析部216以降の動作を起動・停止する信号が渡される。例えば、タッチパネルのようなリモコンで、操作画面を表示させたときに、テレビ受信機210へ信号を送信し、受信したテレビ受信機210側では、受信した信号により、上述のとおり、音声解析部216および一時記録部217を有効にする操作を行う等が考えられる。
次に、ユーザ(使用者)がリモコン250を操作した場合の動作を説明する。なお、ここでは、音声解析部216および一時記憶部217は、説明を簡単にするため、常時動作として説明する。
ユーザ(使用者)は、聞こえを調整したい場合、リモコン250の表示部253に提示(表示)されている選択肢の中から、気になる感覚に沿う様な主観的感覚を選択する。リモコン250では、ユーザが選択した選択肢の情報、例えば、選択された選択肢のID等が入力受付部254で受け取られ、コマンド変換部255に送られる。
コマンド変換部255では、送られてきた情報が、それに結び付けられたコマンドに変換される。例えば、選択肢「キンキンする」のIDが送られてきた場合に、そのIDから「キンキンする」を意味するコマンドに変換される。コマンド変換部255で得られたコマンドはリモコン送信部256に供給される。このリモコン送信部256では、このコマンドに対して伝送するための処理が施され、アンテナ257からコマンドを含む情報がテレビ受信機210に送信される。
テレビ受信機210では、リモコン250から送られてきた情報がアンテナ220で受信され、TV受信部221に供給される。このTV受信部221では、受信情報から主観的感覚に対応したコマンドが取りだされ、調整パラメータ計算部219に供給される。調整パラメータ計算部219では、TV受信部221からコマンドが供給されると、そのコマンドに対応した調整パラメータの算出が行われる。この場合、一時記録部217に記録されている時系列記録特徴量と、スピーカ特性記録部218に記録されているスピーカ特性情報に基づいて、信号処理部212において音声信号(処理対象の音声信号)を調整するための調整パラメータが算出される。
なお、調整パラメータ算出方法として、スピーカ特性記録部218に記録されているスピーカ特性情報のみを参照する方法も考えられる。また、調整パラメータ計算部219が調整パラメータ算出方法として、一時記録部217に記録されている時系列記録特徴量と、スピーカ特性記録部218に記録されているスピーカ特性情報との、いずれも参照しない方法も考えられる。この方法は、プリセットされている複数の調整パラメータから、コマンドに対応した調整パラメータを選択して用いる方法である。
このように調整パラメータ計算部219で算出された調整パラメータは、信号処理部212に供給される。信号処理部212では、調整パラメータ計算部219から調整パラメータが送られてきた場合、その調整パラメータに応じて各種信号処理が調整され、結果的に音声信号の調整が行われる。
上述したように、図15に示すTVシステム20においては、リモコン250の表示部の提示される主観表現されている選択肢からユーザは聞いている音に対する主観に対応した所定の選択肢の選択が可能となる。この選択された所定の選択肢の情報(コマンド)がテレビ受信機210に送られ、テレビ受信機210では、この所定の選択肢に基づいて音声信号の音量、音質などを調整する処理が行われる。従って、ユーザは、テレビ受信機210における音(音量、音質など)の調整を、音に対する主観的感覚で行うことができ、音に対して詳しい知識が無くても、自分の納得がいく調整が可能となる。
なお、上述では再生装置がテレビ受信機である例を説明した。しかし、再生装置が、その他の機器、例えばオーディオ再生器、携帯音楽再生機器、パーソナルコンピュータなどの音を出力する機器であっても、同様の音(音量、音質など)調整を行うことができることは勿論である。
また、上述の説明では、テレビ受信機210とリモコン250は無線通信を行うように説明したが、テレビ受信機210とリモコン250は有線通信を行う構成であってもよい。この場合、図16に破線で示すように、リモコン250のコマンド変換部255からテレビ受信機210の調整パラメータ計算部219に直接コマンドが供給される構成となる。この場合、リモコン250のリモコン送信部256およびアンテナ257と、テレビ受信機210のアンテナ220およびTV受信部221は不要となる。
また、上述の説明では、テレビ受信機210とリモコン250とからなるTVシステム20を示したが、テレビ受信機210の画面に主観的表現の選択肢を表示し、このテレビ受信機210の筐体に設けた操作釦によりユーザが選択操作を行う構成も考えられる。
また、上述の説明では、テレビ受信機210がスピーカ特性記録部218を有する例を示した。しかし、図17に示すように、テレビ受信機210は、クラウド上のサーバ装置280内のスピーカ特性記録部内に保持されているスピーカ特性を利用することも考えられる。この場合には、例えば、スピーカ215として、外部スピーカを使用する場合等にあっても、調整パラメータ計算部219に外部スピーカのスピーカ特性をクラウド上のサーバ装置280から取得して供給できる。そのため、調整パラメータ計算部219において、その外部スピーカ特性に合った調整パラメータを適切に算出することが可能となる。
また、上述の説明では、コマンドの入力をリモコン等のボタンで指示するように記載した。しかし、例えば、テレビ受信機210、リモコン250等にマイクロホンを配して、音声によるコマンド入力をしても良い。また、さらに、テレビ受信機210等の設置場所が広い場合には、複数のマイクロホンを設置して、音声らしさからユーザ方向の検出を行い、その方向に指向性を向けて音声によるコマンド入力をさせても良い。また、さらに、カメラを設置し、ユーザが特定のジェスチャを行うことで、その方向へマイクの指向性を向けて音声によるコマンドを入力させても良いし、カメラのみで、複数のジェスチャによるコマンド入力をさせても良い。
また、リモコン250に多軸の加速度センサを設置し、リモコン250の振り方によりコマンドを入力させてもよい。また、調整のためにボタンを複数回押すのではなく、特定表示項目、例えば、キンキン等を選択すると、スライダーコントロールや、強弱を色温度で表示して調整する等の多段階調整が行えるユーザインタフェースとし、主観の感覚の程度で調整出来るようにさせる工夫があっても良い。また、このインタフェースを多軸表示、例えば、キンキンとはっきり等で表示して、その空間上を選択させて調整させても良い。
<3.第3の実施の形態>
[補聴器の構成]
図18は、第3の実施の形態としての補聴器310を示している。上述の第1の実施の形態では、リモコン150からのユーザ操作により補聴器110(110L,110R)の音(音量、音質など)を調整するものであった。この補聴器310は、音声入力を可能としたものである。
図19は、補聴器310の構成例を示している。この図19において、図2と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。補聴器310は、マイクロホン111−1,111−2と、A/D変換器(ADC)112−1,112−2と、信号処理部113と、D/A変換器(DAC)114と、音量調整部115と、スピーカ116を有している。
また、補聴器310は、音声解析部117と、一時記録部118と、聴覚特性記録部119と、調整パラメータ計算部120aと、調整パラメータ更新部120bを有している。また、補聴器310は、コマンド開始信号受信部130と、スイッチ部131と、複数音声信号処理部132と、変換前音声信号処理部133と、音声コマンド変換部134と、音声コマンド処理部135を有している。
マイクロホン111−1,111−2は周囲音を収音して音声信号を得る。2本のマイクロホン111−1,111−2を備えるのは指向性を制御する処理を可能とするためである。なお、マイクロホンは、1つでも良く、3つ以上であってもよい。A/D変換器112−1,112−2は、マイクロホン111−1,111−2で得られた音声信号をアナログ信号からデジタル信号に変換する。
信号処理部113は、A/D変換器112−1,112−2で得られた音声信号(処理対象の音声信号)に種々の処理を施す。D/A変換器114は、信号処理部113から出力される音声信号を、デジタル信号からアナログ信号に変換する。音量調整部115は、D/A変換器114で得られた音声信号の音量を、設定された値で調整して、スピーカ116に出力する。
音声解析部117は、信号処理部113から出力されるデジタル音声信号に対して、音声解析を施して特徴量を取得する。一時記録部118は、音声解析部117で取得された特徴量を一時的に記録する、つまり予め設定された期間保持する。調整パラメータ計算部120aは、音声入力によるコマンドと、一時記録部118に記録されている処理対象の音声信号の特徴量と、聴覚特性記録部119に記録されている聴覚特性に基づいて、信号処理部113において音声信号を調整するための調整パラメータを算出する。調整パラメータ更新部120bは、算出された調整パラメータを、信号処理部113に設定する。なお、図2(a)における調整パラメータ計算部120は、これら調整パラメータ計算部120aおよび調整パラメータ更新部120bに相当する。
スイッチ部131は、A/D変換器112−1,112−2から出力されるデジタル音声信号を、信号処理部113または複数音声信号処理部132に選択的に供給する。コマンド開始信号受信部130は、音声によるコマンド入力の開始を指示する制御信号を受信するとき、音声によるコマンド入力の準備を開始する。コマンド開始信号受信部130は、例えば、ユーザにより補聴器310の規定のボタンが操作される際に、開始指示の制御信号を受け取る。
コマンド開始信号受信部130は、この開始指示の制御信号を受け取るとき、スイッチ部131に切り替え信号を供給する。これにより、A/D変換器112−1,112−2から出力されるデジタル音声信号が信号処理部113に供給される状態から複数音声信号処理部132に供給される状態に、切り替えが行われるようにする。
複数音声信号処理部132は、複数、ここでは2つのデジタル音声信号を合成し、設計時に決定される複数のマイクロホンの位置関係から位相差等を考慮し、例えば、指向性をユーザの前方に向くようにする。変換前音声信号処理部133は、音声コマンド変換部134に渡す音声信号を作成する処理を行う。例えば、設計時に決められた周波数帯域、例えば、音声の周波数帯域(200Hzから3kHz)等の外を抑圧する処理を行う等して、設計時に決定されるサンプリング周波数へ変換する等、を施し、優勢な音声信号区間を音声信号の振幅強度等から特定する。
音声コマンド変換部134は、例えば、音声認識等の処理を行い、音声信号を音声コマンドへ変換する。音声コマンド処理部135は、音声コマンド変換部134における音声コマンドの変換の結果に応じた処理を行う。すなわち、音声コマンドへ変換ができていた場合には、調整パラメータ計算部120aに音声コマンドを送信する。一方、変換できていなかった場合には、スイッチ部131に信号処理部113側に切り替えるための制御信号を送る。
補聴器310の通常の動作を説明する。周囲の音はマイクロホン111−1,111−2で収音され、このマイクロホン111−1,111−2からは収音された音に対応したアナログ音声信号が得られる。このアナログ音声信号は、A/D変換器112−1,112−2でアナログ信号からデジタル信号に変換される。
スイッチ部131は、通常の動作においては、信号処理部113側に切り替えられている。そのため、A/D変換器112−1,112−2から出力されるデジタル音声信号は信号処理部113に供給される。信号処理部113では、デジタル音声信号に対して、予め設定された音声信号処理が施される。この信号処理部113から出力される処理後のデジタル音声信号は、D/A変換器114でデジタル信号からアナログ信号に変換され、音量調整部115に供給される。音量調整部115では、アナログ音声信号の音量が、設定された値で調整される。音量調整された音声信号はスピーカ116に供給され、スピーカ116からは音声信号による音声が出力される。
また、信号処理部113から出力される処理後のデジタル音声信号は、音声解析部117に供給される。この音声解析部117では、デジタル音声信号に対して、音声解析が施され、デジタル音声信号の特徴量が取得され、一時記録部118に供給され、予め設定された期間保持される。
次に、ユーザ(使用者)が音声によるコマンド入力の開始を、補聴器310の既定のボタンを操作する等して、補聴器310に指示した場合の動作を説明する。この場合、図示しない制御部からのマンド開始信号がコマンド開始信号受信部130により受信される。このコマンド開始信号受信部130からスイッチ部131に切り替え信号が供給され、スイッチ部131はA/D変換器112−1,112−2からのデジタル音声信号を複数音声信号処理部132に供給する状態に切り替えられる。
複数音声信号処理部132では、2つの音声信号が、例えば、設計時に決定される複数マイクの位置関係から位相差等が考慮され、指向性を使用者の前方に向くように、合成処理される。この複数音声信号処理部132で処理された後の音声信号は、変換前音声信号処理部133に供給される。
変換前音声信号処理部133では、複数音声信号処理部132から供給される音声信号に対して、音声コマンド変換部134へ渡すための音声信号を作成する処理が行われる。例えば、設計時に決められた周波数帯域、例えば、音声の周波数帯域(200Hzから3kHz)等の外を抑圧すること、設計時に決定されるサンプリング周波数へ変換すること等が行われ、優勢な音声信号区間が、例えば音声信号の振幅強度等から特定される。
変換前音声信号処理部133で処理された音声信号は、音声コマンド変換部134に供給される。この音声コマンド変換部134では、例えば、音声認識等の処理が行われ、音声信号が音声コマンドに変換される。音声コマンド変換部134の変換結果は、音声コマンド処理部135に送られる。音声コマンド処理部135では、音声コマンドへ変換できていた場合には、調整パラメータ計算部120aに音声コマンドが送られ、音声コマンドへ変換できていなかった場合には、スイッチ部131に、信号処理部113側に切り替える制御信号が送られる。
調整パラメータ計算部120aでは、音声コマンド処理部135から音声コマンドが送られてくると、調整パラメータの算出が行われる。この場合、この音声コマンドと、一時記録部118に記録されている時系列記録特徴量と、聴覚特性記録部119に記録されている聴覚特性情報に基づいて、信号処理部113において音声信号(処理対象の音声信号)を調整するための調整パラメータが算出される。この調整パラメータは、調整パラメータ更新部120bにより、信号処理部113に設定される。
このように調整パラメータ更新部120bで信号処理部113に調整パラメータが設定された後、調整パラメータ更新部120bからスイッチ部131に、信号処理部113側に切り替える制御信号が送られる。これにより、補聴器310は、上述した通常の動作状態となり、信号処理部113では、新たに設定された調整パラメータによる信号処理が行われる。
なお、上述したように、音声コマンド入力開始からコマンド処理が完了するまでの間は、スイッチ部131が複数音声信号処理部132側に切り替えられているので、補聴処理は停止される。しかし、常に信号処理部113に音声信号を供給する構成として、音声コマンド入力中も補聴処理が行われるようにするようにしてもよい。この場合、音声解析部117、一時記録部118等は、停止することが望ましい。
図20のフローチャートは、補聴器310の処理の流れを示している。補聴器310は、この処理を、周期的に、あるいは、ユーザによる明示的な指示により実行する。補聴器310は、ステップST41において、処理を開始する。そして、補聴器310は、ステップST42において、使用者によって音声コマンドの入力開始が指示されたかを判断する。補聴器310は、コマンド開始信号受信部130が音声コマンドの入力開始を指示する制御信号が受け取るとき、指示されたと判断する。指示された場合、補聴器310は、ステップST43の音声コマンド入力準備処理に移る。
補聴器310は、この音声コマンド入力準備処理において、音声コマンドの入力準備、例えば、スイッチ部113の制御等を行う。そして、補聴器310は、ステップST44において、音声信号に対して変換前音声信号処理、つまり複数音声信号処理部132および変換前音声信号処理部133における処理を行う。
次に、補聴器310は、ステップST45において、ステップST44で処理された音声信号に対してコマンド変換処理を行う。補聴器310は、このコマンド変換処理において、例えば、音声認識処理等を行い、音声信号を音声コマンドへ変換する。変換できなかった場合には、音声コマンドが得られなかったとする処理を行う。
次に、補聴器310は、ステップST46において、音声コマンドが認識できたか否かを判断する。認識できた場合には、ステップST47において、調整パラメータ算出処理を行い、さらに、ステップST48において、調整パラメータ反映処理を行う。このステップST48の後、補聴器310は、ステップST49の音声コマンド終了処理に移る。補聴器310は、この音声コマンド終了処理において、音声コマンドの終了処理、例えば、スイッチ部131を信号処理部113側へ戻す等の処理を行う。
次に、補聴器310は、ステップST50の音声信号処理に移る。上述のステップST42で音声コマンドの入力開始が指示されていなかった場合、直ちに、ステップST50の音声信号処理に移る。補聴器310は、この音声信号処理において、聞こえを改善するための音声信号処理を施し、図示しない系により、スピーカに出力する。
次に、補聴器310は、ステップST51の音声信号解析処理に移る。補聴器310は、この音声信号解析処理において、調整パラメータ算出処理で用いる特徴量を算出するための音声信号解析処理を行う。補聴器310は、このステップST51の処理の後に、ステップST52の一時記録更新処理に移る。補聴器310は、ステップST52の処理の後、ステップST53において、処理を終了する。
上述したように、図18、図19に示す補聴器310においては、ユーザは、補聴器310における音(音量、音質など)の調整を、音に対する主観的感覚で行うことができ、音に対して詳しい知識が無くても、自分の納得がいく調整が可能となる。また、この場合、ユーザは主観表現されているコマンドの音声入力が可能であり、使い勝手の向上を図ることができる。
なお、入力される音声は、コマンド名そのものでも良いが、使用者が任意に割り当てた略称等でも良く、この場合、使用者により事前に設定され、図示されない記録領域に記録され、音声コマンド変換処理で、参照されるようにすればよい。
<4.第4の実施の形態>
[補聴器の構成]
図21は、第4の実施の形態としての一対の補聴器410L,410Rを示している。補聴器410Lと補聴器410Rは有線接続されて相互通信が可能とされる。これらの補聴器410L,410Rも、上述の第3の実施の形態における補聴器310と同様に、音声コマンドの入力を可能としたものである。この実施の形態において、各補聴器には、マイクロホンが1つ付いており、上述の第3の実施の形態と同様に、音声コマンドの入力開始は、使用者によって指示される。
また、2つの補聴器は、主と副の関係にあり、音声コマンドの入力が開始されると、副の補聴器への音声入力は、主の補聴器へと送信され、主の補聴器により、音声コマンド変換がなされ、認識されたコマンドが、副の補聴器へ戻される。この実施の形態においては、ユーザが音声コマンドの入力を指示した方の補聴器が主となる。
なお、この実施の形態では、2つの補聴器の間の通信が有線で行われるものを示すが、実現可能な適当な手法によりなされれば良く、無線で通信しても良いことは言うまでもない。また、2つの補聴器が共に主の動作を行っても良く、その場合には、お互いに音声信号を送信することとし、認識したコマンドは戻す必要が無くなる。
図22は、補聴器410L,410Rの構成例を示している。この図22において、図1、図19と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。図22(a)は、補聴器410L,410Rのうちの一方の補聴器410aの構成例を示している。また、図22(b)は、聴器410L,410Rのうちの他方の補聴器410bの構成例を示している。
補聴器410aは、1つのマイクロホン111と、A/D変換器(ADC)112と、信号処理部113と、D/A変換器(DAC)114と、音量調整部115と、スピーカ116を有している。また、補聴器410aは、音声解析部117と、一時記録部118と、聴覚特性記録部119と、調整パラメータ計算部120aと、調整パラメータ更新部120bを有している。また、補聴器310は、複数音声信号処理部132と、変換前音声信号処理部133と、音声コマンド変換部134と、音声コマンド処理部135と、スイッチ部136と、副音声信号送受信部137と、コマンド開始信号送受信部138と、音声コマンド送受信部139を有している。
スイッチ部136は、A/D変換器112から出力されるデジタル音声信号を、複数音声信号処理部132または副音声信号送受信部137に選択的に供給する。コマンド開始信号送受信部138は、ユーザ操作による音声コマンドの入力開始を指示する制御信号を受け取るとき、音声によるコマンド入力の準備を開始する。ユーザは、補聴器410aの規定のボタンを操作することで、音声コマンドの入力開始を指示できる。
また、コマンド開始信号送受信部138は、この開始指示の制御信号を受け取るとき、自身の補聴器410aが「主」であることを設定し、「副」となる他方の補聴器410bに音声コマンド入力開始を指示する制御信号を送信する。コマンド開始信号送受信部138は、このとき、スイッチ部136に切り替え信号を供給し、c側からa側に接続切り替えが行われるようにする。すなわち、A/D変換器112からのデジタル音声信号が複数音声信号処理部132に供給される状態にする。また、コマンド開始信号送受信部138は、このとき、副音声信号受信部137に受信を指示する制御信号を送る。さらに、このとき、コマンド開始信号送受信部138は、音声コマンド処理部135および音声コマンド送受信部139に、音声コマンドの送信を指示する制御信号を送る。
また、コマンド開始信号送受信部138は、他方の補聴器410bから音声コマンドの入力開始を指示する制御信号を受け取るとき、音声によるコマンド入力の準備を開始する。コマンド開始信号送受信部138は、この開始指示の制御信号を受け取るとき、自身の補聴器410aが「副」であることを設定する。コマンド開始信号送受信部138は、このとき、スイッチ部136に切り替え信号を供給し、c側からb側に接続切り替えが行われるようにする。すなわち、A/D変換器112からのデジタル音声信号が副音声信号送受信部137に供給される状態にする。また、コマンド開始信号送受信部138は、このとき、副音声信号受信部137に送信を指示する制御信号を送る。さらに、このとき、コマンド開始信号送受信部138は、音声コマンド処理部135および音声コマンド送受信部139に、音声コマンドの受信を指示する制御信号を送る。
副音声信号送受信部137は、他方の補聴器410bからの音声信号の受信あるいは他方の補聴器410bへの音声信号の送信を行う。すなわち、副音声信号送受信部137は、コマンド開始信号送受信部138から受信を指示する制御信号が送られてくるとき、他方の補聴器410bからの音声信号を受信する構成となり、受信した音声信号を複数音声信号処理部132に送る。また、副音声信号送受信部137は、コマンド開始信号送受信部138から送信を指示する制御信号が送られてくるとき、他方の補聴器410bに音声信号を送信する構成となり、スイッチ部136から供給される音声信号を他方の補聴器410bに送る。
音声コマンド送受信部139は、他方の補聴器410bへの音声コマンドの送信あるいは他方の補聴器410bからの音声コマンドの受信を行う。すなわち、音声コマンド送受信部139は、コマンド開始信号送受信部138から送信を指示する制御信号が送られてくるとき、他方の補聴器410bに音声コマンドを送信する構成となり、音声コマンド処理部135からの音声コマンド、あるいは変換できなかったことを示すコマンドを他方の補聴器410bに送る。また、音声コマンド送受信部139は、コマンド開始信号送受信部138から受信を指示する制御信号が送られてくるとき、他方の補聴器410bから音声信号を受信する構成となる。そして、他方の補聴器410bから音声コマンドを受信し、音声コマンド処理部135に送る。
音声コマンド処理部135は、調整パラメータ計算部120aへの音声コマンドの供給および他方の補聴器410bに対する音声コマンドの送受信を処理する。音声コマンド処理部135は、コマンド開始信号送受信部138から送信を指示する制御信号が送られてくるとき、音声コマンド変換部134における音声コマンドの変換の結果に応じた処理を行う。すなわち、コマンド変換ができていた場合には、音声コマンドを、調整パラメータ計算部120aおよび音声コマンド送受信部139に送る。一方、変換できていなかった場合には、変換できなかったことを示すコマンドを調整パラメータ計算部120aおよび音声コマンド送受信部139に送ると共に、スイッチ部136にc側に切り替えるための制御信号を送る。また、音声コマンド処理部135は、コマンド開始信号送受信部138から受信を指示する制御信号が送られてくるとき、音声コマンド送受信部139で受信された音声コマンドを調整パラメータ計算部120aに送る。
図22(a)に示す補聴器410aのその他は、図19に示す補聴器310と同様に構成される。なお、図22(b)に示す補聴器410bは、上述した補聴器410aと同様の構成であるので、その説明は省略する。
補聴器410a,410bの通常の動作を説明する。周囲の音はマイクロホン111で収音され、このマイクロホン111からは収音された音に対応したアナログ音声信号が得られる。このアナログ音声信号は、A/D変換器112でアナログ信号からデジタル信号に変換され、信号処理部113に供給される。
信号処理部113では、デジタル音声信号に対して、予め設定された音声信号処理が施される。この信号処理部113から出力される処理後のデジタル音声信号は、D/A変換器114でデジタル信号からアナログ信号に変換され、音量調整部115に供給される。音量調整部115では、アナログ音声信号の音量が、設定された値で調整される。音量調整された音声信号はスピーカ116に供給され、スピーカ116からは音声信号による音声が出力される。
また、信号処理部113から出力される処理後のデジタル音声信号は、音声解析部117に供給される。この音声解析部117では、デジタル音声信号に対して、音声解析が施され、デジタル音声信号の特徴量が取得され、一時記録部118に供給され、予め設定された期間保持される。
次に、ユーザ(使用者)が音声によるコマンド入力の開始を、既定のボタンを操作する等して、補聴器410aあるいは補聴器410bに指示した場合の動作を説明する。ここでは、ユーザによる音声コマンド入力の開始指示が補聴器410aにおいてなされた場合について説明する。
最初に、補聴器410aの動作を説明する。この場合、コマンド開始信号送受信部138でユーザ操作による音声コマンドの入力開始を指示する制御信号が受け取られ、音声によるコマンド入力の準備が開始される。この場合、コマンド開始信号送受信部138により、自身の補聴器410aが「主」であることが設定される共に、「副」となる他方の補聴器410bに音声コマンド入力開始を指示する制御信号が送信される。
また、この場合、コマンド開始信号送受信部138からスイッチ部136に切り替え信号が供給され、スイッチ部136はc側からa側に接続切り替えが行われ、A/D変換器112からのデジタル音声信号(主音声信号)が複数音声信号処理部132に供給される状態とされる。また、この場合、コマンド開始信号送受信部138から副音声信号受信部137に受信を指示する制御信号が送られ、補聴器410bから送られてくる音声信号を受信する状態とされる。さらに、この場合、コマンド開始信号送受信部138から音声コマンド処理部135および音声コマンド送受信部139に音声コマンドの送信を指示する制御信号が送られ、補聴器410bに音声コマンドを送信する状態とされる。
副音声信号送受信部137で受信される補聴器410bからの音声信号(副音声信号)は、複数音声信号処理部132に供給される。この複数音声信号処理部132では、補聴器410a,410bの2つのマイクロホン111からの音声信号(主音声信号、副音声信号)が、例えば、設計時に決定される2つのマイクの位置関係から位相差等が考慮され、指向性を使用者の前方に向くように、合成処理される。この複数音声信号処理部132で処理された後の音声信号は、変換前音声信号処理部133に供給される。
変換前音声信号処理部133では、複数音声信号処理部132から供給される音声信号に対して、音声コマンド変換部134へ渡すための音声信号を作成する処理が行われる。例えば、設計時に決められた周波数帯域、例えば、音声の周波数帯域(200Hzから3kHz)等の外を抑圧すること、設計時に決定されるサンプリング周波数へ変換すること等が行われ、優勢な音声信号区間が、例えば音声信号の振幅強度等から特定される。
変換前音声信号処理部133で処理された音声信号は、音声コマンド変換部134に供給される。この音声コマンド変換部134では、例えば、音声認識等の処理が行われ、音声信号が音声コマンドに変換される。音声コマンド変換部134の変換結果は、音声コマンド処理部135に送られる。音声コマンド処理部135では、音声コマンドへ変換できていた場合には、調整パラメータ計算部120aに音声コマンドを送ることが行われる。この場合、音声コマンド送受信部139にも音声コマンドが送られ、この音声コマンドが補聴器410bに送信される。一方、音声コマンド処理部135では、音声コマンドへ変換できていなかった場合には、変換できなかったことを示すコマンドが調整パラメータ計算部120aおよび音声コマンド送受信部139に送ることが行われる。また、この場合、音声コマンド処理部135では、スイッチ部131にc側に切り替える制御信号を送ることが行われ、スイッチ部136はc側に切り替えられ、通常の状態とされる。
調整パラメータ計算部120aでは、音声コマンド処理部135から音声コマンドが送られてくると、調整パラメータの算出が行われる。この場合、この音声コマンドと、一時記録部118に記録されている時系列記録特徴量と、聴覚特性記録部119に記録されている聴覚特性情報に基づいて、信号処理部113において音声信号(処理対象の音声信号)を調整するための調整パラメータが算出される。この調整パラメータは、調整パラメータ更新部120bにより、信号処理部113に設定される。
このように調整パラメータ更新部120bで信号処理部113に調整パラメータが設定された後、調整パラメータ更新部120bからスイッチ部136に、c側に切り替える制御信号が送られる。これにより、補聴器410aは、上述した通常の動作状態となり、信号処理部113では、新たに設定された調整パラメータによる信号処理が行われる。
次に、補聴器410bの動作を説明する。この場合、コマンド開始信号送受信部138で、補聴器410aからの音声コマンドの入力開始を指示する制御信号が受け取られ、音声によるコマンド入力の準備が開始される。この場合、コマンド開始信号送受信部138により、自身の補聴器410bが「副」であることが設定される。
また、この場合、コマンド開始信号送受信部138からスイッチ部136に切り替え信号が供給され、スイッチ部136はc側からb側に接続切り替えが行われ、A/D変換器112からのデジタル音声信号(主音声信号)が副音声信号送受信部137に供給される状態とされる。また、この場合、コマンド開始信号送受信部138から副音声信号受信部137に送信を指示する制御信号が送られ、スイッチ部136から供給される音声信号が補聴器410aに送信される状態となる。
さらに、この場合、コマンド開始信号送受信部138から音声コマンド処理部135および音声コマンド送受信部139に音声コマンドの受信を指示する制御信号が送られ、補聴器410aから音声コマンドを受信する状態とされる。なお、この場合、複数音声信号処理部132、変換前音声信号処理部133および音声コマンド変換部134は動作しない。
音声コマンド送受信部139では、補聴器410aから送信されてくる音声コマンド、あるいは変換できなかったことを示すコマンドが受信される。音声コマンドは、音声コマンド処理部135を通じて、調整パラメータ計算部120aに送られる。一方、変換できなかったことを示すコマンドは、音声コマンド処理部135に送られる。音声コマンド処理部135では、この変換できなかったことを示すコマンドがトリガとなり、スイッチ部136にc側に切り替える制御信号を送ることが行われ、スイッチ部136はc側に切り替えられ、通常の状態とされる。
調整パラメータ計算部120aでは、音声コマンド処理部135から音声コマンドが送られてくると、調整パラメータの算出が行われる。この場合、この音声コマンドと、一時記録部118に記録されている時系列記録特徴量と、聴覚特性記録部119に記録されている聴覚特性情報に基づいて、信号処理部113において音声信号(処理対象の音声信号)を調整するための調整パラメータが算出される。この調整パラメータは、調整パラメータ更新部120bにより、信号処理部113に設定される。
このように調整パラメータ更新部120bで信号処理部113に調整パラメータが設定された後、調整パラメータ更新部120bからスイッチ部136に、c側に切り替える制御信号が送られる。これにより、補聴器410bは、上述した通常の動作状態となり、信号処理部113では、新たに設定された調整パラメータによる信号処理が行われる。
図23のフローチャートは、補聴器410(410a,410b)の処理の流れを示している。補聴器410は、この処理を、周期的に、あるいは、ユーザによる明示的な指示により実行する。補聴器410は、ステップST61において、処理を開始する。そして、補聴器410は、ステップST62において、使用者により音声コマンドの入力開始が指示されたか否かを判断する。補聴器410は、コマンド開始信号送受信部138が音声コマンドの入力開始を指示する制御信号が受け取るとき、指示されたと判断する。指示された場合、補聴器410は、ステップST63の音声コマンド入力準備処理に移る。
補聴器410は、この音声コマンド入力準備処理において、音声コマンドの入力準備、例えば、スイッチ部113の制御等を行うと共に、「主」または「副」の設定を行う。補聴器410は、自身の補聴器で行われたユーザ操作による音声コマンドの入力開始を指示する制御信号を受け取るとき「主」の設定を行い、他方の補聴器から音声コマンドの入力開始を指示する制御信号を受け取るとき、「副」の設定を行う。
次に、補聴器410は、ステップST64において、「主」の補聴器であるか、副の補聴器であるかを判断する。「主」の補聴器であるときは、ステップST65の処理に移る。このステップST65において、補聴器410は、他方の補聴器から音声信号(副音声信号)を受信する。そして、補聴器410は、ステップST66において、音声信号に対して変換前音声信号処理、つまり複数音声信号処理部132および変換前音声信号処理部133における処理を行う。
次に、補聴器410は、ステップST67において、ステップST66で処理された音声信号に対してコマンド変換処理を行う。補聴器310は、このコマンド変換処理において、例えば、音声認識処理等を行い、音声信号を音声コマンドへ変換する。変換できなかった場合には、音声コマンドが得られなかったとする処理を行う。そして、補聴器410は、ステップST68において、変換された音声コマンドを他方の補聴器に送信する。補聴器410は、このステップST68の処理の後、ステップST71の処理に移る。
上述のステップST64で「副」の補聴器であるときは、ステップST69の処理に移る。このステップST65において、補聴器41は、他方の補聴器に音声信号(副音声信号)を送信する。そして、補聴器410は、ステップST70において、音声コマンドを他方の補聴器から受信する。補聴器410は、このステップST70の処理の後、ステップST71の処理に移る。
補聴器410は、ステップST71において、音声コマンドが認識できたか否かを判断する。認識できた場合には、ステップST72において、調整パラメータ算出処理を行い、さらに、ステップST73において、調整パラメータ反映処理を行う。このステップST73の後、補聴器410は、ステップST74の音声コマンド終了処理に移る。補聴器410は、ステップST71で音声コマンドを認識できなかった場合は、直ちに、ステップST74の音声コマンド終了処理を行う。補聴器410は、この音声コマンド終了処理において、音声コマンドの終了処理、例えば、スイッチ部136をc側に戻す等の処理を行う。
次に、補聴器410は、ステップST75の音声信号処理に移る。上述のステップST62で音声コマンドの入力開始が指示されていなかった場合、直ちに、ステップST75の音声信号処理に移る。補聴器410は、この音声信号処理において、聞こえを改善するための音声信号処理を施し、図示しない系により、スピーカに出力する。
次に、補聴器410は、ステップST76の音声信号解析処理に移る。補聴器410は、この音声信号解析処理において、調整パラメータ算出処理で用いる特徴量を算出するための音声信号解析処理を行う。補聴器410は、このステップST76の処理の後に、ステップST77の一時記録更新処理に移る。補聴器410は、ステップST77の処理の後、ステップST78において、処理を終了する。
上述したように、図21、図22に示す補聴器410L,410R(410a,410b)においては、ユーザは、補聴器410L,410Rにおける音(音量、音質など)の調整を、音に対する主観的感覚で行うことができ、音に対して詳しい知識が無くても、自分の納得がいく調整が可能となる。また、この場合、ユーザは主観表現されているコマンドの音声入力が可能であり、使い勝手の向上を図ることができる。また、この場合、補聴器410L,410Rの一方でのみ音声コマンドを得る処理が行われるため、他方では処理負荷の軽減、消費電力の低減を図ることができる。
なお、上述の説明では、補聴器410L,410Rの間は有線接続されて通信されることしたが、実現可能な無線通信であっても良い。その場合、送受信される副音声信号は、サンプリングレートを下げて通信帯域が狭くても伝送できるようにすることが望ましい。その場合、関連する処理もサンプリングレートを下げた音声信号で動作するように設計されれば良い。
また、上述の説明では、調整パラメータは各補聴器で計算され、各々設定されるように記載したが、同じ設定がされるように、調整パラメータを計算後に通信させても良いことは言うまでもない。
また、上述の説明では、調整パラメータを設定後、保存していないが、調整パラメータとそのパラメータを得た時の音声信号の特徴量を組(セット)にして保存するようにし、入力音声信号の特徴量から、最も相関の高い特徴量と組みになっている調整パラメータを自動的に設定するようにしても良い。さらには、GPS等の位置情報と共に保存し、次回その位置に近づいた時に自動的に組みになっている調整パラメータを設定するような工夫があっても良い。
また、上述説明では、補聴器に付随するボタン操作により、音声コマンド入力を使用者に指示させた、しかし、例えば、特開2011−123751等に記載されるように、補聴器本体を既定されたパターンで叩くことで入力開始を指示させても良いし、さらに、コマンド入力させても良い。
<5.第5の実施の形態>
[通信システムの構成]
電話等、通信路を介した会話を行う場合、音声を聞き取り易くする方法として、これまでは、相手の電話等の通信機器で、通信路の通信帯域に収まるように、最適に情報削減された音声を処理していた。しかし、本技術の場合、聞こえない状況を主観的感覚で通話相手に伝えることで、通話相手の機器側で、送られてきた主観的感覚を適切に判断し調整を行う。これにより、情報削減前の音声に対して処理が行えるようになり、聞いている側の要求に応じた聞こえの改善を施すことが可能となる。
図24は、第5の実施の形態としての通信システム50の構成例を示している。この通信システム50は、携帯電話510Aと携帯電話510Bにより構成されている。この例では、携帯電話510Aと携帯電話510Bで通話しているときに、携帯電話510Aの話者が聞こえを調整するために、携帯電話510Aの画面に調整用のメニューを表示している例である。
携帯電話510Aの話者は、聞こえを調整するために、例えば、「こもっている」を選択した場合、携帯電話510A側でも調整は行われるが、「こもっている」コマンドが携帯電話510Bへ送信される。そして、受信した携帯電話510Bでは、携帯電話510Bの特徴、例えば、送信音声の帯域幅や、通話用のマイク特性等と、受信したコマンドに応じて送信音声の調整を行う。
図25は、携帯電話510(510A,510B)の構成例を示している。この構成例は、第1の実施の形態で示したマイクロホンで音を収音して処理する例と、第2の実施の形態で示したテレビ受信機(再生機器)を主観的に調整する例で示したブロック図が合わさったような構成となっており、調整コマンドが、通話相手から送られてくるという特徴を持っている。
この携帯電話510は、マイクロホン511と、A/D変換器512と、入力音声用信号処理部513と、エンコード処理部514と、音声情報・コマンド送信部515と、アンテナ516を有している。また、この携帯電話510は、入力音声解析部517と、入力音声特徴量一時記憶部518と、入力音声調整パラメータ計算部519と、機器特性記録部520を有している。
また、この携帯電話510は、アンテナ531と、音声情報・コマンド受信部532と、デコード処理部533と、出力音声用信号処理部534と、D/A変換器535と、音量調整部536と、スピーカ537を有している。また、この携帯電話510は、出力音声解析部538と、出力音声特徴量一時記録部539と、出力音声調整パラメータ計算部540と、コマンド入力受付部541を有している。
マイクロホン511は周囲音を収音して音声信号を得る。A/D変換器512は、マイクロホン511で得られた音声信号をアナログ信号からデジタル信号に変換する。入力音声信号処理部513は、A/D変換器512で得られた音声信号(処理対象の音声信号)に種々の処理、例えば、AGC処理、ノイズ低減処理、音声強調処理などを行う。エンコード処理部514は、処理後の音声信号を通信するためのエンコード処理を施す。音声情報・コマンド送信部515は、エンコード済みの音声信号をアンテナ516より通信路に送出する。
入力音声解析部517は、図2(a)に示す音声解析部117と同様に、入力音声用信号処理部513から出力されるデジタル音声信号に対して、音声解析を施して特徴量を取得する。入力音声特徴量一時記録部518は、図2(a)に示す一時記録部118と同様に、入力音声解析部517で取得された特徴量を一時的に記録する、つまり予め設定された期間保持する。
機器特性記録部520は、マイクロホン511の特性と、スピーカ537の特性を、個別パラメータとして記録する。これらの特性は、事前に測定され、機器特性記録部520に記録される。入力音声調整パラメータ計算部519は、音声情報・コマンド受信部532で取得されたコマンドと、入力音声特徴量一時記録部518に記録されている処理対象の音声信号の特徴量と、機器特性記録部520に記録されているマイクロホン特性に基づいて、入力音声用信号処理部513において音声信号を調整するための調整パラメータ(入力音声調整パラメータ)を算出する。
音声情報・コマンド受信部532は、アンテナ531の受信情報を復号化し、エンコード済み音声信号やコマンド(調整用コマンド)を取得する。デコード処理部533は、音声情報・コマンド受信部532で取得されたエンコード済み音声信号をデコードして受信音声信号を得る。出力音声用信号処理部534は、デコード処理部533で得られた受信音声信号に対して、種々の処理、例えば、帯域拡張処理、話速変換処理、ノイズ抑圧処理などを行う。D/A変換器535は、出力音声用信号処理部534から出力される音声信号を、デジタル信号からアナログ信号に変換する。音量調整部536は、D/A変換部535で得られた音声信号の音量を、設定された値で調整して、スピーカ537に出力する。
出力音声解析部538は、図2(a)に示す音声解析部117と同様に、出力音声用信号処理部534から出力されるデジタル音声信号に対して、音声解析を施して特徴量を取得する。出力音声特徴量一時記録部539は、図2(a)に示す一時記録部118と同様に、出力音声解析部538で取得された特徴量を一時的に記録する、つまり予め設定された期間保持する。出力音声調整パラメータ計算部540は、コマンド入力受付部541で受け付けられたコマンドと、入力音声特徴量一時記録部539に記録されている処理対象の音声信号の特徴量と、機器特性記録部520に記録されているスピーカ特性に基づいて、出力音声用信号処理部534において音声信号を調整するための調整パラメータ(出力音声調整パラメータ)を算出する。
携帯電話510の送話時の基本的な動作を説明する。マイクロホン511で得られたアナログ音声信号は、A/D変換器512でデジタル音声信号に変換され、入力音声用信号処理部513に送られる。この入力音声用信号処理部513では、送られてきたデジタル音声信号に対して、既定の音声加工処理、例えば、ノイズ抑圧処理や、フォルマント強調処理等を施し、エンコード処理部514および入力音声解析部517に送られる。
エンコード処理部514では、送られてきたデジタル音声信号を通信するためにエンコード処理が施され、音声情報・コマンド送信部515に送られる。この音声情報・コマンド送信部515では、送られてきたエンコード済み音声信号がアンテナ516より通信路へ送出することが行われる。一方、入力音声解析部517では、送られてきたデジタル音声信号に対して、解析処理が行われ、特徴量が算出される。この特徴量は、入力音声特徴量一時記録部518に供給され、予め設定された期間保持される。
次に、携帯電話510の受話時の基本的な動作を説明する。アンテナ531で受信された情報は、音声情報・コマンド受信部532に送られる。この音声情報・コマンド受信部532では、送られてきた情報が復号化される。音声信号で有れば、デコード処理部533に送られ、相手側から送られてきた調整用コマンドで有れば、入力音声調整パラメータ計算部519に送られる。
デコード処理部533では、送られてきたエンコード済み音声信号がデコードされ、出力音声用信号処理部534に送られる。この出力音声信号処理部534では、送られてきたデジタル音声信号に対して、例えば、帯域拡張処理や、話速変換処理や、ノイズ抑圧処理等が行われる、D/A変換器535および出力音声解析部538に送られる。
D/A変換器535では、送られてきたデジタル音声信号をアナログ音声信号に変換され、音量調整部536で音量が調整された後、スピーカ537からそれによる音声が出力される。一方、出力音声解析部538では、送られてきたデジタル音声信号に対して、解析処理が行われ、特徴量が算出される。この特徴量は、出力音声特徴量一時記録部539に供給され、予め設定された期間保持される。
なお、上述では、説明の簡単のために、音声解析部517,538と、一時記録部518,539は常に動作するとしたが、上述の第1の実施の形態で説明したように、この限りで無いことは言うまでもない。
次に、調整を伴う場合の動作を説明する。ユーザ(使用者)が表示部に表示されている主観的感覚のボタンをタッチする等してコマンド入力受付部541で受け付けられたコマンドは、出力音声調整パラメータ計算部540に送られる。この出力音声調整パラメータ計算部540では、送られてきたコマンドと、出力音声特徴量一時記録部539に記録されている時系列記録特徴量と、機器特性記録部520に記録されているスピーカ特性が取得され、解析されることで、出力音声用信号処理部534を調整する調整パラメータが算出される。
出力音声調整パラメータ計算部540では、例えば、「声がはっきり聞こえない」というコマンドが送られてきた場合には、以下のような調整パラメータが算出される。例えば、算出時系列記録特徴量に記録されたケプストラム係数や、その差分情報から、ノイズ性の音なのかが判断され、ノイズ性の場合には、ノイズ抑圧処理を強くするような調整パラメータが算出される。また、例えば、音声帯域よりも高域に信号が集中している場合には、音声帯域よりも上を削除し、代わりに帯域拡張処理で置き換える様な調整パラメータが算出される。また、例えば、ピッチ情報から音声と判断出来る場合には、話速変換処理で遅く再生される様に調整パラメータが算出される。
このように算出された調整パラメータは、出力音声用信号処理部534に設定される。そのため、出力音声用信号処理部534では、設定された調整用パラメータに応じて、各信号処理が調整される。すなわち、受信音声信号の音(音量、音質など)が調整用パラメータで調整される。
コマンド入力受付部541で受け付けられたコマンドは、音声情報・コマンド送信部515に送られ、通信路を介して、通話相手に送信される。通話相手では、送信されたコマンドが、アンテナ531で受信され、音声情報・コマンド受信部532に送られる。この音声情報・コマンド受信部532では、このコマンドが取り出されて入力音声調整パラメータを算出部519に送られる。
この入力音声調整パラメータを算出部519では、送られてきたコマンドと、入力音声特徴量一時記録部518に記録されている時系列記録特徴量と、機器特性記録部520に記録されているマイクロホン特性が取得されて解析され、入力音声用信号処理部513を調整する調整パラメータが算出される。
入力音声調整パラメータ計算部519では、例えば、「声がはっきり聞こえない」というコマンドが送られてきた場合には、以下のような調整パラメータが算出される。例えば、ピッチ情報から、音声信号の帯域外の信号を抑圧しておき、エンコード処理で、より音声帯域にビットが割り振られるような信号処理を施し、さらにエンコード処理部514の帯域設定等も調整するようなパラメータが算出される。また、例えば、マイク感度を下げて、マイク周囲の音のみ集音するようにして、入力音声用信号処理部513で、音声帯域を増幅するような調整パラメータが算出される。
上述したように、図24に示す通信システム50においては、送信するコマンドを解釈するのが受信端末となるため、通話相手の機器特性や、備わっている信号処理が未知でも、音調整のコマンドを送ることができる。また、受信側では、ノイズ抑圧処理等が、エンコード前に行えるなど、効果的に処理できるようになる。
<6.変形例>
なお、上述の各実施の形態において、ユーザ(使用者)の入力に対して、機器が問い返すような工夫がされていても良い。例えば、音声により、最初は、「いかがですか?」とし、2回目以降は、使用者の入力に応じて、「もうすこしですか?」等、調整具合を問い合わせる様な工夫があってもよく、更に、ユーザも最初は、コマンドを入力するが、2回目以降では、「もっと」や「もう少し強く」や「もう少し弱く」など、程度を意味するコマンドにより、入力出来るような工夫があっても良い。さらに、ディスプレイや、タッチパネルなどの表示部を備える機器では、音声による問い返しと共に、表情を付けた反応を返す等の工夫があっても良い。例えば、コンピュータグラフィック(CG)等で顔を表示して連動させ、あるいは変化具合を印象できる表示を行う等を行うと良い。
また、上述の実施の形態においては、音声信号を解析して得られた特徴量を加味してコマンドに対応した調整パラメータを算出して使用する例を示した。しかし、主観的表現のコマンドに応じてプリセットされている調整パラメータから所定の調整パラメータを選択的に取り出して使用する構成も考えられる。この場合にあっても、ユーザ(使用者)は、音(音量、音質など)の調整を、音に対する主観的感覚で行うことができ、音に対して詳しい知識が無くても、自分の納得がいく調整が可能となる。
また、上述の実施の形態においては、主観的表現のコマンドで音響機器における音(音量、音質など)を調整する例を示した。しかし、音響機器以外の機器における調整にも本技術を適用できることは明らかである。例えば、エアコンの温度・湿度調整などにも応用できる。
また、本技術は、以下のような構成も取ることができる。
(1)主観的に表現され、音響信号に対する制御に関連する選択肢を提示する提示制御部と、
上記提示された選択肢から選択された所定の選択肢を出力する出力部とを備える
信号処理装置。
(2)上記提示制御部は、
上記選択された選択肢あるいは処理対象の音響信号の特徴量に応じて、上記提示する選択肢の表示態様を変更する
前記(1)に記載の信号処理装置。
(3)上記提示される選択肢は、
解消すべき主観的感覚および/または主観的要求である
前記(1)または(2)に記載の信号処理装置。
(4)事前に測定された個別パラメータ、上記選択された所定の選択肢および処理対象の音響信号の特徴量に基づいて、該処理対象の音響信号を調整する調整パラメータを算出する算出部をさらに備える
前記(1)から(3)のいずれかに記載の信号処理装置。
(5)上記個別パラメータは、聴覚特性を示すパラメータである
前記(4)に記載の信号処理装置。
(6)上記個別パラメータは、マイクロホンおよび/またはスピーカの特性を示すパラメータである
前記(4)または(5)に記載の信号処理装置。
(7) 主観的に表現され、音響信号に対する制御に関連する選択肢を提示するステップと、
上記提示された選択肢から選択された所定の選択肢を出力するステップとを備える
信号処理方法。
(8)コンピュータを、
主観的に表現され、音響信号に対する制御に関連する選択肢を提示する提示制御手段と、
上記提示された選択肢から選択された所定の選択肢を出力する出力手段と
として機能させるプログラム。
(9)事前に測定された個別パラメータと、主観的に表現され、提示された音響信号に対する制御に関連する選択肢から選択された所定の選択肢と、処理対象の音響信号の特徴量に基づいて算出された調整パラメータを取得する取得部と、
上記取得された調整パラメータに基づいて、上記処理対象の音響信号を調整する信号処理部とを備える
信号処理装置。
(10)上記信号処理部は、
上記調整パラメータを蓄積する第1のバッファおよび第2のバッファを有し、
一方のバッファに蓄積されている上記調整パラメータの使用状態で上記取得部により上記調整パラメータが取得されるとき、該取得された調整パラメータを他方のバッファに蓄積した後に該他方のバッファに蓄積されている上記調整パラメータの使用状態に切り替える
前記(9)に記載の信号処理装置。
(11)上記信号処理部は、
上記調整パラメータを蓄積するバッファを有し、
上記バッファに蓄積されている上記調整パラメータの使用状態で上記取得部により上記調整パラメータが取得されるとき、
上記調整された音響信号の出力をミュートし、該取得された調整パラメータを上記バッファに蓄積した後に該ミュートを解除する
前記(10)に記載の信号処理装置。
(12)上記処理対象の音響信号を解析して、該音響信号の特徴量を算出する解析部をさらに備える
前記(9)から(11)のいずれかに記載の信号処理装置。
(13)上記調整パラメータを算出する算出部をさらに備える
前記(9)から(12)のいずれかに記載の信号処理装置。
(14)事前に測定された個別パラメータと、主観的に表現され、提示された音響信号に対する制御に関連する選択肢から選択された所定の選択肢と、処理対象の音響信号の特徴量に基づいて算出された調整パラメータを取得するステップと、
上記取得された調整パラメータに基づいて、上記処理対象の音響信号を調整するステップとを備える
信号処理方法。
(15)主観的に表現され、提示された音響信号に対する制御に関連する選択肢から選択された所定の選択肢に対応した調整パラメータを取得する取得部と、
上記取得された調整パラメータに基づいて、上記処理対象の音響信号を調整する信号処理部とを備える
信号処理装置。
(16)主観的に表現され、音響信号に対する制御に関する選択肢を提示する提示制御部と、
事前に測定された個別パラメータと、上記提示された選択肢から選択された所定の選択肢と、処理対象の音響信号の特徴量に基づいて、該処理対象の音響信号を調整する調整パラメータを算出する算出部と、
上記算出された調整パラメータに基づいて、上記処理対象の音響信号を調整する信号処理部と、
上記調整された音響信号を出力する出力部とを備える
信号処理システム。
(17)音声入力部と、
上記音声入力部より入力された音声から、主観的に表現され、音響信号に対する制御に関連するコマンドを取得する取得部と、
事前に測定された個別パラメータと、上記取得されたコマンドと、処理対象の音響信号の特徴量に基づいて、該処理対象の音響信号を調整する調整パラメータを算出する算出部と、
上記算出された調整パラメータに基づいて、上記処理対象の音響信号を調整する信号処理部とを備える
信号処理装置。
(18)上記音声入力部、上記コマンド取得部、上記算出部、上記信号処理部をそれぞれ有する第1の信号処理系および第2の信号処理系を持ち、
一方の処理系は、上記音声入力部に入力された音声を他方の処理系に送信し、該他方の処理系からコマンドを受信する
前記(17)に記載の信号処理装置。
(19)主観的に表現され、音響信号に対する制御に関連する選択肢を提示する提示制御部と、
上記提示された選択肢から選択された所定の選択肢に対応したコマンドを出力するコマンド出力部と、
上記出力されたコマンドを通信相手に送信する送信部とを備える
通信端末。
(20)通信相手から、主観的に表現され、音響信号に対する制御に関連する所定の選択肢に対応したコマンドを受信する受信部と、
音響信号を入力する音響信号入力部と、
少なくとも上記受信されたコマンドに基づいて、調整パラメータを算出する調整パラメータ算出部と、
上記算出された調整パラメータに基づいて、上記入力された音響信号を調整する信号処理部と、
上記調整された音響信号を上記通信相手に送信する送信部とを備える
通信端末。
10・・・補聴器システム
20・・・TVシステム
50・・・通信システム
110,110L,110R・・・補聴器
111−1,111−2・・・マイクロホン
112−1,112−2・・・A/D変換器
113・・・信号処理部
114・・・D/A変換器
115・・・音量調整部
116・・・スピーカ
117・・・音声解析部
118・・・一時記録部
119・・・聴覚特性記録部
120・・・調整パラメータ計算部
120a・・・調整パラメータ計算部
120b・・・調整パラメータ更新部
121・・・アンテナ
122・・・補聴器受信部
123・・・補聴器送信部
124・・・アンテナ
130・・・コマンド開始信号受信部
131・・・スイッチ部
132・・・複数音声信号処理部
133・・・変換前音声信号処理部
134・・・音声コマンド変換部
135・・・音声コマンド処理部
136・・・スイッチ部
137・・・副音声信号送受信部
138・・・コマンド開始信号送受信部
139・・・音声コマンド送受信部
150・・・リモコン
151・・・制御部
152・・・ユーザ操作部
153・・・表示部
154・・・入力受付部
155・・・コマンド変換部
156・・・リモコン送信部
157・・・アンテナ
161・・・アンテナ
162・・・リモコン受信部
163・・・一時記録部
164・・・聴覚特性記録部
210・・・テレビ受信機
211・・・デジタル音声信号入力部
212・・・信号処理部
213・・・D/A変換器
214・・・音量調整部
215・・・スピーカ
216・・・音声解析部
217・・・一時記録部
218・・・スピーカ特性記録部
219・・・調整パラメータ計算部
220・・・アンテナ
221・・・TV受信部
250・・・リモコン
251・・・制御部
252・・・ユーザ操作部
253・・・表示部
254・・・入力受付部
255・・・コマンド変換部
256・・・リモコン送信部
257・・・アンテナ
280・・・サーバ装置
310,410L,410R,410a,410b・・・補聴器
510,510A,510B・・・携帯電話
511・・・マイクロホン
512・・・A/D変換器
513・・・入力音声用信号処理部
514・・・エンコード処理部
515・・・音声情報・コマンド送信部
516・・・アンテナ
517・・・入力音声解析部
518・・・入力音声特徴量一時記録部
519・・・入力音声調整パラメータ計算部
520・・・機器特性記録部
531・・・アンテナ
532・・・音声情報・コマンド受信部
533・・・デコード処理部
534・・・出力音声用信号処理部
535・・・D/A変換器
536・・・音量調整部
537・・・スピーカ
538・・・出力音声解析部
539・・・出力音声特徴量一時記録部
540・・・出力音声調整パラメータ計算部
541・・・コマンド入力受付部

Claims (20)

  1. 主観的に表現され、音響信号に対する制御に関連する選択肢を提示する提示制御部と、
    上記提示された選択肢から選択された所定の選択肢を出力する出力部とを備える
    信号処理装置。
  2. 上記提示制御部は、
    上記選択された選択肢あるいは処理対象の音響信号の特徴量に応じて、上記提示する選択肢の表示態様を変更する
    請求項1に記載の信号処理装置。
  3. 上記提示される選択肢は、
    解消すべき主観的感覚および/または主観的要求である
    請求項1に記載の信号処理装置。
  4. 事前に測定された個別パラメータ、上記選択された所定の選択肢および処理対象の音響信号の特徴量に基づいて、該処理対象の音響信号を調整する調整パラメータを算出する算出部をさらに備える
    請求項1に記載の信号処理装置。
  5. 上記個別パラメータは、聴覚特性を示すパラメータである
    請求項4に記載の信号処理装置。
  6. 上記個別パラメータは、マイクロホンおよび/またはスピーカの特性を示すパラメータである
    請求項4に記載の信号処理装置。
  7. 主観的に表現され、音響信号に対する制御に関連する選択肢を提示するステップと、
    上記提示された選択肢から選択された所定の選択肢を出力するステップとを備える
    信号処理方法。
  8. コンピュータを、
    主観的に表現され、音響信号に対する制御に関連する選択肢を提示する提示制御手段と、
    上記提示された選択肢から選択された所定の選択肢を出力する出力手段と
    として機能させるプログラム。
  9. 事前に測定された個別パラメータと、主観的に表現され、提示された音響信号に対する制御に関連する選択肢から選択された所定の選択肢と、処理対象の音響信号の特徴量に基づいて算出された調整パラメータを取得する取得部と、
    上記取得された調整パラメータに基づいて、上記処理対象の音響信号を調整する信号処理部とを備える
    信号処理装置。
  10. 上記信号処理部は、
    上記調整パラメータを蓄積する第1のバッファおよび第2のバッファを有し、
    一方のバッファに蓄積されている上記調整パラメータの使用状態で上記取得部により上記調整パラメータが取得されるとき、該取得された調整パラメータを他方のバッファに蓄積した後に該他方のバッファに蓄積されている上記調整パラメータの使用状態に切り替える
    請求項9に記載の信号処理装置。
  11. 上記信号処理部は、
    上記調整パラメータを蓄積するバッファを有し、
    上記バッファに蓄積されている上記調整パラメータの使用状態で上記取得部により上記調整パラメータが取得されるとき、
    上記調整された音響信号の出力をミュートし、該取得された調整パラメータを上記バッファに蓄積した後に該ミュートを解除する
    請求項9に記載の信号処理装置。
  12. 上記処理対象の音響信号を解析して、該音響信号の特徴量を算出する解析部をさらに備える
    請求項9に記載の信号処理装置。
  13. 上記調整パラメータを算出する算出部をさらに備える
    請求項9に記載の信号処理装置。
  14. 事前に測定された個別パラメータと、主観的に表現され、提示された音響信号に対する制御に関連する選択肢から選択された所定の選択肢と、処理対象の音響信号の特徴量に基づいて算出された調整パラメータを取得するステップと、
    上記取得された調整パラメータに基づいて、上記処理対象の音響信号を調整するステップとを備える
    信号処理方法。
  15. 主観的に表現され、提示された音響信号に対する制御に関連する選択肢から選択された所定の選択肢に対応した調整パラメータを取得する取得部と、
    上記取得された調整パラメータに基づいて、上記処理対象の音響信号を調整する信号処理部とを備える
    信号処理装置。
  16. 主観的に表現され、音響信号に対する制御に関する選択肢を提示する提示制御部と、
    事前に測定された個別パラメータと、上記提示された選択肢から選択された所定の選択肢と、処理対象の音響信号の特徴量に基づいて、該処理対象の音響信号を調整する調整パラメータを算出する算出部と、
    上記算出された調整パラメータに基づいて、上記処理対象の音響信号を調整する信号処理部と、
    上記調整された音響信号を出力する出力部とを備える
    信号処理システム。
  17. 音声入力部と、
    上記音声入力部より入力された音声から、主観的に表現され、音響信号に対する制御に関連するコマンドを取得する取得部と、
    事前に測定された個別パラメータと、上記取得されたコマンドと、処理対象の音響信号の特徴量に基づいて、該処理対象の音響信号を調整する調整パラメータを算出する算出部と、
    上記算出された調整パラメータに基づいて、上記処理対象の音響信号を調整する信号処理部とを備える
    信号処理装置。
  18. 上記音声入力部、上記コマンド取得部、上記算出部、上記信号処理部をそれぞれ有する第1の信号処理系および第2の信号処理系を持ち、
    一方の処理系は、上記音声入力部に入力された音声を他方の処理系に送信し、該他方の処理系からコマンドを受信する
    請求項17に記載の信号処理装置。
  19. 主観的に表現され、音響信号に対する制御に関連する選択肢を提示する提示制御部と、
    上記提示された選択肢から選択された所定の選択肢に対応したコマンドを出力するコマンド出力部と、
    上記出力されたコマンドを通信相手に送信する送信部とを備える
    通信端末。
  20. 通信相手から、主観的に表現され、音響信号に対する制御に関連する所定の選択肢に対応したコマンドを受信する受信部と、
    音響信号を入力する音響信号入力部と、
    少なくとも上記受信されたコマンドに基づいて、調整パラメータを算出する調整パラメータ算出部と、
    上記算出された調整パラメータに基づいて、上記入力された音響信号を調整する信号処理部と、
    上記調整された音響信号を上記通信相手に送信する送信部とを備える
    通信端末。
JP2012022536A 2012-02-03 2012-02-03 信号処理装置、信号処理方法、プログラム、信号処理システムおよび通信端末 Active JP5962038B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012022536A JP5962038B2 (ja) 2012-02-03 2012-02-03 信号処理装置、信号処理方法、プログラム、信号処理システムおよび通信端末
CN201310031189.6A CN103247294B (zh) 2012-02-03 2013-01-28 信号处理设备、方法、系统和通信终端
US13/756,975 US9531338B2 (en) 2012-02-03 2013-02-01 Signal processing apparatus, signal processing method, program, signal processing system, and communication terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012022536A JP5962038B2 (ja) 2012-02-03 2012-02-03 信号処理装置、信号処理方法、プログラム、信号処理システムおよび通信端末

Publications (3)

Publication Number Publication Date
JP2013162325A true JP2013162325A (ja) 2013-08-19
JP2013162325A5 JP2013162325A5 (ja) 2015-02-19
JP5962038B2 JP5962038B2 (ja) 2016-08-03

Family

ID=48902904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012022536A Active JP5962038B2 (ja) 2012-02-03 2012-02-03 信号処理装置、信号処理方法、プログラム、信号処理システムおよび通信端末

Country Status (3)

Country Link
US (1) US9531338B2 (ja)
JP (1) JP5962038B2 (ja)
CN (1) CN103247294B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126022A (ja) * 2014-12-26 2016-07-11 アイシン精機株式会社 音声処理装置
JP2019080309A (ja) * 2017-10-03 2019-05-23 ジーエヌ ヒアリング エー/エスGN Hearing A/S 聴覚デバイスサービス要求のためのコンピューティングプログラムおよびサーバを備えたシステム
WO2023286299A1 (ja) * 2021-07-12 2023-01-19 ソニーグループ株式会社 音声処理装置及び音声処理方法、並びに補聴機器
WO2024075434A1 (ja) * 2022-10-07 2024-04-11 ソニーグループ株式会社 情報処理システム、デバイス、情報処理方法及びプログラム

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9344292B2 (en) 2011-12-30 2016-05-17 Sonos, Inc. Systems and methods for player setup room names
US9524098B2 (en) 2012-05-08 2016-12-20 Sonos, Inc. Methods and systems for subwoofer calibration
US9668049B2 (en) 2012-06-28 2017-05-30 Sonos, Inc. Playback device calibration user interfaces
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9031244B2 (en) 2012-06-29 2015-05-12 Sonos, Inc. Smart audio settings
US8995687B2 (en) 2012-08-01 2015-03-31 Sonos, Inc. Volume interactions for connected playback devices
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US9952576B2 (en) 2012-10-16 2018-04-24 Sonos, Inc. Methods and apparatus to learn and share remote commands
US9319409B2 (en) 2013-02-14 2016-04-19 Sonos, Inc. Automatic configuration of household playback devices
US9237384B2 (en) 2013-02-14 2016-01-12 Sonos, Inc. Automatic configuration of household playback devices
US9609423B2 (en) * 2013-09-27 2017-03-28 Volt Analytics, Llc Noise abatement system for dental procedures
US9391575B1 (en) * 2013-12-13 2016-07-12 Amazon Technologies, Inc. Adaptive loudness control
US9300647B2 (en) 2014-01-15 2016-03-29 Sonos, Inc. Software application and zones
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9800220B2 (en) * 2014-09-24 2017-10-24 Intel Corporation Audio system with noise interference mitigation
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
JP6308311B2 (ja) * 2015-06-17 2018-04-11 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
CN111314826B (zh) 2015-09-17 2021-05-14 搜诺思公司 由计算设备执行的方法及相应计算机可读介质和计算设备
US9940928B2 (en) * 2015-09-24 2018-04-10 Starkey Laboratories, Inc. Method and apparatus for using hearing assistance device as voice controller
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
WO2017118477A1 (en) * 2016-01-06 2017-07-13 Sonova Ag Method and system for adjusting a hearing device to personal preferences and needs of a user
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US10284998B2 (en) 2016-02-08 2019-05-07 K/S Himpp Hearing augmentation systems and methods
US10390155B2 (en) 2016-02-08 2019-08-20 K/S Himpp Hearing augmentation systems and methods
US10433074B2 (en) * 2016-02-08 2019-10-01 K/S Himpp Hearing augmentation systems and methods
US10631108B2 (en) 2016-02-08 2020-04-21 K/S Himpp Hearing augmentation systems and methods
US10750293B2 (en) 2016-02-08 2020-08-18 Hearing Instrument Manufacture Patent Partnership Hearing augmentation systems and methods
US10341791B2 (en) 2016-02-08 2019-07-02 K/S Himpp Hearing augmentation systems and methods
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
CN106098071A (zh) * 2016-08-03 2016-11-09 国网江西省电力公司检修分公司 变电站巡检机器人音频处理系统及方法
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US10133544B2 (en) 2017-03-02 2018-11-20 Starkey Hearing Technologies Hearing device incorporating user interactive auditory display
CN108182948B (zh) * 2017-11-20 2021-08-20 云知声智能科技股份有限公司 可提高语音识别率的语音采集处理方法及装置
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06242794A (ja) * 1993-02-16 1994-09-02 Hitachi Ltd 音声処理装置
JP2006345025A (ja) * 2005-06-07 2006-12-21 Matsushita Electric Ind Co Ltd 電話装置およびその音声処理方法
JP2010177961A (ja) * 2009-01-28 2010-08-12 Kyocera Corp 通信機器及び通信システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005084459A (ja) * 2003-09-10 2005-03-31 Alpine Electronics Inc オーディオ装置およびオーディオ装置における再生方法
CA2650612C (en) * 2006-05-12 2012-08-07 Nokia Corporation An adaptive user interface
US8073160B1 (en) * 2008-07-18 2011-12-06 Adobe Systems Incorporated Adjusting audio properties and controls of an audio mixer
US20100290654A1 (en) * 2009-04-14 2010-11-18 Dan Wiggins Heuristic hearing aid tuning system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06242794A (ja) * 1993-02-16 1994-09-02 Hitachi Ltd 音声処理装置
JP2006345025A (ja) * 2005-06-07 2006-12-21 Matsushita Electric Ind Co Ltd 電話装置およびその音声処理方法
JP2010177961A (ja) * 2009-01-28 2010-08-12 Kyocera Corp 通信機器及び通信システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126022A (ja) * 2014-12-26 2016-07-11 アイシン精機株式会社 音声処理装置
JP2019080309A (ja) * 2017-10-03 2019-05-23 ジーエヌ ヒアリング エー/エスGN Hearing A/S 聴覚デバイスサービス要求のためのコンピューティングプログラムおよびサーバを備えたシステム
WO2023286299A1 (ja) * 2021-07-12 2023-01-19 ソニーグループ株式会社 音声処理装置及び音声処理方法、並びに補聴機器
WO2024075434A1 (ja) * 2022-10-07 2024-04-11 ソニーグループ株式会社 情報処理システム、デバイス、情報処理方法及びプログラム

Also Published As

Publication number Publication date
CN103247294B (zh) 2017-11-07
CN103247294A (zh) 2013-08-14
JP5962038B2 (ja) 2016-08-03
US9531338B2 (en) 2016-12-27
US20130202131A1 (en) 2013-08-08

Similar Documents

Publication Publication Date Title
JP5962038B2 (ja) 信号処理装置、信号処理方法、プログラム、信号処理システムおよび通信端末
EP2314077B1 (en) Wearable headset with self-contained vocal feedback and vocal command
CN107509153B (zh) 声音播放器件的检测方法、装置、存储介质及终端
US20170230788A1 (en) Hearing Augmentation Systems and Methods
US20050135644A1 (en) Digital cell phone with hearing aid functionality
US10542357B2 (en) Earset, earset system, and earset control method
US20050111680A1 (en) Method for adjusting a hearing device to a momentary acoustic surround situation and a hearing device system
JP7467513B2 (ja) 端末、音声連携再生システム及びコンテンツ表示装置
US10510361B2 (en) Audio processing apparatus that outputs, among sounds surrounding user, sound to be provided to user
EP3414924A1 (en) Hearing augmentation systems and methods
CN112954243A (zh) 一种无线耳机直播系统
WO2014194273A2 (en) Systems and methods for enhancing targeted audibility
JP2016206646A (ja) 音声再生方法、音声対話装置及び音声対話プログラム
US20200228849A1 (en) Information processing apparatus, information processing system, and program
JP2014075791A (ja) 手持ち装置及び音量調整方法
JP2002223500A (ja) モバイルフィッティングシステム
CN111565349A (zh) 一种基于骨传导传声装置的重低音传声方法
JP3237275U (ja) 音声集音器、音声集音機能付き音声送信器、および、音声認識システム
JP2018084843A (ja) 入出力装置
JP2012049634A (ja) 音量調節システムおよび発音システム
JP7515128B2 (ja) 耳装着型デバイス、及び、再生方法
JP7251549B2 (ja) 情報処理装置と情報処理方法およびプログラム
JP2005159972A (ja) 音声調整システム、音声調整装置、操作装置、音声調整用プログラム及び操作用プログラム
CN111462747A (zh) 一种听力辅助设备及其设定方法
JP2022169658A (ja) 入出力装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160613

R151 Written notification of patent or utility model registration

Ref document number: 5962038

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250