JP2010054731A - 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム - Google Patents

雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム Download PDF

Info

Publication number
JP2010054731A
JP2010054731A JP2008218610A JP2008218610A JP2010054731A JP 2010054731 A JP2010054731 A JP 2010054731A JP 2008218610 A JP2008218610 A JP 2008218610A JP 2008218610 A JP2008218610 A JP 2008218610A JP 2010054731 A JP2010054731 A JP 2010054731A
Authority
JP
Japan
Prior art keywords
unit
sound
usage
noise suppression
microphone array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008218610A
Other languages
English (en)
Other versions
JP5206234B2 (ja
Inventor
Shoji Hayakawa
昭二 早川
Naoji Matsuo
直司 松尾
Hiroshi Katayama
浩 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2008218610A priority Critical patent/JP5206234B2/ja
Priority to EP09161566A priority patent/EP2159791B1/en
Priority to KR1020090057579A priority patent/KR101084420B1/ko
Priority to US12/494,779 priority patent/US8620388B2/en
Priority to CN2009101513278A priority patent/CN101661753B/zh
Publication of JP2010054731A publication Critical patent/JP2010054731A/ja
Application granted granted Critical
Publication of JP5206234B2 publication Critical patent/JP5206234B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】使用形態に応じた雑音抑圧処理を行なう雑音抑圧装置、該雑音抑圧装置を備えた携帯電話機、前記雑音抑圧装置による雑音抑圧方法及び前記雑音抑圧装置をコンピュータによって実現するためのコンピュータプログラムを提供する。
【解決手段】携帯電話機の使用形態が変更された場合、マイクアレイ処理制御部24は、変更された使用形態に応じてスイッチ22,23の切り替えを制御し、音入力部6,7からの音信号をマイクアレイ処理部26,27のいずれかへ入力させる。携帯電話機の使用形態が変更された場合、情報変換部25は、変更前の使用形態に対応するマイクアレイ処理部26(又は27)から使用環境情報を取得し、変更後の使用形態に対応するマイクアレイ処理部27(又は26)へ渡す。マイクアレイ処理部26,27は、情報変換部25からの使用環境情報を用いて、音入力部6,7からの音信号に対してマイクアレイ処理を実行する。
【選択図】図3

Description

本発明は、受音して得られた音信号に含まれる雑音成分を抑圧する雑音抑圧装置、該雑音抑圧装置を備えた携帯電話機、雑音抑圧方法及びコンピュータプログラムに関する。
受音した音をそれぞれ音信号に変換して出力するコンデンサマイク等の受音部を複数有し、各受音部から出力された音信号に基づいて様々な音処理を行なうマイクアレイ装置が開発されている。マイクアレイ装置は、各受音部から出力された各音信号の同期を取って加算することによって雑音に比べ相対的に目的とする音を強調する(SNR(Signal to Noise Rate)を改善する)同期加算処理を行なうように構成されている場合がある。また、マイクアレイ装置は、各音信号の同期を取って一方から他方を減算することで雑音源に対して死角を形成する同期減算処理によって雑音抑圧を行なうように構成されている場合がある(例えば、非特許文献1参照)。
同期加算処理及び同期減算処理等のようにマイクアレイ装置が行なうマイクアレイ処理は、受音部と目的音源との位置関係、複数の受音部間の配置等の状況に依存する処理である。受音部と目的音源との位置関係とは、例えば、目的音源の方向に対して垂直方向に複数の受音部を配置させた場合の位置関係、目的音源の方向に対する直線上に複数の受音部を配置させた場合の位置関係等がある。また、複数の受音部間の配置とは、例えば、複数の受音部間の距離、各受音部の音孔の方向等がある。
即ち、マイクアレイ処理は、受音部と目的音源との位置関係、複数の受音部間の配置等の状況が変更した場合、各種の処理又は各種の処理に用いるパラメータを逐次切り替える必要がある。
ところで、近年の折り畳み式の携帯電話機は、折り畳まない状態での通常スタイル、折り畳む際に表示画面を外側(表面)に向けたビューアスタイル等、複数の使用形態での使用(通話、通信)が可能となるように構成されている。また、折り畳み式の携帯電話機は、表示画面が設けられた第1の筺体と、操作ボタンが設けられた第2の筺体とがヒンジ部を介して連結され、第1の筺体のヒンジ部との連結箇所とは反対側の端部にスピーカが設けられていることが多い。従って、このような携帯電話機は、ビューアスタイルにおけるマイクとスピーカとの位置が近付きすぎないように、ヒンジ部の近傍に1つのマイクが実装されることが多い。
このようにヒンジ部の近傍にマイクが設けられた携帯電話機では、ユーザ(話者)の口の位置とマイクの位置とが離れるので、通常スタイルでの使用時においてもビューアスタイルでの使用時においてもマイクが受音するユーザの発話音のSNRが悪くなり、通話品質が劣化していた。そこで、マイクアレイ処理のようにSNRを改善する雑音抑圧処理を行なうことが必要となる。
上述したように、マイクアレイ処理は、携帯電話機の使用状況(使用形態)が変更された場合、各種の処理又は各種の処理に用いるパラメータを切り替える必要がある。従って、通常スタイル及びビューアスタイル等の全ての使用形態においてマイクアレイ処理を行なう構成とする場合、それぞれの使用形態に対応するマイクアレイ処理部を独立に用意しておき、各使用形態に応じて動作させるマイクアレイ処理部を切り替える構成が考えられる。
図24は従来の雑音抑圧装置の構成を示すブロック図である。従来の雑音抑圧装置は、第1音入力部101、第2音入力部102、センサ103、筺体の状態判断部104、音入出力切替部105、スイッチ106,107,110、第1マイクアレイ処理部108、第2マイクアレイ処理部109等を備える。
第1音入力部101及び第2音入力部102は、マイク、増幅器及びアナログ/デジタル変換器(以下、A/D変換器という)を有する。第1音入力部101及び第2音入力部102は、マイクによって音を受音し、受音した音を時系列のアナログの電気信号に変換し、増幅器によって増幅させ、A/D変換器によってデジタルの音信号に変換させた後、スイッチ106,107にそれぞれ送出する。
センサ103は、雑音抑圧装置が例えば折り畳み式の携帯電話機に設けられている場合、携帯電話機のヒンジ部に装着されたセンサである。センサ103は、携帯電話機が通常スタイル(折り畳まれていない状態)であるかビューアスタイル(折り畳まれた状態)であるかに応じたヒンジ部の状態を検出し、検出結果を筺体の状態判断部104に送出する。筺体の状態判断部104は、センサ103から取得した検出結果に基づいて、携帯電話機が通常スタイルであるか、ビューアスタイルであるかを判断し、判断結果を音入出力切替部105に送出する。
音入出力切替部105は、筺体の状態判断部104から取得した判断結果に基づいて、スイッチ106,107,110の切り替えを制御する。例えば、音入出力切替部105は、筺体の状態判断部104から取得した判断結果が通常スタイルであれば、第1音入力部101及び第2音入力部102からの音信号を第1マイクアレイ処理部108へ出力するようにスイッチ106,107の切り替えを制御する。またこのとき、音入出力切替部105は、第1マイクアレイ処理部108からの音信号を外部へ出力するようにスイッチ110の切り替えを制御する。
一方、音入出力切替部105は、筺体の状態判断部104から取得した判断結果がビューアスタイルであれば、第1音入力部101及び第2音入力部102からの音信号を第2マイクアレイ処理部109へ出力するようにスイッチ106,107の切り替えを制御する。またこのとき、音入出力切替部105は、第2マイクアレイ処理部109からの音信号を外部へ出力するようにスイッチ110の切り替えを制御する。
第1マイクアレイ処理部108及び第2マイクアレイ処理部109は、スイッチ106,107のそれぞれから出力される音信号を取得し、取得した音信号に基づいて、同期加算処理又は同期減算処理等のマイクアレイ処理を行なう。なお、第1マイクアレイ処理部108は、携帯電話機が通常スタイルで使用されている場合のマイクアレイ処理を行ない、第2マイクアレイ処理部109は、携帯電話機がビューアスタイルで使用されている場合のマイクアレイ処理を行なう。
このような構成により、雑音抑圧装置は、携帯電話機の使用形態に応じたマイクアレイ処理を行なうことができ、使用形態のそれぞれに応じた処理によって雑音を適切に抑圧して音質の向上が得られる。
また、雑音抑圧装置がビデオカメラに設けられている場合に、カメラのズーム情報と連動させて、ビデオカメラに搭載されたズームマイクロホンの指向性及び録音レベルを制御する構成とすることも提案されている(例えば、特許文献1参照)。
金田豊著、「マイクロホン系におけるディジタルフィルタの応答」、日本音響学会誌、1989年,第45巻,第2号、125−128頁 特開2002−204493号公報
上述した構成の雑音抑圧装置は、携帯電話機の使用形態が変更された時点で、動作させるマイクアレイ処理部を切り替える。また、動作を開始するように制御されたマイクアレイ処理部は、その時点からマイクアレイ処理に用いる各種の情報の推定処理を開始すると共に、推定した情報に基づくマイクアレイ処理を開始する。従って、適切な情報が推定されるまでの間は、適切ではない情報(例えば、予め設定された初期情報)に基づくマイクアレイ処理を行なうことになるので、雑音抑圧処理の動作が不安定となる。特に、携帯電話機の使用(通話)中に使用形態が切り替えられた場合には、不安定な動作によって処理された不快な音が通話相手に送られてしまうという問題を有する。
本発明は斯かる事情に鑑みてなされたものであり、その目的とするところは、使用形態を変更させた直後においても、それまでの雑音抑圧性能を維持したまま通話を継続させることが可能な雑音抑圧装置、該雑音抑圧装置を備える携帯電話機、前記雑音抑圧装置による雑音抑圧方法及び前記雑音抑圧装置をコンピュータによって実現するためのコンピュータプログラムを提供することにある。
本願に開示する雑音抑圧装置は、受音した音を音信号に変換する複数の受音部と接続可能であり、取得した音信号に含まれる雑音成分を抑圧する雑音抑圧装置において、複数の受音部の位置関係及び/又は複数の受音部と目的音源との位置関係が変化する複数の使用形態での使用が可能である。また、本願に開示する雑音抑圧装置は、使用形態を検知し、音信号に対する雑音抑圧処理に用いる使用環境情報を、検知した使用形態に応じた使用環境情報に変換し、変換した使用環境情報を用いた雑音抑圧処理を、取得した音信号に対して行なう。
本願に開示する雑音抑圧装置によれば、雑音抑圧処理に用いる使用環境情報を、それぞれの使用形態に応じた使用環境情報に変換する。よって、使用形態が変更された場合に新たな使用環境情報を推定し直さず、既に推定された使用環境情報を変換して得られた使用環境情報を用いた雑音抑圧処理を行なうので、使用形態が変更された直後から良好な雑音抑圧処理の実行が可能となる。
本願に開示する雑音抑圧方法は、複数の受音部と接続可能な雑音抑圧装置が、雑音抑圧処理に用いる使用環境情報を、それぞれの使用形態に応じた使用環境情報に変換し、変換した使用環境情報を用いた雑音抑圧処理を前記音信号に行なう。
本願に開示する雑音抑圧方法によれば、使用形態が変更された場合に新たな使用環境情報を推定し直さず、既に推定された使用環境情報を変換して得られた使用環境情報を用いた雑音抑圧処理を行なうので、使用形態が変更された直後から良好な雑音抑圧処理の実行が可能となる。
本願に開示するコンピュータプログラムは、コンピュータに、受音して得られた音信号に含まれる雑音成分を抑圧させるためのコンピュータプログラムにおいて、コンピュータに、雑音抑圧処理に用いる使用環境情報を、受音した際の使用形態に応じた使用環境情報に変換させ、変換した使用環境情報を用いた雑音抑圧処理を前記音信号に行なわせる。
本願に開示するコンピュータプログラムでは、コンピュータに、受音した際の使用形態が変更された場合に新たな使用環境情報を推定し直さず、既に推定された使用環境情報を変換して得られた使用環境情報を用いた雑音抑圧処理を行なうので、使用形態が変更された直後から良好な雑音抑圧処理の実行が可能となる。
本願に開示する雑音抑圧装置及び雑音抑圧方法では、使用形態が変更された場合であっても、使用形態が変更された直後から良好な使用環境情報に基づく雑音抑圧処理を実行できるので、良好な音質を確保することができる。また、本願に開示するコンピュータプログラムでは、上述した構成を有する雑音抑圧装置をコンピュータによって実現することができる。
以下に、本願に開示する雑音抑圧装置を、携帯電話機に適用した各実施形態を示す図面に基づいて詳述する。なお、本願に開示する雑音抑圧装置、雑音抑圧方法、コンピュータプログラムは、携帯電話機に適用される構成に限られず、例えば、受音して得られた音信号を用いて音声認識を行なう音声認識装置等、取得した音信号に各種の処理を行なう音声処理装置に適用することもできる。
(実施形態1)
以下に、実施形態1に係る携帯電話機について説明する。図1A、図1B及び図1Cは実施形態1の携帯電話機の構成を示す模式図である。なお、本実施形態1の携帯電話機1は折り畳み式の携帯電話機である。図1Aには折り畳んでいない状態の携帯電話機1の外観斜視図を、図1Bには表示部11を内側にして折り畳んだ状態の携帯電話機1の外観斜視図を、図1Cには表示部11を外側にして折り畳んだ状態の携帯電話機1の外観斜視図をそれぞれ示す。
本実施形態1の携帯電話機1は、表示部11を有する第1の筺体1aと、操作部10を有する第2の筺体1bと、筺体1a,1bを連結するための第3の筺体1cとを有する。筺体1b,1cはヒンジ部1d,1dを介して連結されており、筺体1a,1cは回動部1eを介して連結されている。
第1の筺体1aは、回動部1eに対して180°の回動が可能に構成されており、携帯電話機1を折り畳んだ場合に表示部11が操作部10と対向する状態と、表示部11が操作部10と対向しない状態とに状態を変更することができる。また、筺体1a,1cは、ヒンジ部1d,1dで筺体1bに対して折り畳み可能に構成されている。なお、本願に開示する雑音抑圧装置を適用できる携帯電話機は、筺体の形状又はマイクの使用状態等を含む複数の使用形態での使用が可能な携帯電話機であれば、折り畳み式の携帯電話機に限られない。
携帯電話機1は、筺体1aの回動部1eとの連結箇所とは反対側の端部にスピーカ8aを有する。また、携帯電話機1は、筺体1cのヒンジ部1d,1dとの連結箇所の側面にマイク6aを有し、携帯電話機1を折り畳んだ場合に操作部10と対向する面の反対側の面にマイク7aを有する。
なお、本実施形態1の携帯電話機1では、ユーザは、図1Aに示すように折り畳んでいない状態で筺体1aに設けられたスピーカ8aを自身の耳元に配置させて発話する使用形態(通常スタイルともいう)での使用が可能である。また、本実施形態1の携帯電話機1では、ユーザは、図1Cに示すように表示部11を外側に向けて折り畳んだ状態でスピーカ8aを自身の耳元に配置させて発話する使用形態(ビューアスタイルともいう)での使用が可能である。
図2は実施形態1の携帯電話機1の構成を示すブロック図である。本実施形態1の携帯電話機1は、演算処理部2、ROM(Read Only Memory)3、RAM(Random Access Memory)4、センサ5、第1音入力部6、第2音入力部7、音出力部8、通信部9、操作部10、表示部11等を備える。上述したハードウェア各部はバス2aを介して相互に接続されている。
演算処理部2は、CPU(Central Processing Unit )又はMPU(Micro Processor Unit)等であり、上述したハードウェア各部の動作を制御すると共に、ROM3に予め格納してある制御プログラムを適宜RAM4に読み出して実行する。ROM3は、携帯電話機1を動作させるために必要な種々の制御プログラムを予め格納している。RAM4はSRAM又はフラッシュメモリ等であり、演算処理部2による制御プログラムの実行時に発生する種々のデータを一時的に記憶する。
センサ5は、ヒンジ部1d,1dに装着されており、ヒンジ部1d,1dを介して携帯電話機1が折り畳まれていない状態(通常スタイル)であるか折り畳まれた状態(ビューアスタイル)であるかを検出する。センサ5は、携帯電話機1が通常スタイルであるかビューアスタイルであるかに応じた検出結果を、ヒンジ部1d,1dに設けられた磁石による磁気情報によって出力する。
第1音入力部6及び第2音入力部7(受音部)のそれぞれは、図3に示すように、マイク6a,7a、増幅器6b、7b、A/D変換器6c、7cを有する。マイク6a,7aは、例えばコンデンサマイクであり、受音した音に基づいてアナログの音信号を生成し、生成した音信号をそれぞれ増幅器6b、7bへ送出する。
増幅器6b、7bは、例えばゲインアンプであり、マイク6a,7aから入力された音信号を増幅し、得られた音信号をそれぞれA/D変換器6c,7cへ送出する。A/D変換器6c,7cは、増幅器6b、7bから入力された音信号に対して、LPF(Low Pass Filter)等のフィルタを用い、携帯電話機の場合は8000Hzのサンプリング周波数でサンプリングしてデジタルの音信号に変換する。第1音入力部6及び第2音入力部7は、A/D変換器6c,7cによって得られたデジタルの音信号を所定の出力先へ送出する。
音出力部8は、音を出力するスピーカ8a、デジタル/アナログ変換器、増幅器(共に図示せず)等を有する。音出力部8は、音声出力すべきデジタルの音信号を、デジタル/アナログ変換器によってアナログの音信号に変換した後、増幅器によって増幅し、増幅した音信号に基づく音をスピーカ8aから出力する。
通信部9は、ネットワーク(図示せず)に接続するためのインタフェースであり、ネットワーク(通信回線)を介して他の携帯電話機、コンピュータ等の外部機器との間で通信を行なう。なお、通信部9は、例えば、第1音入力部6及び第2音入力部7によって取得された音信号を、通信(通話)相手の携帯電話機へ出力する。
操作部10は、ユーザが携帯電話機1を操作するために必要な各種の操作キーを備えている。ユーザにより各操作キーが操作された場合、操作部10は操作された操作キーに対応した制御信号を演算処理部2へ送出し、演算処理部2は操作部10から取得した制御信号に対応した処理を実行する。
表示部11は、例えば液晶ディスプレイ(LCD)であり、演算処理部2からの指示に従って、携帯電話機1の動作状況、操作部10を介して入力された情報、ユーザに対して通知すべき情報等を表示する。
以下に、上述した構成の携帯電話機1において、演算処理部2がROM3に格納されている種々の制御プログラムを実行することによって実現される携帯電話機1の機能について説明する。図3は実施形態1の携帯電話機1の機能構成を示す機能ブロック図である。本実施形態1の携帯電話機1において、演算処理部2は、ROM3に記憶してある制御プログラムを実行することによって、筺体の状態判断部21、スイッチ22,23,28、マイクアレイ処理制御部24、情報変換部25、第1マイクアレイ処理部26、第2マイクアレイ処理部27等の各機能を実現する。
なお、上述した各機能は、ROM3に格納された制御プログラムを演算処理部2が実行することによって実現される構成に限られない。例えば、上述した各機能を、本願に開示するコンピュータプログラム及び各種のデータが組み込まれたDSP(Digital Signal Processor)によって実現してもよい。
第1音入力部6及び第2音入力部7は、受音して得られた音信号をスイッチ22,23にそれぞれ送出する。なお、第1音入力部6及び第2音入力部7は、目的の音源である発話者の口から発せられる音(目的音)及びその他の音(雑音)を含み、携帯電話機1に対して周囲から到来する音を受音する。
スイッチ22,23は、それぞれ第1音入力部6及び第2音入力部7から入力された音信号を、第1マイクアレイ処理部26及び第2マイクアレイ処理部27の一方に送出する。第1マイクアレイ処理部26及び第2マイクアレイ処理部27(抑圧手段)のそれぞれは、マイクアレイ処理を施した音信号をスイッチ28へ送出する。スイッチ28は、第1マイクアレイ処理部26及び第2マイクアレイ処理部27の一方から入力された音信号を所定の出力先へ送出する。なお、第1マイクアレイ処理部26及び第2マイクアレイ処理部27の詳細な構成については図4に基づいて後述する。
筺体の状態判断部(検知手段)21は、センサ5から出力された検出結果に基づいて、携帯電話機1が通常スタイルであるかビューアスタイルであるかを判断し、判断結果をマイクアレイ処理制御部24に通知する。
マイクアレイ処理制御部24は、携帯電話機1が通常スタイルであることを示す判断結果を筺体の状態判断部21から通知された場合、音入力部6,7からの音信号を第1マイクアレイ処理部26へ送出するようにスイッチ22,23の切り替えを制御する。またこのとき、マイクアレイ処理制御部24は、第1マイクアレイ処理部26からの音信号を所定の出力先へ送出するようにスイッチ28の切り替えを制御する。
また、マイクアレイ処理制御部24は、携帯電話機1がビューアスタイルであることを示す判断結果を筺体の状態判断部21から通知された場合、音入力部6,7からの音信号を第2マイクアレイ処理部27へ送出するようにスイッチ22,23の切り替えを制御する。またこのとき、マイクアレイ処理制御部24は、第2マイクアレイ処理部27からの音信号を所定の出力先へ送出するようにスイッチ28の切り替えを制御する。
更に、マイクアレイ処理制御部24は、筺体の状態判断部21から通知される判断結果に基づいて、情報変換部25の動作を制御する。具体的には、マイクアレイ処理制御部24は、携帯電話機1が通常スタイルであれば、第2マイクアレイ処理部27が用いる使用環境情報を第1マイクアレイ処理部26が用いる使用環境情報に変換するように情報変換部25に指示する。また、マイクアレイ処理制御部24は、携帯電話機1がビューアスタイルであれば、第1マイクアレイ処理部26が用いる使用環境情報を第2マイクアレイ処理部27で用いる使用環境情報に変換するように情報変換部25に指示する。
情報変換部(変換手段)25は、マイクアレイ処理制御部24からの指示に従って、第1マイクアレイ処理部26で用いる使用環境情報と第2マイクアレイ処理部27が用いる使用環境情報との間での変換処理を行なう。なお、本実施形態1では、第1マイクアレイ処理部26及び第2マイクアレイ処理部27は共に、2つのマイク6a,7aで受音して得られた音信号に基づくマイクアレイ処理を行なう構成である。従って、情報変換部25は、第1マイクアレイ処理部26が用いる使用環境情報と第2マイクアレイ処理部27が用いる使用環境情報とを単純に交換する構成であってもよい。
以下に、第1マイクアレイ処理部26及び第2マイクアレイ処理部27の詳細な構成について説明する。図4はマイクアレイ処理部26,27の機能構成を示す機能ブロック図である。本実施形態1の携帯電話機1において、第1マイクアレイ処理部26及び第2マイクアレイ処理部27のそれぞれは、使用環境推定部261,271、使用環境情報保存部262,272、抑圧ゲイン算出部263,273、雑音抑圧部264,274等の各機能を有する。
なお、第1マイクアレイ処理部26及び第2マイクアレイ処理部27は、図示しないが、フレーム化処理部及び信号変換部を有する。フレーム化処理部は、第1音入力部6及び第2音入力部7から入力された音信号について、時間軸上の音信号から周波数軸上の音信号に変換するためにフレーム化処理を行なう。フレーム化処理は、例えばフレーム長32msを1ブロックとして処理し、次に例えばフレームシフト20msでシフトした32msの区間を新たなフレームとして処理する。このシフトを繰り返して処理を進めていく。フレーム長やフレームシフトの量は32msや20msに限定されない。
信号変換部は、フレーム化処理された音信号について、時間軸上の音信号を周波数軸上の音信号(スペクトル)に変換(携帯電話機では8kHzサンプリングで256点)し、マイク6aとマイク7aとの複素スペクトルを得る。信号変換部は、得られた複素スペクトルを使用環境推定部261,271及び雑音抑圧部264,274へ送出する。なお、信号変換部は、例えば、高速フーリエ変換(FFT)のような時間−周波数変換処理を実行する。
使用環境推定部(推定手段)261,271は、マイクアレイ処理部26,27が行なう雑音抑圧処理に用いられる各種の使用環境情報の推定処理を行ない、推定した使用環境情報を使用環境情報保存部262,272に格納する。使用環境情報保存部262,272は、例えばRAM4の所定の領域を利用してもよいし、別途に設けられたメモリ部を利用してもよい。
使用環境推定部261,271は、例えば、信号変換部から取得した複素スペクトルを用いて、マイク6aとマイク7aとの間の位相差スペクトルを用いて各種の使用環境情報を算出する。この場合、抑圧ゲイン算出部263,273は、算出された使用環境情報と、位相差スペクトルに基づいて抑圧ゲインを決定し、雑音抑圧部264,274は、決定された抑圧ゲインに基づく雑音抑圧処理を行なう。これにより、適切な指向性を形成することができ、第1音入力部6及び第2音入力部7によって取得された音信号に基づいて、目的の音源の方向から到来する音を強調した音信号が生成される。
図5A及び図5Bは実施形態1の携帯電話機1における指向性のパターンを示す模式図である。本実施形態1の携帯電話機1は、通常スタイルでは図1Aに示すようにマイク6aの音孔が操作部10側に配置され、ビューアスタイルでは図1Cに示すようにマイク6aの音孔が外側に配置されるようにヒンジ部1d,1dの近傍にマイク6aが配置されている。また、携帯電話機1は、ビューアスタイルでは図1Cに示すようにマイク7aの音孔が筺体1cの外側に配置されている。
このような構成により、本実施形態1の携帯電話機1では、通常スタイルにおいては図5Aに示すような指向性パターンの受音が可能であり、ビューアスタイルにおいては図5Bに示すような指向性パターンの受音が可能となる。なお、図5Aに示す指向性パターンは、2つのマイク7a,6aを結んだ線上を中心としたコーン型の指向性パターンであり、マイク7aが設けられた側面側に指向性の死角を形成した雑音抑圧が行なわれる。また、図5Bに示す指向性パターンは、円盤型の指向性パターンであり、マイク6a,7aに対する目的の音源(話者の口)の方向に対して直交する方向に指向性の死角を形成した雑音抑圧が行なわれる。
よって、本実施形態1の携帯電話機1では、通常スタイルにおいてもビューアスタイルにおいてもマイクアレイによる指向性受音を実現することができる。第1マイクアレイ処理部26及び第2マイクアレイ処理部27は、信号復元部(図示せず)を更に有する。信号復元部は、雑音抑圧部264,274によって雑音抑圧処理された周波数軸上の音信号を時間軸上の音信号に変換し、スイッチ28へ送出する。なお、信号復元部は、信号変換部が行なう変換処理の逆変換処理、例えば逆フーリエ変換処理を実行する。
スイッチ28は、例えば、音入力部6,7によって取得した音信号を通信(通話)相手の携帯電話機へ送信する場合には、第1マイクアレイ処理部26又は第2マイクアレイ処理部27から取得する雑音抑圧された音信号を通信部9へ送出する。なお、通信部9は、取得した音信号を電話通信として通信相手の端末へ送信する。また、携帯電話機1が音声認識処理部を有する構成であり、音入力部6,7によって取得した音信号に基づいて音声認識処理を行なう場合には、スイッチ28は、雑音抑圧された音信号を音声認識処理部へ送出する。
なお、マイクアレイ処理部26,27の使用環境推定部261,271は、例えば、背景雑音レベル、背景雑音スペクトルの統計量、SN比(SNR)、音声区間・雑音区間を示す情報、雑音帯域を示す情報、所定の音源(話者の口)の方向を示す方向情報、雑音源の方向を示す方向情報、マイク6a,7aの感度を補正するための補正値(マイク感度補正値)等を使用環境情報として推定する。
背景雑音レベルは、マイク6a,7aによって受音した音信号に含まれる比較的定常な雑音成分のレベルを示す。背景雑音レベルは、例えば、マイク6a,7aで算出した位相差スペクトルから音の到来方向を求め、所定の音源方向以外から到来する信号を用いて背景雑音レベルを推定・更新できる。このような処理によって推定された背景雑音レベルは、マイク7aが設けられた側面側から到来する音に基づく雑音レベルである。マイクアレイ処理部26,27は、背景雑音レベルに基づく雑音抑圧処理を行なうことにより、周囲の雑音のレベルに応じた指向性の実現が可能となる。
背景雑音スペクトルは、マイク6a,7aによって受音した音信号に含まれる雑音成分の周波数成分毎の平均的なレベルを示す。背景雑音スペクトルは、例えば、マイク6a,7aで算出した位相差スペクトルから音の到来方向を求め、所定の音源方向以外から到来する信号を用いて背景雑音スペクトルを推定・更新できる。図6は背景雑音スペクトル及び音声区間のスペクトルの例を示す模式図である。図6には、横軸を周波数とし、縦軸をレベル(音量)として背景雑音スペクトル及び音声区間のスペクトルを示している。
マイクアレイ処理部26,27は、例えば特開2007−183306号公報に開示された技術のように、背景雑音スペクトルに基づく雑音抑圧処理を行なうことにより、背景雑音スペクトルの値を目標に最大抑圧量を決定することによって、ミュージカルノイズ(キュルキュルという音)を抑圧することができる。
SNRは、背景雑音レベルに対するユーザの声の大きさの情報である。SNRは、雑音抑圧部264,274による雑音抑圧処理後の音信号のパワー(Pinput )と、雑音抑圧処理前の平均雑音のパワー(Pnoise )との比を取ることによって求められ、例えば、以下の式1を用いることができる。マイクアレイ処理部26,27は、SNRに基づく雑音抑圧処理を行なうことにより、抑圧量と音質とのバランスが適切なマイクアレイ処理を行なうことができる。
Figure 2010054731
音声区間・雑音区間とは、マイク6a,7aによって受音した音信号に目的の音源からの音(目的音)が含まれている区間、目的音が含まれていない区間である。目的音が含まれている区間であるか否かを判断する方法は、取得した音信号の位相スペクトルがランダムになっている場合に目的音を受音していないと判定する方法、目的の音源の方向を含まない方向に指向性を向けて推定した雑音レベルと入力音のレベルとの差(SNR)を用いる方法等がある。マイクアレイ処理部26,27は、音声区間・雑音区間を示す情報に基づいて、雑音区間での音信号を用いて背景雑音レベル、背景雑音スペクトルを推定・更新することができる。
雑音帯域を示す情報は、マイク6a,7aによって受音した音信号に含まれる雑音成分の周波数帯域を示す情報である。雑音帯域は、例えば位相差スペクトルを用いて所定の音源方向と異なる方向からの音の帯域を雑音帯域として推定される。マイクアレイ処理部26,27は、雑音帯域を示す情報に基づいて、マイク6a,7aによって受音される音信号に含まれる雑音成分を用いて、背景雑音レベルや背景雑音スペクトルを推定・更新することができる。
所定の音源(話者の口)の方向を示す方向情報は、マイク6a,7aによって受音される音信号の音声区間の位相差スペクトルの情報を元に、位相差スペクトルの周波数方向の傾きから、所定の音源の方向を推定することができる。
雑音源の方向を示す方向情報は、マイク6a,7aによって受音される音信号の雑音区間の位相差スペクトルの情報を元に、位相差スペクトルの周波数方向の傾きから、雑音源の方向を推定することができる。
マイク6a,7aの感度を補正するための補正値(マイク感度補正値)は、マイク6a,7aによって受音される音信号の雑音区間における平均スペクトルを推定し、それぞれの平均スペクトルの比に基づいて推定される。同じ種類のマイク部品であっても±3dB以上の感度のばらつきが発生することが多い。マイクアレイ処理部26,27は、マイク感度補正値に基づいて、マイク6a,7aのそれぞれにおける感度の差による音信号のレベル(信号値)差を補正する。
ここで、本実施形態1の情報変換部25は、上述したようにそれぞれのマイクアレイ処理部26,27が推定して保存した使用環境情報を、他のマイクアレイ処理部26,27でも使用する構成である。具体的には、情報変換部25は、携帯電話機1の使用形態(通常スタイル及びビューアスタイル)が変更された場合に、その旨をマイクアレイ処理制御部24から通知される。情報変換部25は、携帯電話機1の使用形態の変更が通知された場合、変更前の使用形態におけるマイクアレイ処理部26(又は27)の使用環境情報保存部262(又は272)に保存されている使用環境情報を、変更後の使用形態におけるマイクアレイ処理部27(又は26)の使用環境推定部271(又は261)に渡す。
変更後の使用形態におけるマイクアレイ処理部27(又は26)は、情報変換部25を介して取得した使用環境情報を初期値としてマイクアレイ処理を開始する。従って、携帯電話機1の使用形態が変更された場合であっても、変更前の使用形態におけるマイクアレイ処理部26(又は27)によって推定された使用環境情報を変更後の使用形態に対応するマイクアレイ処理部27(又は26)に引き継ぐことができる。
よって、変更前の使用形態に対応するマイクアレイ処理部26(又は27)において推定された使用環境情報が無駄にならず、また、変更後の使用形態に対応するマイクアレイ処理27(又は26)においては、使用形態が切り替えられた直後から適切な使用環境情報に基づく雑音抑圧処理が可能となる。これにより、携帯電話機1の使用形態が変更された直後から、ユーザ発話の語頭切断を防止し、使用形態が変更されたタイミングにおいても継続的に高い雑音抑圧量での雑音抑圧処理が可能となり、通話品質を維持できる。
具体的には、変更後の使用形態に対応するマイクアレイ処理部26(又は27)は、変更前の使用形態に対応するマイクアレイ処理部27(又は26)から背景雑音レベル又は背景雑音スペクトルを取得する場合、使用形態が切り替えられた直後から適切な背景雑音レベル又は背景雑音スペクトルに基づく雑音抑圧処理が可能となる。よって、使用形態が切り替えられた直後に発生するミュージカルノイズを通話相手に聞かせることを防止できる。
また、変更後の使用形態に対応するマイクアレイ処理部26(又は27)は、変更前の使用形態に対応するマイクアレイ処理部27(又は26)からSN比を取得する場合、使用形態が切り替えられた直後から抑圧量と音質のバランスが適切なマイクアレイ処理が可能となる。
更に、変更後の使用形態に対応するマイクアレイ処理部26(又は27)は、変更前の使用形態に対応するマイクアレイ処理部27(又は26)から所定の音源の方向情報を取得する場合、取得した方向情報が示す方向を指向性の中心として広めの指向性を形成する雑音抑圧処理を開始する。これにより、使用形態が切り替えられた直後に発話の初めの部分が抑圧されることによって発生する語頭切れを防止することができる。また、変更前の使用形態において推定された目的の音源の方向を手掛かりにできるので、初期値から推定する場合と比較して、目的の音源の方向を絞り込むまでに要する時間を短縮でき、目的の音源の方向に早期に指向性を絞ることができる。
更に、変更後の使用形態に対応するマイクアレイ処理部26(又は27)は、変更前の使用形態に対応するマイクアレイ処理部27(又は26)からマイク感度補正値を取得する場合、使用形態が切り替えられた直後からマイク6a,7aの感度の差を補正することができる。
図7A及び図7Bは実施形態1の携帯電話機1による効果を説明するための説明図である。なお、図7A及び図7Bには使用環境情報の例として背景雑音レベルを示している。図7Aには、各マイクアレイ処理が動作を開始する都度、使用環境情報の推定をやり直す構成の雑音抑圧装置によって雑音抑圧された後の音信号の振幅及び背景雑音レベルを示している。図7Bには、本実施形態1の携帯電話機1が行なう雑音抑圧処理によって雑音抑圧された後の音信号の振幅及び背景雑音レベルを示している。
携帯電話機1の使用形態が切り替えられた場合に変更前の使用形態における使用環境情報を変更後の使用形態における雑音抑圧処理に用いない構成では、変更後の使用形態における使用環境情報を所定の初期値から推定する。従って、図7Aに示すように、使用形態が切り替えられたタイミングで背景雑音レベルが初期値に戻り、適切な背景雑音レベルが推定できるまでに4秒程度の時間を要している。また、この間は十分な雑音抑圧が行なわれないので、通話相手先には、雑音が十分に抑圧されていない不自然な音が送られてしまう。
一方、本実施形態1のように携帯電話機1の使用形態が切り替えられた場合に変更前の使用形態における使用環境情報を変更後の使用形態における雑音抑圧処理に用いる構成では、図7Bに示すように、使用形態が切り替えられた直後から適切な背景雑音レベルを推定できる。よって、使用形態が切り替えられた直後から十分な雑音抑圧が行なわれるので、通話中に携帯電話機1の使用形態を切り替えた場合であっても、通話相手先に不自然な音が送られてしまうことがない。
以下に、本実施形態1の携帯電話機1による雑音抑圧処理についてフローチャートに基づいて説明する。図8は雑音抑圧処理の手順を示すフローチャートである。なお、以下の処理は、携帯電話機1のROM3に格納してある制御プログラムに従って演算処理部2によって実行される。
携帯電話機1の演算処理部2(筺体の状態判断部21)は、例えば他の携帯電話機との間で通信(通話)が開始された場合、センサ5からの検出結果に基づいて、携帯電話機1の使用形態(通常スタイル又はビューアスタイル)を判断する(S1)。演算処理部2(マイクアレイ処理制御部24)は、判断した使用形態に応じて、スイッチ22,23,28の切り替えを制御し(S2)、音入力部6,7からの音信号を第1マイクアレイ処理部26又は第2マイクアレイ処理部27へ送出する。
演算処理部2(第1マイクアレイ処理部26又は第2マイクアレイ処理部27)は、音入力部6,7から取得する音信号に対してマイクアレイ処理を実行し(S3)、雑音抑圧された音信号は、通信部9を介して通信相手の携帯電話機へ送信される。なお、マイクアレイ処理の詳細については図9に基づいて後述する。
演算処理部2は、他の携帯電話機との通話が終了したか否かを判断しており(S4)、終了していないと判断した場合(S4:NO)、センサ5からの検出結果に基づいて、携帯電話機1の使用形態を判断する(S5)。演算処理部2(マイクアレイ処理制御部24)は、ステップS5で判断した使用形態に基づいて、使用形態が変更されたか否かを判断し(S6)、変更されていないと判断した場合(S6:NO)、現在の使用形態に対応したマイクアレイ処理部において推定された使用環境情報を、現在の使用形態に対応していないマイクアレイ処理部へ渡す(S8)。演算処理部2は、ステップS4へ処理を戻し、ステップS4〜S6の処理を繰り返す。
使用形態が変更されたと判断した場合(S6:YES)、演算処理部2(情報変換部25)は、変更前の使用形態に対応するマイクアレイ処理部26(又は27)から使用環境情報を取得して、変更後の使用形態に対応するマイクアレイ処理部27(又は26)に渡すように使用環境情報の受け渡しの方向を切り替える(S7)。
具体的には、通常スタイルからビューアスタイルに変更された場合、演算処理部2(情報変換部25)は、第1マイクアレイ処理部26の使用環境情報保存部262に保存されている使用環境情報を読み出して第2マイクアレイ処理部27へ渡す。また、ビューアスタイルから通常スタイルに変更された場合、演算処理部2(情報変換部25)は、第2マイクアレイ処理部27の使用環境情報保存部272に保存されている使用環境情報を読み出して第1マイクアレイ処理部26へ渡す。なお、情報変換部25から使用環境情報を取得したマイクアレイ処理部26,27の使用環境推定部261,271は、取得した使用環境情報を使用環境情報保存部262,272に保存して利用する。
演算処理部2は、ステップS2に処理を戻し、ステップS5で判断した使用形態に応じて、スイッチ22,23,28の切り替えを制御し(S2)、音入力部6,7からの音信号を第1マイクアレイ処理部26又は第2マイクアレイ処理部27へ送出する。演算処理部2は、ステップS2〜S7の処理を繰り返し、他の携帯電話機との通話が終了したと判断した場合(S4:YES)、処理を終了する。
以下に、上述した雑音抑圧処理におけるマイクアレイ処理(図8中のステップS3)について説明する。図9はマイクアレイ処理の手順を示すフローチャートである。なお、以下の処理は、携帯電話機1のROM3に格納してある制御プログラムに従って演算処理部2によって実行される。
演算処理部2(使用環境推定部261又は271)は、音入力部6,7から入力される音信号に基づいて、携帯電話機1の使用形態に応じた使用環境を推定し(S11)、推定した使用環境を示す使用環境情報を使用環境情報保存部262,272に保存する(S12)。演算処理部2(抑圧ゲイン算出部263又は273)は、推定した使用環境情報を用いて、雑音抑圧部264,274によって抑圧される抑圧ゲインを算出する(S13)。演算処理部2(雑音抑圧部264,274)は、算出した抑圧ゲインに基づいて抑圧処理を実行し(S14)、図8に示す雑音抑圧処理に戻る。
上述した実施形態1では、携帯電話機1の使用形態が切り替えられた場合に、変更後の使用形態に対応するマイクアレイ処理部26(又は27)が、変更前の使用形態に対応するマイクアレイ処理部27(又は26)によって推定された使用環境情報を用いる。よって、使用形態が変更されることによってマイクアレイ処理部26,27の動作が切り替えられた場合であっても、それまでに推定されていた使用環境情報に基づいて最適な雑音抑圧処理が可能となる。これにより、使用形態が変更された直後から最適な雑音抑圧処理が可能であり、使用形態が変更されたことによる音質の劣化を防止できる。
(実施形態2)
以下に、実施形態2に係る携帯電話機について説明する。なお、本実施形態2の携帯電話機は、上述した実施形態1の携帯電話機1と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
上述した実施形態1の携帯電話機1は、通常スタイル及びビューアスタイルのいずれに対してもマイクアレイ処理を行なう構成であった。これに対して、本実施形態2の携帯電話機は、通常スタイルの場合にはマイクアレイ処理を行なうが、ビューアスタイルの場合には1つのマイク6aによって受音した音信号に基づく雑音抑圧処理を行なう構成である。
図10は実施形態2の携帯電話機1の機能構成を示す機能ブロック図である。本実施形態2の携帯電話機1において、演算処理部2は、図3に示した第2マイクアレイ処理部27の代わりに雑音抑圧部29の機能を有する。また、本実施形態2の情報変換部25は、フィルタ部251及び逆フィルタ部252を有する。なお、これら以外の構成については、上述した実施形態1の構成と同一である。
雑音抑圧部29は、図示しないが、第1マイクアレイ処理部26と同様に、使用環境推定部、使用環境情報保存部、抑圧ゲイン算出部、雑音抑圧部の各機能を有する。
本実施形態2のマイクアレイ処理制御部24は、実施形態1と同様に、携帯電話機1が通常スタイルであることを示す判断結果を筺体の状態判断部21から通知された場合、音入力部6,7からの音信号を第1マイクアレイ処理部26へ送出するようにスイッチ22,23の切り替えを制御する。
一方、携帯電話機1がビューアスタイルであることを示す判断結果を筺体の状態判断部21から通知された場合、マイクアレイ処理制御部24は、音入力部6からの音信号のみを雑音抑圧部29へ送出するようにスイッチ22,23の切り替えを制御する。なおこのとき、マイクアレイ処理制御部24は、雑音抑圧部29からの音信号を所定の出力先へ送出するようにスイッチ28の切り替えを制御する。
ここで、本実施形態2では、第1マイクアレイ処理部26はマイクアレイ処理を行なうが、雑音抑圧部29はシングルマイクを使用した雑音抑圧処理を行なう構成である。従って、第1マイクアレイ処理部26で推定された使用環境情報と、雑音抑圧部29で推定された使用環境情報とを単純に交換することはできない。
そこで、本実施形態2の情報変換部25は、第1マイクアレイ処理部26が用いる使用環境情報を雑音抑圧部29に渡す際、及び雑音抑圧部29が用いる使用環境情報を第1マイクアレイ処理部26に渡す際に、それぞれの使用環境情報を、雑音抑圧部29又は第1マイクアレイ処理部26用に変換する。
例えば、雑音抑圧部29は、背景雑音スペクトルを使用環境情報として用いる場合、背景雑音スペクトルに、低域成分を抑圧するためのハイパスフィルタを掛ける処理を行なう。よって、雑音抑圧部29の使用環境情報保存部に保存される背景雑音スペクトルは、ハイパスフィルタを掛けられた後の背景雑音スペクトルとなる。一方、第1マイクアレイ処理部26は、背景雑音スペクトルを使用環境情報として用いる場合、背景雑音スペクトルに、低域成分を抑圧するためのハイパスフィルタを掛ける処理を行なわない。よって、第1マイクアレイ処理部26の使用環境情報保存部262に保存される背景雑音スペクトルは、ハイパスフィルタを掛ける前の背景雑音スペクトルとなる。
従って、情報変換部25は、雑音抑圧部29が背景雑音スペクトルを用いて雑音抑圧処理を行なう際に用いるハイパスフィルタと同じ特性を有するフィルタを掛ける処理を行なうフィルタ部251と、このフィルタの逆特性を有するフィルタを掛ける処理を行なう逆フィルタ部252とを有する。そして、情報変換部25は、第1マイクアレイ処理部26の使用環境情報保存部262に保存されている背景雑音スペクトルを雑音抑圧部29に渡す際に、フィルタ部251によるフィルタ処理を行なう。また、情報変換部25は、雑音抑圧部29の使用環境情報保存部に保存されている背景雑音スペクトルを第1マイクアレイ処理部26に渡す際に、逆フィルタ部252によるフィルタ処理を行なって、ハイパスフィルタの影響を取り除く。
上述した構成により、本実施形態2では、マイクアレイ処理と雑音抑圧処理とを、携帯電話機1の使用形態に応じて切り替える構成である場合であっても、マイクアレイ処理に用いる使用環境情報と、雑音抑圧処理に用いる使用環境情報とを共用することができる。よって、携帯電話機1の使用形態が変更されることによって第1マイクアレイ処理部26及び雑音抑圧部29の動作が切り替えられた場合であっても、それまでに推定されていた使用環境情報に基づいて最適な雑音抑圧処理が可能となる。これにより、使用形態が変更された直後から最適な雑音抑圧処理が可能であり、使用形態が変更されたことによる音質の劣化を防止できる。
本実施形態2の携帯電話機1が行なう雑音抑圧処理は、上述の実施形態1で説明した処理と同様の処理を行なうので、説明を省略する。なお、図8で示したフローチャート中のステップS7の処理において、本実施形態2の演算処理部2(情報変換部25)は、使用環境情報を第1マイクアレイ処理部26又は雑音抑圧部29へ渡す際に、所定の変換処理を行なう。
(実施形態3)
以下に、実施形態3に係る携帯電話機について説明する。なお、本実施形態3の携帯電話機は、上述した実施形態1の携帯電話機1と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
上述した実施形態1の携帯電話機1は、図3に示したスイッチ22,23の切り替えを制御することによって、通常スタイルでの使用時には第1マイクアレイ処理部26を動作させ、ビューアスタイルでの使用時には第2マイクアレイ処理部27を動作させる構成であった。これに対して、本実施形態3の携帯電話機は、通常スタイルでの使用時及びビューアスタイルでの使用時に拘わらず、第1マイクアレイ処理部26及び第2マイクアレイ処理部27の両方を動作させる構成である。
図11は実施形態3の携帯電話機1の機能構成を示す機能ブロック図である。本実施形態3の携帯電話機1において、演算処理部2は、図3に示したスイッチ22,23の機能を備えない。よって、第1音入力部6及び第2音入力部7によって取得された音信号はそれぞれ第1マイクアレイ処理部26及び第2マイクアレイ処理部27に送出される。従って、第1マイクアレイ処理部26及び第2マイクアレイ処理部27は、携帯電話機1の使用形態に拘わらず常にマイクアレイ処理を実行する。なお、実際の使用形態ではない実施形態に対応するマイクアレイ処理部26(又は27)については、使用環境推定部261(又は271)のみを動作させる。
本実施形態3のマイクアレイ処理制御部24は、携帯電話機1が通常スタイルであることを筺体の状態判断部21から通知された場合、第1マイクアレイ処理部26からの音信号を所定の出力先へ送出するようにスイッチ28の切り替えを制御する。また、マイクアレイ処理制御部24は、携帯電話機1がビューアスタイルであることを筺体の状態判断部21から通知された場合、第2マイクアレイ処理部27からの音信号を所定の出力先へ送出するようにスイッチ28の切り替えを制御する。これにより、携帯電話機1の使用形態に応じたマイクアレイ処理部26(又は27)からの音信号が所定の出力先へ送出される。
このように、携帯電話機1の使用形態に拘わらずマイクアレイ処理部26,27の使用環境推定部261,271を動作させておくことにより、使用形態が変更された直後においても、変更後のマイクアレイ処理部26(又は27)における使用環境情報の推定が既に行なわれているので、最適な使用環境情報に基づくマイクアレイ処理が可能となる。よって、携帯電話機1の使用形態が切り替えられることによるマイクアレイ処理の精度を低下させないので、音質を維持することができる。
一方、例えば、音声区間・雑音区間の判定処理は難しい技術であり、実際の携帯電話機1の使用形態に対応したマイクアレイ処理部26(又は27)による処理によって推定した結果が最も信頼性が高い。よって、本実施形態3のように、携帯電話機1の使用形態に拘わらず全てのマイクアレイ処理部26,27を動作させる構成においても、このような使用環境情報のみ、マイクアレイ処理部26,27間で共用してもよい。
従って、本実施形態3の情報変換部25は、携帯電話機1の使用形態が変更された場合、変更前の使用形態に対応するマイクアレイ処理部26(又は27)の使用環境情報保存部262(又は272)から所定の使用環境情報を読み出す。そして、情報変換部25は、読み出した使用環境情報を、変更後の使用形態に対応するマイクアレイ処理部27(又は26)に渡す。
上述した構成により、常に情報変換部25は、現在の使用形態に対応するマイクアレイ処理部26(又は27)の使用環境情報保存部262(又は272)に保存されている音声区間・雑音区間の判定結果をマイクアレイ処理部27(又は26)に渡す。現在の使用形態ではない方の使用形態に対応するマイクアレイ処理部27(又は26)は、情報変換部25から取得した音声区間・雑音区間の判定結果を用いて、例えば背景雑音スペクトルの推定・更新を行なう。
このように、他のマイクアレイ処理部27(又は26)が推定する使用環境情報がより最適である場合には、各マイクアレイ処理部26(又は27)は、より最適な使用環境情報を用いたマイクアレイ処理が可能となる。よって、携帯電話機1の使用形態が変更されることによってマイクアレイ処理部26,27の動作が切り替えられた場合であっても、それぞれのマイクアレイ処理部26,27がそれまでに推定した使用環境情報に基づいて最適な雑音抑圧処理が可能となる。これにより、使用形態が変更された直後から最適な雑音抑圧処理が可能であり、使用形態が変更されたことによる音質の劣化を防止できる。
以下に、本実施形態3の携帯電話機1による雑音抑圧処理についてフローチャートに基づいて説明する。図12は雑音抑圧処理の手順を示すフローチャートである。なお、以下の処理は、携帯電話機1のROM3に格納してある制御プログラムに従って演算処理部2によって実行される。
携帯電話機1の演算処理部2(筺体の状態判断部21)は、例えば他の携帯電話機との間で通信(通話)が開始された場合、センサ5からの検出結果に基づいて、携帯電話機1の使用形態(通常スタイル又はビューアスタイル)を判断する(S21)。演算処理部2(第1マイクアレイ処理部26及び第2マイクアレイ処理部27)は、音入力部6,7から取得する音信号に対して2種類のマイクアレイ処理を実行する(S22)。なお、マイクアレイ処理の詳細については、実施形態1で図9に基づいて説明した処理と同一である。また、ステップS21で判断した使用形態ではない使用形態に対応するマイクアレイ処理部26(又は27)については、使用環境推定部261(又は271)のみを動作させる。
演算処理部2(マイクアレイ処理制御部24)は、ステップS21で判断した使用形態に応じて、スイッチ28の切り替えを制御し(S23)、第1マイクアレイ処理部26又は第2マイクアレイ処理部27によって雑音抑圧された音信号は、通信部9を介して通信相手の携帯電話機へ送信される。
演算処理部2は、他の携帯電話機との通話が終了したか否かを判断しており(S24)、終了していないと判断した場合(S24:NO)、センサ5からの検出結果に基づいて、携帯電話機1の使用形態を判断する(S25)。演算処理部2(マイクアレイ処理制御部24)は、ステップS25で判断した使用形態に基づいて、使用形態が変更されたか否かを判断し(S26)、変更されていないと判断した場合(S26:NO)、現在の使用形態に対応したマイクアレイ処理部において推定された使用環境情報を、現在の使用形態に対応していないマイクアレイ処理部へ渡す(S28)。演算処理部2は、ステップS24へ処理を戻し、ステップS24〜S26の処理を繰り返す。
使用形態が変更されたと判断した場合(S26:YES)、演算処理部2(情報変換部25)は、変更前の使用形態に対応するマイクアレイ処理部26(又は27)から所定の使用環境情報を取得して、変更後の使用形態に対応するマイクアレイ処理部27(又は26)に渡すように使用環境情報の受け渡しの方向を切り替える(S27)。具体的には、音声区間・雑音区間の判定結果等、実際の使用形態のマイクアレイ処理部26(又は27)によって推定された使用環境情報が最適である使用環境情報が渡される。
演算処理部2は、ステップS23に処理を戻し、ステップS25で判断した使用形態に応じてスイッチ28の切り替えを制御する(S23)。演算処理部2は、ステップS23〜S27の処理を繰り返し、他の携帯電話機との通話が終了したと判断した場合(S24:YES)、処理を終了する。
上述した実施形態3は、実施形態1の変形例として説明したが、上述した実施形態2の構成にも適用できる。
(実施形態4)
以下に、実施形態4に係る携帯電話機について説明する。なお、本実施形態4の携帯電話機は、上述した実施形態3の携帯電話機1と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
上述した実施形態3の携帯電話機1は、使用形態に拘わらずマイクアレイ処理部26,27の使用環境推定部261,271の両方によって使用環境情報の推定を行なう構成であった。本実施形態4の携帯電話機は、使用環境情報の推定だけでなく、雑音抑圧部264,274による雑音抑圧処理も行ない、マイクアレイ処理部26,27のそれぞれが行なうマイクアレイ処理によって抑圧される雑音の抑圧量を比較し、比較結果をユーザ(話者)に通知する構成である。
図13は実施形態4の携帯電話機1の機能構成を示す機能ブロック図である。本実施形態4の携帯電話機1において、演算処理部2は、図11に示した構成のほかに、SNR比較部30、画面表示制御部31の各機能を有する。また、本実施形態4のマイクアレイ処理部26,27は、図4に示した構成のほかに、SNR算出部265,275を有する。
本実施形態4のマイクアレイ処理部26,27のSNR算出部265,275は、音入力部6,7から入力された音信号と、雑音抑圧部264,274によって雑音抑圧処理を行なった後の音信号とに基づいてSNRを算出する。なお、SNRは、雑音成分のレベルに対する音信号のレベルの比であり、SNRが大きいほど高音質であることを示している。SNR算出部265,275はそれぞれ、算出したSNRをSNR比較部30へ送出する。
SNR比較部30は、SNR算出部265,275のそれぞれから取得したSNRを比較し、筺体の状態判断部21によって判断された現在の使用形態に対応するマイクアレイ処理部26(又は27)におけるSNRが、他のマイクアレイ処理部27(又は26)におけるSNRよりも小さい値であるか否かを判断する。SNR比較部30は、現在の使用形態に対応するマイクアレイ処理部26(又は27)におけるSNRが、他のマイクアレイ処理部27(又は26)におけるSNRよりも小さい値であれば、その旨を画面表示制御部31に通知する。
画面表示制御部31は、ROM3に予め格納されている画面情報に基づいて、現在の使用形態ではない使用形態での使用の方が高いSNRを得られる旨を表示する画面情報を生成して表示部11に表示させる。図14は表示画面の構成例を示す模式図である。図14に示す表示画面は、ビューアスタイルで使用中のユーザに対して、通常スタイルで使用した方が高音質の通話ができる旨を通知するための画面である。
このように、現在の使用形態ではない使用形態での使用の方が高音質の通話を行なえることを通知することにより、ユーザは、雑音抑圧処理に適した使用形態を知ることができる。また、ユーザは、通知された使用形態に切り替えることにより、最適な雑音抑圧された音信号に基づく通話が可能となる。本実施形態4の携帯電話機1では、図14に示すような通知画面によって、他の使用形態での利用の方が好ましい旨を通知する構成であるが、例えば、音声ガイダンスによって通知してもよい。なお、SNRのほかに、マイクアレイ処理部26,27によって抑圧される雑音の抑圧量を比較する構成としてもよい。
以下に、本実施形態4におけるマイクアレイ処理部26,27によるマイクアレイ処理について説明する。図15はマイクアレイ処理の手順を示すフローチャートである。なお、以下の処理は、携帯電話機1のROM3に格納してある制御プログラムに従って演算処理部2によって実行される。
演算処理部2(使用環境推定部261,271)は、音入力部6,7から入力される音信号に基づいて、携帯電話機1の使用形態に応じた使用環境を推定し(S31)、推定した使用環境を示す使用環境情報を使用環境情報保存部262,272に保存する(S32)。演算処理部2(抑圧ゲイン算出部263,273)は、推定した使用環境情報を用いて、雑音抑圧部264,274によって抑圧される抑圧ゲインを算出する(S33)。演算処理部2(雑音抑圧部264,274)は、算出した抑圧ゲインに基づいて抑圧処理を実行する(S34)。演算処理部2(SNR算出部265,275)は、音入力部6,7から入力された音信号と、雑音抑圧部264,274によって雑音抑圧処理を行なった後の音信号とに基づいてそれぞれSNRを算出し(S35)、雑音抑圧処理に戻る。
以下に、上述したようなマイクアレイ処理を行なうマイクアレイ処理部26,27を備えた本実施形態4の携帯電話機1による雑音抑圧処理についてフローチャートに基づいて説明する。図16は雑音抑圧処理の手順を示すフローチャートである。なお、以下の処理は、携帯電話機1のROM3に格納してある制御プログラムに従って演算処理部2によって実行される。
携帯電話機1の演算処理部2(筺体の状態判断部21)は、例えば他の携帯電話機との間で通信(通話)が開始された場合、センサ5からの検出結果に基づいて、携帯電話機1の使用形態(通常スタイル又はビューアスタイル)を判断する(S41)。演算処理部2(第1マイクアレイ処理部26及び第2マイクアレイ処理部27)は、音入力部6,7から取得する音信号に対して、図15に基づいて説明したマイクアレイ処理を実行する(S42)。
演算処理部2(マイクアレイ処理制御部24)は、ステップS41で判断した使用形態に応じて、スイッチ28の切り替えを制御し(S43)、第1マイクアレイ処理部26又は第2マイクアレイ処理部27によって雑音抑圧された音信号は、通信部9を介して通信相手の携帯電話機へ送信される。
演算処理部2(SNR比較部30)は、マイクアレイ処理部26,27のSNR算出部265,275によって算出されたSNRを比較する(S44)。演算処理部2は、現在の使用形態に対応するマイクアレイ処理部26(又は27)におけるSNRが、他のマイクアレイ処理部27(又は26)におけるSNRよりも小さい値であるか否かに基づいて、ユーザへの通知が必要であるか否かを判断する(S45)。なお、演算処理部2は、現在の使用形態に対応するマイクアレイ処理部26(又は27)におけるSNRが、他のマイクアレイ処理部27(又は26)におけるSNRよりも小さい値である場合に、ユーザへの通知が必要であると判断する。
演算処理部2は、ユーザへの通知が必要であると判断した場合(S45:YES)、図14に示すような画面を表示させるための画面情報を生成し、表示部11に表示させる(S46)。演算処理部2は、ユーザへの通知が必要でないと判断した場合(S45:NO)、ステップS46の処理をスキップし、他の携帯電話機との通話が終了したか否かを判断する(S47)。
演算処理部2は、通話が終了していないと判断した場合(S47:NO)、センサ5からの検出結果に基づいて、携帯電話機1の使用形態を判断する(S48)。演算処理部2(マイクアレイ処理制御部24)は、ステップS48で判断した使用形態に基づいて、使用形態が変更されたか否かを判断し(S49)、変更されていないと判断した場合(S49:NO)、現在の使用形態に対応したマイクアレイ処理部において推定された使用環境情報を、現在の使用形態に対応していないマイクアレイ処理部へ渡す(S51)。演算処理部2は、ステップS47へ処理を戻し、ステップS47〜S49の処理を繰り返す。
使用形態が変更されたと判断した場合(S49:YES)、演算処理部2(情報変換部25)は、変更前の使用形態に対応するマイクアレイ処理部26(又は27)から所定の使用環境情報を取得して、変更後の使用形態に対応するマイクアレイ処理部27(又は26)に渡すように使用環境情報の受け渡しの方向を切り替える(S50)。
演算処理部2は、ステップS43に処理を戻し、ステップS48で判断した使用形態に応じてスイッチ28の切り替えを制御する(S43)。演算処理部2は、ステップS43〜S51の処理を繰り返し、他の携帯電話機との通話が終了したと判断した場合(S47:YES)、処理を終了する。
(実施形態5)
以下に、実施形態5に係る携帯電話機について説明する。なお、本実施形態5の携帯電話機は、上述した実施形態1の携帯電話機1と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
上述した実施形態1〜4の携帯電話機1は、2つのマイク6a,7aを備える構成であった。本実施形態5の携帯電話機1は、3つのマイクを備える構成とする。なお、マイクの数は2つ又は3つに限られない。
図17A及び図17Bは実施形態5の携帯電話機の構成を示す模式図である。なお、図17A及び図17Bには携帯電話機1を折り畳んだ状態のみを示しており、図17Aには表示部11を有する筺体1aを上側にした携帯電話機1の外観斜視図を、図17Bには操作部10を有する筺体1bを上側にした携帯電話機1の外観斜視図をそれぞれ示す。
本実施形態5の携帯電話機1は、図1A、図1B及び図1Cに示した実施形態1の携帯電話機1が備える各構成要素のほかに、筺体1bの操作部10が設けられている面とは反対側の面の適宜位置にマイク12aを有する。
以下に、本実施形態5の携帯電話機1において、演算処理部2がROM3に格納されている種々の制御プログラムを実行することによって実現される携帯電話機1の機能について説明する。図18は実施形態5の携帯電話機1の機能構成を示す機能ブロック図である。本実施形態5の携帯電話機1の演算処理部2は、図3に示した構成において、スイッチ22,23の代わりに入力切替部32を有する。
また、本実施形態5の携帯電話機1は、マイク12a、増幅器及びA/D変換器(共に図示せず)を有する第3音入力部12を有する。第1音入力部6、第2音入力部7及び第3音入力部12は、受音して得られた音信号を入力切替部32にそれぞれ送出する。
本実施形態5のマイクアレイ処理制御部24は、筺体の状態判断部21から通知された携帯電話機の使用形態に応じて、音入力部6,7,12のうちの2つの音入力部からの音信号をマイクアレイ処理部26(又は27)へ送出するように入力切替部32による切り替えを制御する。
具体的には、通常スタイルであることを通知された場合、マイクアレイ処理制御部24は、音入力部6,7からの音信号を第1マイクアレイ処理部26へ送出するように入力切替部32を制御する。また、ビューアスタイルであることを通知された場合、マイクアレイ処理制御部24は、音入力部6,12からの音信号を第2マイクアレイ処理部27へ送出するように入力切替部32を制御する。
このような構成により、本実施形態5の携帯電話機1は、図19A及び図19Bに示すような指向性パターンを得ることができる。図19A及び図19Bは実施形態5の携帯電話機1における指向性のパターンを示す模式図である。本実施形態5の携帯電話機1では、通常スタイルにおいては図19Aに示すように、2つのマイク7a,6aを結んだ線上を中心としたコーン型の指向性パターンの受音が可能となり、マイク7aが設けられた側面側に指向性の死角を形成した雑音抑圧が行なわれる。また、ビューアスタイルにおいては図19Bに示すように、2つのマイク12a,6aを結んだ線上を中心としたコーン型の指向性パターンの受音が可能となり、マイク12aが設けられた側面側に指向性の死角を形成した雑音抑圧が行なわれる。
このように、本実施形態5の携帯電話機1では、使用形態に応じてマイクアレイ処理に用いる2つのマイクを適宜切り替えることにより、目的の音源(話者の口)の方向とは反対方向に指向性を作らないコーン型の指向性パターンを常に形成することが可能となる。よって、本実施形態5の携帯電話機1では、使用形態に拘わらず最適な雑音抑圧処理を行なえるので、良好な音質を維持することができる。
本実施形態5の携帯電話機1が行なう雑音抑圧処理は、上述の実施形態1で説明した処理と同様の処理を行なうので、説明を省略する。なお、図8で示したフローチャート中のステップS2の処理において、本実施形態5の演算処理部2(マイクアレイ処理制御部24)は、3つの音入力部6,7,12のうちから2つを選択し、選択した2つの音入力部からの音信号をマイクアレイ処理部26,27のいずれかへ送出するように入力切替部32を制御する。
(実施形態6)
以下に、実施形態6に係る携帯電話機について説明する。なお、本実施形態6の携帯電話機は、上述した実施形態5の携帯電話機1と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
上述した実施形態5の携帯電話機1は、通常スタイルでの使用時とビューアスタイルでの使用時とにおいて、3つのマイク6a,7a,12aのうちの2つのマイクを切り替えてマイクアレイ処理を行なう構成であった。本実施形態6の携帯電話機1は、通常スタイル及びビューアスタイルでの使用のほかに、通常スタイルでの使用の際に、スピーカ8aを話者の耳に近付けて使用する音声通話スタイル(本実施形態6でも通常スタイルという)と、話者が表示部11の表示画面を見ながら使用するスタイル(以下、テレビ電話スタイルという)との切り替えが可能である。
従って、本実施形態6の携帯電話機1は、通常スタイルでの使用時、ビューアスタイルでの使用時、テレビ電話スタイルでの使用時において、3つのマイク6a,7a,12aを切り替えてマイクアレイ処理を行なう構成である。なお、本実施形態6の携帯電話機では、ビューアスタイルの状態で表示部11の表示画面を見ながら使用するスタイルも可能であるが、説明の簡略化のため、本実施形態6では、上述した通常スタイル、ビューアスタイル、テレビ電話スタイルの切り替えが可能である構成を例に説明する。
図20は実施形態6の携帯電話機1の機能構成を示す機能ブロック図である。本実施形態6の携帯電話機1において、演算処理部2は、図18に示した機能のほかに、第3マイクアレイ処理部33の機能を有する。第3マイクアレイ処理部33は、図4に示した第1マイクアレイ処理部26及び第2マイクアレイ処理部27の構成と同様の構成を有する。
本実施形態6の携帯電話機1は、音声通話とテレビ電話通話との選択が可能に構成されている。本実施形態6の携帯電話機1は、音声通話が選択されている場合は音声信号のみを通話相手の携帯電話機に送信する。また、本実施形態6の携帯電話機1は、テレビ電話通話が選択されている場合は、携帯電話機1に設けられたカメラ(図示せず)によって撮影された画像信号と共に音声信号を通話相手の携帯電話機に送信する。
本実施形態6のマイクアレイ処理制御部24には、音声通話であるかテレビ電話通話であるかを示す情報が入力されている。マイクアレイ処理制御部24は、音声通話であるかテレビ電話通話であるかを示す情報と、筺体の状態判断部21から通知された携帯電話機1の使用形態とに基づいて、通常スタイルであるか、ビューアスタイルであるか、テレビ電話スタイルであるかを判断する。そして、マイクアレイ処理制御部24は、判断したスタイルに応じて、音入力部6,7,12のうちの2つの音入力部からの音信号をマイクアレイ処理部26(又は27,33)へ送出するように入力切替部32による切り替えを制御する。
具体的には、通常スタイルであると判断した場合、マイクアレイ処理制御部24は、音入力部6,7からの音信号を第1マイクアレイ処理部26へ送出するように入力切替部32を制御する。また、ビューアスタイルであることを通知された場合、マイクアレイ処理制御部24は、音入力部6,12からの音信号を第2マイクアレイ処理部27へ送出するように入力切替部32を制御する。更に、テレビ電話スタイルであると判断した場合、マイクアレイ処理制御部24は、音入力部6,12からの音信号を第3マイクアレイ処理部33へ送出するように入力切替部32を制御する。
マイクアレイ処理部26,27,33のそれぞれは、2つの音入力部からの音信号が入力された場合、それぞれの使用環境情報保存部262,272に保存してある使用環境情報を用いたマイクアレイ処理を実行し、雑音抑圧した音信号をスイッチ28を介して所定の出力先へ送出する。
このような構成により、本実施形態6の携帯電話機1は、図21A及び図21Bに示すような指向性パターンを得ることができる。図21A及び図21Bは実施形態6の携帯電話機1における指向性のパターンを示す模式図である。本実施形態6の携帯電話機1では、通常スタイルにおいては図21Aに示すように、2つのマイク7a,6aを結んだ線上を中心としたコーン型の指向性パターンの受音が可能となり、マイク7aが設けられた側面側に指向性の死角を形成した雑音抑圧が行なわれる。
また、テレビ電話スタイルにおいては図21Bに示すように、2つのマイク12a,6aを結んだ線上を中心としたコーン型の指向性パターンの受音が可能となり、マイク12aが設けられた側面側に指向性の死角を形成した雑音抑圧が行なわれる。なお、ビューアスタイルにおいては図19Bに示す指向性パターンとなる。
このように、本実施形態6の携帯電話機1では、通常スタイル及びビューアスタイル等のような筺体の状態の変化だけでなく、音声通話及びテレビ電話通話等のような音声の入力スタイルの変化によっても、実行させるマイクアレイ処理部26,27,33の切り替えを行なう。よって、音声の入力スタイルを切り替えた場合であっても、最適なマイクアレイ処理の実行が可能である。また、本実施形態6の携帯電話機1は、図21A及び図21Bに示すように、使用形態に拘わらず、目的の音源(話者の口)の方向とは反対方向に指向性を作らないコーン型の指向性パターンを常に形成することができるので、どのような使用形態においても雑音抑圧処理の精度を低下させない。
本実施形態6の携帯電話機1が行なう雑音抑圧処理は、上述の実施形態1で説明した処理と同様の処理を行なうので、説明を省略する。なお、図8で示したフローチャート中のステップS1,5の処理において、本実施形態6の演算処理部2(マイクアレイ処理制御部24)は、通常スタイルであるか、ビューアスタイルであるか、テレビ電話スタイルであるかの使用形態を判断する。具体的には、マイクアレイ処理制御部24は、筺体の状態判断部21から通知された携帯電話機1の筺体の状態と、音声通話であるかテレビ電話通話であるかを示す情報とに基づいて、いずれの使用形態であるかを判断する。
(実施形態7)
以下に、実施形態7に係る携帯電話機について説明する。なお、本実施形態7の携帯電話機は、上述した実施形態1の携帯電話機1と同様の構成によって実現することができるので、同様の構成については同一の符号を付して説明を省略する。
上述した実施形態1〜6の携帯電話機1は、マイクアレイ処理部26,27,33のそれぞれが使用環境情報保存部262,272を備える構成であった。即ち、携帯電話機1の使用形態が変更された場合に、情報変換部25が、変更前の使用形態に対応するマイクアレイ処理部26(又は27,33)の使用環境情報保存部262(又は272)から使用環境情報を読み出し、変更後の使用形態に対応するマイクアレイ処理部27(又は26,33)に渡す構成であった。これに対して、本実施形態7の携帯電話機1は、マイクアレイ処理部26,27,33のそれぞれには使用環境情報保存部262,272を備えない構成である。
図22は実施形態7の携帯電話機1の機能構成を示す機能ブロック図である。本実施形態7の携帯電話機1において、演算処理部2は、図3に示した機能と同様の機能を有するほか、情報変換部25には使用環境情報保存部(記憶手段)251が接続されている。使用環境情報保存部251としては、例えばRAM4の所定の領域を利用してもよいし、別途に設けられたメモリ部を利用してもよい。なお、マイクアレイ処理部26,27は、図4に示す構成と同様の構成を備えるが、使用環境情報保存部262,272を備えない。
本実施形態7の情報変換部25は、マイクアレイ処理部26,27によって推定される使用環境情報を逐次取得し、使用環境情報保存部251に保存する。なお、情報変換部25は、使用環境情報保存部251に使用環境情報を保存する場合、それぞれの使用環境情報を推定したマイクアレイ処理部26,27を識別するための情報に対応させて保存してもよく、所定の使用形態に対応する使用形態に変換させた後に保存してもよい。また、情報変換部25は、マイクアレイ処理部26,27によって推定された使用環境情報を逐次使用環境情報保存部251に保存する構成に限られず、携帯電話機1の使用形態が変更された際に使用環境情報保存部251に保存する構成としてもよい。
情報変換部25は、マイクアレイ処理制御部24からの指示に従って、使用環境情報保存部251に保存されている使用環境情報を読み出し、マイクアレイ処理部26(又は27)に渡す。具体的には、情報変換部25は、通常スタイルでの使用時には、第1マイクアレイ処理部26に使用環境情報を渡し、ビューアスタイルでの使用時には、第2マイクアレイ処理部27に使用環境情報を渡す。なお、情報変換部25は、必要に応じて、使用環境情報保存部251から読み出した使用環境情報をマイクアレイ処理部26,27にそれぞれ渡す際に、マイクアレイ処理部26,27に対応した使用環境情報への変換処理を行なう。
このような構成により、本実施形態7の携帯電話機1では、複数のマイクアレイ処理部26,27において推定された使用環境情報が使用環境情報保存部251で一元管理される。従って、3つ以上のマイクアレイ処理部を備える構成の携帯電話機1においては、使用環境情報の送出処理が簡略化できる。
即ち、実施形態6の携帯電話機1のように3つのマイクアレイ処理部26,27,33を備える構成では、変更前の使用形態及び変更後の使用形態に応じて、いずれかのマイクアレイ処理部26(又は27,33)から、いずれかのマイクアレイ処理部27(又は26,33)へ使用環境情報を渡す必要がある。しかし、本実施形態7の携帯電話機1では、使用環境情報保存部251から読み出した使用環境情報をいずれかのマイクアレイ処理部へ送出すればよいので処理が簡略化できる。
本実施形態7の携帯電話機1が行なう雑音抑圧処理は、上述の実施形態1で説明した処理と同様の処理を行なうので、説明を省略する。なお、図8で示したフローチャート中のステップS7の処理において、本実施形態7の演算処理部2(情報変換部25)は、使用環境情報保存部251から読み出した使用環境情報を、変更後の使用形態に対応するマイクアレイ処理部26(又は27)へ渡す処理を行なう。
(実施形態8)
以下に、実施形態8に係る携帯電話機について説明する。本実施形態8は、上述の実施形態1〜7の携帯電話機1に対する外観の変形例について説明する。図23A、図23B及び図23Cは実施形態8の携帯電話機の構成を示す模式図である。なお、図23Aには折り畳んでいない状態の携帯電話機1の外観斜視図を、図23Bには折り畳んだ状態の携帯電話機1を筺体1a側から見た外観斜視図を、図23Cには折り畳んだ状態の携帯電話機1を筺体1b側から見た外観斜視図をそれぞれ示す。
本実施形態8の携帯電話機1は、表示部11を有する第1の筺体1aと、操作部10を有する第2の筺体1bとが、ヒンジ部1dを介して連結されている。ヒンジ部1dは、図23A、図23B及び図23Cにおける上下方向を回動軸として、筺体1bに対して180°の回動が可能に構成されており、図23Aに示すように操作部10を解放させた状態と、図23Bに示すように操作部10を閉じた状態とに変更することができる。本実施形態8の携帯電話機1では、マイク6aをヒンジ部(可動部)1dに設け、マイク7aを筺体1bの操作部10が設けられている面の反対側の面に設けてある。
このように、回動するヒンジ部1dにマイク6aを設けることにより、本実施形態8の携帯電話機1では、通常スタイルでの使用時においてもビューアスタイルでの使用時において、2つのマイク6a,7aを用いたマイクアレイ処理を行なうことが可能である。
以上の実施形態1〜8を含む実施形態に関し、更に以下の付記を開示する。
(付記1)
受音した音を音信号に変換する複数の受音部を接続可能で、前記音信号に含まれる雑音成分を抑圧する雑音抑圧装置において、
前記複数の受音部の位置関係及び/又は前記複数の受音部と目的音源との位置関係が変化する複数の使用形態での使用が可能であり、
前記使用形態を検知する検知部と、
前記複数の受音部で変換された各音信号に対して雑音抑圧処理に用いる使用環境情報を、前記検知部が検知した使用形態に応じた使用環境情報に変換する変換部と、
該変換部が変換した使用環境情報を用いた雑音抑圧処理を前記音信号に対して行なう抑圧部と
を備えることを特徴とする雑音抑圧装置。
(付記2)
前記使用形態のそれぞれに応じた使用環境を推定する推定部を更に備え、
前記変換部は、前記推定部が推定した使用環境を示す使用環境情報を、前記検知部が検知した使用形態に応じた使用環境情報に変換すること
を特徴とする付記1に記載の雑音抑圧装置。
(付記3)
前記推定部が推定したそれぞれの使用形態に応じた使用環境を示す使用環境情報を、それぞれの使用形態に対応付けて記憶する記憶部を備え、
前記変換部は、前記記憶部に記憶してある使用環境情報を、前記検知部が検知した使用形態に応じた使用環境情報に変換すること
を特徴とする付記2に記載の雑音抑圧装置。
(付記4)
前記推定部は、
前記検知部が検知した使用形態に応じて、前記受音部のそれぞれによって変換された音信号における音声区間及び雑音区間、該音声区間及び雑音区間の情報を用いて背景雑音レベル及び/又は背景雑音スペクトルを推定し、
現在の使用形態に対して推定した前記音声区間及び雑音区間の情報を用いて、現在の使用形態ではない使用形態に対応する背景雑音レベル及び/又は背景雑音スペクトルを推定すること
を特徴とする付記2又は3に記載の雑音抑圧装置。
(付記5)
前記使用形態のそれぞれに対応して、前記抑圧部によって雑音抑圧処理が行なわれた音信号のSN比及び/又は前記抑圧部による雑音抑圧処理における抑圧量を算出する算出部と、
前記使用形態のそれぞれに対応して算出されたSN比及び/又は抑圧量を比較する比較部と、
比較した結果を外部に通知する通知部とを更に備え、
前記推定部は、前記受音部のそれぞれによって変換された音信号に基づいて、前記使用形態のそれぞれに対応する使用環境を推定し、
前記抑圧部は、前記推定部が推定した前記使用形態のそれぞれに対応する使用環境を示す使用環境情報を用いて、前記音信号に対して雑音抑圧処理を行なうこと
を特徴とする付記2から4までのいずれかひとつに記載の雑音抑圧装置。
(付記6)
前記受音部の使用形態の切り替えが可能であり、
前記受音部の使用形態のそれぞれに対応付けて、所定の音源の方向を示す方向情報を記憶する方向情報記憶部を更に備え、
前記抑圧部は、前記検知部が検知した前記受音部の使用形態に対応して記憶してある方向情報を用いて、前記使用形態に応じた雑音抑圧処理を行なうこと
を特徴とする付記1から5までのいずれかひとつに記載の雑音抑圧装置。
(付記7)
前記受音部は、3つ以上であり、
前記使用形態のそれぞれに応じて、前記受音部のうちの複数の受音部を選択する選択部を更に備え、
前記抑圧部は、選択された受音部によって変換された音信号に対して前記雑音抑圧処理を行なうことを特徴とする付記1から6までのいずれかひとつに記載の雑音抑圧装置。
(付記8)
前記使用環境情報は、背景雑音レベル、背景雑音スペクトルの統計量、雑音区間及び雑音帯域を示す情報、所定の音源の方向を示す方向情報、雑音源の方向を示す方向情報、SN比、及び前記複数の受音部の感度のばらつきを補正するための補正値の少なくとも1つを含む情報であることを特徴とする付記1から7までのいずれかひとつに記載の雑音抑圧装置。
(付記9)
前記複数の受音部はマイクロホンであり、
付記1から8までのいずれかひとつに記載の雑音抑圧装置を備えることを特徴とする携帯電話機。
(付記10)
前記受音部の少なくとも1つが設けられた可動部を有する筺体を備え、
前記可動部を動かすことによって前記複数の受音部の配置位置が変更されるように構成してあることを特徴とする付記9に記載の携帯電話機。
(付記11)
受音した音を音信号に変換する複数の受音部と接続可能な雑音抑圧装置が、前記音信号に含まれる雑音成分を抑圧する雑音抑圧方法において、
前記雑音抑圧装置は、前記複数の受音部の位置関係及び/又は前記複数の受音部と目的音源との位置関係が変化する複数の使用形態での使用が可能であり、
前記雑音抑圧装置が、前記使用形態を検知するステップと、
前記雑音抑圧装置が、前記複数の受音部で変換された各音信号に対して雑音抑圧処理に用いる使用環境情報を、検知した使用形態に応じた使用環境情報に変換するステップと、
前記雑音抑圧装置が、変換した使用環境情報を用いた雑音抑圧処理を前記音信号に対して行なうステップと
を有することを特徴とする雑音抑圧方法。
(付記12)
コンピュータに、受音して得られた音信号に含まれる雑音成分を抑圧させるためのコンピュータプログラムにおいて、
コンピュータに、
受音した際の使用形態を検知させるステップと、
前記音信号に対して雑音抑圧処理に用いる使用環境情報を、検知した使用形態に応じた使用環境情報に変換させるステップと、
変換した使用環境情報を用いた雑音抑圧処理を前記音信号に対して行なうステップと
を有することを特徴とするコンピュータプログラム。
実施形態1の携帯電話機の構成を示す模式図である。 実施形態1の携帯電話機の構成を示す模式図である。 実施形態1の携帯電話機の構成を示す模式図である。 実施形態1の携帯電話機の構成を示すブロック図である。 実施形態1の携帯電話機の機能構成を示す機能ブロック図である。 マイクアレイ処理部の機能構成を示す機能ブロック図である。 実施形態1の携帯電話機における指向性のパターンを示す模式図である。 実施形態1の携帯電話機における指向性のパターンを示す模式図である。 背景雑音スペクトル及び音声区間のスペクトルの例を示す模式図である。 実施形態1の携帯電話機による効果を説明するための説明図である。 実施形態1の携帯電話機による効果を説明するための説明図である。 雑音抑圧処理の手順を示すフローチャートである。 マイクアレイ処理の手順を示すフローチャートである。 実施形態2の携帯電話機の機能構成を示す機能ブロック図である。 実施形態3の携帯電話機の機能構成を示す機能ブロック図である。 雑音抑圧処理の手順を示すフローチャートである。 実施形態4の携帯電話機の機能構成を示す機能ブロック図である。 表示画面の構成例を示す模式図である。 マイクアレイ処理の手順を示すフローチャートである。 雑音抑圧処理の手順を示すフローチャートである。 実施形態5の携帯電話機の構成を示す模式図である。 実施形態5の携帯電話機の構成を示す模式図である。 実施形態5の携帯電話機の機能構成を示す機能ブロック図である。 実施形態5の携帯電話機における指向性のパターンを示す模式図である。 実施形態5の携帯電話機における指向性のパターンを示す模式図である。 実施形態6の携帯電話機の機能構成を示す機能ブロック図である。 実施形態6の携帯電話機における指向性のパターンを示す模式図である。 実施形態6の携帯電話機における指向性のパターンを示す模式図である。 実施形態7の携帯電話機の機能構成を示す機能ブロック図である。 実施形態8の携帯電話機の構成を示す模式図である。 実施形態8の携帯電話機の構成を示す模式図である。 実施形態8の携帯電話機の構成を示す模式図である。 従来の雑音抑圧装置の構成を示すブロック図である。
符号の説明
1 携帯電話機(雑音抑圧装置)
2 演算処理部
21 筺体の状態判断部(検知手段)
25 情報変換部(変換手段)
26,27 マイクアレイ処理部(抑圧手段)
261,271 使用環境推定部(推定手段)
6,7 音入力部(受音部)

Claims (10)

  1. 受音した音を音信号に変換する複数の受音部を接続可能で、前記音信号に含まれる雑音成分を抑圧する雑音抑圧装置において、
    前記複数の受音部の位置関係及び/又は前記複数の受音部と目的音源との位置関係が変化する複数の使用形態での使用が可能であり、
    前記使用形態を検知する検知部と、
    前記複数の受音部で変換された各音信号に対して雑音抑圧処理に用いる使用環境情報を、前記検知部が検知した使用形態に応じた使用環境情報に変換する変換部と、
    該変換部が変換した使用環境情報を用いた雑音抑圧処理を前記音信号に対して行なう抑圧部と
    を備えることを特徴とする雑音抑圧装置。
  2. 前記使用形態のそれぞれに応じた使用環境を推定する推定部を更に備え、
    前記変換部は、前記推定部が推定した使用環境を示す使用環境情報を、前記検知部が検知した使用形態に応じた使用環境情報に変換すること
    を特徴とする請求項1に記載の雑音抑圧装置。
  3. 前記推定部が推定したそれぞれの使用形態に応じた使用環境を示す使用環境情報を、それぞれの使用形態に対応付けて記憶する記憶部を備え、
    前記変換部は、前記記憶部に記憶してある使用環境情報を、前記検知部が検知した使用形態に応じた使用環境情報に変換すること
    を特徴とする請求項2に記載の雑音抑圧装置。
  4. 前記推定部は、
    前記検知部が検知した使用形態に応じて、前記受音部のそれぞれによって変換された音信号における音声区間及び雑音区間、該音声区間及び雑音区間の情報を用いて背景雑音レベル及び/又は背景雑音スペクトルを推定し、
    現在の使用形態に対して推定した前記音声区間及び雑音区間の情報を用いて、現在の使用形態ではない使用形態に対応する背景雑音レベル及び/又は背景雑音スペクトルを推定すること
    を特徴とする請求項2又は3に記載の雑音抑圧装置。
  5. 前記使用形態のそれぞれに対応して、前記抑圧部によって雑音抑圧処理が行なわれた音信号のSN比及び/又は前記抑圧部による雑音抑圧処理における抑圧量を算出する算出部と、
    前記使用形態のそれぞれに対応して算出されたSN比及び/又は抑圧量を比較する比較部と、
    比較した結果を外部に通知する通知部とを更に備え、
    前記推定部は、前記受音部のそれぞれによって変換された音信号に基づいて、前記使用形態のそれぞれに対応する使用環境を推定し、
    前記抑圧部は、前記推定部が推定した前記使用形態のそれぞれに対応する使用環境を示す使用環境情報を用いて、前記音信号に対して雑音抑圧処理を行なうこと
    を特徴とする請求項2から4までのいずれかひとつに記載の雑音抑圧装置。
  6. 前記受音部の使用形態の切り替えが可能であり、
    前記受音部の使用形態のそれぞれに対応付けて、所定の音源の方向を示す方向情報を記憶する方向情報記憶部を更に備え、
    前記抑圧部は、前記検知部が検知した前記受音部の使用形態に対応して記憶してある方向情報を用いて、前記使用形態に応じた雑音抑圧処理を行なうこと
    を特徴とする請求項1から5までのいずれかひとつに記載の雑音抑圧装置。
  7. 前記受音部は、3つ以上であり、
    前記使用形態のそれぞれに応じて、前記受音部のうちの複数の受音部を選択する選択部を更に備え、
    前記抑圧部は、選択された受音部によって変換された音信号に対して前記雑音抑圧処理を行なうことを特徴とする請求項1から6までのいずれかひとつに記載の雑音抑圧装置。
  8. 前記複数の受音部はマイクロホンであり、
    請求項1から7までのいずれかひとつに記載の雑音抑圧装置を備えることを特徴とする携帯電話機。
  9. 受音した音を音信号に変換する複数の受音部と接続可能な雑音抑圧装置が、前記音信号に含まれる雑音成分を抑圧する雑音抑圧方法において、
    前記雑音抑圧装置は、前記複数の受音部の位置関係及び/又は前記複数の受音部と目的音源との位置関係が変化する複数の使用形態での使用が可能であり、
    前記雑音抑圧装置が、前記使用形態を検知するステップと、
    前記雑音抑圧装置が、前記複数の受音部で変換された各音信号に対して雑音抑圧処理に用いる使用環境情報を、検知した使用形態に応じた使用環境情報に変換するステップと、
    前記雑音抑圧装置が、変換した使用環境情報を用いた雑音抑圧処理を前記音信号に対して行なうステップと
    を有することを特徴とする雑音抑圧方法。
  10. コンピュータに、受音して得られた音信号に含まれる雑音成分を抑圧させるためのコンピュータプログラムにおいて、
    コンピュータに、
    受音した際の使用形態を検知させるステップと、
    前記音信号に対して雑音抑圧処理に用いる使用環境情報を、検知した使用形態に応じた使用環境情報に変換させるステップと、
    変換した使用環境情報を用いた雑音抑圧処理を前記音信号に対して行なうステップと
    を有することを特徴とするコンピュータプログラム。
JP2008218610A 2008-08-27 2008-08-27 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム Expired - Fee Related JP5206234B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008218610A JP5206234B2 (ja) 2008-08-27 2008-08-27 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム
EP09161566A EP2159791B1 (en) 2008-08-27 2009-05-29 Noise suppressing device, mobile phone and noise suppressing method
KR1020090057579A KR101084420B1 (ko) 2008-08-27 2009-06-26 잡음 억압 장치, 휴대 전화기, 잡음 억압 방법 및 기록 매체
US12/494,779 US8620388B2 (en) 2008-08-27 2009-06-30 Noise suppressing device, mobile phone, noise suppressing method, and recording medium
CN2009101513278A CN101661753B (zh) 2008-08-27 2009-06-30 噪声抑制装置、移动电话和噪声抑制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008218610A JP5206234B2 (ja) 2008-08-27 2008-08-27 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2010054731A true JP2010054731A (ja) 2010-03-11
JP5206234B2 JP5206234B2 (ja) 2013-06-12

Family

ID=40999940

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008218610A Expired - Fee Related JP5206234B2 (ja) 2008-08-27 2008-08-27 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US8620388B2 (ja)
EP (1) EP2159791B1 (ja)
JP (1) JP5206234B2 (ja)
KR (1) KR101084420B1 (ja)
CN (1) CN101661753B (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014077736A (ja) * 2012-10-11 2014-05-01 Fuji Xerox Co Ltd 音声解析装置、音声解析システムおよびプログラム
JP2014093680A (ja) * 2012-11-05 2014-05-19 Yuji Hosoi 携帯電話
JP2014110546A (ja) * 2012-12-03 2014-06-12 Nippon Telegr & Teleph Corp <Ntt> ビデオ会議システム
US8996373B2 (en) 2010-12-27 2015-03-31 Fujitsu Limited State detection device and state detecting method
CN104538040A (zh) * 2014-11-28 2015-04-22 广东欧珀移动通信有限公司 一种动态选择通话语音信号的方法和装置
EP2996314A1 (en) 2014-08-27 2016-03-16 Fujitsu Limited Voice processing device, voice processing method, and computer program for voice processing
US9705548B2 (en) 2013-10-24 2017-07-11 Rohm Co., Ltd. Wristband-type handset and wristband-type alerting device
US9716782B2 (en) 2010-12-27 2017-07-25 Rohm Co., Ltd. Mobile telephone
US9729971B2 (en) 2012-06-29 2017-08-08 Rohm Co., Ltd. Stereo earphone
US9742887B2 (en) 2013-08-23 2017-08-22 Rohm Co., Ltd. Mobile telephone
US9894430B2 (en) 2010-12-27 2018-02-13 Rohm Co., Ltd. Incoming/outgoing-talk unit and incoming-talk unit
US9980024B2 (en) 2011-02-25 2018-05-22 Rohm Co., Ltd. Hearing system and finger ring for the hearing system
US10013862B2 (en) 2014-08-20 2018-07-03 Rohm Co., Ltd. Watching system, watching detection device, and watching notification device
US10079925B2 (en) 2012-01-20 2018-09-18 Rohm Co., Ltd. Mobile telephone
US10356231B2 (en) 2014-12-18 2019-07-16 Finewell Co., Ltd. Cartilage conduction hearing device using an electromagnetic vibration unit, and electromagnetic vibration unit
US10778824B2 (en) 2016-01-19 2020-09-15 Finewell Co., Ltd. Pen-type handset
US10795321B2 (en) 2015-09-16 2020-10-06 Finewell Co., Ltd. Wrist watch with hearing function
US10967521B2 (en) 2015-07-15 2021-04-06 Finewell Co., Ltd. Robot and robot system
US11526033B2 (en) 2018-09-28 2022-12-13 Finewell Co., Ltd. Hearing device

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856252B2 (en) * 2007-11-02 2010-12-21 Agere Systems Inc. Method for seamless noise suppression on wideband to narrowband cell switching
JP5407848B2 (ja) * 2009-12-25 2014-02-05 富士通株式会社 マイクロホンの指向性制御装置
JP5672770B2 (ja) 2010-05-19 2015-02-18 富士通株式会社 マイクロホンアレイ装置及び前記マイクロホンアレイ装置が実行するプログラム
GB2493327B (en) 2011-07-05 2018-06-06 Skype Processing audio signals
GB2495131A (en) * 2011-09-30 2013-04-03 Skype A mobile device includes a received-signal beamformer that adapts to motion of the mobile device
GB2495130B (en) 2011-09-30 2018-10-24 Skype Processing audio signals
GB2495129B (en) 2011-09-30 2017-07-19 Skype Processing signals
GB2495278A (en) 2011-09-30 2013-04-10 Skype Processing received signals from a range of receiving angles to reduce interference
CN103002171B (zh) * 2011-09-30 2015-04-29 斯凯普公司 处理音频信号的方法和装置
GB2495128B (en) 2011-09-30 2018-04-04 Skype Processing signals
GB2495472B (en) 2011-09-30 2019-07-03 Skype Processing audio signals
CN102368793B (zh) * 2011-10-12 2014-03-19 惠州Tcl移动通信有限公司 手机及其通话信号处理方法
GB2496660B (en) 2011-11-18 2014-06-04 Skype Processing audio signals
GB201120392D0 (en) 2011-11-25 2012-01-11 Skype Ltd Processing signals
US20130136282A1 (en) 2011-11-30 2013-05-30 David McClain System and Method for Spectral Personalization of Sound
GB2497343B (en) 2011-12-08 2014-11-26 Skype Processing audio signals
US8831686B2 (en) * 2012-01-30 2014-09-09 Blackberry Limited Adjusted noise suppression and voice activity detection
CN102946493B (zh) * 2012-11-27 2019-01-29 康佳集团股份有限公司 一种移动终端通话环境音调节方法
CN103077725B (zh) * 2012-12-31 2015-12-23 东莞宇龙通信科技有限公司 语音处理的方法及装置
CN103929557B (zh) * 2013-01-11 2016-04-13 华为技术有限公司 语音会议噪声处理方法及装置
US20140211949A1 (en) * 2013-01-29 2014-07-31 Qnx Software Systems Limited Sound field reproduction
US9426573B2 (en) 2013-01-29 2016-08-23 2236008 Ontario Inc. Sound field encoder
US9307337B2 (en) * 2013-03-11 2016-04-05 Arris Enterprises, Inc. Systems and methods for interactive broadcast content
CN105469806B (zh) * 2014-09-12 2020-02-21 联想(北京)有限公司 一种声音处理方法、装置及系统
KR101683480B1 (ko) * 2015-04-17 2016-12-07 (주)에스앤아이스퀘어 근거리 무선 통신망을 기반으로 하는 음성인식 통역기 및 음성인식 통역기의 동작 방법
JP6596689B2 (ja) * 2015-07-24 2019-10-30 株式会社オーディオテクニカ マイクロホン装置
CN105654960A (zh) * 2015-09-21 2016-06-08 宇龙计算机通信科技(深圳)有限公司 一种对终端声音消噪的处理方法及装置
CN105357566B (zh) * 2015-10-29 2019-05-24 歌尔智能科技有限公司 一种语音遥控器及其供电方法
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US10097919B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Music service selection
CN105957527A (zh) * 2016-05-16 2016-09-21 珠海格力电器股份有限公司 一种语音控制电器的方法、装置及语音控制空调
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
CN107087208B (zh) * 2017-05-25 2020-07-07 深圳市酷开网络科技有限公司 一种全景视频播放方法、系统及存储装置
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
JP7013789B2 (ja) * 2017-10-23 2022-02-01 富士通株式会社 音声処理用コンピュータプログラム、音声処理装置及び音声処理方法
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10522167B1 (en) * 2018-02-13 2019-12-31 Amazon Techonlogies, Inc. Multichannel noise cancellation using deep neural network masking
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US10741164B1 (en) * 2019-05-28 2020-08-11 Bose Corporation Multipurpose microphone in acoustic devices
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004228920A (ja) * 2003-01-23 2004-08-12 Sony Ericsson Mobilecommunications Japan Inc 携帯通信端末

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377680B1 (en) * 1998-07-14 2002-04-23 At&T Corp. Method and apparatus for noise cancellation
US6931138B2 (en) * 2000-10-25 2005-08-16 Matsushita Electric Industrial Co., Ltd Zoom microphone device
JP4138290B2 (ja) 2000-10-25 2008-08-27 松下電器産業株式会社 ズームマイクロホン装置
JP2005148163A (ja) 2003-11-11 2005-06-09 Canon Inc 音声認識装置およびその制御方法
DE102004000043A1 (de) * 2004-11-17 2006-05-24 Siemens Ag Verfahren zur selektiven Aufnahme eines Schallsignals
JP4863713B2 (ja) 2005-12-29 2012-01-25 富士通株式会社 雑音抑制装置、雑音抑制方法、及びコンピュータプログラム
CN101410900A (zh) * 2006-03-24 2009-04-15 皇家飞利浦电子股份有限公司 用于可佩戴装置的数据处理
JP4912036B2 (ja) * 2006-05-26 2012-04-04 富士通株式会社 指向性集音装置、指向性集音方法、及びコンピュータプログラム
WO2009069184A1 (ja) 2007-11-26 2009-06-04 Fujitsu Limited 音処理装置、補正装置、補正方法及びコンピュータプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004228920A (ja) * 2003-01-23 2004-08-12 Sony Ericsson Mobilecommunications Japan Inc 携帯通信端末

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9894430B2 (en) 2010-12-27 2018-02-13 Rohm Co., Ltd. Incoming/outgoing-talk unit and incoming-talk unit
US10779075B2 (en) 2010-12-27 2020-09-15 Finewell Co., Ltd. Incoming/outgoing-talk unit and incoming-talk unit
US8996373B2 (en) 2010-12-27 2015-03-31 Fujitsu Limited State detection device and state detecting method
US9716782B2 (en) 2010-12-27 2017-07-25 Rohm Co., Ltd. Mobile telephone
US9980024B2 (en) 2011-02-25 2018-05-22 Rohm Co., Ltd. Hearing system and finger ring for the hearing system
US10778823B2 (en) 2012-01-20 2020-09-15 Finewell Co., Ltd. Mobile telephone and cartilage-conduction vibration source device
US10158947B2 (en) 2012-01-20 2018-12-18 Rohm Co., Ltd. Mobile telephone utilizing cartilage conduction
US10079925B2 (en) 2012-01-20 2018-09-18 Rohm Co., Ltd. Mobile telephone
US10506343B2 (en) 2012-06-29 2019-12-10 Finewell Co., Ltd. Earphone having vibration conductor which conducts vibration, and stereo earphone including the same
US9729971B2 (en) 2012-06-29 2017-08-08 Rohm Co., Ltd. Stereo earphone
US10834506B2 (en) 2012-06-29 2020-11-10 Finewell Co., Ltd. Stereo earphone
JP2014077736A (ja) * 2012-10-11 2014-05-01 Fuji Xerox Co Ltd 音声解析装置、音声解析システムおよびプログラム
JP2014093680A (ja) * 2012-11-05 2014-05-19 Yuji Hosoi 携帯電話
JP2014110546A (ja) * 2012-12-03 2014-06-12 Nippon Telegr & Teleph Corp <Ntt> ビデオ会議システム
US10237382B2 (en) 2013-08-23 2019-03-19 Finewell Co., Ltd. Mobile telephone
US10075574B2 (en) 2013-08-23 2018-09-11 Rohm Co., Ltd. Mobile telephone
US9742887B2 (en) 2013-08-23 2017-08-22 Rohm Co., Ltd. Mobile telephone
US9705548B2 (en) 2013-10-24 2017-07-11 Rohm Co., Ltd. Wristband-type handset and wristband-type alerting device
US10103766B2 (en) 2013-10-24 2018-10-16 Rohm Co., Ltd. Wristband-type handset and wristband-type alerting device
US10380864B2 (en) 2014-08-20 2019-08-13 Finewell Co., Ltd. Watching system, watching detection device, and watching notification device
US10013862B2 (en) 2014-08-20 2018-07-03 Rohm Co., Ltd. Watching system, watching detection device, and watching notification device
EP2996314A1 (en) 2014-08-27 2016-03-16 Fujitsu Limited Voice processing device, voice processing method, and computer program for voice processing
US9847094B2 (en) 2014-08-27 2017-12-19 Fujitsu Limited Voice processing device, voice processing method, and non-transitory computer readable recording medium having therein program for voice processing
CN104538040A (zh) * 2014-11-28 2015-04-22 广东欧珀移动通信有限公司 一种动态选择通话语音信号的方法和装置
US10356231B2 (en) 2014-12-18 2019-07-16 Finewell Co., Ltd. Cartilage conduction hearing device using an electromagnetic vibration unit, and electromagnetic vibration unit
US10848607B2 (en) 2014-12-18 2020-11-24 Finewell Co., Ltd. Cycling hearing device and bicycle system
US11601538B2 (en) 2014-12-18 2023-03-07 Finewell Co., Ltd. Headset having right- and left-ear sound output units with through-holes formed therein
US10967521B2 (en) 2015-07-15 2021-04-06 Finewell Co., Ltd. Robot and robot system
US10795321B2 (en) 2015-09-16 2020-10-06 Finewell Co., Ltd. Wrist watch with hearing function
US10778824B2 (en) 2016-01-19 2020-09-15 Finewell Co., Ltd. Pen-type handset
US11526033B2 (en) 2018-09-28 2022-12-13 Finewell Co., Ltd. Hearing device

Also Published As

Publication number Publication date
CN101661753B (zh) 2012-07-04
US20100056227A1 (en) 2010-03-04
US8620388B2 (en) 2013-12-31
JP5206234B2 (ja) 2013-06-12
EP2159791B1 (en) 2013-02-13
EP2159791A1 (en) 2010-03-03
KR101084420B1 (ko) 2011-11-21
CN101661753A (zh) 2010-03-03
KR20100025463A (ko) 2010-03-09

Similar Documents

Publication Publication Date Title
JP5206234B2 (ja) 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム
US9135924B2 (en) Noise suppressing device, noise suppressing method and mobile phone
JP5499633B2 (ja) 再生装置、ヘッドホン及び再生方法
JP2009530950A (ja) ウェアラブル装置のためのデータ処理
WO2015154282A1 (zh) 一种通话设备及应用于通话设备的切换方法、装置
JP2007214976A (ja) エコーキャンセル装置、テレビ電話端末、及びエコーキャンセル方法
EP2996352A1 (en) Audio system and method using a loudspeaker output signal for wind noise reduction
JP3964325B2 (ja) 通話システムおよび通信機
CN110996308B (zh) 声音播放设备及其控制方法、控制装置和可读存储介质
KR101395329B1 (ko) 두 개의 마이크로폰을 이용하여 잡음을 제거하는 방법 및이동통신 단말기
JP5707871B2 (ja) 音声通話装置及び携帯電話
JP3904086B2 (ja) 携帯通信端末
US11388281B2 (en) Adaptive method and apparatus for intelligent terminal, and terminal
JPH11239093A (ja) 移動体無線通信装置
JP2009153053A (ja) 音声推定方法及びそれを用いた携帯端末
JP5022459B2 (ja) 収音装置、収音方法及び収音プログラム
JP5316442B2 (ja) 携帯電話機、スピーカ出力制御方法およびスピーカ出力制御プログラム
JP5189515B2 (ja) インターホンシステム
JP2010204564A (ja) 通信装置
CN105681527B (zh) 一种消噪调整方法及电子设备
CN115529537A (zh) 一种差分波束形成方法、装置及存储介质
CN113470675A (zh) 音频信号处理方法及装置
JP2010016516A (ja) 電話装置
JP2015226198A (ja) 電話機、ハンズフリー通話システム、および、電話機の制御方法
JP2013042562A (ja) 携帯電話

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121213

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees