JP2015513854A - モバイル通信機器での音声通信エクスペリエンスを向上させるための方法およびシステム - Google Patents
モバイル通信機器での音声通信エクスペリエンスを向上させるための方法およびシステム Download PDFInfo
- Publication number
- JP2015513854A JP2015513854A JP2014559345A JP2014559345A JP2015513854A JP 2015513854 A JP2015513854 A JP 2015513854A JP 2014559345 A JP2014559345 A JP 2014559345A JP 2014559345 A JP2014559345 A JP 2014559345A JP 2015513854 A JP2015513854 A JP 2015513854A
- Authority
- JP
- Japan
- Prior art keywords
- user
- mode
- mobile communication
- communication device
- speaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
- H04M1/6041—Portable telephones adapted for handsfree use
- H04M1/605—Portable telephones adapted for handsfree use involving control of the receiver volume to provide a dual operational mode at close or far distance from the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/46—Special adaptations for use as contact microphones, e.g. on musical instrument, on stethoscope
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/03—Aspects of the reduction of energy consumption in hearing devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/13—Hearing devices using bone conduction transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Telephone Function (AREA)
- Telephone Set Structure (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
モバイル通信機器は、電子部品を収容する本体と、ディスプレイを有するフロントパネルと、を備え、該モバイル通信機器は、さらに、少なくとも1つの標準マイクロフォンと、該機器のフロントパネルに振動接続させて配置された振動センサと、を備える。【選択図】図8
Description
本発明は、通信システムの分野に関する。より具体的には、本発明は、骨伝導現象を利用したモバイル機器での音声通信の改善に関するものである。
現代社会では、モバイル機器による音声通信は、人の生活に欠かせないものである。音声向上技術は絶えず進歩しており、改良された機器が常に開発されている。しかしながら、騒音環境での音声通信は、モバイルによる対処が難しい課題である。騒音環境では、モバイル通信機器のマイクロフォンは、携帯電話機のユーザの音声と周囲騒音とを合成した信号を拾い上げる。その結果、通話相手に低品質の音声が提供される。
一般に、携帯電話機のユーザは、スピーカモードまたはハンドヘルドモードのいずれかで電話機を使用し、後者の場合、電話機のスピーカ(「イヤピース・スピーカ」とも呼ばれる)とユーザの耳とが直接接触する。スピーカモードでは、より自由に動くことができるにもかかわらず、ほとんどの人は、静かな環境であって、周囲騒音がほとんどないか、または周囲騒音が全くなく、そしてもちろん、周りに他の人がいなくて、プライバシーを守ることができる場合にのみ、スピーカモードを使用する。一方、周囲騒音が中程度または高い場合には、多くの人が、電話機と片方の耳とが接触するハンドヘルドモードを使用することを好む。これは、スピーカモードでは、ユーザが会話している相手に多くの周囲騒音が聞こえるからであり、さらには、電話機のユーザも、周りの騒音によって通話相手の声がはっきりと聞き取れないからである。また、高騒音の場合には、多くの電話機ユーザは、自身の片方の耳に電話機を当てて、それと同時に他方の耳を手で閉じることで、自身の耳に入る周囲騒音を低減させる。
送話音声の品質を向上させるための選択肢の1つは、1つまたは複数のマイクロフォンを使用することによるノイズ低減技術(「ノイズ除去技術」と呼ばれることもある)を用いることである。2つのマイクロフォンを使用しているいくつかの携帯電話機の例として、アップル社のiPhone4と、サムスン社のGalaxyS2がある。ノイズ低減技術によって、ある程度、送話音声は改善されるが、騒音環境で通話するユーザは依然として周囲騒音に悩まされており、多くの場合、通話相手からの受話音声がよく聞こえないので、それは部分的な解決にすぎない。
当技術分野では、主に聴覚障害を患う人のためのソリューションとして、骨伝導を利用することが知られており、そのようなモードでは、音波は振動に変換され、頭蓋骨を通して内耳に伝わる。また、この技術は、例えば、イヤピース、ならびに骨伝導スピーカを用いてステレオ信号およびモノラル信号を再生する方法について開示している特許文献1に記載されているような、骨伝導イヤピースの分野でも用いられている。骨伝導スピーカは、京セラ社のスマートフォンであるUrbano Progressoでも使用されていたものであり、これは骨伝導スピーカのみを採用している。骨伝導スピーカを使用するには、携帯電話機のスピーカとユーザの頭蓋骨のいずれかの点を直接接触させる必要がある。
http://www.slideshare.net/chintanajoshi/acoustic−echo−cancellation
様々な製造業者により、多くの努力がなされているものの、通話中のユーザの少なくとも一方が騒音環境に居るときに、携帯電話機などのモバイル通信機器のユーザ間で送話および受話される音声の品質を改善する余地は未だ十分にあり、また、そのような改善が必要である。
そこで、本発明の目的は、発話するユーザが騒音環境にいるときに、向上した送話音声品質を提供する、モバイル通信機器を提供することである。
本発明の別の目的は、周囲騒音による悪影響を受けることなく、ユーザの音声振動を使用することを可能にする振動検出器を備えた、モバイル通信機器を提供することである。
本発明のさらに別の目的は、振動検出器の厳密な位置にとらわれることなく、携帯電話機のパネルの一部として、またはパネルの背後でパネルに直接接触させて、組み込むことが可能な振動検出器を備えた、モバイル機器を提供することである。
本発明のさらに別の目的は、モバイル機器の使用モードを自動的に認識して、動作方法およびノイズ低減方法をモバイル機器の使用モードに合わせて自動的に調整する、モバイル機器を提供することである。
本発明のさらなる目的は、高レベルの騒音環境において機器のユーザに高品質の音声知覚を提供する、モバイル機器を提供することである。
本発明のさらなる目的ならびに効果は、説明が進むにつれて明らかになるであろう。
一態様において、本発明は、電子部品を収容する本体と、ディスプレイを有するフロントパネルと、を備えるモバイル通信機器に関し、該モバイル通信機器は、さらに、少なくとも1つの標準マイクロフォンと、該機器のフロントパネルに振動接続させて配置された振動センサと、を備える。
本発明の別の実施形態によれば、モバイル通信機器は、さらに、骨伝導スピーカを備える。
本明細書全体を通して、「振動検出器」、「振動センサ」、および「骨伝導マイクロフォン」という用語は、区別なく用いられる。
本発明の一実施形態によれば、振動センサはフロントパネルに装着されるが、一方、他の実施形態では、それは、フロントパネルと振動接続される限りにおいて、フロントパネルから離して配置される。
別の態様において、本発明はモバイル通信機器に関し、これは、該モバイル通信機器のユーザがそれを以下のモードのいずれか1つで操作しているという判定の結果として、異なる動作をするように構成されたプロセッサを備えるものである。
i)ユーザの口から機器を遠ざけた状態での「スピーカモード」
ii)ユーザの口に機器を近づけた状態での「スピーカモード」
iii)ユーザの片方の耳に機器を接触させた状態での「ハンドヘルドモード」
iv)ユーザの片方の耳に機器を接触させるとともに、他方の耳を閉じた状態での「ハンドヘルドモード」
i)ユーザの口から機器を遠ざけた状態での「スピーカモード」
ii)ユーザの口に機器を近づけた状態での「スピーカモード」
iii)ユーザの片方の耳に機器を接触させた状態での「ハンドヘルドモード」
iv)ユーザの片方の耳に機器を接触させるとともに、他方の耳を閉じた状態での「ハンドヘルドモード」
本発明により、いくつかの異なる動作モードが可能であり、例えば、モードはi)であって、プロセッサが1つまたは複数の標準マイクロフォンをアクティブにするか;あるいは、モードはii)もしくはiii)であって、プロセッサが該通信機器内の2つの異なる箇所に配置された2つ以上の標準マイクロフォンをアクティブにし、さらに、該機器のパネル上でユーザの音声によって生じる振動を検出するように配置された振動検出器を作動させるか;あるいは、モードはiv)であって、プロセッサが、2つ以上の標準マイクロフォン、振動検出器、および骨伝導スピーカをアクティブにする。
本発明の具体的な一実施形態では、骨伝導スピーカがアクティブにされたときに、プロセッサは、両耳で略同じ強度の音声をユーザに提供するように、耳に伝わる信号のバランスをとるように構成されている。
当業者には明らかなように、本発明は、これまでに当技術分野で得られていない数多くの効果を提供するものである。例えば、電話機がユーザの口から所定値よりも大きい距離離れた位置にあることをユーザに警告するのに適したインジケータを設けることが可能となる。そのような標示は、例えば、音響信号または視覚信号を生成することにより提供することができる。
別の例として、本発明により、会話中のユーザにノイズ低減レベルの標示を提供するのに適したノイズ低減インジケータを設けることが可能となる。
別の態様において、本発明は、電子部品を収容する本体と、ディスプレイを有するフロントパネルと、を備えるモバイル通信機器を動作させる方法に関し、該モバイル通信機器は、さらに、少なくとも1つの標準マイクロフォンと、該機器のフロントパネルに振動接続させて配置された振動センサと、を備え、該方法は、該モバイル通信機器のユーザがそれを以下のモードのいずれか1つで操作しているという判定の結果として、異なる動作をするように構成されたプロセッサを設けることを含む。
i)ユーザの口から機器を遠ざけた状態での「スピーカモード」
ii)ユーザの口に機器を近づけた状態での「スピーカモード」
iii)ユーザの片方の耳に機器を接触させた状態での「ハンドヘルドモード」
iv)ユーザの片方の耳に機器を接触させるとともに、他方の耳を閉じた状態での「ハンドヘルドモード」
i)ユーザの口から機器を遠ざけた状態での「スピーカモード」
ii)ユーザの口に機器を近づけた状態での「スピーカモード」
iii)ユーザの片方の耳に機器を接触させた状態での「ハンドヘルドモード」
iv)ユーザの片方の耳に機器を接触させるとともに、他方の耳を閉じた状態での「ハンドヘルドモード」
当業者には明らかなように、また、以下の説明においてさらに説明するように、本発明により提供される上記および他のオプションによって、特に騒音環境で行われる場合の通話の際の品質およびユーザ・エクスペリエンスが著しく向上する。
本発明の上記および他のすべての特徴ならびに効果は、添付の図面を参照した以下の発明の実施形態の例示的かつ非限定的な説明を通して、さらに理解されるであろう。図面では、異なる図面において同一の要素を示すために同一の符号を用いている場合がある。
本発明は、騒音環境での電話機ユーザによる様々な使用モードを考慮することにより、騒音環境での送話音声の品質を向上させるとともに、受話の知覚を向上させる、ノイズ低減システムおよび装置に関するものである。本発明では、使用モードごとに異なるプロセスを実行することで、異なる使用モードにより提供される様々な機能が最大限に活用される。本発明によれば、モバイル通信機器においてマルチ標準マイクロフォンと骨伝導マイクロフォン(「骨振動検出器」とも呼ばれる)とを使用し、さらに骨伝導スピーカと、プロセッサとを用いる。
本説明の全体を通して、「電話機」、「モバイル通信機器」という用語ならびに同様の用語は区別なく用いられ、いずれの用語も、本発明が対象とする機器の具体的な特性、形状、または要素に何らかの制限を課すものではない。当業者であれば本説明から容易に理解できるように、本発明が有効となり得るモバイル通信機器には、セルラー機器だけではなく、Wi‐Fiおよび無線装置など、伝送媒体にかかわりなく他のあらゆる種類のモバイル機器が含まれる。
プロセッサは、以下でさらに詳述するように、本発明により、携帯電話機の操作モードを自動的に解析し、特定の操作条件下で適切に、骨伝導マイクロフォン、骨伝導スピーカを活用することにより、それぞれのモードに合わせて調整された異なるプロセスを自動的に実行するように構成される。プロセッサは、携帯電話機の操作モードを認識し、周囲騒音の影響を軽減するために、異なる動作モード間で自動的に切り替えを行うように構成される。
本発明の一実施形態では、4つの主な動作モードが定められる。それぞれのモードは、典型的には異なる周囲騒音シナリオで用いられるものであり、図面を参照して以下で簡単に説明する。
・「静寂モード」:図1は、モバイル機器がユーザの口から(例えば、〜30cmを超える)比較的大きな距離で離して保持されている場合の、スピーカモードを概略的に示している。このスピーカモードは、一般に、ゼロレベルの周囲騒音から低レベルの周囲騒音までの範囲において用いられる。この場合、ユーザは、スピーカモードで、すなわち携帯電話機110をユーザの口115から遠く離して通話し、また、ユーザは、受話音声を電話機のスピーカで聞く。
・「低騒音」:図2は、携帯電話機110がユーザの口115から(例えば、〜30cm未満の)比較的近い距離に保持されている場合の、スピーカモードを概略的に示している。この場合、ユーザは、スピーカモードで通話するが、自身の口の近くに電話機を保持することで、環境騒音を克服し、受話を携帯電話機のスピーカで聞くことができるようにする。
・「騒音」:図3は、携帯電話機110とユーザの耳とが少なくとも1点で直接接触している場合の、ハンドヘルドモードを概略的に示している。この操作モードは、いかなるレベルの周囲騒音でも用いることができ、また、最も一般的な使用モードであるので、携帯電話機の通常の操作モードであると考えられる。とはいえ、この使用モードは、中騒音レベルから高騒音レベルの範囲の周囲騒音レベルである状況において、受話音声レベルを増加させるとともに、ユーザの音声レベルを周囲騒音レベルに対して相対的に増加させることで通話相手への騒音の影響を軽減するのに、最も適している。
・「高騒音」:図4は、電話機とユーザの耳120とが直接接触するように携帯電話機110が保持されると同時に、ユーザの耳に入る周囲騒音の影響を軽減するために他方の耳125がユーザにより閉じられている場合の、ハンドヘルドモードを概略的に示している。このモードは、高レベルの周囲騒音であるときに用いられる。
・「静寂モード」:図1は、モバイル機器がユーザの口から(例えば、〜30cmを超える)比較的大きな距離で離して保持されている場合の、スピーカモードを概略的に示している。このスピーカモードは、一般に、ゼロレベルの周囲騒音から低レベルの周囲騒音までの範囲において用いられる。この場合、ユーザは、スピーカモードで、すなわち携帯電話機110をユーザの口115から遠く離して通話し、また、ユーザは、受話音声を電話機のスピーカで聞く。
・「低騒音」:図2は、携帯電話機110がユーザの口115から(例えば、〜30cm未満の)比較的近い距離に保持されている場合の、スピーカモードを概略的に示している。この場合、ユーザは、スピーカモードで通話するが、自身の口の近くに電話機を保持することで、環境騒音を克服し、受話を携帯電話機のスピーカで聞くことができるようにする。
・「騒音」:図3は、携帯電話機110とユーザの耳とが少なくとも1点で直接接触している場合の、ハンドヘルドモードを概略的に示している。この操作モードは、いかなるレベルの周囲騒音でも用いることができ、また、最も一般的な使用モードであるので、携帯電話機の通常の操作モードであると考えられる。とはいえ、この使用モードは、中騒音レベルから高騒音レベルの範囲の周囲騒音レベルである状況において、受話音声レベルを増加させるとともに、ユーザの音声レベルを周囲騒音レベルに対して相対的に増加させることで通話相手への騒音の影響を軽減するのに、最も適している。
・「高騒音」:図4は、電話機とユーザの耳120とが直接接触するように携帯電話機110が保持されると同時に、ユーザの耳に入る周囲騒音の影響を軽減するために他方の耳125がユーザにより閉じられている場合の、ハンドヘルドモードを概略的に示している。このモードは、高レベルの周囲騒音であるときに用いられる。
携帯電話機ユーザは、音声通話でスピーカを使用すること(「スピーカモード」)を好む。スピーカモードを用いることは、ユーザが電話機と自身の耳との接触を強いられることなく、さらには、ユーザの頭部と電話機のアンテナとの間に距離が保たれるため、通常、より健康的であると考えられるので、非常に有利である。また、アップル社のSiriまたはGoogleナウのような音声コマンドまたは音声検索アプリケーションでは、ユーザは、自身のコマンドまたは質問に対するアプリケーションからのフィードバックを見たいので、自身の顔の前に電話機を保持している。
しかしながら、スピーカモードを用いることで、いくつかの課題が生じる。課題の1つは、エコーであり、すなわちモバイル機器のマイクロフォンにスピーカの音も「聞こえる」ことで、遠端側のユーザに、そのユーザ自身の声が再送されてエコーとして聞こえることである。エコーの影響を軽減するために、ニルマ大学(NIRMA University)のChintan A.Joshiによるプレゼンテーション(非特許文献1)で例示されるものなど、標準的な適応エコー除去技術を用いることができる。もう1つの課題は、ユーザの口と携帯電話機上にあるマイクロフォンとの距離が、通話中にかなり変化するということである。このことによって、騒音環境では、信号対ノイズ比(SNR)が著しく低減する可能性があり、これにより、遠端側での通話品質が極めて低くなり得る。また、携帯電話機のユーザには、受話音声が周囲騒音と合成されて聞こえることでSNRが低減し、受話が不明瞭に聞こえる。よって、騒音環境では、ユーザは、自身の耳にスピーカを近づけることで受話音量を増加させるため、(図3、4にあるように)携帯電話機を自身の耳に当てるか、または(図2にあるように)自身の口の近くに携帯電話機を移動させると予想される。副効果として、通話相手への送話音声レベルも増加し、通話相手にはSNRが向上した音声が聞こえる。
周囲騒音が中騒音または高騒音であって、ユーザが自身の耳に電話機を当てている場合のモードでは、本発明は、電話機が頭蓋骨と接触しているという事実を利用する。本発明では、骨伝導マイクロフォンとの併用で標準マイクロフォンのアレイを使用し、さらに信号プロセッサを用いる。プロセッサは、通話相手に聞こえる周囲騒音を大幅に除去することができるとともに、必要に応じて、通話相手に聞こえる背景騒音を完全に除去することができるプロセスによって、マイクロフォン(骨伝導マイクロフォンを含む)で拾ったすべての信号を処理する。
骨伝導マイクロフォンは、実際には骨振動検出器(「骨伝導検出器」とも呼ばれる)である。骨振動検出器は、携帯電話機のパネルと振動接触していなければならないので、それをパネルの一部として携帯電話機に組み込むことができ、あるいは、振動検出器の厳密な位置にとらわれることなく、骨振動検出器とパネルとが接触している限りにおいて、パネルの背後に組み込むことができる。図5は、骨振動検出器520が、パネル530のフレームの一部として、またはパネルの背後に組み込まれた、携帯電話機510のパネルを概略的に示している。骨振動検出器は、フロントパネルから遠く離して、例えば電話機のバッテリの隣に配置することができ、それでも、フロントパネルと振動接触していれば、本発明の効果が得られる。
本発明の一実施形態では、図3または4に概略的に示すように、電話機をユーザの頭蓋骨に接触させてユーザが発話しているときに生じる骨振動を検出するために、骨振動検出器を利用する。
図6Aは、電話機のパネル610とユーザの頭蓋骨615とを1点645で接触させて、ユーザが発話している場合の一例を示している。図6Bは、図6Aのユーザが保持している電話機の拡大図であり、フロントパネルを示すため、図6Aの使用姿勢から約90°回転している。ユーザの顔とパネルとの接触点645で、ユーザの声によって生じる骨振動630は、パネルガラスを通して振動検出器620に伝搬する。振動は、パネルに組み込まれるか、もしくは装着された、またはパネルの背後にある(骨伝導マイクロフォンである)骨振動検出器620によって検出される。拾われた振動は、ユーザによる発話を表している。この情報は、マイクロフォンのアレイからの情報と共に、ノイズ除去プロセスを改善するために用いられる。留意すべきことは、振動検出器の位置は、必ずしもユーザが自身の頭蓋骨に接触させる位置の背後である必要はなく、パネルが拾う振動はディスプレイパネル全体に伝搬するので、振動検出器はパネルにいずれかの位置で接触していれば十分であるということである。
本発明の別の実施形態では、振動検出器は、図2に概略的に示すようにパネルがユーザの口に十分に近いのであれば(例えば、〜30cm未満)、パネルがユーザの頭蓋骨に接触していないときのユーザの音声を検出する。この場合、音声によるパネルへの直接圧力によってパネルが振動し、このような振動が、パネル上またはパネルの下に配置された振動検出器によって検出される。図1に示すように、パネルがユーザの口から遠く離れている場合には、音声によるパネルへの直接圧力が小さすぎるので、振動検出器によって有意な振動は検出されない。当業者であれば理解できるように、話者の口と通信機器のパネルとの間の有効な距離は、電話機のモデルによって異なる。しかし、本発明では、向上した通話エクスペリエンスの形で、ユーザに直接フィードバックが提供されるので、それぞれのユーザは、自身の感覚で最高の性能が得られる発話距離を選択する。本発明のこの実施形態では、ユーザがスピーカモードを使用し、携帯電話機のパネルがユーザの口に十分接近している場合に、本発明により、様々なモードを監視するプロセッサは、信号プロセッサ、および骨振動検出器と併用される標準マイクロフォンのアレイを用いて通話相手へのノイズを低減するプロセスを起動するように、構成される。留意すべきことは、パネルは骨に接触していないものの、ユーザの口に十分に近いので、音声によるパネルへの直接圧力によってパネルが振動するということである。
プロセッサは、通話相手に聞こえる周囲騒音を大幅に除去することができるとともに、必要に応じて、通話相手に聞こえる背景騒音を完全に除去することができるプロセスによって、マイクロフォン(骨伝導マイクロフォンを含む)で拾ったすべての信号を処理する。
骨振動検出器(骨伝導マイクロフォン)は、パネルの一部として、またはパネルの背後でそれに装着して、携帯電話機に組み込むことができ、例えばバッテリケース内に組み込むことができる。既に上述したように、骨振動検出器の位置は、必ずしもユーザの口の前である必要はなく、パネルが拾う振動はディスプレイパネル全体に伝搬するので、骨振動検出器はパネルにいずれかの位置で接触していれば十分である。
本発明の別の実施形態では、ユーザが自身の耳に電話機を当てるとともに他方の耳を閉じている場合に、電話機が頭蓋骨に当てられているという事実を本発明で利用して、骨伝導マイクロフォンとしての骨振動検出器を使用することに加えて、本発明のシステムおよび装置では、電話機に組み込まれてユーザの頭蓋骨に接触する骨伝導スピーカを使用する。骨伝導スピーカは、受話音声をユーザに伝える。このように、本発明のシステムの別の利点は、標準スピーカと骨伝導スピーカとで同時に受話音声をユーザに伝えることで、耳に入る音声の音量を増加させることである。
図7は、例示的ケースを概略的に示しており、この場合、ユーザが右耳701に携帯電話機710を当てて、携帯電話機とユーザの頭蓋骨とは複数の点で接触している。従って、標準スピーカ705は、右側の耳の空気路を通してユーザに受話音声を伝える。同じくユーザの右側の頭蓋骨に接触している骨伝導スピーカ703は、異なる働きをする。これは頭蓋骨を振動させ、その音波715は骨を通して両耳701、702に伝搬する。この場合、電話機は頭蓋骨の右側にのみ接触しているにもかかわらず、ユーザには、両方の耳701および702に音声が聞こえる。本発明の一実施形態によれば、プロセッサは、両信号を解析および処理することで、両耳に聞こえる音声のバランスをとる。ユーザが両耳で音声を聞くということは、両耳で受話を聞くことになるので、受話音声の了解度が向上する。
本発明の別の実施形態において、電話機と接触していないほうの耳すなわち左側の耳702をユーザが閉じると、入り込む周囲騒音が減少し、また、閉鎖効果によって、左耳に伝搬される信号をブーストして、この耳でのSNRを大きく向上させる。当業者には明らかなように、1つのソースのみ用いる場合は、バランスを得ることはできない。機器を右側に当てると仮定すると、右側で聞こえる信号は、(骨を通した音の減衰によって)左側で聞こえるものよりもはるかに強く、こうしてアンバランスな信号が生成される。従って、ユーザは、主に右耳の信号を聞くことになる。1つのソースでバランスをとることは、振動体を頭頂部、前額部、または頸部に配置すれば原理的には可能であるが、これは、明らかに携帯電話機のユーザにとって現実的な解決策ではない。
本発明の別の実施形態では、上述のように、プロセッサは、携帯電話機の操作モードを自動的に解析して認識し、さらに、その独自の適切な動作モードを自動的に選択する。プロセッサは、操作モードが変更されるのに従って異なるプロセス間の切り替えを行い、上記のマイクロフォンおよび/またはスピーカ(標準および骨伝導)の一部またはすべてを用いて、最大のノイズ低減効果を得る。
図8は、本発明の一実施形態による携帯電話機800の典型的な構造の例を概略的に示している。本発明のシステムおよび装置は、電話機内の異なる箇所に配置することが可能なマルチ標準マイクロフォン810で構成される。図8では、携帯電話機800は、6つのマイクロフォン810を備えていることが分かる。しかし、必要に応じて、より多くのマイクロフォンを差し込んで用いる(図示せず)ことができ、またはそれらの一部のみとすることができる。例えば、電話機の底部のマイクロフォンと、電話機の上部にもう1つというように、異なる箇所に配置された2つのみのマイクロフォンを用いることができる。あるいは、2つのマイクロフォンを電話機の底部に配置することができ、または1つのマイクロフォンを電話機の底部に、もう1つを電話機の左側もしくは右側に配置することなどが可能である。マイクロフォン810は、デジタル接続またはアナログ接続801によってプロセッサ825に接続されている。標準スピーカ815および816は、デジタル接続またはアナログ接続801を介してプロセッサ825による入力を受ける。スピーカ815は、ハンドヘルドモードで、電話機がユーザの耳と接触しているときにイヤピース・スピーカとして用いられ、スピーカ816は、スピーカモードで用いられる。ディスプレイパネル802上の振動を検出する骨振動検出器805が、パネル802の一部として携帯電話機に組み込まれている。また、振動検出器805は、パネル802と振動検出器805とが振動接触している限りにおいて、パネルの背後に配置する(図示せず)こともできる。ユーザが発話するときに電話機を自身の頭蓋骨に接触させると、ユーザの声によって生じる骨振動が電話機のパネル802に伝わり、これに応じて振動し、このパネルの振動803が、振動検出器805によって検出される。拾われた振動は、発話者による音声を表している。典型的な振動検出器は、声の振動を検出できる圧電素子を用いて構成するか、またはゴムで覆われた標準マイクロフォンで構成することができ、その場合、ゴムをパネルのガラスに接触させる。振動検出器805の出力は、デジタル接続またはアナログ接続801によってプロセッサ825に供給される。さらに、近接検出器804が電話機のパネルに組み込まれて、ユーザが自身の頬の近くに電話機を保持しているかどうかを検出するために用いられる。近接検出器は、タッチスクリーンパネルを備える携帯電話機の多くで見ることができる。近接検出器804の出力は、デジタル接続またはアナログ接続801を介してプロセッサ825に供給される。
留意すべきことは、振動検出器の位置は、必ずしもユーザが自身の頭蓋骨に接触させる位置の背後である必要はなく、パネルが拾う振動はディスプレイパネル全体に伝搬するので、振動検出器はパネルにいずれかの位置で接触していれば十分であるということである。
電話機800には骨伝導スピーカ820が組み込まれており、骨伝導スピーカ820は、ハンドヘルドモードにおいてユーザの頭蓋骨と接触するように、電話機800の上部に配置されている。音声信号が、プロセッサ825からデジタル接続またはアナログ接続801を介してスピーカ820に供給される。骨伝導スピーカ820は、受話音声をユーザ伝える。本発明のシステムでは、受話音声をスピーカ815と骨伝導スピーカ820から同時に、ユーザに伝える。従って、携帯電話機とユーザの頭蓋骨とが接触しているハンドヘルドモードでは、標準スピーカ815は、右側の耳の空気路を通してユーザに受話音声を伝える。同じくユーザの頭蓋骨に接触している骨伝導スピーカは、頭蓋骨を振動させ、その音波は骨を通して両耳に伝搬する。この場合、電話機は頭蓋骨の片側にのみ接触しているにもかかわらず、ユーザには、両方の耳に音声が聞こえる。プロセッサ825は、両信号を処理することで、両耳に聞こえる音声のバランスをとる。ユーザが両耳で音声を聞くということは、両耳で受話を聞くことになるので、受話音声の了解度が向上する。さらに、携帯電話機と接触していないほうの耳をユーザが閉じると、入り込む周囲騒音が減少し、また、閉鎖効果によって、携帯電話機に接触していないほうの耳に骨を通して伝搬される信号をブーストして、この耳でのSNRを大きく向上させる。
プロセッサ825は、ARMプロセッサまたはDSPプロセッサのような処理能力を持つ専用プロセッサとすることができ、それは、接続801とのインタフェースを有するものである。あるいは、プロセッサ825は、アプリケーションプロセッサまたはベースバンドプロセッサに実装することができ、それらは、現在多くの携帯電話機で見られるものである。
本発明の一実施形態では、プロセッサ825は、ユーザによる操作モードを、すなわち以下の4つのモードのうちユーザが実行しているモードを、検出する。
・ケースI.携帯電話機がユーザの口から遠く離れている場合の、スピーカモード
・ケースII.携帯電話機がユーザの口の近くにある場合の、スピーカモード
・ケースIII.ユーザの耳、ユーザの頭蓋骨と電話機とが接触している場合の、ハンドヘルドモード
・ケースIV.ユーザの耳、ユーザの頭蓋骨と電話機とが接触し、同時にユーザの他方の耳がユーザの手または他の手段で閉じられている場合の、ハンドヘルドモード
・ケースI.携帯電話機がユーザの口から遠く離れている場合の、スピーカモード
・ケースII.携帯電話機がユーザの口の近くにある場合の、スピーカモード
・ケースIII.ユーザの耳、ユーザの頭蓋骨と電話機とが接触している場合の、ハンドヘルドモード
・ケースIV.ユーザの耳、ユーザの頭蓋骨と電話機とが接触し、同時にユーザの他方の耳がユーザの手または他の手段で閉じられている場合の、ハンドヘルドモード
操作モードが検出されたら、プロセッサは、検出されたモードに適したプロセスを実行する。ユーザの操作モードを確認するための様々な方法があり、例えば、プロセッサ825は、振動検出器805と近接検出器804の出力である2つの信号を解析する。また、ユーザがスピーカモードであるかハンドヘルドモードであるかについて、アプリケーションプロセッサからの指標を用いることも考えられるが、ただし、音声コマンドアプリケーションの場合には、そのような指標が必ずしも利用できるとは限らないケースもある。本例では、振動検出器805と近接検出器804の出力のみを使用し、これらは接続801を介してプロセッサ825に供給される。近接検出器804を用いて、ユーザが自身の頬の近くに電話機を保持しているかどうかを検出する。電話機がユーザの頬の近くに保持されている場合、それは電話機がハンドヘルドモードで使用されていることを意味し、そしてこの操作モードでは、パネルは節電のためにシャットダウンされる。プロセッサは、この情報を、図9に示すようにして用いる。
図9は、本発明の一実施形態による方法の概略フローチャートである。この方法900は、ユーザが携帯電話機で音声通話を作動させると起動される。最初のステップ905では、振動検出器805から受け取った骨信号のエネルギーである、信号Energy‐bone(n)が、次のようにローパスフィルタでフィルタリングされる。
(数1)
Ebone(n)=α*Ebone(n−1)+(1−α)*Energy‐bone(n)
Ebone(n)=α*Ebone(n−1)+(1−α)*Energy‐bone(n)
結果であるEbone(n)が所定の閾値TH1よりも小さい場合、それは骨信号が検出されないこと、すなわち電話機がユーザの口から遠く離れていることを意味し、これは、使用モードが「ケースI」のスピーカモードであることを意味する。この場合、使用モードが検出されたことになる。一方、結果であるEbone(n)が所定の閾値よりも大きい場合、それは発話者の声を骨振動検出器が検出していることを意味する。その場合、「ケースII」「ケースIII」または「ケースIV」である可能性があるので、使用モードは検出されておらず、従って、ステップ910が実行される。ステップ910では、近接基準をチェックする。近接基準がオフである場合、それは電話機がユーザの顔に接触していないことを意味する。従って、このステップで検出される使用モードは、「ケースII」のスピーカモードである。近接基準がオンの場合は、ステップ915が実行される。ステップ915では、近接がオンであり、よって、それは使用モードが「ケースIII」または「ケースIV」のいずれかであることを意味する。環境騒音レベル「Noise_Level」が所定の閾値TH2未満である場合には、騒音がそれほど高くはないことを意味し、ユーザは自身の使わないほうの耳を閉じなくてもよい。その場合、検出された使用モードは、「ケースIII」である。Noise_Levelが所定の閾値TH2よりも大きい場合、それはユーザが高騒音環境にあることを意味し、この場合、システムは、骨スピーカをアクティブにして、それがアクティブにされたことを標示し、例えば音声プロンプトまたは短いビープ音によって、他方の耳を閉じることを勧める。さらに、システムは、バランス制御ボタン806を用いて両耳での音のバランスを調整する機能をユーザに提供する。
それぞれの動作モードでは、ユースケースに基づき、異なるノイズ除去方法が用いられる。各ケースでの典型的なプロセスの例について以下で説明する。留意すべきことは、本発明は、本明細書で記載する特定の例示的な方法に決して限定されないということであり、異なる方法を用いることも可能である。
[ケースIのプロセスの例]
「ケースI」は、携帯電話機がユーザの口から遠く離れている場合の、標準スピーカモードである。この場合は、周囲騒音は極めて低いと推定されるので、プロセッサ825は、スピーカにより生成されるエコーを除去するために実行される何らかの標準的なエコー除去プロセスを起動することに加えて、電話機800の底部に配置された1つのマイクロフォン810をアクティブにする。留意すべきことは、例えば2つのマイクロフォンまたはさらに多くの、異なる数のマイクロフォン810をアクティブにすることもできるということである。また、標準的なノイズ除去方法を実行することもできる。
「ケースI」は、携帯電話機がユーザの口から遠く離れている場合の、標準スピーカモードである。この場合は、周囲騒音は極めて低いと推定されるので、プロセッサ825は、スピーカにより生成されるエコーを除去するために実行される何らかの標準的なエコー除去プロセスを起動することに加えて、電話機800の底部に配置された1つのマイクロフォン810をアクティブにする。留意すべきことは、例えば2つのマイクロフォンまたはさらに多くの、異なる数のマイクロフォン810をアクティブにすることもできるということである。また、標準的なノイズ除去方法を実行することもできる。
[ケースIIのプロセスの例]
ケースIIは、携帯電話機がユーザの口の近くにある場合の、標準スピーカモードである。このモードの場合は、周囲騒音レベルが、低〜中騒音レベルの範囲であると推定される。この場合、ユーザは、スピーカモードで通話するが、環境騒音を克服し、受話をスピーカで聞くことができるようにするため、携帯電話機を自身の口の近くに保持する。本発明の一実施形態によれば、プロセッサは、電話機内の異なる箇所に配置された2つ以上のマイクロフォン810を使用し、さらに、電話機のディスプレイパネル802上で音声振動を検出する骨振動検出器805を使用する。ユーザが発話するときに自身の口を電話機のディスプレイパネルに近づけると、ユーザの声によって生じる振動が電話機のパネルに伝わり、それに応じて振動する。この振動は、電話機に組み込まれるか、またはパネルに装着された、振動検出器805によって検出される。拾われた振動は、発話者による音声を表している。留意すべきことは、センサ805は、ユーザによる振動を検出しやすく、これに比して周囲騒音は、はるかに検出しにくいということである。このことについて詳述はしないが、これは実験的に確認されたことであって、主な理由は、電話機のパネルに垂直に衝突する波のみが、振動検出器によって検出される十分な振動を発生させるためであろうと考えられている。多くの場合、周囲騒音のかなりの部分は、電話機のパネルに垂直に衝突することはなく、従って、その振動が検出される騒音の量は、全騒音と比較して著しく少ない。
ケースIIは、携帯電話機がユーザの口の近くにある場合の、標準スピーカモードである。このモードの場合は、周囲騒音レベルが、低〜中騒音レベルの範囲であると推定される。この場合、ユーザは、スピーカモードで通話するが、環境騒音を克服し、受話をスピーカで聞くことができるようにするため、携帯電話機を自身の口の近くに保持する。本発明の一実施形態によれば、プロセッサは、電話機内の異なる箇所に配置された2つ以上のマイクロフォン810を使用し、さらに、電話機のディスプレイパネル802上で音声振動を検出する骨振動検出器805を使用する。ユーザが発話するときに自身の口を電話機のディスプレイパネルに近づけると、ユーザの声によって生じる振動が電話機のパネルに伝わり、それに応じて振動する。この振動は、電話機に組み込まれるか、またはパネルに装着された、振動検出器805によって検出される。拾われた振動は、発話者による音声を表している。留意すべきことは、センサ805は、ユーザによる振動を検出しやすく、これに比して周囲騒音は、はるかに検出しにくいということである。このことについて詳述はしないが、これは実験的に確認されたことであって、主な理由は、電話機のパネルに垂直に衝突する波のみが、振動検出器によって検出される十分な振動を発生させるためであろうと考えられている。多くの場合、周囲騒音のかなりの部分は、電話機のパネルに垂直に衝突することはなく、従って、その振動が検出される騒音の量は、全騒音と比較して著しく少ない。
このモードでは、ユーザが、通話中に、ユーザの口に対する電話機の位置を変えることがある。電話機がユーザの口に十分に近いときには、805によって検出される音声レベルは強く、そのエネルギーEboneは、所定の閾値TH1よりも大きい。もしユーザが通話中に、電話機の位置を口から遠ざけるように変更すると、エネルギーEboneは減少し、閾値TH1未満となり得る。これは、騒音環境では望ましくない。このような状況を解消するために、本発明の一実施形態では、プロセッサ825は、携帯電話機が口からどれほど離れているかをユーザに通知する。その標示は、通話中の音声アノテーションによるものとすることができ、あるいは、エネルギーEboneの強度をユーザに示すバーを表示するように、プロセッサがパネルコントローラにコマンドを送ることができる。この標示は、ユーザへのフィードバックとして機能し、ユーザの口から電話機までの距離が望ましい距離と合致しているかどうかをユーザに示すものである。
もしユーザが、自身の口から遠くに携帯電話機を保持し、上記視覚標示または音声標示にもかかわらず、電話機の位置を変えない場合には、本発明のこの特定の実施形態では、システムは、新たな使用モードを自動的に認識して、これにより、ユーザの使用モードをケースIとして扱うように自動的に切り替えおよび調整を行うように構成されている。
2つの標準マイクロフォン810と骨振動検出器805とを用いた送話音声のノイズ除去の一例は、以下の式で定式化することができる。
2つの標準マイクロフォンM1(n)およびM2(n)で検出される信号は、次の式で記述することができる。
(数2)
M1(n)=s(n)+d(n)+n1(n)
M1(n)=s(n)+d(n)+n1(n)
(数3)
M2(n)=α(n)*s(n)+β(n)*d(n)+n2(n)
M2(n)=α(n)*s(n)+β(n)*d(n)+n2(n)
ここで、
s(n)は、近端のユーザによって生成される音声であり、
d(n)は、近端での周囲騒音であり、
n1(n)、n2(n)は、ピックアップ装置のノイズであり、
α(n)は、M1に比して音声が経るフィルタであり、
β(n)は、M1に比して騒音が経るフィルタであり、
*は、畳み込みを表す。
s(n)は、近端のユーザによって生成される音声であり、
d(n)は、近端での周囲騒音であり、
n1(n)、n2(n)は、ピックアップ装置のノイズであり、
α(n)は、M1に比して音声が経るフィルタであり、
β(n)は、M1に比して騒音が経るフィルタであり、
*は、畳み込みを表す。
典型的な805のような振動検出器は、一部の音声周波数についてユーザによる振動を検出しやすく、これに比して周囲騒音は、はるかに検出しにくいものである。よって、振動検出器805(すなわち骨伝導マイクロフォン)の信号M3(n)は、次のように記述することができる。
(数4)
M3(n)=χ(n)*s(n)+n3(n)
M3(n)=χ(n)*s(n)+n3(n)
ここで、χ(n)は、振動センサ特性をモデル化したローパスフィルタであり、n3(n)は、振動センサのノイズである。
従って、次のようになる。
M1(n)=s(n)+d(n)+n1(n)
M2(n)=α(n)*s(n)+β(n)*d(n)+n2(n)
M3(n)=χ(n)*s(n)+n3(n)
M1(n)=s(n)+d(n)+n1(n)
M2(n)=α(n)*s(n)+β(n)*d(n)+n2(n)
M3(n)=χ(n)*s(n)+n3(n)
本発明のこの特定の実施形態によれば、目標は、原音声s(n)と周囲騒音d(n)とを推定することであり、それらは、それぞれS^(n)およびd^(n)と表記される。
S^(n)は、遠端のユーザに伝送される「クリーン音声」信号である。s(n)は、様々な周知のMMSE(最小平均2乗誤差)法により推定することができる。
S^(n)およびd^(n)を計算する別の方法は、以下の通りである。最初に、S^(n)が次の式で推定される。
(数5)
S^(n)=h1(n)*M1(n)+h2(n)*M2(n)+h3(n)*M3(n)
S^(n)=h1(n)*M1(n)+h2(n)*M2(n)+h3(n)*M3(n)
e(n)は、推定誤差を表し、すなわち、次のようになる。
(数6)
e(n)=S^(n)−s(n)
e(n)=S^(n)−s(n)
よって、平均2乗誤差Jは、次のようになる。
(数7)
J=E(e2)
J=E(e2)
(数8)
J=E{[h1(n)*M1(n)+h2(n)*M2(n)+h3(n)*M3(n)−s(n)]2}
J=E{[h1(n)*M1(n)+h2(n)*M2(n)+h3(n)*M3(n)−s(n)]2}
E{}は、平均演算子である。
よって、次のようになる。
(数9)
∂J/∂hi=2e(n)Mi(n)
∂J/∂hi=2e(n)Mi(n)
ただし、i=1,2,3
上記の式に従って、h1(n)、h2(n)、h3(n)は、LMS適応プロセスによって計算することができる。
(数10)
hi(n+1)=hi(n)+μ・e*(n)・Mi(n)
hi(n+1)=hi(n)+μ・e*(n)・Mi(n)
ただし、i=1,2,3
留意すべきことは、適応プロセス中に、近端のユーザが無音、すなわちs(n)=0である期間があることである。この期間では、フィルタのうち1つ(例えば、h1(n))を凍結させる必要があり、そうでなければ、適応の結果が、h1(n)=h2(n)=h3(n)=0となり、これは望ましくない解である。
図10は、原音声s(n)と周囲騒音d(n)とを推定するシステムを概略的に示している。システム1000は、2つの主要ブロック1001と1005で構成される。1001では、信号s(n)とd(n)を推定し、それらは、S^(n)およびd^(n)と表記される。1005は、フィルタh1(n)、h2(n)、h3(n)の値を更新するブロックである。
M1(n)が1010に供給され、M2(n)が1020に供給され、M3(n)が1030に供給されて、これら3つのフィルタの出力の和はS~(n)であり、ただし、Hk(z)は、hk(n),k=1,3、のZ変換である。マルチプレクサ1050は、処理されるフレームに応じて、S^(n)の最終推定を選択する。音声フレームの場合は、S^(n)=S~(n)であり、それ以外の場合は、S^(n)=0である。フレームが音声フレームであるか無音フレームであるかの判定は、図11に示すように計算される。
適応プロセスは、∂J/∂hi=2e(n)Mi(n),i=1,2,3、に基づくので、推定誤差を計算する必要がある。
適切な誤差は、マルチプレクサ1055によって選択される。音声フレームでの誤差は、フィルタ1040を用いて計算され、それは次のようになる。
(数11)
e~(n)≒ γ^(n)*S~(n)−M3(n)
e~(n)≒ γ^(n)*S~(n)−M3(n)
無音フレームでは、誤差信号は、S~(n)である。
留意すべきことは、音声/無音フレームの切り替わりは、1010、1020、1030における適応重み(ステップサイズ)を変更するために用いることもできるということである。1000のすべてのプロセスは、プロセッサ825に実装することができる。
無音での適応を回避するために、音声検出機構が用いられる。図11は、音声検出機構の一例を示す概略フローチャートを示している。振動検出器805は、Tミリ秒(ms)の音声フレームごとに、信号M3(n)を検出する。M3(n)は、ローパス・バージョンの音声信号と振動センサの固有ノイズn3(n)とが合成されたものである。検出器805は、ローパス・バージョンの音声信号を検出できるが、周囲騒音はほとんど検出しないので、検出器805により検出される周囲騒音は無視できる程度である。従って、M3(n)のエネルギーを所定の閾値TH1と比較することによって、ユーザが発話しているか否かを判定することができる。M3(n)のエネルギーがTH1を超えている場合には、検出器805は、音声信号があることを宣言し、その出力は1である。M3(n)のエネルギーがTH1よりも低い場合には、音声信号はなく、その出力は0である。当業者に周知の他の機構を用いることもできる。このプロセスは、プロセッサ825によって実施することができる。
多くの場合、通話中のユーザが、自身の携帯電話機でノイズ低減プロセスを作動させて騒音環境で発話している場合に、低減された騒音量についての、すなわち自身の送話音声からどのくらい周囲騒音が除去されたのかについての指標は、得られない。本発明は、一実施形態において、低減された騒音量の指標として推定誤差e(n)を用いる。この情報を、例えばいくつかのバーによって、携帯電話機のパネルに表示される視覚標示として用いることができる。完全なバーは良好な除去を示し、小さなバーは不十分な除去を示す。あるいは、可聴標示を用いることもできる。
[ケースIIIのプロセスの例]
このケースは、ユーザが自身の片方の耳に電話機を当てている場合の通常モードであって、この場合、周囲騒音レベルは中〜高騒音レベルの範囲にあるか、または、騒音はないがユーザがこのモードを好んで使用している。中〜高騒音レベルの場合には、ユーザは自身の片方の耳に電話機を当てることで、受話音声レベルを増加させるとともに、発話者の音声レベルを周囲騒音レベルに対して相対的に増加させることで通話相手への騒音の影響を軽減する。
このケースは、ユーザが自身の片方の耳に電話機を当てている場合の通常モードであって、この場合、周囲騒音レベルは中〜高騒音レベルの範囲にあるか、または、騒音はないがユーザがこのモードを好んで使用している。中〜高騒音レベルの場合には、ユーザは自身の片方の耳に電話機を当てることで、受話音声レベルを増加させるとともに、発話者の音声レベルを周囲騒音レベルに対して相対的に増加させることで通話相手への騒音の影響を軽減する。
このケースの例として、本発明の一実施形態において、プロセッサ825は、電話機内の異なる箇所に配置された2つのマイクロフォン810を使用し、さらに振動検出器805を使用する。ユーザが発話するときに自身の頭蓋骨に電話機を接触させると、ユーザの声によって生じる骨振動が電話機のパネルに伝わり、これに応じて振動する。この振動は、パネルに組み込まれるか、またはパネル802と接触した振動検出器805によって検出される。拾われた振動は、発話者による音声を表している。留意すべきことは、検出器805は、ユーザによる振動を検出しやすく、これに比して周囲騒音は、はるかに検出しにくいということである。プロセッサ825は、これら3つの信号を、「ケースII」で用いた方法と同様にして異なる適応パラメータで処理するように構成される。
[ケースIVのプロセスの例]
このケースは、ユーザが高い周囲騒音レベルで受話する場合の通常モードであり、従って、自身の片方の耳に電話機を当てると同時に、他方の耳を自身の手もしくは他の手段で閉じている。この場合、本発明では、骨伝導マイクロフォンすなわち振動検出器805との併用で標準マイクロフォン810のアレイを使用し、さらに、骨伝導スピーカ820と、信号プロセッサ825を使用する。プロセッサは、遠端のユーザのために騒音を除去する。また、プロセッサは、受話の了解度も向上させる。騒音を除去するために、プロセッサは、振動検出器805との併用で標準マイクロフォン810のアレイを使用し、また、プロセスは上記のケースIIIで記載したものと同様で、一部のパラメータが、高レベルの周囲騒音に合わせて調整される。
このケースは、ユーザが高い周囲騒音レベルで受話する場合の通常モードであり、従って、自身の片方の耳に電話機を当てると同時に、他方の耳を自身の手もしくは他の手段で閉じている。この場合、本発明では、骨伝導マイクロフォンすなわち振動検出器805との併用で標準マイクロフォン810のアレイを使用し、さらに、骨伝導スピーカ820と、信号プロセッサ825を使用する。プロセッサは、遠端のユーザのために騒音を除去する。また、プロセッサは、受話の了解度も向上させる。騒音を除去するために、プロセッサは、振動検出器805との併用で標準マイクロフォン810のアレイを使用し、また、プロセスは上記のケースIIIで記載したものと同様で、一部のパラメータが、高レベルの周囲騒音に合わせて調整される。
受話の了解度を向上させるために、プロセッサは、標準スピーカ815に加えて、ユーザの頭蓋骨と接触するように携帯電話機に組み込まれた骨伝導スピーカ820をアクティブにする。
骨伝導スピーカは、受話音声をユーザに伝える。本発明のシステムでは、標準スピーカ815と骨伝導スピーカ820とが同時に、受話音声をユーザに伝える。ユーザが自身の片方の耳に電話機を当てると、標準スピーカは、そちら側の耳の空気路を通して受話音声をユーザに伝える。同じくユーザの頭蓋骨に当てられている骨伝導スピーカ820は、異なる働きをして、頭蓋骨を振動させ、その音波は骨を通して両耳に伝搬する。この場合、ユーザは、電話機を右側にのみ当てているにもかかわらず、両耳に音声が聞こえる。本発明の一実施形態によれば、プロセッサは、両信号を処理することで、両耳に聞こえる音声のバランスをとる。ユーザが両耳で音声を聞くということは、両耳で受話を聞くことになるので、受話音声の了解度が向上する。さらに、電話機と接触していないほうの耳をユーザが閉じると、その耳に入り込む周囲騒音が減少し、また、閉鎖効果によって、電話機に接触していないほうの耳に伝搬される受話音声信号をブーストして、この耳でのSNRを大きく向上させる。
両耳でのバランスをとるために、プロセッサによって作動させる典型的なプロセスは、以下のように説明される。
両方のスピーカ815および820が頭蓋骨の片側に接触しており、受話音声が標準スピーカ815と骨伝導スピーカ820とでユーザに注入されることから、電話機と接触している側では、標準マイクロフォン音声信号と骨伝導音声信号との和の信号、すなわち以下の信号Sr(n)が聞こえる。
(数12)
Sr(n)=Ar(n)*S(n)+Br(n)*S(n)
Sr(n)=Ar(n)*S(n)+Br(n)*S(n)
ここで、Bl(n)およびBr(n)は、音声信号s(n)が骨への接触点からユーザの左側と右側の耳へ伝搬する間に経る減衰フィルタである。Br(n)とBl(n)は全周波数帯域にわたって一定であると、すなわち、fは周波数を表すとしてBr(f)=BrかつBl(f)=Blであると、仮定する。Arは、両耳の音量のバランスをとるために用いることができる標準スピーカの調整可能な利得である。
Sl(n)は、骨によって注入される音声信号s(n)により、携帯電話機に接触していないほうの耳に聞こえる受話音声信号であり、これは、携帯電話機に接触している側の骨への接触点から、携帯電話機に接触していないほうの耳に伝搬するので、次のようになる。
(数13)
Sl(n)=Bl(n)*S(n)
Sl(n)=Bl(n)*S(n)
伝搬されて携帯電話機に接触していないほうの耳に達する骨信号は、ユーザが、携帯電話機に接触していないほうの自身の耳を閉じることによって、利得Goでブーストされ、このブーストは当技術分野では周知であり、閉鎖効果と呼ばれる。
よって、次のようになる。
(数14)
Sl(n)=GoBl(n)*S(n)
Sl(n)=GoBl(n)*S(n)
両耳で同レベルの音声が聞こえるためには、Arは、以下の式を満たすように選択されなければならない。
(数15)
ArS(f)+BrS(f)=GoBlS(f)
ArS(f)+BrS(f)=GoBlS(f)
すなわち、次のようになる。
(数16)
Ar=GoBl−Br
Ar=GoBl−Br
BlおよびBrは、ユーザでの音声骨伝導に依存するパラメータであり、従って、バランスを得るためには、校正プロセスにおいて対処することができ、あるいは、ユーザがバランスを両耳で同じ音量に聞こえる点に変更することを可能にするバランスボタン806がシステムに追加される。
ケースIVでは、骨伝導スピーカと骨伝導マイクロフォンを同時にアクティブにしたときに、骨伝導マイクロフォンが骨スピーカ信号を検出して、これが骨伝導マイクロフォンの品質に影響する可能性があることに留意しなければならない。骨伝導スピーカの影響を軽減するために、既知の骨伝導スピーカ信号と、ユーザの声と骨伝導スピーカ信号との和を拾う骨伝導マイクロフォン信号との間で、標準的なエコー除去技術を作動させる。
本発明の実施形態について例示により説明したが、当然のことながら、本発明は、請求項の範囲から逸脱することなく、数多くの変形、変更、および適応を加えて、実施することができる。
Claims (16)
- 電子部品を収容する本体と、ディスプレイを有するフロントパネルと、を備えるモバイル通信機器であって、少なくとも1つの標準マイクロフォンと、当該機器の前記フロントパネルに振動接続させて配置された振動センサと、をさらに備える、モバイル通信機器。
- 骨伝導スピーカをさらに備える、請求項1に記載のモバイル通信機器。
- 前記振動センサは、前記フロントパネルに装着されている、請求項1に記載のモバイル通信機器。
- 当該モバイル通信機器のユーザがそれを、
i)ユーザの口から該機器を遠ざけた状態での「スピーカモード」
ii)ユーザの口に該機器を近づけた状態での「スピーカモード」
iii)ユーザの片方の耳に該機器を接触させた状態での「ハンドヘルドモード」
iv)ユーザの片方の耳に該機器を接触させるとともに、他方の耳を閉じた状態での「ハンドヘルドモード」、のうち、
いずれか1つのモードで操作しているという判定の結果として、異なる動作をするように構成されたプロセッサを備える、請求項1に記載のモバイル通信機器。 - 前記モードはi)であって、前記プロセッサは、1つまたは複数の標準マイクロフォンをアクティブにする、請求項4に記載のモバイル通信機器。
- 前記モードはii)もしくはiii)であって、前記プロセッサは、当該通信機器内の2つの異なる箇所に配置された2つ以上の標準マイクロフォンをアクティブにし、さらに、当該機器のパネル上でユーザの音声によって生じる振動を検出するように配置された振動検出器を作動させる、請求項4に記載のモバイル通信機器。
- 前記モードはiv)であって、前記プロセッサは、2つ以上の標準マイクロフォン、振動検出器、および骨伝導スピーカをアクティブにする、請求項5に記載のモバイル通信機器。
- 骨伝導スピーカがアクティブにされたときに、前記プロセッサは、両耳で略同じ強度の音声をユーザに提供するように、耳に伝わる信号のバランスをとるように構成されている、請求項1に記載のモバイル通信機器。
- 電話機がユーザの口から所定値よりも大きい距離離れた位置にあることをユーザに警告するのに適したインジケータが設けられている、請求項1に記載のモバイル通信機器。
- 前記インジケータは、音響信号を提供する、請求項9に記載のモバイル通信機器。
- 前記インジケータは、視覚信号を提供する、請求項9に記載のモバイル通信機器。
- 会話中のユーザにノイズ低減レベルの標示を提供するのに適したノイズ低減インジケータが設けられている、請求項1に記載のモバイル通信機器。
- 電子部品を収容する本体と、ディスプレイを有するフロントパネルと、を備えるモバイル通信機器を動作させる方法であって、前記モバイル通信機器は、少なくとも1つの標準マイクロフォンと、該機器の前記フロントパネルに振動接続させて配置された振動センサと、をさらに備え、当該方法は、前記モバイル通信機器のユーザがそれを、
i)ユーザの口から該機器を遠ざけた状態での「スピーカモード」
ii)ユーザの口に該機器を近づけた状態での「スピーカモード」
iii)ユーザの片方の耳に該機器を接触させた状態での「ハンドヘルドモード」
iv)ユーザの片方の耳に該機器を接触させるとともに、他方の耳を閉じた状態での「ハンドヘルドモード」、のうち、
いずれか1つのモードで操作しているという判定の結果として、異なる動作をするように構成されたプロセッサを設けることを含む、方法。 - 前記モードはi)であって、前記プロセッサは、1つまたは複数の標準マイクロフォンをアクティブにする、請求項13に記載の方法。
- 前記モードはii)もしくはiii)であって、前記プロセッサは、該通信機器内の2つの異なる箇所に配置された2つ以上の標準マイクロフォンをアクティブにし、さらに、該機器のパネル上でユーザの音声によって生じる振動を検出するように配置された振動検出器を作動させる、請求項13に記載の方法。
- 前記モードはiv)であって、前記プロセッサは、2つ以上の標準マイクロフォン、振動検出器、および骨伝導スピーカをアクティブにする、請求項13に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261605287P | 2012-03-01 | 2012-03-01 | |
US61/605,287 | 2012-03-01 | ||
PCT/IL2013/050164 WO2013128442A1 (en) | 2012-03-01 | 2013-02-25 | A method and system for improving voice communication experience in mobile communication devices |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015513854A true JP2015513854A (ja) | 2015-05-14 |
Family
ID=49081735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014559345A Pending JP2015513854A (ja) | 2012-03-01 | 2013-02-25 | モバイル通信機器での音声通信エクスペリエンスを向上させるための方法およびシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20140364171A1 (ja) |
EP (1) | EP2820861A4 (ja) |
JP (1) | JP2015513854A (ja) |
KR (1) | KR20140145108A (ja) |
CN (1) | CN103718568A (ja) |
WO (1) | WO2013128442A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9143875B2 (en) * | 2013-09-09 | 2015-09-22 | Nokia Technologies Oy | Determination of ambient sound processed audio information |
CN103778909B (zh) * | 2014-01-10 | 2017-03-01 | 瑞声科技(南京)有限公司 | 屏幕发声系统及其控制方法 |
US9832293B2 (en) * | 2014-06-10 | 2017-11-28 | Sharp Kabushiki Kaisha | Audio transmission device with display function |
CN203951519U (zh) * | 2014-07-04 | 2014-11-19 | 阿里巴巴集团控股有限公司 | 一种移动通信终端 |
KR101694592B1 (ko) | 2014-11-18 | 2017-01-09 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 골전도 스피커를 이용하는 착용형 장치 |
US9420391B2 (en) * | 2014-12-02 | 2016-08-16 | Infineon Technologies Ag | Microphone configuration and calibration via supply interface |
CN104658536A (zh) * | 2015-03-09 | 2015-05-27 | 深圳酷派技术有限公司 | 录音方式切换方法、录音方式切换系统和终端 |
US10097912B2 (en) * | 2015-03-27 | 2018-10-09 | Intel Corporation | Intelligent switching between air conduction speakers and tissue conduction speakers |
US11587559B2 (en) * | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
EP3157266B1 (en) * | 2015-10-16 | 2019-02-27 | Nxp B.V. | Controller for a haptic feedback element |
CN106231088B (zh) * | 2016-07-27 | 2019-12-10 | 宇龙计算机通信科技(深圳)有限公司 | 一种语音通话的方法、装置及终端 |
CN106254599A (zh) * | 2016-08-29 | 2016-12-21 | 苏州攀特电陶科技股份有限公司 | 一种移动设备 |
US10917180B2 (en) * | 2018-07-24 | 2021-02-09 | Comcast Cable Communications, Llc | Controlling vibration output from a computing device |
WO2020036534A1 (en) * | 2018-08-13 | 2020-02-20 | Audio Zoom Pte Ltd | Transducer apparatus embodying non-audio sensors for noise-immunity |
US10923097B2 (en) | 2018-08-20 | 2021-02-16 | Cirrus Logic, Inc. | Pinna proximity detection |
US10631075B1 (en) * | 2018-11-12 | 2020-04-21 | Bose Corporation | Open ear audio device with bone conduction speaker |
WO2021061055A1 (en) * | 2019-09-26 | 2021-04-01 | Audio Zoom Pte Ltd | Transducer apparatus: positioning and high signal-to-noise-ratio microphones |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5559570A (en) * | 1993-05-24 | 1996-09-24 | Nikon Corporation | Camera having an anti-vibration device with improved positioning of anti-vibration sensors |
GB2377581B (en) * | 2001-07-10 | 2005-01-19 | New Transducers Ltd | Communication device using bone conduction |
US7142666B1 (en) * | 2002-10-31 | 2006-11-28 | International Business Machines Corporation | Method and apparatus for selectively disabling a communication device |
US20040208325A1 (en) * | 2003-04-15 | 2004-10-21 | Cheung Kwok Wai | Method and apparatus for wireless audio delivery |
CA2535671A1 (en) * | 2004-01-16 | 2005-07-28 | Temco Japan Co., Ltd. | Portable telephone using bone conduction device |
US8965460B1 (en) * | 2004-01-30 | 2015-02-24 | Ip Holdings, Inc. | Image and augmented reality based networks using mobile devices and intelligent electronic glasses |
US7499686B2 (en) * | 2004-02-24 | 2009-03-03 | Microsoft Corporation | Method and apparatus for multi-sensory speech enhancement on a mobile device |
EP1816829A4 (en) * | 2004-12-02 | 2009-09-09 | Panasonic Corp | PORTABLE TERMINAL APPARATUS |
JP2007003702A (ja) * | 2005-06-22 | 2007-01-11 | Ntt Docomo Inc | 雑音除去装置、通信端末、及び、雑音除去方法 |
US8255018B2 (en) * | 2006-04-04 | 2012-08-28 | Plaster Morgan J | Global positioning system (GPS) enabled apparatus for carrying objects and method therefor |
EP2294835A4 (en) * | 2008-05-22 | 2012-01-18 | Bone Tone Comm Ltd | METHOD AND SYSTEM FOR PROCESSING SIGNALS |
JP5167961B2 (ja) * | 2008-06-06 | 2013-03-21 | 富士通株式会社 | 情報処理装置、プログラムおよび無線送受信回路 |
CN102273232B (zh) * | 2008-11-10 | 2016-03-16 | 伯恩同通信有限公司 | 用于播放双声道和单声道信号的耳机和方法 |
KR101068254B1 (ko) * | 2011-02-01 | 2011-09-28 | 주식회사 보니아코퍼레이션 | 골전도 기능을 갖는 통신단말기 |
US20120306823A1 (en) * | 2011-06-06 | 2012-12-06 | Apple Inc. | Audio sensors |
-
2013
- 2013-02-25 US US14/233,423 patent/US20140364171A1/en not_active Abandoned
- 2013-02-25 JP JP2014559345A patent/JP2015513854A/ja active Pending
- 2013-02-25 CN CN201380002198.0A patent/CN103718568A/zh active Pending
- 2013-02-25 EP EP13755890.4A patent/EP2820861A4/en not_active Withdrawn
- 2013-02-25 WO PCT/IL2013/050164 patent/WO2013128442A1/en active Application Filing
- 2013-02-25 KR KR1020147000864A patent/KR20140145108A/ko not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
EP2820861A4 (en) | 2015-08-26 |
CN103718568A (zh) | 2014-04-09 |
US20140364171A1 (en) | 2014-12-11 |
EP2820861A1 (en) | 2015-01-07 |
KR20140145108A (ko) | 2014-12-22 |
WO2013128442A1 (en) | 2013-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015513854A (ja) | モバイル通信機器での音声通信エクスペリエンスを向上させるための方法およびシステム | |
US10074355B2 (en) | Headset with hear-through mode | |
JP6903153B2 (ja) | ノイズ低減のためのオーディオ信号処理 | |
US9491542B2 (en) | Automatic sound pass-through method and system for earphones | |
US10269369B2 (en) | System and method of noise reduction for a mobile device | |
US9066167B2 (en) | Method and device for personalized voice operated control | |
KR101540896B1 (ko) | 전자 디바이스 상에서의 마스킹 신호 생성 | |
US8675884B2 (en) | Method and a system for processing signals | |
US10341759B2 (en) | System and method of wind and noise reduction for a headphone | |
US20150310846A1 (en) | Off-ear detector for personal listening device with active noise control | |
KR101731714B1 (ko) | 음질 개선을 위한 방법 및 헤드셋 | |
CN104754436B (zh) | 一种主动降噪方法以及降噪耳机 | |
US10176823B2 (en) | System and method for audio noise processing and noise reduction | |
CN104376848B (zh) | 语音信号处理方法和装置 | |
KR20110107833A (ko) | 이어피스를 위한 음향의 인이어 검출 | |
EP3213527B1 (en) | Self-voice occlusion mitigation in headsets | |
US10616676B2 (en) | Dynamically adjustable sidetone generation | |
JP2021522728A (ja) | マイクロフォン音声入力信号のパッシブノイズリダクションを提供する携帯電話カバー | |
KR101953866B1 (ko) | 인-이어 마이크로폰을 갖는 이어셋의 음향신호 처리 장치 및 방법 | |
JP6813169B2 (ja) | 音声抑制装置 | |
CN117529772A (zh) | 用于开放式声学耳机处的主动声学控制(aac)的设备、系统和方法 |