JP2014501089A - 複数のオーディオセンサを有する装置とその動作方法 - Google Patents

複数のオーディオセンサを有する装置とその動作方法 Download PDF

Info

Publication number
JP2014501089A
JP2014501089A JP2013540466A JP2013540466A JP2014501089A JP 2014501089 A JP2014501089 A JP 2014501089A JP 2013540466 A JP2013540466 A JP 2013540466A JP 2013540466 A JP2013540466 A JP 2013540466A JP 2014501089 A JP2014501089 A JP 2014501089A
Authority
JP
Japan
Prior art keywords
audio signal
audio
contact
user
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013540466A
Other languages
English (en)
Other versions
JP6031041B2 (ja
Inventor
ケヒヒアン,パトリック
デン ドゥンゲン,ウィルヘルミュス アンドレアス マリニュス アルノルデュス マリア ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2014501089A publication Critical patent/JP2014501089A/ja
Application granted granted Critical
Publication of JP6031041B2 publication Critical patent/JP6031041B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005Microphone arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13Hearing devices using bone conduction transducers

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Abstract

装置を動作させる方法を提供する。前記装置は、複数のオーディオセンサを有し、前記複数のオーディオセンサのうち第1のオーディオセンサが前記装置のユーザに接触している時、前記複数のオーディオセンサのうち第2のオーディオセンサが空気と接触するように構成され、前記方法は:前記複数のオーディオセンサからユーザのスピーチを表すオーディオ信号を取得するステップ;及び前記各オーディオ信号を分析して、前記複数のオーディオセンサが前記装置のユーザと接触しているか、接触しているとすればどのオーディオセンサが接触しているか判断するステップ、を有する。

Description

本発明は、複数のマイクロホンなどのオーディオセンサを有する装置とその動作方法とに関し、具体的には、複数のオーディオセンサのうちの第1のオーディオセンサが装置のユーザと接触している時、複数のセンサのうちの第2のセンサが空気と接触するように構成された装置に関する。
モバイル装置は音響的に厳しい環境(すなわち、背景雑音が多い環境)において使われることが多い。モバイル装置のユーザが双方向通信中に他端の音を聞ける問題とは別に、ユーザのスピーチを表す「クリーンな」(すなわち、雑音無し又は雑音を大幅に低減した)オーディオ信号を得ることは難しい。キャプチャされるSNR(signal-to-noise ratio)が低い環境では、従来のスピーチ処理アルゴリズムは、雑音抑制量が限られており、近接したスピーチ信号(すなわち、モバイル装置のマイクロホンで捉えたもの)は「楽音(musical tones)」アーティファクトで歪んでしまうことがある。
既知の通り、骨伝導(BC)やコンタクトマイクロホン(すなわち、音を出しているオブジェクトに物理的に接触しているマイクロホン)などのコンタクトセンサを用いて取得するオーディオ信号は、マイクロホン(すなわち、音を出しているオブジェクトからは空気で隔てられているマイクロホン)などの空気伝導(AC)センサを用いて取得するオーディオ信号と比較して、背景雑音の影響を比較的受けにくい。何故なら、BCマイクロホンにより測定される音の振動は、通常のACマイクロホンのように空気を通してではなく、ユーザの身体を通して伝搬するからである。通常のACマイクロホンは、所望のオーディオ信号のキャプチャに加え、背景ノイズもピックアップしてしまう。さらに、BCマイクロホンを用いて得られるオーディオ信号の強度は、概して、ACマイクロホンを用いて得られるものよりも非常に高い。それゆえ、BCマイクロホンは、雑音が多い環境で使用する装置に使えると考えられている。図1は、BC信号が環境雑音の影響を比較的受けないが、AC信号は受けることを示し、雑音が多い同じ環境においてACマイクロホンを用いて取得したオーディオ信号と比較して、BCマイクロホンを用いて取得したオーディオ信号の高いSNR特性を示す。図1において、垂直軸はオーディオ信号の振幅を示す。
しかし、BCマイクロホンを用いて取得するスピーチの問題は、ACマイクロホンを用いて取得するスピーチより、通常は音質と明瞭度が非常に低いことである。明瞭度の低下は、骨と組織のフィルタリング特性によるものである。このフィルタリング特性により、オーディオ信号の高周波成分が大きく減衰してしまう。
BCマイクロホンを用いて取得するスピーチの音質と明瞭度は、ユーザにおける位置に依存する。マイクロホンが、喉や首の領域の喉頭と声帯に近いほど、BCオーディオ信号の音質と強度は高くなる。さらに、BCマイクロホンが音を発しているオブジェクトに物理的に接触していれので、得られる信号のSNRは、背景雑音もピックアップしてしまうACオーディオ信号と比較して高い。
しかし、首の領域に又はその周りに配置したBCマイクロホンを用いて取得するスピーチの強度は非常に高いが、信号の明瞭性は非常に低いままである。これは、首の領域の又はその周りの骨や柔らかい組織を通る声門信号のフィルタリングと、声道伝達機能の欠如とによるものである。
BCマイクロホンを用いて得られるオーディオ信号の特性は、ユーザの身体と接触させるためにBCマイクロホンに印加されている圧力だけでなく、そのBCマイクロホンのハウジングにも、すなわち環境中の背景雑音からシールドされているかにも依存する。
それゆえ、BCマイクロホンから得られるスピーチの明瞭性を改善するためのフィルタリング又はスピーチエンハンスメント方法が開発されている。これらの方法は、BCマイクロホンからのオーディオ信号に適用する等化フィルタを構成するためのクリーンなスピーチ参照信号の存在か、又はACマイクロホンからのクリーンなオーディオ信号を用いた特定ユーザモデルのトレーニングを必要とする。BCマイクロホンからのスピーチ信号の特性を用いてACマイクロホンから得られたスピーチの明瞭性を改善するための代替的方法もある。
携帯パーソナル緊急応答システム(MPERS)は、ユーザがケアプロバイダに、又は緊急時に緊急サービスに連絡できるマイクロホンを含む、ユーザが身につけるペンダント又は同様の装置を含む。これらの装置は雑音が多い環境で用いなければならないため、ユーザからの最もよいスピーチオーディオ信号を与える装置を提供することが望まれ、これらの装置におけるBCマイクロホンとACマイクロホンの使用が検討されている。
しかし、ペンダントはユーザに対して自由に動き(例えば回転し)、そのためユーザに接触するマイクロホンは時間的に変化する(すなわち、マイクロホンは、ある時はBCマイクロホンであり、次の時にはACマイクロホンである)。また、ある時には、どのマイクロホンもユーザに接触していない(すなわち、すべてのマイクロホンがACマイクロホンである)可能性もある。このため、オーディオ信号を処理してエンハンスされたオーディオ信号を生成する装置2の中の後段の回路に問題が生じる。処理動作は特定の(すなわち、BC又はACの)オーディオ信号に対して行われるからである。
それゆえ、この問題を解決する装置及び該装置を動作させる方法が必要である。
本発明の第1の態様による方法は、装置を動作させる方法であって、前記装置は、複数のオーディオセンサを有し、前記複数のオーディオセンサのうち第1のオーディオセンサが前記装置のユーザに接触している時、前記複数のオーディオセンサのうち第2のオーディオセンサが空気と接触するように構成され、前記方法は:前記複数のオーディオセンサからユーザのスピーチを表すオーディオ信号を取得するステップ;及び前記各オーディオ信号を分析して、前記複数のオーディオセンサが前記装置のユーザと接触しているか、接触しているとすればどのオーディオセンサが接触しているか判断するステップ、を有する。
好ましくは、分析するステップは、各オーディオ信号のスペクトル特性を分析するステップを有する。より好ましくは、分析するステップは、閾値周波数より高い各オーディオ信号のパワーを分析するステップを有する。前記閾値周波数より高い各オーディオ信号のパワーが、他のオーディオセンサからの前記閾値周波数より高いオーディオ信号のパワーより小さく、その差が所定量より大きい場合、オーディオセンサが前記装置のユーザに接触していると判断できる。
一実施形態において、分析するステップは、各オーディオ信号にNポイントフーリエ変換を適用するステップ;フーリエ変換された各オーディオ信号の閾値周波数より低いパワースペクトルに関する情報を決定するステップ;前記決定された情報に応じて、2つのセンサからのフーリエ変換されたオーディオ信号を互いに規格化するステップ;及びフーリエ変換され規格化されたオーディオ信号の前記閾値周波数より上のパワースペクトルを比較して、前記複数のオーディオセンサが前記装置のユーザと接触しているか、接触しているとすればどのオーディオセンサが接触しているか判断するステップ、を有する。
一実施形態において、情報を決定するステップは、フーリエ変換された各オーディオ信号の閾値周波数より上のパワースペクトルにおける最大ピーク値を決定するステップ、を有する。しかし、別の一実施形態では、情報を決定するステップは、フーリエ変換された各オーディオ信号の閾値周波数より下のパワースペクトルを合計するステップを有する。
フーリエ変換された各オーディオ信号の前記閾値周波数より高いパワースペクトルが、他のオーディオセンサからのフーリエ変換されたオーディオ信号の前記閾値周波数より高いパワースペクトルより小さく、その差が所定量より大きい場合、オーディオセンサが前記装置のユーザに接触していると判断できる。
フーリエ変換されたオーディオ信号の前記閾値周波数より高いパワースペクトルの差が所定量より小さいとき、オーディオセンサは前記装置のユーザと接触していないと判断できる。
好ましくは、前記方法は、さらに、前記オーディオ信号を処理して、分析するステップの結果に応じてユーザのスピーチを表す出力オーディオ信号を生成する回路に、前記オーディオ信号供給するステップをさらに有する。
本発明の第2の態様による装置は、複数のオーディオセンサのうち第1のオーディオセンサが前記装置のユーザと接触している時、前記複数のオーディオセンサの第2のオーディオセンサが空気と接触するように、前記装置中に構成された前記複数のオーディオセンサ;及び回路であって:前記複数のオーディオセンサからユーザのスピーチを表すオーディオ信号を取得し;及び前記各オーディオ信号を分析して、前記複数のオーディオセンサが前記装置のユーザと接触しているか、接触しているとすればどのオーディオセンサが接触しているか判断する回路を有する。
好ましくは、前記回路は、閾値周波数より高い各オーディオ信号のパワーを分析するように構成される。
一実施形態において、前記回路は、各オーディオ信号にNポイントフーリエ変換を適用し;フーリエ変換された各オーディオ信号の閾値周波数より低いパワースペクトルに関する情報を決定し;前記決定された情報に応じて、2つのセンサからのフーリエ変換されたオーディオ信号を互いに規格化し;及びフーリエ変換され規格化されたオーディオ信号の前記閾値周波数より上のパワースペクトルを比較して、前記複数のオーディオセンサが前記装置のユーザと接触しているか、接触しているとすればどのオーディオセンサが接触しているか判断する、ことにより、前記各オーディオ信号を分析するように構成される。
好ましくは、前記装置は、さらに、前記オーディオ信号を受け取り、前記ユーザのスピーチを表す出力オーディオ信号を生成する処理回路をさらに有する。
本発明の第3の態様によると、コンピュータ又はプロセッサによるコンピュータ読み取り可能コードの実行時に、前記コンピュータ又はプロセッサが上記の方法を実行するように構成された前記コンピュータ読み取り可能コードを有するコンピュータプログラム製品が提供される。
ここで、以下の図面を参照して、例として、本発明の実施形態の例を説明する。
ノイズの多い同じ環境において、ACマイクロホンを用いて得られるオーディオ信号と比較して、BCマイクロホンを用いて得られるオーディオ信号の高いSNR特性を示す図である。 2つのマイクロホンを含むペンダントを示すブロック図である。 本発明の第1の実施形態による装置を示すブロック図である。 BCマイクロホンとACマイクロホンから得られる、背景雑音を含む信号間のパワースペクトル密度の比較を示すグラフである。 BCマイクロホンとACマイクロホンから得られる、背景雑音を含まない信号間のパワースペクトル密度の比較を示すグラフである。 本発明の一実施形態による方法を示すフローチャートである。 本発明のより具体的な一実施形態による方法を示すフローチャートである。 本発明による装置のBC/AC弁別器モジュールの動作の結果を示すグラフである。 本発明の第2の実施形態による装置を示すブロック図である。 BCマイクロホンを用いて得られる信号に対して行ったスピーチ検出の結果を示すグラフである。 ACマイクロホンを用いて得られる信号に対してスピーチエンハンスメントアルゴリズムを適用した結果を示すグラフである。 ノイズが多い環境とクリーンな環境においてACマイクロホンを用いて得られる信号と、本発明による方法の出力との間の比較を示すグラフである。 図11に示す3つの信号のパワースペクトル密度間の比較を示すグラフである。 2つのマイクロホンを含む携帯電話用有線ハンドフリーキットを示す図である。
図2を参照して、装置2は、ペンダント形式であり、2つのセンサ4,6がペンダント2の対向する側又は面に配置されており、2つのセンサ4,6のうち一方がユーザに接触しているとき、他方のセンサが空気に接触している。ユーザと接触しているセンサ4,6は骨伝導又はコンタクトセンサとして機能し(BCオーディオ信号を供給し)、空気と接触しているセンサ4,6は空気伝導センサとして機能(し、ACオーディオ信号を供給)する。センサ4,6は概して同じタイプと構成である。例示した実施形態では、センサ4,6はマイクロホンであり、MEMS技術に基づくものである。当業者には言うまでもなく、センサ4,6は他のタイプのセンサやトランスデューサを用いて実施することもできる。
装置2は、ユーザの首の回りに付けられるようにひもに付けられていても良い。ひもと装置は、ペンダントとして身につけられると、装置がユーザの身体に対して所定の方向を向き、センサ4,6の一方がユーザに接触するように、構成されている。さらに、この装置の形状は、回転しても変わらず、それにより使用中にユーザの動きにより、装置の方向が変化してその一方のセンサのユーザとの接触が失われないように、なっている。装置の形状は例えば方形であってもよい。
本発明による装置2のブロック図を図3に示した。上記の通り、装置2は、第1のマイクロホン4と第2のマイクロホン6である2つのマイクロホンを有する。これらのマイクロホンは、装置2において、マイクロホン4,6の一方がユーザの一部分と接触している時、マイクロホン4,6の他方が空気と接触する。
第1のマイクロホン4と第2のマイクロホン6は同時に動作して(すなわち、同時に同じスピーチをキャプチャして)、それぞれオーディオ信号(図3のm1とm2)を生成する。
オーディオ信号は弁別器ブロック7に送られる。弁別器ブロック7は、オーディオ信号を分析して、どちらがBCオーディオ信号に対応し、どちらがACオーディオ信号に対応するか判断する。
弁別器ブロック7は、オーディオ信号を回路8に出力する。回路8はオーディオ信号中のスピーチの音質を改善する処理を実行する。
処理回路8は、BCオーディオ信号とACオーディオ信号に既知の任意のスピーチエンハンスメントアルゴリズムを実行して、ユーザのスピーチを表すクリーンな(又は少なくとも改善された)出力オーディオ信号を生成する。出力オーディオ信号は、アンテナ12を介して他の電子装置(携帯電話や装置基地局など)に送信するため、送信器回路10に送られる。
弁別器ブロック7は、マイクロホン4,6がどちらもユーザの身体に接触していないと判断すると、両方のACオーディオ信号を処理回路8に出力できる。処理回路8は、複数のACオーディオ信号の存在に基づき代替的なスピーチエンハンスメント方法(例えば、ビームフォーミング)を実行する。
BCオーディオ信号中の高周波(例えば、1kHzより高い周波数)のスピーチは、伝送媒体により減衰されることが知られており、図4のグラフに示されている。図4のグラフは、背景雑音がある場合(図4A)と背景雑音がない場合(図4B)におけるBCオーディオ信号とACオーディオ信号のパワースペクトル密度の比較を示す。この特性は、弁別器回路7により、BCオーディオ信号とACオーディオ信号とを弁別するのに用いることができる。
本発明による方法の実施形態を図5に示す。ステップ101において、各オーディオ信号が第1のマイクロホン4と第2のマイクロホン6を用いて同時に取得され、弁別器ブロック7に送られる。次に、ステップ103とステップ105において、弁別器ブロック7は各オーディオ信号のスペクトル特性を分析し、そのスペクトル特性に基づいて第1のマイクロホン4と第2のマイクロホン6がユーザの身体に接触しているか、接触していればどちらが接触しているか調べる(detect)。一実施形態では、弁別器ブロック7は、閾値周波数(例えば、1kHz)より高い各オーディオ信号のスペクトル特性を分析する。
しかし、困難な点は、2つのマイクロホン4,6が較正されていないかも知れない、すなわち2つのマイクロホン4,6の周波数応答が異なるかも知れないということである。この場合、較正フィルタを一方のマイクホンに適用してから弁別器ブロック7に進めばよい(図示せず)。よって、以下の説明では、広帯域利得について応答は同じである、すなわち2つのマイクロホンの周波数応答は同じ形状を有するものと仮定する。
以下の動作では、弁別器ブロック7は、2つのマイクロホン4,6からのオーディオ信号のスペクトルを比較して、どちらかのオーディオ信号がBCオーディオ信号か、どちらがBCオーディオ信号か判断する。マイクロホン4,6の周波数応答が異なる場合、これは装置2の生産段階で較正フィルタを用いて補正できるので、マイクロホンの応答が異なっても、弁別器ブロック7により行われる比較には影響しない。
この較正フィルタを用いても、ACオーディオ信号とBCオーディオ信号との間の利得差を考慮する必要はある。ACオーディオ信号とBCオーディオ信号は、スペクトル特性に加え、強度が異なるからである(特に1kHzより高い周波数)。
このように、弁別器ブロック7は、(弁別のみを目的として)閾値周波数より下で見いだされたグローバルピークに基づき、その閾値周波数より上の2つのオーディオ信号のスペクトルを規格化し、その閾値周波数より上のスペクトルを比較して、BCオーディオ信号があるか、あればどちらかを判断する。この規格化が行われなければ、次に、BCオーディオ信号は高強度なので、間違っているかも知れないが、BCオーディオ信号の方がACオーディオ信号よりも高い方の周波数におけるパワーがより高いと判断できる。
本発明の一実施形態を図6のフローチャートに示す。以下の説明では、仮定として、マイクロホン4、6の周波数応答における違いを無くす(account for)のに必要な較正が行われ、さらに仮定として、BCマイクロホン4とACマイクロホン6からの各オーディオ信号は、以下に説明するオーディオ信号の処理の前に、適切な時間遅延を用いて時間的に合わせられている(time-aligned)ものとする。ステップ111において、各オーディオ信号は、第1のマイクロホン4と第2のマイクロホン6を用いて同時に取得され、弁別器ブロック7に送られる。
ステップ113において、弁別器ブロック7は、ω=0ラジアン(rad)とω=2πfとの間にN個の周波数ビンを生成して、
Figure 2014501089
Figure 2014501089
のように、各マイクロホン4,6からのオーディオ信号にNポイント(片側)高速フーリエ変換(FFT)を適用する。ここで、fは、アナログのマイクロホン信号をデジタルドメインに変換するアナログ・ツー・デジタル変換器の、ヘルツ(Hz)単位でのサンプリング周波数である。ナイキスト周波数πfを含む最初のN/2+1個のビン以外のビンは破棄してもよい。弁別器ブロック7は、オーディオ信号に対するFFTの結果を用いて、各オーディオ信号のパワースペクトルを計算する。
次に、ステップ115において、弁別器ブロック7は、閾値周波数ωより下の周波数ビンにおけるパワースペクトルの最大ピークの値
Figure 2014501089
Figure 2014501089
を見つけ、その最大ピークを用いて、閾値周波数ωより上のオーディオ信号のパワースペクトルを規格化する。閾値周波数ωは、ACオーディオ信号に対してBCオーディオ信号のスペクトルが概して減衰する周波数として選択される。閾値周波数ωは例えば1kHzである。各周波数ビンは1つの値を含み、その値は、パワースペクトルの場合、そのビンにおける周波数応答の大きさの二乗である
あるいは、ステップ115において、弁別器ブロック7は、各オーディオ信号のωより下の合計パワースペクトル、すなわち
Figure 2014501089
Figure 2014501089
を見つけることができ、この合計パワースペクトルを用いて閾値周波数ωより上のオーディオ信号のパワースペクトルを規格化できる。
ACオーディオ信号とBCオーディオ信号の低い周波数ビンは概略同じ低周波数情報を含むはずなので、pとpの値を用いて、2つのマイクロホン4,6からの信号スペクトルを規格化して、(BCオーディオ信号とACオーディオ信号の間の違いが見つかると期待される)両方のオーディオ信号の高い周波数ビンを比較して、潜在的なBCオーディオ信号を特定できるようにする。
ステップ117において、弁別器ブロック7は、上の方の周波数ビンにおける第1のマイクロホン4からの信号のスペクトルと、規格化された第2のマイクロホン6からの信号スペクトルとの間のパワーを比較する
Figure 2014501089
。ここで、εはゼロでの除算を防止するための小さな定数であり、p/(p+ε)は第2のオーディオ信号のスペクトルの規格化を表す(言うまでもなく、第1のオーディオ信号を規格化してもよい)。
2つのオーディオ信号のパワー間の違いが(骨伝導マイクロホンの位置に依存し、実験的に決められる)所定量より大きい場合、ωより上の規格化されたスペクトルのパワーが最大であるオーディオ信号はACマイクロホンからのオーディオ信号であると判断され、そのパワーが最小であるオーディオ信号はBCマイクロホンからのオーディオ信号であると判断される。
しかし、2つのオーディオ信号のパワー間の差が前記所定量より小さい場合、複数のオーディオ信号のどれかがBCオーディオ信号であると肯定的に判断することはできない(そして、どちらのマイクロホン4,6もユーザの身体と接触していないものと思われる)。
言うまでもなく、ステップ117において上記の式で絶対値の二乗を計算する替わりに、絶対値を計算することもできる。
また、言うまでもなく、ステップ117において、制限付き割合を用いて、2つの信号のパワーの間の代替的な比較を行い、意思決定における不確実性を無くす(accounted for)こともできる。例えば、閾値周波数より上の周波数におけるパワーの制限付き割合を
Figure 2014501089
により決定すると、この割合は−1と1との間に制限され、値が0に近いとマイクロホンがあればBCマイクロホンであることを示す。
弁別器ブロック7は、スイッチング回路を含み、この回路は、BCオーディオ信号であると判断されたオーディオ信号を処理回路8のBCオーディオ信号入力に出力し、ACオーディオ信号であると判断されたオーディオ信号を処理回路8のACオーディオ信号入力に出力する。処理回路8は、BCオーディオ信号とACオーディオ信号にスピーチエンハンスメントアルゴリズムを実行して、ユーザのスピーチを表すクリーンな(又は少なくとも改善された)出力オーディオ信号を生成する。
不確実性のため、両方のオーディオ信号がACオーディオ信号であると判断される場合、弁別器ブロック7中のスイッチング回路は、信号を、処理回路8の代替的なオーディオ信号入力(図示せず)に出力する。処理回路8は、両方のオーディオ信号をACオーディオ信号として扱い、従来の2マイクロホン技術を用いて処理し、例えばビームフォーミング技術を用いて複数のACオーディオ信号を合成する。
別の一実施形態では、スイッチング回路は処理回路8の一部であってもよい。つまり、弁別器ブロック7は、第1のマイクロホン4からのオーディオ信号を処理回路8の第1のオーディオ信号入力に出力し、第2のマイクロホン6からのオーディオ信号を処理回路8の第2のオーディオ信号入力に出力し、それとともにオーディオ信号がBC又はACオーディオ信号であるか、あるとすればどちらかを示す信号13を出力できる。
図7のグラフは、テスト手順における、上記の弁別器ブロック7の動作を示す。具体的に、テストの最初の10秒間に、第2のマイクロホン6はユーザに接触しており(そのためBCオーディオ信号を供給し)、これは(下段のグラフに示されているように)弁別器ブロック7により正しく識別される。テストの次の10秒間に、第1のマイクロホン4がユーザに接触しており(そのためBCオーディオ信号を供給し)、これは弁別器ブロック7により正しく識別されている。
図8は、本発明による装置2の処理回路8の一実施形態をより詳細に示す。装置2は図3に示したものに対応し、両方の装置2に共通の特徴は同じ参照数字を付した。
このように、この実施形態では、処理回路8は次のブロックを有する:弁別器ブロック7からBCオーディオ信号を受け取るスピーチ検出ブロック14;弁別器ブロック7からのACオーディオ信号とスピーチ検出ブロック14の出力とを受け取るスピーチエンハンスメントブロック16;BCオーディオ信号を受け取り信号を生成する第1の特徴抽出ブロック18;スピーチエンハンスメントブロック16の出力を受け取る第2の特徴抽出ブロック20;第1の特徴抽出ブロック18からの信号と第2の特徴抽出ブロック20の出力とを受け取り、処理回路8の出力オーディオ信号を生成するイコライザ22。
また、処理回路8は、両方のオーディオ信号がACオーディオ信号であると判断された時に、第1と第2のマイクロホン4,6からのオーディオ信号を処理するさらに別の回路24を含む。この回路24の出力は、使われる場合、イコライザブロック22からの出力オーディオ信号の替わりに、送信器回路10に送られる。
手短に言えば、処理回路8は、BCオーディオ信号の特性又は特徴(properties or features)及びスピーチエンハンスメントアルゴリズムを用いて、ACオーディオ信号中の雑音量を低減し、ノイズ低減されたACオーディオ信号を用いてBCオーディオ信号をイコライズ(equalize)する。このオーディオ信号処理方法の利点は、雑音低減されたACオーディオ信号はまだ雑音及び/又はアーティファクトを含むが、(一般的にはスピーチアーティファクトを含まない)BCオーディオ信号の周波数特性を改善して、明りょうに聞こえるようにするために用いることができるということである。
スピーチ検出ブロック14は、受け取ったBCオーディオ信号を処理して、装置2のユーザによるスピーチを表すBCオーディオ信号の部分を識別する。スピーチ検出のためにBCオーディオ信号を用いると、BCマイクロホン4が背景雑音の影響を比較的受けず、SNRが高いため、都合がよい。
スピーチ検出ブロック14は、スピーチ期間をBCオーディオ信号の振幅が閾値より大きい時に検出する、単純な閾値手法(thresholding technique)をBCオーディオ信号に適用することにより、スピーチ検出を行える。
処理回路8の他の実施形態では、最小統計手法及び/又はビームフォーミング手法(2以上のBCオーディオ信号がある場合)に基づき、BCオーディオ信号中の雑音を抑圧してからスピーチ検出を行うことができる。
図9のグラフは、BCオーディオ信号に対するスピーチ検出ブロック14の動作結果を示す。
(図9の下段に示した)スピーチ検出ブロック14の出力は、ACオーディオ信号とともに、スピーチエンハンスメントブロック16に送られる。BCオーディオ信号と比べて、ACオーディオ信号は静的及び非静的な背景雑音源を含むので、BCオーディオ信号をエンハンス(イコライズ)する基準としてACオーディオ信号を用いられるように、ACオーディオ信号にスピーチエンハンスメントを行う。スピーチエンハンスメントブロック16の一効果はACオーディオ信号中の雑音量を低減することである。
ブロック16によりACオーディオ信号に適用できるスピーチエンハンスメントアルゴリズムは多くの異なるタイプのものが知られており、用いるアルゴリズムは装置2におけるマイクロホン4,6の構成及び装置2をどう使うかに依存する。
実施形態では、スピーチエンハンスメントブロック16は、ACオーディオ信号に、ある形式のスペクトル処理を適用する。例えば、スピーチエンハンスメントブロック16は、スピーチ検出ブロック14により判断された非スピーチ期間中に、スピーチ検出ブロック14の出力を用いて、ACオーディオ信号のスペクトル領域におけるノイズフロア(noise floors)を推定する。このノイズフロアの推定は、スピーチが検出されていないときはいつでも更新される。
装置2が2以上のACセンサ又はマイクロホン(すなわち、ユーザに接触しているセンサに加えて複数のACセンサ)を有するように設計されている実施形態では、スピーチエンハンスメントブロック16はある形式のマイクロホンビームフォーミングを適用することもできる。
図10の上段のグラフは、ACマイクロホン6から得られるACオーディオ信号を示し、図10の下段のグラフは、スピーチ検出ブロック14の出力を用いてACオーディオ信号にスピーチエンハンスメントアルゴリズムを適用した結果を示す。図から分かるように、ACオーディオ信号の背景雑音レベルは大きくSNRは約0dBであり、スピーチエンハンスメントブロック16はACオーディオ信号にゲインを適用して、背景雑音をほぼ30dBだけ抑制する。しかしまた、図から分かるように、ACオーディオ信号中の雑音量は大幅に低減されるが、何らかのアーティファクトは残ってしまう。
雑音低減されたACオーディオ信号を基準信号として用いて、BCオーディオ信号の明瞭性を改善(すなわちエンハンス)する。
処理回路8のある実施形態では、長期スペクトル法を用いて等化(equalization)フィルタを構成することが可能であり、あるいは、BCオーディオ信号をアダプティブフィルタへの入力として用いることができる。このアダプティブフィルタはフィルタ出力とエンハンスされたACオーディオ信号との間の二乗平均誤差を最小化し、フィルタ出力は等化されたBCオーディオ信号を与える。さらに別の実施形態では、有限インパルス応答によりBCオーディオ信号とエンハンスされたACオーディオ信号との間の伝達関数をモデル化できるとの仮定をする。BCオーディオ信号を入力とし、エンハンスされたACオーディオ信号を基準信号とするアダプティブフィルタを用いれば、アダプティブフィルタの出力は等化されたBCオーディオ信号である。これらの実施形態では、言うまでもなく、イコライザブロック22は、特徴抽出ブロック18によりBCオーディオ信号から抽出された特徴に加えて、元のBCオーディオ信号が必要である。この場合、図8に示した処理回路8におけるBCオーディオ信号入力ラインとイコライザブロック22との間には、別途の接続がある。
しかし、線形予測に基づく方法はBCオーディオ信号のスピーチの明瞭性を改善するのにより適しているので、好ましくは、特徴抽出ブロック18、20は、BCオーディオ信号と雑音低減されたACオーディオ信号からの線形予測係数を抽出する線形予測ブロックである。これらの線形予測係数は、以下にさらに説明するように等化フィルタの構成に用いられる。
線形予測(LP)は、スピーチ生成の音源・フィルタモデルに基づくスピーチ分析ツールであり、音源とフィルタは声帯と声道形状によりそれぞれ生成される声門励起(glottal excitation)に対応する。このフィルタは全極型であると仮定する。よって、LP分析により、スピーチ生成時の声道特性に関する全極型モデルにより表される励起信号と周波数領域エンベロープが与えられる。
このモデルは
Figure 2014501089
として与えられる。ここで、y(n)とy(n−k)は分析する信号の現在と過去の信号に対応し、u(n)はゲインGの励起信号であり、aは予測器係数を表し、pは全極モデルの次数を表す。
LP分析の目標は、オーディオスピーチサンプルが与えられた時に、予測誤差
Figure 2014501089
を最小化するように、予測器係数の値を推定することである。
この誤差は、実際に、音源・フィルタモデルにおける励起源に対応する。e(n)は、モデルがスペクトルエンベロープしか予測できないことによる、このモデルにより予測できない信号の部分であり、実際には喉頭により生成されるパルス(声帯励起)に対応する。
白色雑音を追加すると、LP係数の推定に大きな影響があり、y(n)に一又は複数の追加的音源があると、これらの音源からの貢献を含む励起信号の推定ができることが知られている。それゆえ、正しい励起信号を推定するため、所望の音源信号のみを含む無雑音オーディオ信号を取得することが重要である。
BCオーディオ信号はこのような信号である。そのSNRは高いので、励起源eは、線形予測ブロック18により行われるLP分析を用いて正しく推定できる。この励起信号eは、雑音低減されたACオーディオ信号を分析することにより推定される全極モデルを用いて、フィルタできる。全極フィルタは、雑音低減されたACオーディオ信号の滑らかなスペクトルエンベロープを表すので、エンハンスメントプロセスによる生じるアーティファクトに対してもよりロバスト(robust)である。
図8に示したように、線形予測分析は、(線形予測ブロック18を用いて)BCオーディオ信号と(線形予測ブロック20を用いて)雑音低減されたACオーディオ信号の両方に行われる。線形予測は、長さが32msであり重なりが16msであるオーディオサンプルの各ブロックに対して行われる。線形予測分析の前に、信号の一方又は両方に、プリエンファシス(pre-emphasis)フィルタを適用することもできる。線形予測分析の性能とBCオーディオ信号の等化(equalization)を改善するため、雑音低減されたACオーディオ信号とBC信号を、どちらかのオーディオ信号に適当な時間遅延を導入することにより、時間的に合わせる(time-align)ことができる(図示せず)。この時間遅延は相互相関手法を用いて、適応的に決めることができる。
現在のサンプルブロックにおいて、過去、現在、及び将来の予測係数を推定し、ラインスペクトル周波数(LSF)に変換し、平滑化し、変換して線形予測係数に戻す。スペクトルエンベロープの線形予測係数表示は平滑化に従わない(not amenable)ため、LSFを用いる。平滑化は、合成動作時の移行効果を減衰するために適用される。
BCオーディオ信号について求めたLP係数を用いて、BC励起信号eを生成する。この信号は、等化ブロック22によりフィルタ(等化)される。等化ブロック22は、雑音低減されたACオーディオ信号から推定され平滑化された全極フィルタ
Figure 2014501089
を用いる。
全極フィルタのLSFを用いたシェーピング(shaping)をAC全極フィルタに適用して、有効スペクトルにおける不必要な上昇を防ぐことができる。
LP分析の前にプリエンファシス(pre-emphasis)フィルタを信号に適用する場合、H(z)の出力にデエンファシス(de-emphasis)フィルタを適用することもできる。出力にワイドバンドゲインを適用して、エンファシス(emphasis)フィルタにより生じるワイドバンドの増幅又は減衰を補正することもできる。
よって、出力オーディオ信号は、雑音低減されたACオーディオ信号のLP分析から推定された全極モデルを用いて、BCオーディオ信号のLP分析から得られた「クリーンな」励起信号eをフィルタすることにより、求められる。
図11は、雑音が多い環境及びクリーンな環境におけるACマイクロホン信号と、線形予測を用いた場合の処理回路8の出力との間の比較を示す。このように、図から分かるように、出力オーディオ信号は、雑音が多いACオーディオ信号よりアーティファクトがずっと少なく、クリーンなACオーディオ信号によく似ている。
図12は、図11に示す3つの信号のパワースペクトル密度間の比較を示す。ここでも図から分かるように、出力オーディオ信号スペクトルは、クリーンな環境におけるACオーディオ信号とよく一致している。
このように、処理回路8の実施形態により、スピーチが大きな雑音や反響により劣化してしまう不良な音響的環境においても、クリーンな(又は少なくとも明瞭な)スピーチオーディオ信号を生成できる。
処理回路8のさらに別の一実施形態(図8には図示せず)では、線形予測をする前に、弁別器ブロック7により与えられるBCオーディオ信号をエンハンス(雑音を低減)する第2のスピーチエンハンスメントブロックが設けられる。第1のスピーチエンハンスメントブロック16のように、第2のスピーチエンハンスメントブロックはスピーチ検出ブロック14の出力を受け取る。第2のスピーチエンハンスメントブロックを用いて、BCオーディオ信号に中程度(moderate)のスピーチエンハンスメントを適用し、マイクロホン信号に漏れる雑音を除去する。第1と第2のスピーチエンハンスメントブロックにより実行されるアルゴリズムは同じでもよいが、ノイズ抑制/スピーチエンハンスメントの適用される実際の大きさは、ACオーディオ信号とBCオーディオ信号とでは異なる。
言うまでもなく、上記の本発明を組み込んだ、図2に示したペンダント2又はその他の非ペンダント装置は、2つ以上のマイクロホンを含んでも良い。例えば、ペンダント2の断面は(各面に1つずつ、3つのマイクロホンを要する)三角形でも、(各面に1つずつ、4つのマイクロホンを要する)四角形でもよい。また、装置2を、二以上のマイクロホンがBCオーディオ信号を取得できるように構成することも可能である。この場合、回路8によるスピーチエンハンスメント処理の前に、例えばビームフォーミング手法を用いて、複数のAC(又はBC)マイクロホンからのオーディオ信号を合成して、SNRが改善された一AC(又はBC)オーディオ信号を生成することができる。これにより、処理回路8により出力されるオーディオ信号の音質と明瞭性をさらに改善できる。
かかる装置においてあるタイプ(例えば、AC及び/又はBC)の二以上のマイクロホンを用いる場合、装置ごとにマイクロホンをAC又はBCと分類する一般的な方法を以下に説明する。最初に、図5又は図6を参照して説明したように、複数のマイクロホンをペアごとの分類を行い、AC、BC、又は未定のどれかにグループ分けする。次に、ペアごとの分類を再度行い、今度は未定とされたマイクロホンの間、及びBC信号とされたマイクロホンの間で行う。2つのマイクロホンが未定と分類された場合、それらはBCグループに属し、そうでなければACグループに属する。第2のステップは、BCグループの替わりにACグループを用いて実行することもできる。
本発明は、ここまでMPERSの一部であるペンダントに関して説明したが、言うまでもなく、スピーチを検出するセンサやマイクロホンを用いる他のタイプの電子装置に実装することもできる。一タイプの装置2を図13に示す。これは、携帯電話に接続してハンドフリー機能を提供できる有線のハンドフリーキットである。装置2は、イヤピース(図示せず)と、2つのマイクロホン4,6を有するマイクロホン部30とを有する。マイクロホン部30は、使用時、ユーザの口又は首の近くにくる。マイクロホン部は、いつもマイクロホン部の方向に応じて、2つのマイクロホン4,6のどちらかがユーザの首に接触するように構成される。
言うまでもなく、図2と図7に示した弁別器ブロック7及び/又は処理回路8は、単一のプロセッサとして、又は相互接続された複数の処理ブロックとして実装できる。言うまでもなく、代替的に、処理回路8の機能は、装置内の汎用プロセッサにより実行されるコンピュータプログラムの形式で実装できる。さらに、言うまでもなく、処理回路8は、第1及び/第2のマイクロホン4,6を収納している装置とは別の装置に実装して、これら装置の間でオーディオ信号を送ることもできる。
言うまでもなく、弁別器ブロック7と処理回路8は、ブロックごとにオーディオ信号を処理(すなわち、一度に一ブロックのオーディオサンプルを処理)できる。例えば、弁別器ブロック7において、FFTを適用する前に、オーディオ信号をN個のオーディオサンプルを含む複数のブロックに分割できる。その後、弁別器ブロック7により実行される処理は、変換されたN個のオーディオサンプルのブロックごとに実行される。特徴抽出ブロック18,20は、同様に動作できる。
それゆえ、装置がユーザに対して自由に動いて、BC信号とAC信号を提供するマイクロホンが変わっても、ユーザのスピーチを表すオーディオ信号をBCオーディオ信号及びACオーディオ信号から取得できる装置及び該装置を動作させる方法を提供する。
本発明を、図面と上記の説明に詳しく示し説明したが、かかる例示と説明は例であり限定ではなく、本発明は開示した実施形態には限定されない。
請求項に記載した発明を実施する際、図面、本開示、及び添付した特許請求の範囲を研究して、開示した実施形態のバリエーションを、当業者は理解して実施することができるであろう。請求項において、「有する(comprising)」という用語は他の要素やステップを排除するものではなく、「1つの("a" or "an")」という表現は複数ある場合を排除するものではない。単一のプロセッサまたはその他のアイテムが請求項に記載した複数のユニットの機能を満たすこともできる。相異なる従属クレームに手段が記載されているからといって、その手段を組み合わせて有利に使用することができないということではない。コンピュータプログラムは、光記憶媒体や他のハードウェアとともに、またはその一部として供給される固体媒体などの適切な媒体に記憶/配布することができ、インターネットや有線または無線の電気通信システムなどを介して他の形式で配信することもできる。請求項に含まれる参照符号は、その請求項の範囲を限定するものと解してはならない。

Claims (15)

  1. 装置を動作させる方法であって、前記装置は、複数のオーディオセンサを有し、前記複数のオーディオセンサのうち第1のオーディオセンサが前記装置のユーザに接触している時、前記複数のオーディオセンサのうち第2のオーディオセンサが空気と接触するように構成され、前記方法は:
    前記複数のオーディオセンサからユーザのスピーチを表す各オーディオ信号を取得するステップ;及び
    前記各オーディオ信号を分析して、前記複数のオーディオセンサが前記装置のユーザと接触しているか、接触しているとすればどのオーディオセンサが接触しているか判断するステップ、を有する方法。
  2. 分析するステップは、各オーディオ信号のスペクトル特性を分析するステップを有する、
    請求項1に記載の方法。
  3. 分析するステップは、閾値周波数より高い各オーディオ信号のパワーを分析するステップを有する、請求項1または2に記載の方法。
  4. 前記閾値周波数より高い各オーディオ信号のパワーが、他のオーディオセンサからの前記閾値周波数より高いオーディオ信号のパワーより小さく、その差が所定量より大きい場合、オーディオセンサが前記装置のユーザに接触していると判断する、
    請求項3に記載の方法。
  5. 分析するステップは:
    各オーディオ信号にNポイントフーリエ変換を適用するステップ;
    フーリエ変換された各オーディオ信号の閾値周波数より低いパワースペクトルに関する情報を決定するステップ;
    前記決定された情報に応じて、2つのセンサからのフーリエ変換されたオーディオ信号を互いに規格化するステップ;及び
    フーリエ変換され規格化されたオーディオ信号の前記閾値周波数より上のパワースペクトルを比較して、前記複数のオーディオセンサが前記装置のユーザと接触しているか、接触しているとすればどのオーディオセンサが接触しているか判断するステップ、を有する
    請求項1ないし4いずれか一項に記載の方法。
  6. 情報を決定するステップは、フーリエ変換された各オーディオ信号の閾値周波数より上のパワースペクトルにおける最大ピーク値を決定するステップ、を有する、
    請求項5に記載の方法。
  7. 情報を決定するステップは、フーリエ変換された各オーディオ信号の閾値周波数より下のパワースペクトルを合計するステップ、を有する、
    請求項5に記載の方法。
  8. フーリエ変換された各オーディオ信号の前記閾値周波数より高いパワースペクトルが、他のオーディオセンサからのフーリエ変換されたオーディオ信号の前記閾値周波数より高いパワースペクトルより小さく、その差が所定量より大きい場合、オーディオセンサが前記装置のユーザに接触していると判断する、請求項5ないし7いずれか一項に記載の方法。
  9. フーリエ変換されたオーディオ信号の前記閾値周波数より高いパワースペクトルの差が所定量より小さいとき、オーディオセンサは前記装置のユーザと接触していないと判断する、請求項5ないし8いずれか一項に記載の方法。
  10. 前記オーディオ信号を処理して、分析するステップの結果に応じてユーザのスピーチを表す出力オーディオ信号を生成する回路に、前記オーディオ信号供給するステップをさらに有する、請求項1ないし9いずれか一項に記載の方法。
  11. 複数のオーディオセンサのうち第1のオーディオセンサが前記装置のユーザと接触している時、前記複数のオーディオセンサの第2のオーディオセンサが空気と接触するように、前記装置中に構成された前記複数のオーディオセンサ;及び
    回路であって:
    前記複数のオーディオセンサからユーザのスピーチを表すオーディオ信号を取得し;及び
    前記各オーディオ信号を分析して、前記複数のオーディオセンサが前記装置のユーザと接触しているか、接触しているとすればどのオーディオセンサが接触しているか判断する、回路、
    を有する装置。
  12. 前記回路は、閾値周波数より高い各オーディオ信号のパワーを分析するように構成された、請求項11に記載の装置。
  13. 前記回路は、
    各オーディオ信号にNポイントフーリエ変換を適用し;
    フーリエ変換された各オーディオ信号の閾値周波数より低いパワースペクトルに関する情報を決定し;
    前記決定された情報に応じて、2つのセンサからのフーリエ変換されたオーディオ信号を互いに規格化し;及び
    フーリエ変換され規格化されたオーディオ信号の前記閾値周波数より上のパワースペクトルを比較して、前記複数のオーディオセンサが前記装置のユーザと接触しているか、接触しているとすればどのオーディオセンサが接触しているか判断することにより、前記各オーディオ信号を分析するように構成された、請求項11又は12に記載の装置。
  14. 前記オーディオ信号を受け取り、前記ユーザのスピーチを表す出力オーディオ信号を生成する処理回路をさらに有する、請求項11ないし13いずれか一項に記載の装置。
  15. コンピュータ又はプロセッサによるコンピュータ読み取り可能コードの実行時に、前記コンピュータ又はプロセッサが請求項1乃至10いずれか一項に記載の方法を実行するように構成された前記コンピュータ読み取り可能コードを有するコンピュータプログラム製品。
JP2013540466A 2010-11-24 2011-11-21 複数のオーディオセンサを有する装置とその動作方法 Expired - Fee Related JP6031041B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10192400.9 2010-11-24
EP10192400 2010-11-24
PCT/IB2011/055198 WO2012069973A1 (en) 2010-11-24 2011-11-21 A device comprising a plurality of audio sensors and a method of operating the same

Publications (2)

Publication Number Publication Date
JP2014501089A true JP2014501089A (ja) 2014-01-16
JP6031041B2 JP6031041B2 (ja) 2016-11-24

Family

ID=45350430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013540466A Expired - Fee Related JP6031041B2 (ja) 2010-11-24 2011-11-21 複数のオーディオセンサを有する装置とその動作方法

Country Status (7)

Country Link
US (1) US9538301B2 (ja)
EP (1) EP2643981B1 (ja)
JP (1) JP6031041B2 (ja)
CN (1) CN103229517B (ja)
BR (1) BR112013012539B1 (ja)
RU (1) RU2605522C2 (ja)
WO (1) WO2012069973A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7148879B2 (en) 2000-07-06 2006-12-12 At&T Corp. Bioacoustic control system, method and apparatus
EP2458586A1 (en) * 2010-11-24 2012-05-30 Koninklijke Philips Electronics N.V. System and method for producing an audio signal
WO2013057659A2 (en) 2011-10-19 2013-04-25 Koninklijke Philips Electronics N.V. Signal noise attenuation
US8908894B2 (en) 2011-12-01 2014-12-09 At&T Intellectual Property I, L.P. Devices and methods for transferring data through a human body
JP6580990B2 (ja) * 2012-10-09 2019-09-25 聯發科技股▲ふん▼有限公司Mediatek Inc. オーディオ干渉推定のための方法及び装置
US9595271B2 (en) * 2013-06-27 2017-03-14 Getgo, Inc. Computer system employing speech recognition for detection of non-speech audio
US10108984B2 (en) 2013-10-29 2018-10-23 At&T Intellectual Property I, L.P. Detecting body language via bone conduction
US9594433B2 (en) 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction
US9349280B2 (en) 2013-11-18 2016-05-24 At&T Intellectual Property I, L.P. Disrupting bone conduction signals
US9715774B2 (en) 2013-11-19 2017-07-25 At&T Intellectual Property I, L.P. Authenticating a user on behalf of another user based upon a unique body signature determined through bone conduction signals
US9405892B2 (en) 2013-11-26 2016-08-02 At&T Intellectual Property I, L.P. Preventing spoofing attacks for bone conduction applications
US10045732B2 (en) 2014-09-10 2018-08-14 At&T Intellectual Property I, L.P. Measuring muscle exertion using bone conduction
US9882992B2 (en) 2014-09-10 2018-01-30 At&T Intellectual Property I, L.P. Data session handoff using bone conduction
US9582071B2 (en) 2014-09-10 2017-02-28 At&T Intellectual Property I, L.P. Device hold determination using bone conduction
US9589482B2 (en) 2014-09-10 2017-03-07 At&T Intellectual Property I, L.P. Bone conduction tags
US9600079B2 (en) 2014-10-15 2017-03-21 At&T Intellectual Property I, L.P. Surface determination via bone conduction
JP6503559B2 (ja) 2014-10-20 2019-04-24 ソニー株式会社 音声処理システム
KR102493123B1 (ko) * 2015-01-23 2023-01-30 삼성전자주식회사 음성 향상 방법 및 시스템
GB201615538D0 (en) 2016-09-13 2016-10-26 Nokia Technologies Oy A method , apparatus and computer program for processing audio signals
GB201713946D0 (en) * 2017-06-16 2017-10-18 Cirrus Logic Int Semiconductor Ltd Earbud speech estimation
JP6839333B2 (ja) * 2018-01-23 2021-03-03 グーグル エルエルシーGoogle LLC 呼び出しフレーズの検出における雑音低減技術の選択的適応および利用
US10831316B2 (en) 2018-07-26 2020-11-10 At&T Intellectual Property I, L.P. Surface interface
CN113421580B (zh) * 2021-08-23 2021-11-05 深圳市中科蓝讯科技股份有限公司 降噪方法、存储介质、芯片及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS42962Y1 (ja) * 1965-06-03 1967-01-20
JPS5836526A (ja) * 1981-08-25 1983-03-03 リオン株式会社 コンタクトマイクロホン
JPH07312634A (ja) * 1994-05-18 1995-11-28 Nippon Telegr & Teleph Corp <Ntt> 耳栓形変換器を用いる送受話装置
JPH11113079A (ja) * 1997-10-06 1999-04-23 Kubota Corp 音声ピックアップ装置
US5933506A (en) * 1994-05-18 1999-08-03 Nippon Telegraph And Telephone Corporation Transmitter-receiver having ear-piece type acoustic transducing part
US20050185813A1 (en) * 2004-02-24 2005-08-25 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
JP2006126558A (ja) * 2004-10-29 2006-05-18 Asahi Kasei Corp 音声話者認証システム
JP2009206885A (ja) * 2008-02-28 2009-09-10 Audio Technica Corp マイクロホン
JP2014502468A (ja) * 2010-11-24 2014-01-30 コーニンクレッカ フィリップス エヌ ヴェ オーディオ信号生成システム及び方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02962A (ja) 1988-05-25 1990-01-05 Mitsubishi Electric Corp フォトマスクの作成方法
JP2000261530A (ja) * 1999-03-10 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 通話装置
JP2000354284A (ja) * 1999-06-10 2000-12-19 Iwatsu Electric Co Ltd 送受一体形電気音響変換器を用いる送受話装置
JP2001224100A (ja) * 2000-02-14 2001-08-17 Pioneer Electronic Corp 自動音場補正システム及び音場補正方法
JP2002125298A (ja) 2000-10-13 2002-04-26 Yamaha Corp マイク装置およびイヤホンマイク装置
US6952672B2 (en) 2001-04-25 2005-10-04 International Business Machines Corporation Audio source position detection and audio adjustment
KR20030040610A (ko) 2001-11-15 2003-05-23 한국전자통신연구원 골 전도 마이크로 입력된 음성신호의 음질 향상방법
JP2004279768A (ja) 2003-03-17 2004-10-07 Mitsubishi Heavy Ind Ltd 気導音推定装置及び気導音推定方法
US7447630B2 (en) 2003-11-26 2008-11-04 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement
US7283850B2 (en) * 2004-10-12 2007-10-16 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
EP1640972A1 (en) 2005-12-23 2006-03-29 Phonak AG System and method for separation of a users voice from ambient sound
US8214219B2 (en) * 2006-09-15 2012-07-03 Volkswagen Of America, Inc. Speech communications system for a vehicle and method of operating a speech communications system for a vehicle
CN101150883A (zh) 2006-09-20 2008-03-26 南京Lg同创彩色显示系统有限责任公司 显示器的音频输出装置
US8675884B2 (en) 2008-05-22 2014-03-18 DSP Group Method and a system for processing signals
JP5256119B2 (ja) 2008-05-27 2013-08-07 パナソニック株式会社 補聴器並びに補聴器に用いられる補聴処理方法及び集積回路
CN101645697B (zh) 2008-08-07 2011-08-10 英业达股份有限公司 音量控制系统及方法
US20100224191A1 (en) 2009-03-06 2010-09-09 Cardinal Health 207, Inc. Automated Oxygen Delivery System

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS42962Y1 (ja) * 1965-06-03 1967-01-20
JPS5836526A (ja) * 1981-08-25 1983-03-03 リオン株式会社 コンタクトマイクロホン
JPH07312634A (ja) * 1994-05-18 1995-11-28 Nippon Telegr & Teleph Corp <Ntt> 耳栓形変換器を用いる送受話装置
US5933506A (en) * 1994-05-18 1999-08-03 Nippon Telegraph And Telephone Corporation Transmitter-receiver having ear-piece type acoustic transducing part
JPH11113079A (ja) * 1997-10-06 1999-04-23 Kubota Corp 音声ピックアップ装置
US20050185813A1 (en) * 2004-02-24 2005-08-25 Microsoft Corporation Method and apparatus for multi-sensory speech enhancement on a mobile device
JP2005244968A (ja) * 2004-02-24 2005-09-08 Microsoft Corp モバイル・デバイス上のマルチセンサによるスピーチ改良のための方法および装置
JP2006126558A (ja) * 2004-10-29 2006-05-18 Asahi Kasei Corp 音声話者認証システム
JP2009206885A (ja) * 2008-02-28 2009-09-10 Audio Technica Corp マイクロホン
JP2014502468A (ja) * 2010-11-24 2014-01-30 コーニンクレッカ フィリップス エヌ ヴェ オーディオ信号生成システム及び方法

Also Published As

Publication number Publication date
CN103229517A (zh) 2013-07-31
BR112013012539A2 (pt) 2020-08-04
RU2013128560A (ru) 2014-12-27
EP2643981B1 (en) 2014-09-17
BR112013012539B1 (pt) 2021-05-18
EP2643981A1 (en) 2013-10-02
WO2012069973A1 (en) 2012-05-31
US9538301B2 (en) 2017-01-03
CN103229517B (zh) 2017-04-19
JP6031041B2 (ja) 2016-11-24
WO2012069973A9 (en) 2013-05-10
US20140119548A1 (en) 2014-05-01
RU2605522C2 (ru) 2016-12-20

Similar Documents

Publication Publication Date Title
JP6031041B2 (ja) 複数のオーディオセンサを有する装置とその動作方法
JP6034793B2 (ja) オーディオ信号生成システム及び方法
RU2376722C2 (ru) Способ многосенсорного улучшения речи на мобильном ручном устройстве и мобильное ручное устройство
US8898058B2 (en) Systems, methods, and apparatus for voice activity detection
US8462969B2 (en) Systems and methods for own voice recognition with adaptations for noise robustness
US20130282369A1 (en) Systems and methods for audio signal processing
US20100323652A1 (en) Systems, methods, apparatus, and computer-readable media for phase-based processing of multichannel signal
US20090018826A1 (en) Methods, Systems and Devices for Speech Transduction
KR20060044629A (ko) 신경 회로망을 이용한 음성 신호 분리 시스템 및 방법과음성 신호 강화 시스템
EP2745293B1 (en) Signal noise attenuation
Na et al. Noise reduction algorithm with the soft thresholding based on the Shannon entropy and bone-conduction speech cross-correlation bands
Abu-El-Quran et al. Multiengine Speech Processing Using SNR Estimator in Variable Noisy Environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161021

R150 Certificate of patent or registration of utility model

Ref document number: 6031041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees