JP2013527499A - 音質改善のためのユーザ別の雑音抑圧 - Google Patents

音質改善のためのユーザ別の雑音抑圧 Download PDF

Info

Publication number
JP2013527499A
JP2013527499A JP2013513202A JP2013513202A JP2013527499A JP 2013527499 A JP2013527499 A JP 2013527499A JP 2013513202 A JP2013513202 A JP 2013513202A JP 2013513202 A JP2013513202 A JP 2013513202A JP 2013527499 A JP2013527499 A JP 2013527499A
Authority
JP
Japan
Prior art keywords
user
noise suppression
electronic device
voice
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013513202A
Other languages
English (en)
Inventor
アラム リンダール,
バプティスト ピエール パキエ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44276060&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2013527499(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2013527499A publication Critical patent/JP2013527499A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering

Abstract

ユーザ別の雑音抑圧を行うシステム、方法、およびデバイスを提供する。例えば、電子デバイス(10)の音声関連機能の使用時に、電子デバイス(10)は、ユーザの音声を含むオーディオ信号を受け付けることができる。この時、電子デバイス(10)は、周囲音(60)などの雑音も受け付けることがあるが、オーディオ信号の中のこの雑音を抑圧することができる。電子デバイス(10)は、特に、ユーザの音声を実質的に維持しながら、ユーザ別雑音抑圧パラメータによって、オーディオ信号の中の雑音を抑圧する。このユーザ別雑音抑圧パラメータは、ユーザの雑音抑圧の好み、もしくはユーザ音声プロファイル、またはこれらの組み合わせに少なくとも一部基づいてもよい。

Description

本発明は、一般に、雑音抑圧技術に関し、より詳細には、ユーザ別の雑音抑圧技術に関する。
本セクションは、以下で説明および/または特許請求の範囲に記載する本発明の種々の態様に関連する可能性のある種々の技術の特徴を読者に紹介しようとするものである。この説明は、本発明の種々の態様についてより良い理解が得られるようにするための背景情報を読者に提供するのに役立つであろう。従って、当然のことながら、この説明は、この観点から読むべきものであり、従来技術を是認するものとして読むべきものではない。
電子デバイスの多くは、ユーザの音声の記録および/または伝達を伴う音声関連の機能を使用している。例えば、音声メモ記録機能は、ユーザが話す音声メモを記録することができる。同様に、電子デバイスの電話機能は、ユーザの音声を別の電子デバイスに伝達することができる。しかし、電子デバイスがユーザの音声を取得する時、同時に周囲音すなわち背景雑音も取得されることがある。この周囲音は、ユーザの音声を不明瞭にすることがあり、時には、電子デバイスの音声関連機能の適切な動作を妨げることがある。
音声関連機能の使用時における周囲音の影響を減らすために、電子デバイスは、多様な雑音抑圧手法を適用することができる。デバイスの製造業者は、ほとんどのユーザに評判よく受け入れられるように計算されたある所定の汎用パラメータに従って動作するように、そのような雑音抑圧手法をプログラムするであろう。しかし、音声の種類によっては、それらの汎用雑音抑圧パラメータはあまり適していないことがある。さらに、ユーザの中には、強い雑音抑圧を好む人もいるし、弱い雑音抑圧を好む人もいる。
本明細書に開示する特定の実施形態について、以下に概要を記載する。当然のことながら、これらの態様は、これら特定の実施形態の概要を提供するためだけに提示しており、本発明の範囲を限定するものではない。実際のところ、本発明は、以下に記載しないであろう多様な態様を包含しうるものである。
本発明の実施形態は、ユーザ別の雑音抑圧を行うためのシステム、方法、装置に関する。例えば、電子デバイスは、音声関連機能の使用時に、ユーザの音声を含むオーディオ信号を受信することができる。この時、電子デバイスは、周囲音などの雑音も受信することがあるので、オーディオ信号の中のこのような雑音は抑圧した方がよい。特に、電子デバイスは、ユーザ別雑音抑圧パラメータによって、ユーザの音声は実質的に維持しつつ、オーディオ信号の中の雑音を抑圧することができる。このユーザ別雑音抑圧パラメータは、ユーザの雑音抑圧の好み、もしくはユーザ音声プロファイル、またはこれらの組み合わせに少なくとも部分的に基づいてもよい。
以下の詳細説明を読み、図面を参照することによって、本発明の種々の態様を、より良く理解できるであろう。
一実施形態による、本明細書に開示の技術を実行可能な電子デバイスのブロック図。 図1の電子デバイスの一実施形態を示す携帯デバイスの概略図。 一実施形態による、図1の電子デバイスの音声関連機能を使用しうる種々の状況を示すブロック図。 一実施形態による、図1の電子デバイスで行うことができる雑音抑圧のブロック図。 一実施形態による、ユーザ別雑音抑圧パラメータを示すブロック図。 図1の電子デバイスにおいて、ユーザ別雑音抑圧パラメータを適用する方法の一実施形態を示すフローチャート。 一実施形態による、図2の携帯デバイスの起動時に、音声トレーニングシーケンスを開始する状況を説明する図。 一実施形態による、図2の携帯デバイスを使用して、音声トレーニングシーケンスの開始を選択するための一連の画面の概略図。 音声トレーニングシーケンスによって、ユーザ別雑音抑圧パラメータを決定する方法の一実施形態を示すフローチャート。 一実施形態による、音声トレーニング用のユーザ音声サンプルの取得法の概略図。 一実施形態による、音声トレーニングシーケンス中における、雑音抑圧に関するユーザの好みを取得する方法を示す概略図。 音声トレーニングシーケンス中における、雑音抑圧に関するユーザの好みを取得する方法の一実施形態を示すフローチャート。 音声トレーニングシーケンスを行う別の方法の一実施形態を示すフローチャート。 高い信号対雑音比(SNR)のユーザ音声サンプルを取得する方法の一実施形態を示すフローチャート。 ユーザ音声サンプルを分析して、ユーザ別雑音抑圧パラメータを決定する方法の一実施形態を示すフローチャート。 一実施形態による、図16の方法の実行中に考慮しうるユーザ音声サンプルの特徴を示す要因図。 一実施形態による、ユーザ選択可能設定によってユーザ別雑音パラメータを取得するために、図2の携帯デバイス上に表示されうる一連の画面を示す概略図。 一実施形態による、携帯デバイスの音声関連機能の使用中に、ユーザ別雑音抑圧パラメータをリアルタイムに取得するための、図2の携帯デバイス上の画面の概略図。 一実施形態による、ユーザ別雑音抑圧パラメータを形成しうる種々のサブパラメータを示す概略図。 検出した周囲音に基づきユーザ別のパラメータの中の特定のサブパラメータを適用する方法の一実施形態を示すフローチャート。 電子デバイスの使用状況に基づき雑音抑圧パラメータの中の特定のサブパラメータを適用する方法の一実施形態を示すフローチャート。 一実施形態による、図23の方法に使用されうる多様なデバイス状況要因を示す要因図。 ユーザ音声プロファイルを取得する方法の一実施形態を示すフローチャート。 ユーザ音声プロファイルに基づき雑音抑圧を適用する方法の一実施形態を示すフローチャート。 一実施形態による、ユーザ音声プロファイルに基づくオーディオ信号の雑音抑圧の行い方を示す図。 事前に記録した音声を要する音声トレーニングシーケンスによって、ユーザ別雑音抑圧パラメータを取得する方法の一実施形態を示すフローチャート。 ユーザ別雑音抑圧パラメータを、別の電子デバイスから受信したオーディオに適用する方法の一実施形態を示すフローチャート。 一実施形態による、第1の電子デバイスのユーザ別雑音パラメータに基づいて、別の電子デバイスに雑音抑圧をさせる方法の一実施形態を示すフローチャート。 一実施形態による、他の電子デバイスに関係しているユーザ別雑音抑圧パラメータに基づいて2台の電子デバイスで雑音抑圧を行うシステムのブロック図。
以下、1つ以上の特定の実施形態について説明する。これらの実施形態の説明を簡潔にするために、本明細書においては、実際の実施における特徴の全てについては説明しない。当然のことながら、そのような実際に実施するための開発においては、どの工学または設計プロジェクトにも見られるように、開発者の具体的な目標を達成するために、実施毎に異なるであろうシステム関連およびビジネス関連の制約を順守するなどの、多くの実施固有の決定を行う必要がある。さらに、当然のことながら、そのような開発の取り組みは、複雑で多大な時間を要するかもしれないが、それでも、本発明から利益を得る当業者にとって、設計、製作、および製造における決まった取り組みであろう。
本発明の実施形態は、電子デバイスの音声関連機能に関係するオーディオ信号の中の雑音の抑圧に関する。この音声関連機能には、例えば、音声メモ記録機能、ビデオ記録機能、電話機能、および/または音声コマンド機能が含まれ、これらの機能のそれぞれは、ユーザの音声を含むオーディオ信号に関係しうる。しかし、オーディオ信号は、ユーザの音声に加えて、音声関連機能の使用中に存在する周囲音も含む場合がある。この周囲音は、ユーザの音声を不明瞭にする恐れがあるので、電子デバイスは、オーディオ信号に雑音抑圧を適用して、ユーザの音声を維持しながら、周囲音を取り除く。
本発明の実施形態による雑音抑圧は、デバイスの製造時にプログラムされる汎用雑音抑圧パラメータを使用する代わりに、電子デバイスのユーザ固有の、ユーザ別雑音抑圧パラメータを使用することができる。このユーザ別雑音抑圧パラメータは、ユーザの音声プロファイルに基づいて、および/または手動で選択されるユーザ設定に基づいて、音声トレーニングによって決定されうる。雑音抑圧を汎用パラメータではなくユーザ別のパラメータに基づいて行うことにより、雑音を抑圧した信号の音は、ユーザにとってより満足のゆくものになるであろう。このユーザ別雑音抑圧パラメータは、どの音声関連機能においても使用することができ、自動利得制御(AGC)および/またはイコライザ(EQ)調整と連動して使用することもできる。
上記のように、ユーザ別雑音抑圧パラメータは、音声トレーニングシーケンスを使用して決定されうる。この音声トレーニングシーケンスにおいて、電子デバイスは、様々な雑音抑圧パラメータを、1つ以上の妨害刺激(distractors)(例えば、紙をしわくちゃにする音、白色雑音、人の喧騒音などの擬似周囲音(simulated ambient sounds))が混ざったユーザ音声サンプルに適用することができる。その後、ユーザは、どの雑音抑圧パラメータが最も好ましい音を作り出すかを指示することができる。ユーザからのフィードバックに基づき、電子デバイスは、ユーザ別雑音抑圧パラメータを決定して記憶し、後で電子デバイスの音声関連機能を使用する時に使用することができる。
追加または代替で、ユーザ別雑音抑圧パラメータは、ユーザの音声の特徴に応じて、電子デバイスが自動的に決定してもよい。ユーザの音声が異なれば、平均周波数が異なり、周波数変動も異なり、独特さも異なり、このように多くの点で異なる特徴を有する。さらに、ある種の雑音抑圧パラメータが、ある種の音声の特徴により効果的に作用することは、周知のことであろう。従って、本発明の特定の実施形態による電子デバイスは、このようなユーザの音声の特徴に基づいて、ユーザ別雑音抑圧パラメータを決定することができる。いくつかの実施形態においては、ユーザは、例えば、雑音抑圧強度セレクタで強/中/弱を選択することにより、または電子デバイス上で現在の通話品質を示すことにより、手動で雑音抑圧パラメータを設定することができる。
ユーザ別のパラメータが決定すると、電子デバイスは、音声関連機能の使用中に聞こえるかもしれない種々のタイプの周囲音を抑圧することができる。特定の実施形態においては、電子デバイスは、周囲音の特性を分析し、それによって、現在の周囲音を抑圧することが期待されるユーザ別雑音抑圧パラメータを適用することができる。別の実施形態においては、電子デバイスは、電子デバイスが使用されている現在の状況に基づいて、特定のユーザ別雑音抑圧パラメータを適用することができる。
特定の実施形態においては、電子デバイスは、ユーザに対応付けられているユーザ音声プロファイルに基づいて、ユーザに合わせた雑音抑圧を行うことができる。この場合、電子デバイスは、オーディオ信号のどの成分がユーザの音声に相当するかを通常予想できるので、音声関連機能の使用時に、オーディオ信号から周囲音をより効果的に分離することができる。例えば、電子デバイスは、ユーザ音声プロファイルに関係しているオーディオ信号の成分を増幅する一方で、ユーザ音声プロファイルに関係していないオーディオ信号の成分を抑圧することができる。
ユーザ別雑音抑圧パラメータは、電子デバイスが受信するユーザの音声以外の音声を含むオーディオ信号の中の雑音を、抑圧するためにも使用することができる。例えば、電子デバイスが電話機能またはチャット機能に使用されている時、電子デバイスは、ユーザが通信している相手からのオーディオ信号に、ユーザ別雑音抑圧パラメータを使用してもよい。このオーディオ信号は送信デバイスで前もって処理されているであろうから、この雑音抑圧は、比較的弱くてもよい。特定の実施形態においては、電子デバイスは、送信デバイスにユーザ別雑音抑圧パラメータを送信してもよく、それに応じて、送信デバイスは、自デバイスの雑音抑圧パラメータを変更してもよい。同様に、2台の電子デバイスは、系統的に働いて、互いのユーザのユーザ別雑音抑圧パラメータに従って、送信するオーディオ信号の中の雑音を抑圧してもよい。
上述のことを考慮して、本発明の技術を実施するのに適した電子デバイスについて、以下に一般的な説明を行う。特に、図1は、本技術を使用するのに適した電子デバイスに存在しうる種々のコンポーネントを示すブロック図である。図2は、適切な電子デバイスの一例を示し、この電子デバイスは、図示のように、雑音抑圧機能を有する携帯電子デバイスであってもよい。
まず図1を参照すると、本発明の技術を実施する電子デバイス10は、特に、1つ以上のプロセッサ12、メモリ14、不揮発性記憶装置16、ディスプレイ18、雑音抑圧20、位置検出回路22、入力/出力(I/O)インタフェース24、ネットワークインタフェース26、画像キャプチャ回路28、加速度計/磁力計30、およびマイクロホン32を有してもよい。図1に示す種々の機能ブロックは、ハードウェア要素(回路を含む)、ソフトウェア要素(コンピュータで読み取り可能な記憶媒体に保存されたコンピュータコードを含む)、またはハードウェア要素とソフトウェア要素の両方の組み合わせを有してもよい。図1は、特定の実施の単なる一例であり、電子デバイス10に存在しうる種類のコンポーネントを示そうとするものである。
一例として、電子デバイス10は、図2に示す携帯デバイスまたは同様のデバイスのブロック図を表してもよい。追加または代替で、電子デバイス10は、特定の特徴を有する電子デバイスからなるシステムを表してもよい。例えば、第1の電子デバイスは、少なくともマイクロホン32を有し、この第1の電子デバイスは、プロセッサ12および他のデータ処理回路を有する第2の電子デバイスにオーディオを提供することができる。データ処理回路は、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせとして、全部または一部が具体化されてもよいことに留意されたい。さらに、データ処理回路は、単一の内蔵の処理モジュールであってもよいし、また電子デバイス10内の他の任意の要素内に全部または一部が組み込まれていてもよい。また、データ処理回路は、電子デバイス10内に一部が具体化され、電子デバイス10に有線または無線で接続されている別の電子デバイス内に一部が具体化されていてもよい。またさらに、データ処理回路は、デバイス10に有線または無線で接続されている別のデバイス内に全部実装されていてもよい。非限定の一例として、処理回路は、デバイス10に連動するヘッドセット内に具体化されていてもよい。
図1の電子デバイス10において、本発明の技術を実施するための種々のアルゴリズムを実行するために、プロセッサ12および/または他のデータ処理回路は、メモリ14および不揮発性メモリ16に動作可能に連結されていてもよい。プロセッサ12が実行するこのようなプログラムまたは命令は、命令またはルーティンを少なくとも集合的に格納する、メモリ14および不揮発性記憶装置16などの、コンピュータで読み取り可能な、1つ以上の有形の記憶媒体を含む任意の適切な製品に格納されてもよい。また、このようなコンピュータプログラムプロダクト上にコード化されたプログラム(例えば、オペレーティングシステム)は、本明細書に記載の機能を含む種々の機能を、電子デバイス10が提供するのを可能にするために、プロセッサ12で実行しうる命令も含んでもよい。ディスプレイ18は、タッチスクリーンディスプレイであってもよく、タッチスクリーンディスプレイは、ユーザが、電子デバイス10のユーザインタフェースと情報のやり取りをすることを可能にすることができる。
雑音抑圧20は、プロセッサ12などのデータ処理回路によって、または電子デバイス10によって処理されるオーディオ信号に、特定の雑音抑圧を行うために設けられた回路によって、行われてもよい。例えば、雑音抑圧20は、外部から提供された雑音抑圧パラメータに基づき、インフィニオン(Infineon)社などが製造するベースバンド集積回路(IC)によって行われてもよい。追加または代替で、雑音抑圧20は、外部から提供された雑音抑圧パラメータに基づき、オーディエンス(Audience)社などが製造する雑音抑圧を行うように構成された電話オーディオ強化集積回路(IC)において行われてもよい。これらの雑音抑圧ICは、特定の雑音抑圧パラメータに少なくとも一部は基づいて動作することができる。この雑音抑圧パラメータを変化させることにより、雑音抑圧20の出力を変更することができる。
位置検出回路22は、電子デバイス10の相対位置または絶対位置を測定するデバイスの機能を表してもよい。一例として、位置検出回路22は、全地球測位システム(GPS)回路、地元のWi−Fiネットワークなどの近隣の無線ネットワークに基づいて位置を推定するアルゴリズムなどを表してもよい。I/Oインタフェース24は、ネットワークインタフェース26と同様に、電子デバイス10が種々の他の電子デバイスとインタフェースで接続することを可能にすることができる。ネットワークインタフェース26は、例えば、Bluetoothネットワークなどのパーソナル・エリア・ネットワーク(PAN)用のインタフェース、802.11x Wi−Fiネットワークなどのローカル・エリア・ネットワーク(LAN)用のインタフェース、および/または3Gセルラネットワークなどのワイド・エリア・ネットワーク(WAN)用のインタフェースを含んでもよい。ネットワークインタフェース26を通して、電子デバイス10は、マイクロホン32を有する無線ハンドセットとインタフェースで接続することができる。画像キャプチャ回路28は、画像キャプチャおよび/またはビデオキャプチャを可能にでき、加速度計/磁力計30は、電子デバイス10の動きおよび/または相対的方向を観測することができる。
マイクロホン32は、電話機能または音声認識機能などの電子デバイス10の音声関連機能と一緒に使用される時、ユーザの音声のオーディオ信号を取得することができる。音声信号の中に、ユーザの音声に加えて周囲音も入ることがあるが、雑音抑圧20は、特定のユーザ別雑音抑圧パラメータに基づいて、ほとんどの周囲音を取り除くように、オーディオ信号を処理することができる。以下でより詳細に説明するように、ユーザ別雑音抑圧パラメータは、ユーザ音声プロファイルに基づいて、および/または手動で選択されるユーザ設定に基づいて、音声トレーニングによって決定されてもよい。
図2は、電子デバイス10の一実施形態を表す携帯デバイス34を示す。携帯デバイス34は、例えば、携帯電話機、メディアプレーヤ、パーソナル・データ・オーガナイザ、携帯・ゲーム・プラットフォーム、またはこれらのデバイスの任意の組み合わせを表してもよい。一例として、携帯デバイス34は、カリフォルニア州クパチーノのアップルインコーポレイテッドから入手できるiPod(登録商標)またはiPhone(登録商標)の製品であってもよい。
携帯デバイス34は、内部のコンポーネントを物理的損傷から保護するとともに、電磁干渉から遮蔽する筐体36を有してもよい。筐体36は、表示アイコン38を表示することができるディスプレイ18の周りを囲んでいてもよい。表示アイコン38は、特に、セルラー信号強度、Bluetooth(登録商標)接続、および/または電池残量を示してもよい。I/Oインタフェース24は、筐体36を通して開かれていてもよく、外部のデバイスと接続するために、例えば、アップルインコーポレイテッド独自のI/Oポートを有していてもよい。図2に示すように、携帯デバイス34の反対側には、画像キャプチャ回路28を有していてもよい。
ディスプレイ18と関連するユーザ入力部40、42、44、46は、ユーザによる携帯デバイス34の制御を可能にすることができる。例えば、入力部40は、携帯デバイス34を作動または停止させることができ、入力部42は、ユーザインタフェース20をホーム画面、および/またはユーザ設定可能なアプリケーション画面に案内することができる、および/または携帯デバイス34の音声認識機能を作動させることができ、入力部44は、音量制御を提供することができ、入力部46は、振動モードと鳴動モードとを切り替えることができる。マイクロホン32は、種々の音声関連機能用にユーザの音声を取得することができ、スピーカ48は、オーディオ再生機能および/または特定の電話機能を作動させることができる。ヘッドホン入力端子50は、外部スピーカおよび/またはヘッドホンとの接続を提供することができる。
図2に示すように、有線ヘッドセット52は、ヘッドホン入力端子50を介して携帯デバイス34に接続されてもよい。有線ヘッドセット52は、2つのイヤホン48と、マイクロホン32を有していてもよい。マイクロホン32は、携帯デバイス34に配置されているマイクロホン32と同様に、ユーザが携帯デバイス34に話すことを可能にすることができる。いくつかの実施形態においては、マイクロホン32の近くのボタンは、マイクロホン32を始動させることができる、および/または携帯デバイス34の音声関連機能を作動させることができる。無線ヘッドセット54は、ネットワークインタフェース26の無線インタフェース(例えば、Bluetoothインタフェース)を介して携帯デバイス34に同様に接続されてもよい。有線ヘッドセット52と同様に、無線ヘッドセット54も、イヤホン48およびマイクロホン32を有していてもよい。また、いくつかの実施形態においては、マイクロホン32の近くのボタンは、マイクロホン32を始動させることができる、および/または携帯デバイス34の音声関連機能を作動させることができる。追加または代替で、一体となったイヤホン48がなくてもよい単独型のマイクロホン32(図示せず)は、ヘッドホン入力端子50またはネットワークインタフェース26の1つを介して、携帯デバイス34とインタフェースで接続することができる。
ユーザは、種々の周囲音がある多様な状況において、音声認識機能または電話機能などの電子デバイス10の音声関連機能を使用することがある。図3は、携帯デバイス34として示す電子デバイス10が、音声関連機能の実行中に、ユーザの音声オーディオ信号58および周囲音60を取得することがあるこのような状況56を、数多く示している。一例として、電子デバイス10の音声関連機能には、例えば、音声認識機能、音声メモ記録機能、ビデオ記録機能、および/または電話機能が含まれる。音声関連機能は、プロセッサ12または他のプロセッサによって実行されるソフトウェアにより、電子デバイス10で実施されてもよい、および/または専用のハードウェアで実施されてもよい。
ユーザが音声オーディオ信号58を話すと、オーディオ信号58は、電子デバイス10のマイクロホン32に入るであろう。しかし、ほぼ同時に、周囲音60もマイクロホン32に入ることがある。周囲音60は、電子デバイス10が使用されている状況56しだいで変わることがある。音声関連機能が使用されることがある種々の状況56には、特に、自宅62、オフィス64、スポーツジム66、繁華街68、車70、スポーツイベント72、レストラン74、パーティ76が含まれうる。当然のことながら、繁華街68で発生する典型的な周囲音60は、自宅62または車70の中で発生する典型的な周囲音60とは、大いに異なるであろう。
周囲音60の特性は、状況56ごとに変わるであろう。以下でより詳細に説明するように、電子デバイス10は、ユーザ別雑音抑圧パラメータに少なくとも一部基づいて、周囲音60を取り除くように雑音抑圧20を行うことができる。いくつかの実施形態においては、このユーザ別雑音抑圧パラメータは、ユーザ音声サンプルおよび種々の妨害刺激(擬似周囲音)を含むオーディオ信号に、多様な異なる雑音抑圧パラメータをテストすることができる、音声トレーニングによって決定されてもよい。音声トレーニングで使用される妨害刺激は、特定の状況56において聞かれる周囲音60をまねるように選ばれてもよい。さらに、電子デバイス10の動きおよび周囲の光のさまざまな量、および/または音声信号58および周囲音60の種々の音量レベルを有する各状況56は、特定の場所および時間に発生することがある。従って、電子デバイス10は、例えば時刻、場所、動き、周囲の光、および/または音量レベルなどに基づき判定される、特定の状況56に合わせたユーザ別雑音抑圧パラメータを使用して、周囲音60を取り除くことができる。
図4は、電子デバイス10の音声関連機能の使用時に、電子デバイス10で雑音抑圧20を行う技術80のブロック図である。図4の技術80において、音声関連機能は、ユーザと相手との双方向通信に関係しており、電子デバイス10の電話機能またはチャット機能の使用時に使用されうる。しかし、当然のことながら、電子デバイス10は、双方向通信が行われていない時、電子デバイスのマイクロホン32またはネットワークインタフェース26を通して受信したオーディオ信号にも、雑音抑圧20を行ってもよい。
雑音抑圧技術80において、電子デバイス10のマイクロホン32は、ユーザの音声信号58および背景にある周囲音60を取得することができる。この第1のオーディオ信号は、雑音抑圧20に入る前に、コーデック82で符号化される。雑音抑圧20において、送信雑音抑圧(TX NS)84が、第1のオーディオ信号に適用されてもよい。雑音抑圧20の仕方は、例えばプロセッサ12、メモリ14、または不揮発性記憶装置16から提供される特定の雑音抑圧パラメータ(送信雑音抑圧(TX NS)パラメータ86として図示)によって定められてもよい。以下でより詳細に説明するように、TX NSパラメータ86は、プロセッサ12によって決定され、かつ電子デバイス10のユーザおよび/または状況56に合わせた、ユーザ別雑音抑圧パラメータであってもよい。符号84における雑音抑圧20の実行後に生じる信号は、ネットワークインタフェース26を通してアップリンク88に伝達されてもよい。
ネットワークインタフェース26のダウンリンク90は、別のデバイス(例えば、別の電話機)から音声信号を受信してもよい。雑音抑圧20において、この入力信号に、特定の雑音の受信雑音抑圧(RX NS)92が適用されてもよい。この雑音抑圧20の仕方は、例えばプロセッサ12、メモリ14、または不揮発性記憶装置16によって提供される特定の雑音抑圧パラメータ(受信雑音抑圧(RX NS)パラメータ94として図示)によって定められてもよい。入力オーディオ信号は、送信デバイスを出て行く前に、前もって雑音抑圧処理をされているかもしれないので、RX NSパラメータ94は、TX NSパラメータ86より弱くなるように選択されてもよい。結果として生じる雑音抑圧信号は、コーデック82によって復号され、電子デバイス10の受信回路および/またはスピーカ48に出力されてもよい。
TX NSパラメータ86および/またはRX NSパラメータ94は、電子デバイス10のユーザに固有なものとすることができる。すなわち、図5のダイアグラム100に示すように、TX NSパラメータ86およびRX NSパラメータ94は、電子デバイス10のユーザに合わせたユーザ別雑音抑圧パラメータ102の中から選択されうる。これらのユーザ別雑音抑圧パラメータ102は、以下でより詳細に説明するように、音声トレーニング104によるもの、ユーザ音声プロファイル106に基づくもの、および/または、ユーザ選択可能設定108に基づくものなどの多様なやり方で取得することができる。
音声トレーニング104は、種々の妨害刺激または擬似背景雑音と結び付いている多様な雑音抑圧パラメータをテストする手段として、電子デバイス100によるユーザ別雑音抑圧パラメータ102の決定を可能にすることができる。この音声トレーニング104を行う特定の実施形態について、図7〜14を参照して以下により詳細に説明する。追加または代替で、電子デバイス10は、図15〜17を参照して以下により詳細に説明するように、ユーザの音声の固有の特徴を考慮しうるユーザ音声プロファイル106に基づき、ユーザ別雑音抑圧パラメータ102を決定してもよい。追加または代替で、図18および19を参照して以下により詳細に説明するように、ユーザは、特定のユーザ設定108によってユーザ別雑音抑圧パラメータ102に対する好みを示してもよい。このユーザ選択可能設定には、例えば、雑音抑圧強度(例えば、弱/中/強)セレクタ、および/またはユーザのリアルタイムの音声品質に関するユーザフィードバックを提供するためのリアルタイム・ユーザ・フィードバック・セレクタを含んでもよい。
一般に、電子デバイス10は、その音声関連機能の使用時に、ユーザ別雑音抑圧パラメータ102を使用してもよい(例えば、ユーザ別雑音抑圧パラメータ102に基づいて、TX NSパラメータ86およびRX NSパラメータ94を選択してもよい)。特定の実施形態においては、電子デバイス10は、音声関連機能を現在使用しているユーザを識別し、それに基づいて雑音抑圧20中に、特定のユーザ別雑音抑圧パラメータ102を適用してもよい。このような状況は、例えば、電子デバイス10が他の家族によって使用される時に起こることがある。家族の各メンバは、電子デバイス10の音声関連機能を時には使用することがあるユーザを表してもよい。このようなマルチユーザの条件のもとでは、電子デバイス10は、そのユーザに対応付けられているユーザ別雑音抑圧パラメータ102が存在するかどうかを確かめてもよい。
例えば、図6は、ユーザが識別されたときに、特定のユーザ別雑音抑圧パラメータ102を適用するフローチャート110を示す。フローチャート110は、ユーザが電子デバイス10の音声関連機能を使用している時に始まってもよい(ブロック112)。音声関連機能の実行においては、電子デバイス10は、ユーザ音声信号58および周囲音60を含むオーディオ信号を受信する。電子デバイス10は、一般に、オーディオ信号からユーザの音声の特定の特徴を判定し、および/またはユーザ音声信号58からユーザ音声プロファイルを識別することができる(ブロック114)。以下に説明するように、ユーザ音声プロファイルは、ユーザの音声に関係している特定の特徴を識別する情報を表してもよい。
ブロック114で検出された音声プロファイルが、ユーザ別雑音抑圧パラメータ102が対応付けられているどの既知のユーザとも一致しない場合(ブロック116)、電子デバイス10は、雑音抑圧20用の特定のデフォルト雑音抑圧パラメータを適用してもよい(ブロック118)。しかし、ブロック114で検出された音声プロファイルが電子デバイス10の既知のユーザと一致し、電子デバイス10が、そのユーザに対応付けられているユーザ別雑音抑圧パラメータ102を現在記憶している場合、電子デバイス10は、代わりに、対応付けられているユーザ別雑音抑圧パラメータ102を適用してもよい(ブロック120)。
上述のように、ユーザ別雑音抑圧パラメータ102は、音声トレーニングシーケンス104に基づき決定されてもよい。この音声トレーニングシーケンス104の開始は、図7に示すように、携帯デバイス34などの電子デバイス10の一実施形態の起動段階130中に、ユーザに選択肢として提示されてもよい。一般に、この起動段階130は、携帯デバイス34がセルラネットワークに最初に参加する時、または通信ケーブル134を介してコンピュータまたは他の電子デバイス132に最初に接続される時に行われてもよい。この起動段階130中に、携帯デバイス34、またはコンピュータもしくは他の装置132は、音声トレーニングを開始するためのプロンプト136を提示してもよい。プロンプトを選択して、ユーザは、音声トレーニング104を開始してもよい。
追加または代替で、音声トレーニングシーケンス104は、電子デバイス10を音声トレーニングモードにする電子デバイス10の設定を、ユーザが選択したとき開始される。図8に示すように、携帯デバイス34のホーム画面140は、選択されると携帯デバイス34に設定画面144を表示させる、ユーザ選択可能ボタン142を含んでもよい。ユーザが設定画面144上で「電話」と書いてあるユーザ選択可能ボタン146を選択すると、携帯デバイス34は、電話設定画面148を表示する。電話設定画面148は、特に、「音声トレーニング」と書いてあるユーザ選択可能ボタン150を有してもよい。ユーザが音声トレーニングボタン150を選択すると、音声トレーニングシーケンス104が開始される。
図9のフローチャート160は、音声トレーニング104を行う方法の一実施形態を示す。フローチャート160は、特定の妨害刺激(例えば、擬似周囲音)が背景で再生されている間に電子デバイス10がユーザに話すように促すことで開始される(ブロック162)。例えば、ロックミュージック、人の喧騒音、紙をしわくちゃにする音などの特定の妨害刺激が、コンピュータもしくは他の電子デバイス132、または電子デバイス10のスピーカ48で音に出して再生されている間に、ユーザは、特定の語または句を話すように求められる。この妨害刺激が再生されている間に、電子デバイス10は、ユーザ音声サンプルを記録する(ブロック164)。いくつかの実施形態においては、ユーザの音声と1つ以上の妨害刺激の両方を含むテストオーディオ信号を複数取得するために、多様な妨害刺激が再生されている間に、ブロック162および164が繰り返されてもよい。
ユーザがどの雑音抑圧パラメータを最も好むかを判定するために、電子デバイス10は、雑音抑圧20がテストオーディオ信号に適用されている間に、特定のテスト雑音抑圧パラメータを順に適用してから、ユーザにフィードバックを求めてもよい。例えば、電子デバイス10は、ここでは「A」と呼ぶ第1のテスト雑音抑圧パラメータセットを、ユーザ音声サンプルおよび1つ以上の妨害刺激を含むテストオーディオ信号に適用してから、スピーカ48を介してユーザにオーディオを出力する(ブロック166)。次に、電子デバイス10は、ここでは「B」と呼ぶ別のテスト雑音抑圧パラメータセットを、ユーザ音声サンプルに適用してから、スピーカ48を介してユーザにオーディオを出力する(ブロック168)。次いで、ユーザは、電子デバイス10から出力された2つのオーディオ信号のどちらを好むかを(例えば、電子デバイス10のディスプレイ18上で「A」または「B」を選択することによって)決定することができる(ブロック170)。
電子デバイス10は、種々のテスト雑音抑圧パラメータおよび種々の妨害刺激を使用してブロック166〜170の動作を繰り返して、毎回ユーザの雑音抑圧の好みついてさらに学習し、ユーザの雑音抑圧の好みのデータの適切なセットが得られるまで続けてもよい(判定ブロック172)。従って、電子デバイス10は、ユーザの音声および特定のよくある周囲音を含むオーディオ信号に実際に適用する、多様な雑音抑圧パラメータの望ましさをテストすることができる。いくつかの実施形態においては、ブロック166〜170の繰り返しのそれぞれで、電子デバイス10は、特定の雑音抑圧パラメータを徐々に変化させる(例えば、雑音抑圧強度を徐々に増減させる)ことにより、テスト雑音抑圧パラメータを調整して、ユーザの雑音抑圧の好みを決定するまで続けてもよい。他の実施形態においては、電子デバイス10は、ブロック166〜170の各繰り返しにおいて、異なるタイプの雑音抑圧パラメータをテストしてもよい(例えば、ある繰り返しでは雑音抑圧強度、別の繰り返しでは特定の周波数での雑音抑圧など)。いずれの場合においても、ブロック166〜170は、所望数のユーザの好みが得られるまで繰り返されてもよい(判定ブロック172)。
ブロック170で表示された好みに基づき、電子デバイス10は、ユーザ別雑音抑圧パラメータ102を決定することができる(ブロック174)。一例として、電子デバイス10は、ブロック166〜170の繰り返しが終了した時、ブロック170のユーザフィードバックに基づき、ユーザ別雑音抑圧パラメータ102の好みのセットに到達することができる。別の例では、ブロック166〜170の各繰り返しが、雑音抑圧パラメータの特定のセットをテストする場合、電子デバイス10は、特定のパラメータに対して示される好みに基づき、ユーザ別雑音抑圧パラメータの包括セットを決定することができる。ユーザ別雑音抑圧パラメータ102は、同じユーザが電子デバイス10の音声関連機能を後で使用する時に雑音を抑圧するために、電子デバイス10のメモリ14または不揮発性記憶装置16に記憶されてもよい(ブロック176)。
図10〜13は、電子デバイス10が図9のフローチャート160を実行しうる特定のやり方に関する。特に、図10および11は、図9のフローチャート160のブロック162および164に関し、図12および図13のA〜Bはブロック166〜172に関する。図10を参照すると、2台のデバイスによる音声記録システム180は、コンピュータもしくは他の電子デバイス132と、携帯デバイス34とを有する。いくつかの実施形態においては、携帯デバイス34は、通信ケーブル134または無線通信(例えば、802.11x Wi−FiのWLANまたはBluetoothのPAN)を介して、コンピュータまたは他の電子デバイス132に接続されてもよい。システム180の動作中、1つ以上の多様な妨害刺激182が背景で再生されている間に、コンピュータまたは他の電子デバイス132は、ユーザに語または句を言うように促す。この妨害刺激182は、例えば、紙をしわくちゃにする音184、人の喧騒音186、白色雑音188、ロックミュージック190、および/または道路騒音192を含んでもよい。妨害刺激182は、追加または代替で、例えば図3に関して上述した種々の状況56などにおいて普通に経験する他の雑音を含んでもよい。コンピュータまたは他の電子デバイス132から音に出して再生されるこれらの妨害刺激182は、ユーザがユーザ音声サンプル194を提供するのと同時に、携帯デバイス34のマイクロホン32によって拾い上げられる。このようにして、ハンドヘルデバイス34は、妨害刺激182とユーザ音声サンプル194の両方を含むテストオーディオ信号を取得することができる。
図11の1台のデバイスによる音声記録システム200によって示す別の実施形態においては、携帯デバイス34は、妨害刺激182の出力と、ユーザ音声サンプル194の記録とを両方同時に行う。図11に示すように、携帯デバイス34は、ユーザ音声サンプル194のための語または句を言うように、ユーザを促す。同時に、携帯デバイス34のスピーカ48は、1つ以上の妨害刺激182を出力する。この場合、携帯デバイス34のマイクロホン32は、コンピュータまたは他の電子デバイス132なしに、現在再生している妨害刺激182およびユーザ音声サンプル194の両方を含むテストオーディオ信号を記録することができる。
図12は、ブロック166〜170に対応しており、テストオーディオ信号に適用する雑音抑圧パラメータの選択に基づいて、ユーザの雑音抑圧の好みを決定する実施形態を示す。特に、ここでは携帯デバイス34として表されている電子デバイス10は、第1の雑音抑圧パラメータセット(「A」)を、ユーザ音声サンプル194と少なくとも1つの妨害刺激182の両方を含むテストオーディオ信号に適用する。携帯デバイス34は、その結果得られた、雑音抑圧したオーディオ信号を出力する(符号212)。また、携帯デバイス34は、第2の雑音抑圧パラメータセット(「B」)を、テストオーディオ信号に適用してから、その結果得られた、雑音抑圧したオーディオ信号を出力する(符号214)。
2つの雑音抑圧パラメータセット「A」および「B」をテストオーディオ信号に適用して生じた音をユーザに聞かせてから、携帯デバイス34は、例えば、「AとBのどちらがよかったですか?」と、ユーザに尋ねる(符号216)。次いで、ユーザは、出力された雑音抑圧信号に基づき、雑音抑圧の好みを指示することができる。例えば、ユーザは、携帯デバイス34上の画面218によって、第1の雑音抑圧オーディオ信号(「A」)または第2の雑音抑圧オーディオ信号(「B」)を選択することができる。いくつかの実施形態においては、ユーザは、「A」または「B」と声に出して言うなどの他のやり方で好みを表してもよい。
電子デバイス10は、多様なやり方で固有の雑音抑圧パラメータに対するユーザの好みを決定することができる。図13のフローチャート220は、図9のフローチャート160のブロック166〜172を行う方法の一実施形態を示す。フローチャート220は、電子デバイス10が、例えば「A」および「B」と呼ぶ雑音抑圧パラメータセットを適用する時に開始される。ユーザが、雑音抑圧パラメータ「A」を好む場合(判定ブロック224)、次に、電子デバイス10は、同様に例えば「C」および「D」と呼ぶ新しい雑音抑圧パラメータセットを新たに適用する。特定の実施形態においては、雑音抑圧パラメータ「C」および「D」は、雑音抑圧パラメータ「A」の変形でもよい。ユーザが雑音抑圧パラメータ「C」の方を好む場合(判定ブロック228)、電子デバイスは、雑音抑圧パラメータを、「A」および「C」の組み合わせに設定する(ブロック230)。ユーザが雑音抑圧パラメータ「D」の方を好む場合(判定ブロック228)、電子デバイスは、ユーザ別雑音抑圧パラメータを、雑音抑圧パラメータ「A」および「D」の組み合わせに設定する(ブロック232)。
ブロック222の終了後に、ユーザが雑音抑圧パラメータ「B」の方を好む場合(判定ブロック224)、電子デバイス10は、新しい雑音抑圧パラメータ「C」および「D」を適用する(ブロック234)。特定の実施形態においては、新しい雑音抑圧パラメータ「C」および「D」は、雑音抑圧パラメータ「B」の変形でもよい。ユーザが雑音抑圧パラメータ「C」の方を好む場合(判定ブロック236)、電子デバイス10は、ユーザ別雑音抑圧パラメータを、「B」および「C」の組み合わせに設定する(ブロック238)。そうではなくて、ユーザが雑音抑圧パラメータ「D」の方を好む場合(判定ブロック236)、電子デバイス10は、ユーザ別雑音抑圧パラメータを、「B」および「D」の組み合わせに設定する(ブロック240)。当然のことながら、フローチャート220は、図9のフローチャート160のブロック166〜172を行う単なる1つのやり方として提示している。従って、はるかに多くの雑音抑圧パラメータがテストされてもよく、そのようなパラメータは、具体的には特定の妨害刺激と一緒にテストされてもよい(例えば、特定の実施形態においては、フローチャート220は、各妨害刺激182をそれぞれが含むテストオーディオ信号に対して繰り返されてもよい)。
音声トレーニング104は、他のやり方で行われてもよい。例えば、図14のフローチャート250で示す一実施形態においては、ユーザ音声サンプル194は、まず、背景で再生される妨害刺激182なしに取得される(ブロック252)。一般に、このようなユーザ音声サンプル194は、比較的高い信号対雑音比(SNR)を有するように、静かな部屋などの周囲音60が非常に少ない場所で取得されるのがよい。その後、電子デバイス10は、ユーザ音声サンプル194と種々の妨害刺激182とを電子的に混合する(ブロック254)。従って、電子デバイス10は、1つのユーザ音声サンプル194を使用して、多様な妨害刺激182を有する1つ以上のテストオーディオ信号を作成することができる。
その後、電子デバイス10は、ユーザがどの雑音抑圧パラメータを最も好むかを決定して、ユーザ別雑音抑圧パラメータ102を決定する。図9のブロック166〜170と同様に、電子デバイス10は、ブロック254で得られたテストオーディオ信号に特定のテスト雑音抑圧パラメータを順に適用し、ユーザの好みを評価する(ブロック256〜260)。電子デバイス10は、種々のテスト雑音抑圧パラメータおよび種々の妨害刺激を使用してブロック256〜260の動作を繰り返して、毎回ユーザの雑音抑圧の好みついてさらに学習し、ユーザの雑音抑圧の好みのデータの適切なセットが得られるまで続けられる(判定ブロック262)。従って、電子デバイス10は、ユーザの音声および特定のよくある周囲音を含むテストオーディオ信号に適用する、多様な雑音抑圧パラメータの望ましさをテストすることができる。
図9のブロック174と同様に、電子デバイス10は、ユーザ別雑音抑圧パラメータ102を決定する(ブロック264)。ユーザ別雑音抑圧パラメータ102は、同じユーザが電子デバイス10の音声関連機能を後で使用する時に雑音を抑圧するために、電子デバイス10のメモリ14または不揮発性記憶装置16に格納される(ブロック266)。
上述のように、本発明の特定の実施形態は、背景で妨害刺激182が音を出して再生されることなしに、ユーザ音声サンプル194の取得を必要とすることがある。いくつかの実施形態においては、電子デバイス10は、ユーザを混乱させない静かな環境において、ユーザが電子デバイス10の音声関連機能を使用する最初の時に、そのようなユーザ音声サンプル194を取得してもよい。図15のフローチャートの270に示すように、いくつかの実施形態においては、電子デバイス10は、ユーザの音声を含む信号対雑音比(SNR)の十分に高いオーディオを最初に検出した時に、そのようなユーザ音声サンプル194を取得してもよい。
図15のフローチャート270は、ユーザが電子デバイス10の音声関連機能を使用している時に開始される(ブロック272)。ユーザを認証するために、電子デバイス10は、マイクロホン32が検出したオーディオ信号に基づき、そのユーザの音声プロファイルを検出する(ブロック274)。ブロック274で検出された音声プロファイルが、電子デバイスの既知のユーザの音声の音声プロファイルを表している場合(判定ブロック276)、電子デバイス10は、そのユーザに対応付けられているユーザ別雑音抑圧パラメータ102を適用する(ブロック278)。ユーザが認証されなかった場合(判定ブロック276)、電子デバイス10は、まずデフォルトの雑音抑圧パラメータを適用する(ブロック280)。
電子デバイス10は、音声関連機能を使用中に、マイクロホン32が受信したオーディオ信号の現在の信号対雑音比(SNR)を評価する(ブロック282)。SNRが十分に高い(例えば、事前設定の閾値より高い)場合、電子デバイス10は、マイクロホン32が受信したオーディオからユーザ音声サンプル194を取得してもよい(ブロック286)。SNRが十分に高くない(例えば、閾値より低い)場合(判定ブロック284)、電子デバイス10は、少なくとも周期的にSNRを再評価し続けながら、デフォルトの雑音抑圧パラメータを適用し続けてもよい(ブロック280)。このようにして得られたユーザ音声サンプル194は、図14に関して上述の音声トレーニングシーケンス104で使用されてもよい。他の実施形態においては、電子デバイス10は、このユーザ音声サンプル194を使用して、ユーザ音声サンプル194自体に基づいて、ユーザ別雑音抑圧パラメータ102を決定してもよい。
具体的には、音声トレーニングシーケンス104に加えて、ユーザ別雑音抑圧パラメータ102は、ユーザ音声サンプル194と関係している特定の特徴に基づいて決定されてもよい。例えば、図16は、このようなユーザの音声の特徴に基づいてユーザ別雑音抑圧パラメータ102を決定するフローチャート290を示す。フローチャート290は、電子デバイス10がユーザ音声サンプル194を取得した時に開始される(ブロック292)。ユーザ音声サンプルは、例えば図15のフローチャート270に従って取得されてもよいし、電子デバイス10に促されてユーザが特定の語または句を言うに時に取得されてもよい。次に、電子デバイスは、ユーザ音声サンプルに関係している特定の特徴を分析する(ブロック294)。
ユーザ音声サンプル194に関係している種々の特徴に基づいて、電子デバイス10は、ユーザ別雑音抑圧パラメータ102を決定する(ブロック296)。例えば、図17の音声特徴ダイアグラム300に示すように、ユーザ音声サンプル194は、多様な音声サンプルの特徴302を含んでもよい。このような特徴302には、特に、ユーザ音声サンプル194の平均周波数304、ユーザ音声サンプル194の周波数変動性306、ユーザ音声サンプル194に関係している一般的なスピーチ音308、ユーザ音声サンプル194の周波数範囲310、ユーザ音声サンプルの周波数におけるフォルマント位置312、および/またはユーザ音声サンプル194のダイナミックレンジ314を含んでもよい。これらの特徴は、ユーザが異なれば音声パタンも異なるため、違いを生じうる。すなわち、ユーザの音声の高さまたは深さ、ユーザの話しのアクセント、および/または舌足らずの話し方などは、特徴302などの話し方の測定可能な特性を変えている場合に、考慮されるとよい。
上述のように、ユーザ別雑音抑圧パラメータ102は、ユーザ設定108を直接選択することによっても決定されてもよい。このような例の1つについて、図18に携帯デバイス32用のユーザ設定画面シーケンス320として示す。画面シーケンス320は、電子デバイス10が設定ボタン142を含むホーム画面140を表示した時に開始される。設定ボタン142を選択することにより、携帯デバイス34に設定画面144を表示させることができる。設定画面144上の「電話」と書かれているユーザ選択可能ボタン146を選択することにより、携帯デバイス34上に電話設定画面148を表示させることができる。この電話設定画面148は、種々のユーザ選択可能ボタンを含んでもよく、その中の1つは、「雑音抑圧」と書かれているユーザ選択可能ボタン322であってもよい。
ユーザがユーザ選択可能ボタン322を選択すると、携帯デバイス34は、雑音抑圧選択画面324を表示する。雑音抑圧選択画面324によって、ユーザは、雑音抑圧強度を選択できる。例えば、ユーザは、選択つまみ326によって雑音抑圧強度を強、中、または弱に選択できる。より強い雑音抑圧強度を選択すると、周囲音60をより強く抑圧するが、受信したオーディオ信号の中のユーザの音声58も強く抑圧してしまうおそれのあるユーザ別雑音抑圧パラメータ102になるであろう。より弱い雑音抑圧強度を選択すると、周囲音60が多く残るが、受け取ったオーディオ信号の中にユーザの音声58も多く残すことができるユーザ別雑音抑圧パラメータ102になるであろう。
他の実施形態においては、ユーザは、電子デバイス10の音声関連機能を使用している間に、リアルタイムでユーザ別雑音抑圧パラメータ102を調節することができる。一例として、携帯デバイス34上に表示されうる図19の通話進捗画面330に見られるように、ユーザは、音声通話品質フィードバック332の指標を提供することができる。特定の実施形態においては、フィードバックは、通話品質を示すいくつかの選択可能な星印334で表してもよい。ユーザが選択した星の数334が多い場合、ユーザは、現在のユーザ別雑音抑圧パラメータ102に満足しているので、電子デバイス10は、雑音抑圧パラメータを変更しなくてもよいと理解されるであろう。他方、選択された星の数が少ない場合、電子デバイス10は、星の数334が増えて、ユーザが満足していることを示すまで、ユーザ別雑音抑圧パラメータ102を変更してもよい。追加または代替で、通話進捗画面330は、図18に関して上述した設定などの、リアルタイムにユーザ選択可能な雑音抑圧強度設定を含んでもよい。
特定の実施形態においては、特定の妨害刺激182および/または特定の状況60に対応しているユーザ別雑音抑圧パラメータ102のサブセットを、決定することができる。図20のパラメータダイアグラム340に示すように、ユーザ別雑音抑圧パラメータ102は、特定の妨害刺激182に基づきサブセットに分割されてもよい。例えば、ユーザ別雑音抑圧パラメータ102は、妨害刺激別パラメータ344〜352を含んでもよく、これらのパラメータは、ユーザの音声58も含むオーディオ信号から妨害刺激182に関係している特定の周囲音60を取り除くために選択される雑音抑圧パラメータを表してもよい。当然のことながら、ユーザ別雑音抑圧パラメータ102は、妨害刺激別パラメータをより多くまたはより少なく有してもよい。例えば、音声トレーニング104中に異なる妨害刺激182がテストされる場合、ユーザ別雑音抑圧パラメータ102は、異なる妨害刺激別パラメータを含んでもよい。
妨害刺激別パラメータ344〜352は、ユーザ別雑音抑圧パラメータ102を決定する時に、決定することができる。例えば、音声トレーニング104中に、電子デバイス10は、種々の妨害刺激182を含むテストオーディオ信号を使用して、相当数の雑音抑圧パラメータをテストすることができる。各妨害刺激182に対するユーザの雑音抑圧の好みに応じて、電子デバイスは、妨害刺激別パラメータ344〜352を決定することができる。一例として、電子デバイスは、紙をしわくちゃにする音の妨害刺激184を含むテストオーディオ信号に基づいて、紙をしわくちゃにする音に対するパラメータ344を決定してもよい。以下に説明するように、パラメータダイアグラム340の妨害刺激別パラメータは、電子デバイス10が、特定の周囲音60が存在する時、および/または特定の状況56において使用される時などの特定の場合に、後で呼び出されてもよい。
追加または代替で、ユーザ別雑音抑圧パラメータ102のサブセットが、電子デバイス10の音声関連機能が使用されることがある特定の状況56に関して定められてもよい。例えば、図21に示すパラメータダイアグラム360で表されるように、ユーザ別雑音抑圧パラメータ102は、雑音抑圧パラメータをどの状況56で最も良く使用しうるかに基づいて、サブセットに分割されてもよい。例えば、ユーザ別雑音抑圧パラメータ102は、特定の状況56に関係しているであろう特定の周囲音60を取り除くために選択される雑音抑圧パラメータを表す、状況別のパラメータ364〜378を含んでもよい。当然のことながら、ユーザ別雑音抑圧パラメータ102は、状況別のパラメータをより多くまたはより少なく有してもよい。例えば、以下に説明するように、電子デバイス10は、それぞれの状況が予想される特定の周囲音60を含むであろう多様な状況56を識別することができる。従って、ユーザ別雑音抑圧パラメータ102は、識別できる状況56のそれぞれにおいて、雑音を抑圧する異なる状況別のパラメータを含んでもよい。
妨害刺激別パラメータ344〜352と同様に、状況別のパラメータ364〜378は、ユーザ別雑音抑圧パラメータ102を決定する時に、決定することができる。一例を提供すると、音声トレーニング104中に、電子デバイス10は、種々の妨害刺激182を含むテストオーディオ信号を使用して、相当数の雑音抑圧パラメータをテストしてもよい。各妨害刺激182に対するユーザの雑音抑圧の好みに応じて、電子デバイス10は、状況別のパラメータ364〜378を決定してもよい。
電子デバイス10は、状況別のパラメータ364〜378の各状況56と1つ以上の妨害刺激182との関係に基づいて、状況別のパラメータ364〜378を決定してもよい。具体的には、電子デバイス10が識別できる各状況56は、1つ以上の固有の妨害刺激182に対応していてもよいことに留意されたい。例えば、車70の中の状況56は、主に1つの妨害刺激182、すなわち道路騒音192に対応していてもよい。従って、車内に関する状況別のパラメータ376は、道路騒音192を含むテストオーディオ信号に関するユーザの好みに基づいてもよい。同様に、スポーツイベント72の状況56は、人の喧騒音186、白色雑音188、およびロックミュージック190などの複数の妨害刺激182に関係してもよい。従って、スポーツイベントに対する状況別のパラメータ368は、人の喧騒音186、白色雑音188、およびロックミュージック190を含むオーディオ信号に関するユーザの好みの組み合わせに基づいてもよい。この組み合わせにおいて、状況56の周囲音60により密接に一致することが予想される妨害刺激182は、より大きく反映されるように重み付けられてもよい。
上述のように、ユーザ別雑音抑圧パラメータ102は、(例えば、図16および17に関して上述のように)音声トレーニング104を使用して、または使用せずに、ユーザ音声サンプル194の特徴に基づき決定されてもよい。このような状況のもとで、電子デバイス10は、追加または代替で、妨害刺激別パラメータ344〜352および/または状況別のパラメータ364〜378を、(例えば、ユーザを促すことなく)自動的に決定してもよい。これらの雑音抑圧パラメータ344〜352および/または363〜378は、これらの雑音抑圧パラメータが、ユーザ音声サンプル194および特定の妨害刺激182に適用されたときの、予想性能に基づいて決定されてもよい。
電子デバイス10の音声関連機能の使用時、電子デバイス10は、妨害刺激別パラメータ344〜352および/または状況別のパラメータ364〜378を使用して、ユーザと周囲音60の特性との両方に雑音抑圧20を合わせてもよい。具体的には、図22は、周囲音60の評価特性に基づき、妨害刺激別パラメータ344〜352を選択して適用する方法の一実施形態を示す。図23は、電子デバイス10が使用されている状況56の識別に基づいて、状況別のパラメータ364〜378を選択して適用する方法の一実施形態を示す。
図22を参照すると、妨害刺激別パラメータ344〜352を選択して適用するフロー380は、電子デバイス10の音声関連機能の使用時に開始される(ブロック382)。次に、電子デバイス10は、そのマイクロホン32が受信した周囲音60の特性を判定する(ブロック384)。いくつかの実施形態においては、電子デバイス10は、例えば、音量レベル(例えば、ユーザの音声58は、一般に周囲音60より大きいであろう)および/または周波数(例えば、周囲音60は、ユーザの音声58が関係している周波数の範囲外で発生することがある)に基づき、周囲音60とユーザの音声58とを区別することができる。
周囲音60の特性が、1つ以上の妨害刺激182に類似する場合がある。従って、いくつかの実施形態においては、電子デバイス10は、妨害刺激別パラメータ344〜352の中から、周囲音60に最も密接に一致する1つのパラメータを適用する(ブロック386)。レストラン74にいる状況56に関しては、例えば、マイクロホン32が検出する周囲音60は、人の喧騒音186に最も密接に一致するであろう。従って、電子デバイス10は、そのような周囲音60が検出されたときは、妨害刺激別パラメータ346を適用してもよい。他の実施形態においては、電子デバイス10は、周囲音60に最も密接に一致する複数の妨害刺激別パラメータ344〜352を適用してもよい。これらの複数の妨害刺激別パラメータ344〜352は、周囲音60と対応する妨害刺激182との類似性に基づき重み付けられてもよい。例えば、スポーツイベント72の状況56においては、人のしゃべる声186、白色雑音188、およびロックミュージック190などの複数の妨害刺激182に類似する周囲音60を有するであろう。そのような周囲音60を検出すると、電子デバイス10は、関係している複数の妨害刺激別パラメータ346、348および/または350を、周囲音60とのそれぞれのパラメータの類似性に比例させて適用してもよい。
同様に、電子デバイス10は、電子デバイス10が使用されている状況56の識別に基づいて、状況別のパラメータ364〜378を選択して適用してもよい。図23を参照すると、そのようにするためのフロー390は、電子デバイス10の音声関連機能の使用時に開始される(ブロック392)。次に、電子デバイス10は、自デバイスが使用されている現在の状況56を判定する(ブロック394)。具体的には、電子デバイス10は、多様なデバイス状況要因を考慮することができる(図24を参照して以下により詳細に説明する)。電子デバイス10が使用されていると判定された状況56に基づいて、電子デバイス10は、状況別のパラメータ364〜378の中から、関係している1つのパラメータを適用する(ブロック396)。
図24のデバイス状況要因ダイアグラム400に示すように、電子デバイス10は、自デバイスが使用されている現在の状況56を識別するために、多様なデバイス状況要因402を考慮することができる。これらのデバイス状況要因402は、単独で、または種々の実施形態の組み合わせで考慮されてもよく、場合によっては、デバイス状況要因402は重み付けされてもよい。すなわち、現在の状況56をより正しく予測していそうなデバイス状況要因402には、状況56の判定においてより大きな重みを与えられるのに対して、現在の状況56をあまり正しく予測していそうにないデバイス状況要因402には、より小さな重みを与えられてもよい。
例えば、デバイス状況要因402の第1の要因404は、電子デバイス10のマイクロホン32が検出する周囲音60の特性でもよい。周囲音60の特性は、状況56に関連することがあるので、電子デバイス10は、その分析に少なくとも一部は基づいて状況56を判定してもよい。
デバイス状況要因402の第2の要因406は、今日の日付または現在の時刻でもよい。いくつかの実施形態においては、電子デバイス10は、今日の日付および/または現在の時刻を電子デバイス10のカレンダー機能と比較して、状況を判定してもよい。例として、ユーザが夕食を取っている予定になっていることをカレンダー機能が示す場合、第2の要因406は、状況56をレストラン74と判定するのを支持するように評価されてもよい。別の例においては、ユーザは、朝又は夕方近くに通勤していそうなので、こうした時間には、第2の要因406は、状況56を車70と判定するのを支持するように評価されてもよい。
デバイス状況要因402の第3の要因408は、位置検出回路22が測定しうる電子デバイス10の現在位置でもよい。第3の要因408を使用して、電子デバイス10は、その現在の位置を考慮して、例えば、電子デバイス10のマップ機能で、現在位置を既知の場所(例えば、レストラン74またはオフィス64)、または電子デバイス10が頻繁にある場所(これは、例えば、オフィス64または自宅62を示していてもよい)と比べることによって状況56を判定してもよい。
デバイス状況要因402の第4の要因410は、例えば電子デバイスの画像キャプチャ回路28によって、電子デバイス10の周りで検出される周囲の光の量でもよい。一例として、大量の周囲の光は、屋外に見られる特定の状況56(例えば、繁華街68)に関係しているであろう。このような条件のもとに、要因410は、屋外で見られる状況56を支持するように評価されてもよい。少量の周囲の光は、対照的に、屋内で見られる特定の状況56(例えば、自宅62)に関係しているであろう。この場合、要因410は、そのような屋内の状況56を支持するように評価されてもよい。
デバイス状況要因402の第5の要因412は、検出された電子デバイス10の動きでもよい。この動きは、加速度計および/または磁力計30に基づき、および/または位置検出回路22によって測定された、時間に伴う位置の変化に基づき検出されてもよい。動きは、多様なやり方で所与の状況56を示唆しうる。例えば、電子デバイス10が非常に速く動いている(例えば、時速約32キロ(20マイル)より速い)ことが検出されると、要因412は、電子デバイス10が車70か、または同様の交通形態の中にあることを支持するように評価されてもよい。電子デバイス10がランダムに動いているとき、要因412は、電子デバイス10のユーザが動き回っているであろう(例えば、スポーツジム66またはパーティ76の)状況を支持するように評価されてもよい。電子デバイス10がほとんど静止している時、要因412は、ユーザがある期間1か所に座っている(例えば、オフィス64またはレストラン74の)状況56を支持するように評価されてもよい。
デバイス状況要因402の第6の要因414は、別のデバイス(例えば、Bluetoothハンドセット)との接続でもよい。例えば、自動車のハンズフリーホンシステムとのBluetooth接続は、第6の要因414を、状況56を車70の中にいると判定するのを支持するように評価させてもよい。
いくつかの実施形態においては、電子デバイス10は、電子デバイス10の所与のユーザに対応付けられているユーザ音声プロファイルに基づいて、ユーザ別雑音抑圧パラメータ102を決定してもよい。こうしてもたらされるユーザ別雑音抑圧パラメータ102は、雑音抑圧20に、ユーザ音声プロファイルに関係していなそうな周囲音60、従って雑音らしいと理解されてもよい周囲音60を分離させることができる。図25〜29は、このような技術に関する。
図25に示すように、ユーザ音声プロファイルを取得するフロー420は、電子デバイス10が音声サンプルを取得する時に開始される(ブロック422)。この音声サンプルは、上述のどのやり方で取得されてもよい。電子デバイス10は、図に関して上述した特徴などの、音声サンプルの特定の特徴を分析する(ブロック424)。固有の特徴は、ユーザの音声プロファイルとして定量化され記憶される(ブロック426)。決定されたユーザ音声プロファイルは、以下に説明するように、雑音抑圧20をユーザの音声に合わせるために使用されてもよい。さらに、図15に関して上述したように、特定のユーザが電子デバイス10の音声関連機能を使用している時に、ユーザ音声プロファイルは、電子デバイス10によるその特定のユーザの識別を可能にすることができる。
この音声プロファイルを使用して、電子デバイス10は、そのユーザの音声に最も良く適用可能なやり方で雑音抑圧を行うことができる。一実施形態においては、図26のフローチャート430に示すように、電子デバイス10は、ユーザの音声58より周囲音60に相当していそうなオーディオ信号の周波数を抑圧する一方で、音声信号58により相当していそうな周波数を増強してもよい。フロー430は、ユーザが電子デバイス10の音声関連機能を使用している時に開始される(ブロック432)。電子デバイス10は、ユーザの音声信号58と周囲音60の両方を含む受信したオーディオ信号を、電子デバイス10に現在話しているユーザに対応付けられているユーザ音声プロファイルと比較する(ブロック434)。雑音抑圧20をユーザの音声に合わせるために、電子デバイスは、ユーザ音声プロファイルに関係していないオーディオ信号の周波数を抑圧するように、かつユーザ音声プロファイルに関係しているオーディオ信号の周波数を増幅するように、雑音抑圧20を行う(ブロック436)。
上記のようにする1つのやり方を図27〜29に示している。これらの図は、オーディオ信号、ユーザ音声プロファイル、および出力雑音抑圧信号をモデル化した図を示す。図27を参照すると、プロット440は、音声関連機能の使用中に、電子デバイス10のマイクロホン32で受信され、周波数領域に変換されたオーディオ信号を表す。縦座標442は、オーディオ信号の周波数成分のマグニチュードを表し、横座標444は、オーディオ信号の種々の離散的周波数成分を表す。当然のことながら、オーディオ信号を周波数領域に変換するために、高速フーリエ変換(FFT)などの任意の適切な変換を使用することができる。同様に、オーディオ信号は、任意の適切な数(例えば、40、128、256等)の離散的周波数成分に分割することができる。
それに対して、図28のプロット450は、ユーザ音声プロファイルと関係している周波数をモデル化した図である。縦座標452は、ユーザ音声プロファイルの周波数成分のマグニチュードを表し、横座標454は、ユーザ音声プロファイルの離散的周波数成分を表す。図27のオーディオ信号のプロット440と図28のユーザ音声プロファイルのプロット450とを比べると、モデル化されたオーディオ信号がユーザ音声プロファイルに通常関係していない周波数の範囲を含むことが分かるであろう。すなわち、モデル化されたオーディオ信号は、ユーザの音声に加えて他の周囲音60を含みそうであろう。
上記の比較から、電子デバイス10は、雑音抑圧20を行うとき、プロット450のユーザ音声プロファイルの周波数に相当するプロット440のオーディオ信号の周波数成分を概ね増幅するのに対して、他の周波数成分を概ね抑圧するような、ユーザ別雑音抑圧パラメータ102を決定または選択してもよい。図29のプロット460は、そのようにして生じる雑音抑圧オーディオ信号をモデル化している。プロット460の縦座標462は、雑音抑圧オーディオ信号の周波数成分のマグニチュードを表し、横座標464は、雑音抑圧信号の離散的周波数成分を表す。プロット460の増幅部分466は、ユーザ音声プロファイルの中に見られる周波数に相当する。それに対して、プロット460の抑圧部分468は、プロット450のユーザプロファイルと関係していない雑音抑圧信号の周波数に概ね相当する。いくつかの実施形態においては、雑音抑圧の大きい部分が、プロット450のユーザ音声プロファイルに関係していない周波数に適用されるであろう、それに対して、雑音抑圧の小さい部分が、増幅されても、されなくてもよい部分466に適用されるであろう。
これまでの説明は、全般的に、図4に示した、出力オーディオ信号に雑音抑圧20であるTX NS84を行うために、ユーザ別雑音抑圧パラメータ102を決定することに重点をおいたものであった。しかし、上述のように、ユーザ別雑音抑圧パラメータ102は、別のデバイスからの入力オーディオ信号にRX NS92を行うためにも使用されてもよい。別のデバイスからのそのような入力オーディオ信号は、ユーザ自身の音声を含まないので、特定の実施形態においては、ユーザ別雑音抑圧パラメータ102は、複数の妨害刺激182に加えて、複数のテスト音声が関わる音声トレーニング104に基づき決定されてもよい。
例えば、図30のフロー470が提示しているように、電子デバイス10は、事前記録音声または擬似音声と妨害刺激182とが関わる音声トレーニング104によって、ユーザ別雑音抑圧パラメータ102を決定してもよい。このような音声トレーニング104の一実施形態は、多様な異なる音声および妨害刺激182を含むテストオーディオ信号を含んでもよい。フロー470は、ユーザが音声トレーニング104を開始する時に開始される(ブロック472)。ユーザ自身の音声だけに基づき音声トレーニング104を行うのではなく、電子デバイス10は、中の1つが特定の実施形態におけるユーザの音声であってもよい種々の音声を含む種々のテストオーディオ信号に、種々の雑音抑圧パラメータを適用する(ブロック474)。その後、電子デバイス10は、種々のテストオーディオ信号に対してテストされた、異なる雑音抑圧パラメータに対するユーザの好みを確かめてもよい。当然のことながら、ブロック474は、図9のブロック166〜170と同様に実行されてもよい。
ブロック474におけるユーザからのフィードバックに基づき、電子デバイス10は、ユーザ別雑音抑圧パラメータ102を決定する(ブロック476)。図30のフローチャート470に基づき決定されたユーザ別のパラメータ102は、受信オーディオ信号への適用によく適しているであろう(例えば、図4に示すRX NSパラメータ94を形成するために使用される)。特に、受信オーディオ信号は、電子デバイス10が「遠端」のユーザと話すために「近端」のユーザによって電話として使用される時、異なる音声を含むであろう。従って、図31のフロー480に示すように、図30に関して説明した技術などを使用して決定されたユーザ別雑音抑圧パラメータ102は、受信オーディオ信号の中の遠端ユーザの音声の特性しだいで、遠端ユーザからの受信オーディオ信号に適用されてもよい。
フロー480は、電子デバイス10の電話機能またはチャット機能などの音声関連機能の使用時、かつ別の電子デバイス10からの遠端ユーザの音声を含むオーディオ信号の受信時に開始される(ブロック482)。続いて、電子デバイス10は、オーディオ信号の中の遠端ユーザの音声の特性を判定する(ブロック484)。(図30に関して上述のように実行される時)そのようにすることで、例えば、受信オーディオ信号の中の遠端ユーザの音声を音声トレーニング104中にテストされた特定の他の音声と比較することになるであろう。次に、電子デバイス10は、他の音声の中から、遠端ユーザの音声に最も似ている音声に対応するユーザ別雑音抑圧パラメータ102を適用する(ブロック486)。
一般に、第1の電子デバイス10が、双方向通信中に第2の電子デバイス10から遠端ユーザの音声を含むオーディオ信号を受信する時、このオーディオ信号は、第2の電子デバイス10で既に雑音抑圧処理されているかもしれない。特定の実施形態によれば、第2の電子デバイス10におけるこの雑音抑圧は、図32のフロー490に示すように、第1の電子デバイス10の近端ユーザに合わされていてもよい。フロー490は、第1の電子デバイス10(例えば、図33の携帯デバイス34A)が第2の電子デバイス10(例えば、携帯デバイス34B)からの遠端ユーザの音声のオーディオ信号を受信し始めるか、または受信し始めようとしている時に開始される(ブロック492)。第1の電子デバイス10は、近端ユーザによって前もって決められているユーザ別雑音抑圧パラメータ102を、第2の電子デバイス10に送信する(ブロック494)。その後、第2の電子デバイス10は、出力オーディオ信号の中の遠端ユーザの音声の雑音抑圧に、それらのユーザ別雑音抑圧パラメータ102を適用する(ブロック496)。従って、第2の電子デバイス10から第1の電子デバイス10に送信される遠端ユーザの音声を含むオーディオ信号は、第1の電子デバイス10の近端ユーザが好む雑音抑圧の特徴を有するであろう。
上述した図32の技術は、類似した雑音抑圧機能を有する携帯デバイス34Aおよび34Bを含む、図33にシステム500として示す2台の電子デバイス10を使用して系統的に使用されてもよい。携帯デバイス34Aと34Bが、ネットワーク上でそれぞれ近端ユーザと遠端ユーザの相互通信のために使用されるとき、携帯デバイス34Aと34Bは、それぞれのユーザに対応付けられているユーザ別雑音抑圧パラメータ102を交換する(ブロック504および506)。すなわち、携帯デバイス34Bは、携帯デバイス34Aの近端ユーザに対応付けられているユーザ別雑音抑圧パラメータ102を受信する。同様に、携帯デバイス34Aは、携帯デバイス34Bの遠端ユーザに対応付けられているユーザ別雑音抑圧パラメータ102を受信する。その後、携帯デバイス34Aは、遠端ユーザのユーザ別雑音抑圧パラメータ102に基づき、近端ユーザのオーディオ信号に雑音抑圧20を行う。同様に、携帯デバイス34Bは、近端ユーザのユーザ別雑音抑圧パラメータ102に基づき、遠端ユーザのオーディオ信号に雑音抑圧20を行う。このようにして、携帯デバイス34Aおよび34Bのそれぞれのユーザは、雑音抑圧がそれぞれの好みに一致するオーディオ信号を、相手から聞くことができる。
上述の特定の実施形態は、例示であって、種々の変更や代替の形態を受け入れる余地があることが理解されよう。特許請求の範囲に記載される発明は、開示された特定の形態に限定されるものではなく、本発明の主旨および範囲内に入る全ての変更、均等物、および代替形態を包含するものであることもさらに理解されよう。

Claims (25)

  1. 電子デバイスの音声関連機能の使用時に、前記電子デバイスにおいてユーザの音声を含むオーディオ信号を受信するステップと、
    前記電子デバイスを使用して、ユーザ別雑音抑圧パラメータに少なくとも一部基づいて、前記ユーザの音声を実質的に維持しながら前記オーディオ信号の中の雑音を抑圧するステップと、
    を有し、
    前記ユーザ別雑音抑圧パラメータは、ユーザの雑音抑圧の好み、もしくはユーザ音声プロファイル、またはこれらの組み合わせに少なくとも一部基づいていることを特徴とする方法。
  2. 前記ユーザの雑音抑圧の好みは、ユーザ雑音抑圧トレーニングシーケンスに少なくとも一部基づいていることを特徴とする請求項1に記載の方法。
  3. 前記ユーザ雑音抑圧トレーニングシーケンスは、雑音抑圧パラメータがテストオーディオ信号にテストされ、前記ユーザに再生された後に、前記電子デバイスにおいてユーザの好ましい雑音パラメータの選択を受け付けるステップを含むことを特徴とする請求項2に記載の方法。
  4. 前記ユーザ雑音抑圧トレーニングシーケンスは、ユーザ音声サンプルおよび少なくとも1つの妨害刺激を含むテストオーディオ信号に適用される、テスト雑音抑圧パラメータをテストするステップを有することを特徴とする請求項2に記載の方法。
  5. 前記ユーザの雑音抑圧の好みは、ユーザ選択雑音抑圧設定に少なくとも一部基づくことを特徴とする請求項1に記載の方法。
  6. 前記ユーザ選択雑音抑圧設定は、雑音抑圧強度設定を含むことを特徴とする請求項5に記載の方法。
  7. 前記ユーザ選択雑音抑圧設定は、前記電子デバイスの前記音声関連機能の使用中に、リアルタイムにユーザが選択可能であることを特徴とする請求項5に記載の方法。
  8. 前記ユーザ音声プロファイルに関係している周波数を増幅することによって前記ユーザの音声を少なくとも一部を実質的に維持しながら、前記ユーザ別雑音抑圧パラメータによって前記オーディオ信号の中の雑音を抑圧することを特徴とする請求項1に記載の方法。
  9. 前記ユーザ音声プロファイルに関係していない周波数を抑圧することによって前記ユーザの音声を少なくとも一部を実質的に維持しながら、前記ユーザ別雑音抑圧パラメータよって前記オーディオ信号の中の雑音を抑圧することを特徴とする請求項1に記載の方法。
  10. 有形であり、マシンで読み取り可能であり、かつプロセッサで実行するための命令が符号化されている1つ以上の記憶媒体を備え、前記命令は、
    ユーザ音声サンプルおよび少なくとも1つの妨害刺激を含むテストオーディオ信号を決定するための命令と、
    第1の雑音抑圧パラメータに少なくとも一部基づいて、前記テストオーディオ信号に雑音抑圧を適用して、第1の雑音抑圧オーディオ信号を取得するための命令と、
    前記第1の雑音抑圧オーディオ信号をスピーカに出力するための命令と、
    第2の雑音抑圧パラメータに少なくとも一部基づいて、前記テストオーディオ信号に雑音抑圧を適用して、第2の雑音抑圧オーディオ信号を取得するための命令と、
    前記第2の雑音抑圧オーディオ信号を前記スピーカに出力するための命令と、
    ユーザの好みが前記第1の雑音抑圧オーディオ信号であるか前記第2の雑音抑圧オーディオ信号であるかの指示を取得するための命令と、
    前記ユーザの好みが前記第1の雑音抑圧信号であるか前記第2の雑音抑圧信号であるかの指示に応じて、前記第1の雑音抑圧パラメータ、もしくは前記第2の雑音抑圧パラメータ、またはこれらの組み合わせに少なくとも一部基づいて、前記電子デバイスの音声関連機能の使用時に雑音を抑圧するためのユーザ別雑音抑圧パラメータを決定するための命令と、
    を含むことを特徴とする装置。
  11. 前記テストオーディオ信号を決定するための命令は、前記妨害刺激が前記スピーカから音を出して再生されている間に、マイクロホンを使用して前記ユーザ音声サンプルを記録するための命令を含むことを特徴とする請求項10に記載の装置。
  12. 前記テストオーディオ信号を決定するための命令は、前記妨害刺激が別のデバイスで音を出して再生されている間に、マイクロホンを使用して前記ユーザ音声サンプルを記録するための命令を含むことを特徴とする請求項10に記載の装置。
  13. 前記テストオーディオ信号を決定するための命令は、マイクロホンを使用して前記ユーザ音声サンプルを記録し、前記ユーザ音声サンプルを前記妨害刺激と電子的に混合するための命令を含むことを特徴とする請求項10に記載の装置。
  14. 第3の雑音抑圧パラメータに少なくとも一部基づいて、前記テストオーディオ信号に雑音抑圧を適用して、第3の雑音抑圧オーディオ信号を取得するための命令と、
    前記第3の雑音抑圧オーディオ信号を前記スピーカに出力するための命令と、
    第4の雑音抑圧パラメータに少なくとも一部基づいて、前記テストオーディオ信号に雑音抑圧を適用して、第4の雑音抑圧オーディオ信号を取得するための命令と、
    前記第4の雑音抑圧オーディオ信号を前記スピーカに出力するための命令と、
    ユーザの好みが前記第3の雑音抑圧オーディオ信号であるか前記第4の雑音抑圧オーディオ信号であるかの指示を取得するための命令と、
    前記ユーザの好みが前記第3の雑音抑圧オーディオ信号であるか前記第4の雑音抑圧オーディオ信号であるかの指示に応じて、前記第1の雑音抑圧パラメータ、前記第2の雑音抑圧パラメータ、前記第3の雑音抑圧パラメータ、もしくは前記第4の雑音抑圧パラメータ、またはこれらの組み合わせに少なくとも一部基づいて、ユーザ別雑音抑圧パラメータを決定するための命令と
    を含むことを特徴とする請求項10に記載の装置。
  15. 前記ユーザの好みが前記第1の雑音抑圧オーディオ信号か前記第2の雑音抑圧オーディオ信号であるかに少なくとも一部基づいて、前記第3の雑音抑圧パラメータおよび前記第4の雑音抑圧パラメータを決定する命令を含むことを特徴とする請求項14に記載の装置。
  16. 電子デバイスであって、
    ユーザの音声および周囲音を含むオーディオ信号を取得するマイクロホンと、
    ユーザ別および状況固有雑音抑圧パラメータに少なくとも一部基づいて、前記オーディオ信号に雑音抑圧を適用して、前記オーディオ信号の中の前記周囲音を抑圧するように構成された雑音抑圧回路と、
    ユーザ音声サンプルおよび複数の妨害刺激に適用された雑音抑圧パラメータのテストに少なくとも一部基づいて決定された、複数の雑音抑圧パラメータを記憶するように構成されたメモリと、
    前記電子デバイスの現在の使用状況を判定し、前記複数の雑音抑圧パラメータの中から少なくとも1つのパラメータを選択することによって、前記ユーザ別および状況別の雑音抑圧パラメータを前記雑音抑圧回路に提供するデータ処理回路と、
    を有し、
    前記複数の雑音抑圧パラメータの中の前記少なくとも1つのパラメータは、前記ユーザ音声サンプルおよび前記複数の妨害刺激の中の少なくとも1つの妨害刺激に適用された、雑音抑圧パラメータのテストに少なくとも一部基づいて決定されたものであり、前記複数の妨害刺激の中の前記少なくとも1つの妨害刺激は、前記現在の使用状況に関係していることを特徴とする電子デバイス。
  17. 前記データ処理回路は、前記オーディオ信号の中の前記周囲音を分析することによって前記電子デバイスの前記現在の使用状況を判定し、前記複数の妨害刺激のどれが前記周囲音に似ているかを判定することによって、前記複数の妨害刺激の中から、前記現在の使用状況に関係している前記少なくとも1つの妨害刺激を決定することを特徴とする請求項16に記載の電子デバイス。
  18. 前記データ処理回路は、
    前記電子デバイスの内部クロックからの日付もしくは時刻、またはこれらの組み合わせ、
    前記電子デバイスの位置検出回路からの位置、
    前記電子デバイスの画像キャプチャ回路からの周囲の光量、
    前記電子デバイスの動き検出回路からの前記電子デバイスの動き、
    別の電子デバイスへの接続、または、
    前記マイクロホンからの前記周囲音の音量、
    あるいは、これらの任意の組み合わせ
    に少なくとも一部基づいて、前記電子デバイスの前記現在の使用状況を決定し、
    前記データ処理回路は、前記複数の妨害刺激のどれが前記判定された使用状況において予想される周囲音に似ているかを判定することによって、前記複数の妨害刺激の中から、前記現在の使用状況に関係している少なくとも1つの妨害刺激を決定する
    ことを特徴とする請求項16に記載の電子デバイス。
  19. ユーザの音声および周囲音を含むオーディオ信号を取得するマイクロホンと、
    ユーザ別雑音抑圧パラメータに少なくとも一部基づいて、前記オーディオ信号に雑音抑圧を適用して、前記オーディオ信号の中の前記周囲音を抑圧する雑音抑圧回路と、
    前記ユーザ別雑音抑圧パラメータを提供するデータ処理回路であって、前記ユーザの音声に対応付けられているユーザ音声プロファイルに少なくとも一部基づいて、前記ユーザ別雑音抑圧パラメータを決定するデータ処理回路と
    を有することを特徴とする電子デバイス。
  20. 前記データ処理回路は、ユーザ音声サンプルに少なくとも一部基づいて、前記ユーザ音声プロファイルを決定し、前記マイクロホンは、前記電子デバイスの起動期間中に前記ユーザ音声サンプルを取得することを特徴とする請求項19に記載の電子デバイス。
  21. 前記データ処理回路は、ユーザ音声サンプルに少なくとも一部基づいて、前記ユーザ音声プロファイルを決定し、前記マイクロホンは、前記電子デバイスの音声関連機能の使用中に取得される、他のオーディオ信号の信号対雑音比を監視し、前記他のオーディオ信号の前記信号対雑音比が閾値を超えるとき、前記他のオーディオ信号を記録することによって、前記ユーザ音声サンプルを取得することを特徴とする請求項19に記載の電子デバイス。
  22. 前記データ処理回路は、前記ユーザの音声が既知のユーザに一致するかどうかを判定し、前記ユーザの音声が前記既知のユーザに一致するとき、前記ユーザの音声に対応付けられている前記ユーザ音声プロファイルを呼び出すことを特徴とする請求項19に記載の電子デバイス。
  23. 前記データ処理回路は、前記ユーザの音声が既知のユーザに一致するかどうかを判定し、前記ユーザの音声が前記既知のユーザに一致しないとき、ユーザ音声サンプルを取得し、前記ユーザ音声サンプルに少なくとも一部基づいて前記ユーザ音声プロファイルを決定することによって、前記ユーザの音声に対応付けられた前記ユーザ音声プロファイルを決定することを特徴とする請求項19に記載の電子デバイス。
  24. 第1の電子デバイスであって、該第1の電子デバイスに関係しているマイクロホンから第1のユーザの音声信号を取得し、前記第1のユーザの音声信号を第2の電子デバイスに提供し、前記第2の電子デバイスから第2のユーザの雑音抑圧パラメータを受信する第1の電子デバイスを含み、前記第1の電子デバイスは、前記第2のユーザの雑音抑圧パラメータに少なくとも一部基づいて、前記第1のユーザの音声信号に雑音抑圧を適用してから、前記第1のユーザの音声信号を前記第2の電子デバイスに提供することを特徴とするシステム。
  25. 前記第1の電子デバイスは、第1のユーザの雑音抑圧パラメータを前記第2の電子デバイスに提供し、前記第2の電子デバイスから第2のユーザの音声信号を受信し、前記第2のユーザの音声信号は、この信号に、前記第1のユーザの雑音抑圧パラメータに少なくとも一部基づいて雑音抑圧を適用されてから、前記第1の電子デバイスで受信されることを特徴とする請求項24に記載のシステム。
JP2013513202A 2010-06-04 2011-05-18 音質改善のためのユーザ別の雑音抑圧 Pending JP2013527499A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/794,643 2010-06-04
US12/794,643 US8639516B2 (en) 2010-06-04 2010-06-04 User-specific noise suppression for voice quality improvements
PCT/US2011/037014 WO2011152993A1 (en) 2010-06-04 2011-05-18 User-specific noise suppression for voice quality improvements

Publications (1)

Publication Number Publication Date
JP2013527499A true JP2013527499A (ja) 2013-06-27

Family

ID=44276060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013513202A Pending JP2013527499A (ja) 2010-06-04 2011-05-18 音質改善のためのユーザ別の雑音抑圧

Country Status (7)

Country Link
US (2) US8639516B2 (ja)
EP (1) EP2577658B1 (ja)
JP (1) JP2013527499A (ja)
KR (1) KR101520162B1 (ja)
CN (1) CN102859592B (ja)
AU (1) AU2011261756B2 (ja)
WO (1) WO2011152993A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180103125A (ko) * 2016-05-05 2018-09-18 구글 엘엘씨 비디오 콘텐츠에서의 윈드 노이즈들의 필터링
JPWO2020017518A1 (ja) * 2018-07-20 2021-08-05 株式会社ソニー・インタラクティブエンタテインメント 音声信号処理装置

Families Citing this family (203)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
EP2453979B1 (en) * 2009-07-17 2019-07-24 Implantica Patent Ltd. A system for voice control of a medical implant
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8798290B1 (en) 2010-04-21 2014-08-05 Audience, Inc. Systems and methods for adaptive signal equalization
US9634855B2 (en) 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
CN102479024A (zh) * 2010-11-24 2012-05-30 国基电子(上海)有限公司 手持装置及其用户界面构建方法
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US9282414B2 (en) 2012-01-30 2016-03-08 Hewlett-Packard Development Company, L.P. Monitor an event that produces a noise received by a microphone
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9184791B2 (en) 2012-03-15 2015-11-10 Blackberry Limited Selective adaptive audio cancellation algorithm configuration
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
WO2014062859A1 (en) * 2012-10-16 2014-04-24 Audiologicall, Ltd. Audio signal manipulation for speech enhancement before sound reproduction
US9357165B2 (en) * 2012-11-16 2016-05-31 At&T Intellectual Property I, Lp Method and apparatus for providing video conferencing
US20140379343A1 (en) 2012-11-20 2014-12-25 Unify GmbH Co. KG Method, device, and system for audio data processing
US9251804B2 (en) * 2012-11-21 2016-02-02 Empire Technology Development Llc Speech recognition
EP2947658A4 (en) * 2013-01-15 2016-09-14 Sony Corp MEMORY CONTROL DEVICE, READ CONTROL DEVICE, AND RECORDING MEDIUM
KR102118209B1 (ko) 2013-02-07 2020-06-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9344793B2 (en) 2013-02-11 2016-05-17 Symphonic Audio Technologies Corp. Audio apparatus and methods
US9344815B2 (en) 2013-02-11 2016-05-17 Symphonic Audio Technologies Corp. Method for augmenting hearing
US9319019B2 (en) 2013-02-11 2016-04-19 Symphonic Audio Technologies Corp. Method for augmenting a listening experience
US20140278392A1 (en) * 2013-03-12 2014-09-18 Motorola Mobility Llc Method and Apparatus for Pre-Processing Audio Signals
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US20140278418A1 (en) * 2013-03-15 2014-09-18 Broadcom Corporation Speaker-identification-assisted downlink speech processing systems and methods
US9269368B2 (en) * 2013-03-15 2016-02-23 Broadcom Corporation Speaker-identification-assisted uplink speech processing systems and methods
US9293140B2 (en) * 2013-03-15 2016-03-22 Broadcom Corporation Speaker-identification-assisted speech processing systems and methods
US9520138B2 (en) * 2013-03-15 2016-12-13 Broadcom Corporation Adaptive modulation filtering for spectral feature enhancement
US9626963B2 (en) * 2013-04-30 2017-04-18 Paypal, Inc. System and method of improving speech recognition using context
US9083782B2 (en) 2013-05-08 2015-07-14 Blackberry Limited Dual beamform audio echo reduction
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
ES2615877T3 (es) * 2013-06-25 2017-06-08 Telefonaktiebolaget Lm Ericsson (Publ) Métodos, nodos de red, programas de ordenador y productos de programa de ordenador para gestionar el tratamiento de un flujo continuo de audio
EP2835985B1 (en) 2013-08-08 2017-05-10 Oticon A/s Hearing aid device and method for feedback reduction
CN104378774A (zh) * 2013-08-15 2015-02-25 中兴通讯股份有限公司 一种语音质量处理的方法及装置
WO2015026859A1 (en) * 2013-08-19 2015-02-26 Symphonic Audio Technologies Corp. Audio apparatus and methods
US9392353B2 (en) * 2013-10-18 2016-07-12 Plantronics, Inc. Headset interview mode
CN103594092A (zh) * 2013-11-25 2014-02-19 广东欧珀移动通信有限公司 一种单麦克风语音降噪方法和装置
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9578161B2 (en) * 2013-12-13 2017-02-21 Nxp B.V. Method for metadata-based collaborative voice processing for voice communication
US9466310B2 (en) * 2013-12-20 2016-10-11 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Compensating for identifiable background content in a speech recognition device
WO2015149216A1 (en) 2014-03-31 2015-10-08 Intel Corporation Location aware power management scheme for always-on- always-listen voice recognition system
KR20150117114A (ko) 2014-04-09 2015-10-19 한국전자통신연구원 잡음 제거 장치 및 방법
US20150327035A1 (en) * 2014-05-12 2015-11-12 Intel Corporation Far-end context dependent pre-processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9904851B2 (en) * 2014-06-11 2018-02-27 At&T Intellectual Property I, L.P. Exploiting visual information for enhancing audio signals via source separation and beamforming
DE102014009689A1 (de) * 2014-06-30 2015-12-31 Airbus Operations Gmbh Intelligentes Soundsystem/-modul zur Kabinenkommunikation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
KR101950305B1 (ko) * 2014-07-28 2019-02-20 후아웨이 테크놀러지 컴퍼니 리미티드 통신 장치를 위한 소리 신호 처리 방법 및 장치
CN106797512B (zh) 2014-08-28 2019-10-25 美商楼氏电子有限公司 多源噪声抑制的方法、系统和非瞬时计算机可读存储介质
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
CN107112025A (zh) 2014-09-12 2017-08-29 美商楼氏电子有限公司 用于恢复语音分量的系统和方法
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9530408B2 (en) * 2014-10-31 2016-12-27 At&T Intellectual Property I, L.P. Acoustic environment recognizer for optimal speech processing
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
WO2016123560A1 (en) 2015-01-30 2016-08-04 Knowles Electronics, Llc Contextual switching of microphones
KR102371697B1 (ko) 2015-02-11 2022-03-08 삼성전자주식회사 음성 기능 운용 방법 및 이를 지원하는 전자 장치
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
CN105338170A (zh) * 2015-09-23 2016-02-17 广东小天才科技有限公司 一种滤除背景噪声的方法及装置
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
CN106878533B (zh) * 2015-12-10 2021-03-19 北京奇虎科技有限公司 一种移动终端的通信方法和装置
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
WO2017187712A1 (ja) * 2016-04-26 2017-11-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
CN109155130A (zh) * 2016-05-13 2019-01-04 伯斯有限公司 处理来自分布式麦克风的语音
US20170347177A1 (en) 2016-05-25 2017-11-30 Smartear, Inc. In-Ear Utility Device Having Sensors
WO2017205558A1 (en) * 2016-05-25 2017-11-30 Smartear, Inc In-ear utility device having dual microphones
US10045130B2 (en) 2016-05-25 2018-08-07 Smartear, Inc. In-ear utility device having voice recognition
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10891946B2 (en) 2016-07-28 2021-01-12 Red Hat, Inc. Voice-controlled assistant volume control
US10771631B2 (en) * 2016-08-03 2020-09-08 Dolby Laboratories Licensing Corporation State-based endpoint conference interaction
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
CN106453760A (zh) * 2016-10-11 2017-02-22 努比亚技术有限公司 一种改善环境噪声的方法及终端
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10629200B2 (en) * 2017-03-07 2020-04-21 Salesboost, Llc Voice analysis training system
KR102307355B1 (ko) 2017-03-10 2021-09-30 삼성전자주식회사 잡음 환경의 통화 품질을 개선하는 방법 및 장치
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10410634B2 (en) 2017-05-18 2019-09-10 Smartear, Inc. Ear-borne audio device conversation recording and compressed data transmission
US10235128B2 (en) * 2017-05-19 2019-03-19 Intel Corporation Contextual sound filter
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10582285B2 (en) 2017-09-30 2020-03-03 Smartear, Inc. Comfort tip with pressure relief valves and horn
US10665234B2 (en) * 2017-10-18 2020-05-26 Motorola Mobility Llc Detecting audio trigger phrases for a voice recognition session
CN107945815B (zh) * 2017-11-27 2021-09-07 歌尔科技有限公司 语音信号降噪方法及设备
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10754611B2 (en) * 2018-04-23 2020-08-25 International Business Machines Corporation Filtering sound based on desirability
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN109905794B (zh) * 2019-03-06 2020-12-08 中国人民解放军联勤保障部队第九八八医院 基于战场应用的自适应智能化防护耳塞的数据分析系统
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN112201247B (zh) * 2019-07-08 2024-05-03 北京地平线机器人技术研发有限公司 语音增强方法和装置、电子设备和存储介质
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
CN110942779A (zh) * 2019-11-13 2020-03-31 苏宁云计算有限公司 一种噪声处理方法、装置、系统
KR20210091003A (ko) * 2020-01-13 2021-07-21 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210121472A (ko) * 2020-03-30 2021-10-08 엘지전자 주식회사 인공지능 기반의 음질개선
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN111986689A (zh) * 2020-07-30 2020-11-24 维沃移动通信有限公司 音频播放方法、音频播放装置和电子设备
US11697301B2 (en) * 2020-11-10 2023-07-11 Baysoft LLC Remotely programmable wearable device
CN112309426A (zh) * 2020-11-24 2021-02-02 北京达佳互联信息技术有限公司 语音处理模型训练方法及装置和语音处理方法及装置
US11741983B2 (en) * 2021-01-13 2023-08-29 Qualcomm Incorporated Selective suppression of noises in a sound signal
US11645037B2 (en) * 2021-01-27 2023-05-09 Dell Products L.P. Adjusting audio volume and quality of near end and far end talkers
WO2022211504A1 (en) * 2021-03-31 2022-10-06 Samsung Electronics Co., Ltd. Method and electronic device for suppressing noise portion from media event
CN117157707A (zh) * 2021-04-13 2023-12-01 谷歌有限责任公司 移动设备辅助的主动噪声控制
CN114979344A (zh) * 2022-05-09 2022-08-30 北京字节跳动网络技术有限公司 回声消除方法、装置、设备及存储介质
US20230410824A1 (en) * 2022-05-31 2023-12-21 Sony Interactive Entertainment LLC Systems and methods for automated customized voice filtering

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060282264A1 (en) * 2005-06-09 2006-12-14 Bellsouth Intellectual Property Corporation Methods and systems for providing noise filtering using speech recognition
JP2008271481A (ja) * 2007-03-27 2008-11-06 Brother Ind Ltd 電話装置
WO2009104126A1 (en) * 2008-02-20 2009-08-27 Koninklijke Philips Electronics N.V. Audio device and method of operation therefor

Family Cites Families (309)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4759070A (en) 1986-05-27 1988-07-19 Voroba Technologies Associates Patient controlled master hearing aid
US4974191A (en) 1987-07-31 1990-11-27 Syntellect Software Inc. Adaptive natural language computer interface system
US5282265A (en) 1988-10-04 1994-01-25 Canon Kabushiki Kaisha Knowledge information processing system
SE466029B (sv) 1989-03-06 1991-12-02 Ibm Svenska Ab Anordning och foerfarande foer analys av naturligt spraak i ett datorbaserat informationsbehandlingssystem
US5128672A (en) 1990-10-30 1992-07-07 Apple Computer, Inc. Dynamic predictive keyboard
US5303406A (en) 1991-04-29 1994-04-12 Motorola, Inc. Noise squelch circuit with adaptive noise shaping
US6081750A (en) 1991-12-23 2000-06-27 Hoffberg; Steven Mark Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US5412735A (en) 1992-02-27 1995-05-02 Central Institute For The Deaf Adaptive noise reduction circuit for a sound reproduction system
US5434777A (en) 1992-05-27 1995-07-18 Apple Computer, Inc. Method and apparatus for processing natural language
JPH0619965A (ja) 1992-07-01 1994-01-28 Canon Inc 自然言語処理装置
CA2091658A1 (en) 1993-03-15 1994-09-16 Matthew Lennig Method and apparatus for automation of directory assistance using speech recognition
JPH0869470A (ja) 1994-06-21 1996-03-12 Canon Inc 自然言語処理装置及びその方法
US5682539A (en) 1994-09-29 1997-10-28 Conrad; Donovan Anticipated meaning natural language interface
US5577241A (en) 1994-12-07 1996-11-19 Excite, Inc. Information retrieval system and method with implementation extensible query architecture
US5748974A (en) 1994-12-13 1998-05-05 International Business Machines Corporation Multimodal natural language interface for cross-application tasks
US5794050A (en) 1995-01-04 1998-08-11 Intelligent Text Processing, Inc. Natural language understanding system
JP3284832B2 (ja) 1995-06-22 2002-05-20 セイコーエプソン株式会社 音声認識対話処理方法および音声認識対話装置
JPH11514453A (ja) 1995-09-14 1999-12-07 エリクソン インコーポレイテッド 音声信号を適応的に濾波して雑音のある環境条件での音声了解度を高めるシステム
US5987404A (en) 1996-01-29 1999-11-16 International Business Machines Corporation Statistical natural language understanding using hidden clumpings
US5826261A (en) 1996-05-10 1998-10-20 Spencer; Graham System and method for querying multiple, distributed databases by selective sharing of local relative significance information for terms related to the query
US5727950A (en) 1996-05-22 1998-03-17 Netsage Corporation Agent based instruction system and method
US5966533A (en) 1996-06-11 1999-10-12 Excite, Inc. Method and system for dynamically synthesizing a computer program by differentially resolving atoms based on user context data
US5915249A (en) 1996-06-14 1999-06-22 Excite, Inc. System and method for accelerated query evaluation of very large full-text databases
US6181935B1 (en) 1996-09-27 2001-01-30 Software.Com, Inc. Mobility extended telephone application programming interface and method of use
US5836771A (en) 1996-12-02 1998-11-17 Ho; Chi Fai Learning method and system based on questioning
US6665639B2 (en) 1996-12-06 2003-12-16 Sensory, Inc. Speech recognition in consumer electronic products
US6904110B2 (en) * 1997-07-31 2005-06-07 Francois Trans Channel equalization system and method
US5895466A (en) 1997-08-19 1999-04-20 At&T Corp Automated natural language understanding customer service system
US6404876B1 (en) 1997-09-25 2002-06-11 Gte Intelligent Network Services Incorporated System and method for voice activated dialing and routing under open access network control
EP0911808B1 (en) 1997-10-23 2002-05-08 Sony International (Europe) GmbH Speech interface in a home network environment
US5970446A (en) * 1997-11-25 1999-10-19 At&T Corp Selective noise/channel/coding models and recognizers for automatic speech recognition
US6233559B1 (en) 1998-04-01 2001-05-15 Motorola, Inc. Speech control of multiple applications using applets
US6088731A (en) 1998-04-24 2000-07-11 Associative Computing, Inc. Intelligent assistant for use with a local computer and with the internet
US6144938A (en) 1998-05-01 2000-11-07 Sun Microsystems, Inc. Voice user interface with personality
US7526466B2 (en) 1998-05-28 2009-04-28 Qps Tech Limited Liability Company Method and system for analysis of intended meaning of natural language
US7711672B2 (en) 1998-05-28 2010-05-04 Lawrence Au Semantic network methods to disambiguate natural language meaning
US6144958A (en) 1998-07-15 2000-11-07 Amazon.Com, Inc. System and method for correcting spelling errors in search queries
US6434524B1 (en) 1998-09-09 2002-08-13 One Voice Technologies, Inc. Object interactive user interface using speech recognition and natural language processing
US6499013B1 (en) 1998-09-09 2002-12-24 One Voice Technologies, Inc. Interactive user interface using speech recognition and natural language processing
US6792082B1 (en) 1998-09-11 2004-09-14 Comverse Ltd. Voice mail system with personal assistant provisioning
DE29825146U1 (de) 1998-09-11 2005-08-18 Püllen, Rainer Teilnehmereinheit und System für einen Multimediadienst
US6317831B1 (en) 1998-09-21 2001-11-13 Openwave Systems Inc. Method and apparatus for establishing a secure connection over a one-way data path
WO2000020962A2 (en) 1998-10-02 2000-04-13 International Business Machines Corporation Conversational computing via conversational virtual machine
GB9821969D0 (en) 1998-10-08 1998-12-02 Canon Kk Apparatus and method for processing natural language
US6928614B1 (en) 1998-10-13 2005-08-09 Visteon Global Technologies, Inc. Mobile office with speech recognition
US6453292B2 (en) 1998-10-28 2002-09-17 International Business Machines Corporation Command boundary identifier for conversational natural language
US6321092B1 (en) 1998-11-03 2001-11-20 Signal Soft Corporation Multiple input data management for wireless location-based applications
US6446076B1 (en) 1998-11-12 2002-09-03 Accenture Llp. Voice interactive web-based agent system responsive to a user location for prioritizing and formatting information
US6246981B1 (en) 1998-11-25 2001-06-12 International Business Machines Corporation Natural language task-oriented dialog manager and method
US7881936B2 (en) 1998-12-04 2011-02-01 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US6757718B1 (en) 1999-01-05 2004-06-29 Sri International Mobile navigation of network-based electronic information using spoken input
US6513063B1 (en) 1999-01-05 2003-01-28 Sri International Accessing network-based electronic information through scripted online interfaces using spoken input
US6851115B1 (en) 1999-01-05 2005-02-01 Sri International Software-based architecture for communication and cooperation among distributed electronic agents
US6523061B1 (en) 1999-01-05 2003-02-18 Sri International, Inc. System, method, and article of manufacture for agent-based navigation in a speech-based data navigation system
US7036128B1 (en) 1999-01-05 2006-04-25 Sri International Offices Using a community of distributed electronic agents to support a highly mobile, ambient computing environment
US6742021B1 (en) 1999-01-05 2004-05-25 Sri International, Inc. Navigating network-based electronic information using spoken input with multimodal error feedback
US7966078B2 (en) * 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6928404B1 (en) 1999-03-17 2005-08-09 International Business Machines Corporation System and methods for acoustic and language modeling for automatic speech recognition with large vocabularies
US6647260B2 (en) 1999-04-09 2003-11-11 Openwave Systems Inc. Method and system facilitating web based provisioning of two-way mobile communications devices
US6598039B1 (en) 1999-06-08 2003-07-22 Albert-Inc. S.A. Natural language interface for searching database
US6421672B1 (en) 1999-07-27 2002-07-16 Verizon Services Corp. Apparatus for and method of disambiguation of directory listing searches utilizing multiple selectable secondary search keys
US6601026B2 (en) 1999-09-17 2003-07-29 Discern Communications, Inc. Information retrieval by natural language querying
US6463128B1 (en) 1999-09-29 2002-10-08 Denso Corporation Adjustable coding detection in a portable telephone
US7020685B1 (en) 1999-10-08 2006-03-28 Openwave Systems Inc. Method and apparatus for providing internet content to SMS-based wireless devices
EP1222655A1 (en) 1999-10-19 2002-07-17 Sony Electronics Inc. Natural language interface control system
US6807574B1 (en) 1999-10-22 2004-10-19 Tellme Networks, Inc. Method and apparatus for content personalization over a telephone interface
JP2001125896A (ja) 1999-10-26 2001-05-11 Victor Co Of Japan Ltd 自然言語対話システム
US7310600B1 (en) 1999-10-28 2007-12-18 Canon Kabushiki Kaisha Language recognition using a similarity measure
US6665640B1 (en) 1999-11-12 2003-12-16 Phoenix Solutions, Inc. Interactive speech based learning/training system formulating search queries based on natural language parsing of recognized user queries
US6633846B1 (en) 1999-11-12 2003-10-14 Phoenix Solutions, Inc. Distributed realtime speech recognition system
US7050977B1 (en) 1999-11-12 2006-05-23 Phoenix Solutions, Inc. Speech-enabled server for internet website and method
US7392185B2 (en) 1999-11-12 2008-06-24 Phoenix Solutions, Inc. Speech based learning/training system using semantic decoding
US9076448B2 (en) 1999-11-12 2015-07-07 Nuance Communications, Inc. Distributed real time speech recognition system
US6615172B1 (en) 1999-11-12 2003-09-02 Phoenix Solutions, Inc. Intelligent query engine for processing voice based queries
US7725307B2 (en) 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US6532446B1 (en) 1999-11-24 2003-03-11 Openwave Systems Inc. Server based speech recognition user interface for wireless devices
US6526395B1 (en) 1999-12-31 2003-02-25 Intel Corporation Application of personality models and interaction with synthetic characters in a computing system
US6895558B1 (en) 2000-02-11 2005-05-17 Microsoft Corporation Multi-access mode electronic personal assistant
US6606388B1 (en) 2000-02-17 2003-08-12 Arboretum Systems, Inc. Method and system for enhancing audio signals
US6895380B2 (en) 2000-03-02 2005-05-17 Electro Standards Laboratories Voice actuation with contextual learning for intelligent machine control
US7539656B2 (en) 2000-03-06 2009-05-26 Consona Crm Inc. System and method for providing an intelligent multi-step dialog with a user
US6466654B1 (en) 2000-03-06 2002-10-15 Avaya Technology Corp. Personal virtual assistant with semantic tagging
US6757362B1 (en) 2000-03-06 2004-06-29 Avaya Technology Corp. Personal virtual assistant
GB2366009B (en) 2000-03-22 2004-07-21 Canon Kk Natural language machine interface
US7177798B2 (en) 2000-04-07 2007-02-13 Rensselaer Polytechnic Institute Natural language interface using constrained intermediate dictionary of results
US6810379B1 (en) 2000-04-24 2004-10-26 Sensory, Inc. Client/server architecture for text-to-speech synthesis
US8463912B2 (en) * 2000-05-23 2013-06-11 Media Farm, Inc. Remote displays in mobile communication networks
US6691111B2 (en) 2000-06-30 2004-02-10 Research In Motion Limited System and method for implementing a natural language user interface
JP3949356B2 (ja) 2000-07-12 2007-07-25 三菱電機株式会社 音声対話システム
US7139709B2 (en) 2000-07-20 2006-11-21 Microsoft Corporation Middleware layer between speech related applications and engines
US20060143007A1 (en) 2000-07-24 2006-06-29 Koh V E User interaction with voice information services
JP2002041276A (ja) 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
US7092928B1 (en) 2000-07-31 2006-08-15 Quantum Leap Research, Inc. Intelligent portal engine
US6778951B1 (en) 2000-08-09 2004-08-17 Concerto Software, Inc. Information retrieval method with natural language interface
AU2001295080A1 (en) 2000-09-29 2002-04-08 Professorq, Inc. Natural-language voice-activated personal assistant
US7219058B1 (en) * 2000-10-13 2007-05-15 At&T Corp. System and method for processing speech recognition results
US20030046401A1 (en) * 2000-10-16 2003-03-06 Abbott Kenneth H. Dynamically determing appropriate computer user interfaces
JP4244514B2 (ja) * 2000-10-23 2009-03-25 セイコーエプソン株式会社 音声認識方法および音声認識装置
US6832194B1 (en) 2000-10-26 2004-12-14 Sensory, Incorporated Audio recognition peripheral system
US7027974B1 (en) 2000-10-27 2006-04-11 Science Applications International Corporation Ontology-based parser for natural language processing
US20020072816A1 (en) * 2000-12-07 2002-06-13 Yoav Shdema Audio system
US7257537B2 (en) 2001-01-12 2007-08-14 International Business Machines Corporation Method and apparatus for performing dialog management in a computer conversational interface
US6964023B2 (en) 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
US7290039B1 (en) 2001-02-27 2007-10-30 Microsoft Corporation Intent based processing
AU2002237495A1 (en) 2001-03-13 2002-09-24 Intelligate Ltd. Dynamic natural language understanding
US6996531B2 (en) 2001-03-30 2006-02-07 Comverse Ltd. Automated database assistance using a telephone for a speech based or text based multimedia communication mode
US7085722B2 (en) 2001-05-14 2006-08-01 Sony Computer Entertainment America Inc. System and method for menu-driven voice control of characters in a game environment
US20020194003A1 (en) 2001-06-05 2002-12-19 Mozer Todd F. Client-server security system and method
US7139722B2 (en) 2001-06-27 2006-11-21 Bellsouth Intellectual Property Corporation Location and time sensitive wireless calendaring
US6604059B2 (en) 2001-07-10 2003-08-05 Koninklijke Philips Electronics N.V. Predictive calendar
US20030033153A1 (en) 2001-08-08 2003-02-13 Apple Computer, Inc. Microphone elements for a computing system
US7987151B2 (en) 2001-08-10 2011-07-26 General Dynamics Advanced Info Systems, Inc. Apparatus and method for problem solving using intelligent agents
US6813491B1 (en) 2001-08-31 2004-11-02 Openwave Systems Inc. Method and apparatus for adapting settings of wireless communication devices in accordance with user proximity
US7403938B2 (en) 2001-09-24 2008-07-22 Iac Search & Media, Inc. Natural language query processing
US6985865B1 (en) 2001-09-26 2006-01-10 Sprint Spectrum L.P. Method and system for enhanced response to voice commands in a voice command platform
US6650735B2 (en) 2001-09-27 2003-11-18 Microsoft Corporation Integrated voice access to a variety of personal information services
US7324947B2 (en) 2001-10-03 2008-01-29 Promptu Systems Corporation Global speech user interface
US7167832B2 (en) 2001-10-15 2007-01-23 At&T Corp. Method for dialog management
TW541517B (en) 2001-12-25 2003-07-11 Univ Nat Cheng Kung Speech recognition system
US7197460B1 (en) 2002-04-23 2007-03-27 At&T Corp. System for handling frequently asked questions in a natural language dialog service
US7546382B2 (en) 2002-05-28 2009-06-09 International Business Machines Corporation Methods and systems for authoring of mixed-initiative multi-modal interactions and related browsing mechanisms
US7398209B2 (en) 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7299033B2 (en) 2002-06-28 2007-11-20 Openwave Systems Inc. Domain-based management of distribution of digital content from multiple suppliers to multiple wireless services subscribers
US7233790B2 (en) 2002-06-28 2007-06-19 Openwave Systems, Inc. Device capability based discovery, packaging and provisioning of content for wireless mobile devices
JP4694835B2 (ja) * 2002-07-12 2011-06-08 ヴェーデクス・アクティーセルスカプ 補聴器および音声の明瞭さを高める方法
US7693720B2 (en) 2002-07-15 2010-04-06 Voicebox Technologies, Inc. Mobile systems and methods for responding to natural language speech utterance
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US7467087B1 (en) 2002-10-10 2008-12-16 Gillick Laurence S Training and using pronunciation guessers in speech recognition
US7603276B2 (en) * 2002-11-21 2009-10-13 Panasonic Corporation Standard-model generation for speech recognition using a reference model
AU2003293071A1 (en) 2002-11-22 2004-06-18 Roy Rosser Autonomous response engine
EP2017828A1 (en) 2002-12-10 2009-01-21 Kirusa, Inc. Techniques for disambiguating speech input using multimodal interfaces
US7386449B2 (en) 2002-12-11 2008-06-10 Voice Enabling Systems Technology Inc. Knowledge-based flexible natural speech dialogue system
US7191127B2 (en) * 2002-12-23 2007-03-13 Motorola, Inc. System and method for speech enhancement
US7956766B2 (en) 2003-01-06 2011-06-07 Panasonic Corporation Apparatus operating system
US7529671B2 (en) 2003-03-04 2009-05-05 Microsoft Corporation Block synchronous decoding
US6980949B2 (en) 2003-03-14 2005-12-27 Sonum Technologies, Inc. Natural language processor
US7496498B2 (en) 2003-03-24 2009-02-24 Microsoft Corporation Front-end architecture for a multi-lingual text-to-speech system
US7519186B2 (en) * 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7200559B2 (en) 2003-05-29 2007-04-03 Microsoft Corporation Semantic object synchronous understanding implemented with speech application language tags
US7720683B1 (en) 2003-06-13 2010-05-18 Sensory, Inc. Method and apparatus of specifying and performing speech recognition operations
US7559026B2 (en) 2003-06-20 2009-07-07 Apple Inc. Video conferencing system having focus control
US7475010B2 (en) 2003-09-03 2009-01-06 Lingospot, Inc. Adaptive and scalable method for resolving natural language ambiguities
US7418392B1 (en) 2003-09-25 2008-08-26 Sensory, Inc. System and method for controlling the operation of a device by voice commands
AU2003274864A1 (en) 2003-10-24 2005-05-11 Nokia Corpration Noise-dependent postfiltering
US7529676B2 (en) 2003-12-05 2009-05-05 Kabushikikaisha Kenwood Audio device control device, audio device control method, and program
ATE404967T1 (de) 2003-12-16 2008-08-15 Loquendo Spa Text-zu-sprache-system und verfahren, computerprogramm dafür
ATE415684T1 (de) 2004-01-29 2008-12-15 Harman Becker Automotive Sys Verfahren und system zur sprachdialogschnittstelle
US7693715B2 (en) 2004-03-10 2010-04-06 Microsoft Corporation Generating large units of graphonemes with mutual information criterion for letter to sound conversion
US7711129B2 (en) 2004-03-11 2010-05-04 Apple Inc. Method and system for approximating graphic equalizers using dynamic filter order reduction
US7409337B1 (en) 2004-03-30 2008-08-05 Microsoft Corporation Natural language processing interface
US7496512B2 (en) 2004-04-13 2009-02-24 Microsoft Corporation Refining of segmental boundaries in speech waveforms using contextual-dependent models
US7627461B2 (en) 2004-05-25 2009-12-01 Chevron U.S.A. Inc. Method for field scale production optimization by enhancing the allocation of well flow rates
US8095364B2 (en) 2004-06-02 2012-01-10 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US7720674B2 (en) 2004-06-29 2010-05-18 Sap Ag Systems and methods for processing natural language queries
TWI252049B (en) 2004-07-23 2006-03-21 Inventec Corp Sound control system and method
US7725318B2 (en) 2004-07-30 2010-05-25 Nice Systems Inc. System and method for improving the accuracy of audio searching
US20060067535A1 (en) 2004-09-27 2006-03-30 Michael Culbert Method and system for automatically equalizing multiple loudspeakers
US20060067536A1 (en) 2004-09-27 2006-03-30 Michael Culbert Method and system for time synchronizing multiple loudspeakers
US7716056B2 (en) 2004-09-27 2010-05-11 Robert Bosch Corporation Method and system for interactive conversational dialogue for cognitively overloaded device users
US8107401B2 (en) 2004-09-30 2012-01-31 Avaya Inc. Method and apparatus for providing a virtual assistant to a communication participant
US7702500B2 (en) 2004-11-24 2010-04-20 Blaedow Karen R Method and apparatus for determining the meaning of natural language
US7376645B2 (en) 2004-11-29 2008-05-20 The Intellection Group, Inc. Multimodal natural language query system and architecture for processing voice and proximity-based queries
US20060122834A1 (en) 2004-12-03 2006-06-08 Bennett Ian M Emotion detection device & method for use in distributed systems
US8214214B2 (en) 2004-12-03 2012-07-03 Phoenix Solutions, Inc. Emotion detection device and method for use in distributed systems
US7636657B2 (en) 2004-12-09 2009-12-22 Microsoft Corporation Method and apparatus for automatic grammar generation from data entries
US7536565B2 (en) 2005-01-07 2009-05-19 Apple Inc. Techniques for improved playlist processing on media devices
US7873654B2 (en) 2005-01-24 2011-01-18 The Intellection Group, Inc. Multimodal natural language query system for processing and analyzing voice and proximity-based queries
US7508373B2 (en) 2005-01-28 2009-03-24 Microsoft Corporation Form factor and input method for language input
GB0502259D0 (en) 2005-02-03 2005-03-09 British Telecomm Document searching tool and method
US7634413B1 (en) 2005-02-25 2009-12-15 Apple Inc. Bitrate constrained variable bitrate audio encoding
US7676026B1 (en) 2005-03-08 2010-03-09 Baxtech Asia Pte Ltd Desktop telephony system
US7925525B2 (en) 2005-03-25 2011-04-12 Microsoft Corporation Smart reminders
US7664558B2 (en) 2005-04-01 2010-02-16 Apple Inc. Efficient techniques for modifying audio playback rates
KR100586556B1 (ko) 2005-04-01 2006-06-08 주식회사 하이닉스반도체 반도체 장치의 프리차지 전압공급회로
US7627481B1 (en) 2005-04-19 2009-12-01 Apple Inc. Adapting masking thresholds for encoding a low frequency transient signal in audio data
WO2006129967A1 (en) 2005-05-30 2006-12-07 Daumsoft, Inc. Conversation system and method using conversational agent
US8041570B2 (en) 2005-05-31 2011-10-18 Robert Bosch Corporation Dialogue management using scripts
US8300841B2 (en) 2005-06-03 2012-10-30 Apple Inc. Techniques for presenting sound effects on a portable media player
US8024195B2 (en) 2005-06-27 2011-09-20 Sensory, Inc. Systems and methods of performing speech recognition using historical information
US7826945B2 (en) 2005-07-01 2010-11-02 You Zhang Automobile speech-recognition interface
US7613264B2 (en) 2005-07-26 2009-11-03 Lsi Corporation Flexible sampling-rate encoder
US7640160B2 (en) 2005-08-05 2009-12-29 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
WO2007019469A2 (en) 2005-08-05 2007-02-15 Realnetworks, Inc. Systems and methods for queuing purchase transactions and for registering users and devices
US7620549B2 (en) 2005-08-10 2009-11-17 Voicebox Technologies, Inc. System and method of supporting adaptive misrecognition in conversational speech
US7949529B2 (en) 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US8265939B2 (en) 2005-08-31 2012-09-11 Nuance Communications, Inc. Hierarchical methods and apparatus for extracting user intent from spoken utterances
WO2007027989A2 (en) 2005-08-31 2007-03-08 Voicebox Technologies, Inc. Dynamic speech sharpening
WO2007028128A2 (en) * 2005-09-01 2007-03-08 Vishal Dhawan Voice application network platform
EP1760696B1 (en) * 2005-09-03 2016-02-03 GN ReSound A/S Method and apparatus for improved estimation of non-stationary noise for speech enhancement
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7930168B2 (en) 2005-10-04 2011-04-19 Robert Bosch Gmbh Natural language processing of disfluent sentences
US20070083467A1 (en) 2005-10-10 2007-04-12 Apple Computer, Inc. Partial encryption techniques for media data
US8620667B2 (en) 2005-10-17 2013-12-31 Microsoft Corporation Flexible speech-activated command and control
US7707032B2 (en) 2005-10-20 2010-04-27 National Cheng Kung University Method and system for matching speech data
US20070185926A1 (en) 2005-11-28 2007-08-09 Anand Prahlad Systems and methods for classifying and transferring information in a storage network
KR100810500B1 (ko) 2005-12-08 2008-03-07 한국전자통신연구원 대화형 음성 인터페이스 시스템에서의 사용자 편의성증대 방법
DE102005061365A1 (de) 2005-12-21 2007-06-28 Siemens Ag Verfahren zur Ansteuerung zumindest einer ersten und zweiten Hintergrundapplikation über ein universelles Sprachdialogsystem
US7599918B2 (en) 2005-12-29 2009-10-06 Microsoft Corporation Dynamic search with implicit user intention mining
US7673238B2 (en) 2006-01-05 2010-03-02 Apple Inc. Portable media device with video acceleration capabilities
US20070174188A1 (en) 2006-01-25 2007-07-26 Fish Robert D Electronic marketplace that facilitates transactions between consolidated buyers and/or sellers
IL174107A0 (en) 2006-02-01 2006-08-01 Grois Dan Method and system for advertising by means of a search engine over a data network
KR100764174B1 (ko) 2006-03-03 2007-10-08 삼성전자주식회사 음성 대화 서비스 장치 및 방법
US7752152B2 (en) 2006-03-17 2010-07-06 Microsoft Corporation Using predictive user models for language modeling on a personal device with user behavior models based on statistical modeling
JP4734155B2 (ja) 2006-03-24 2011-07-27 株式会社東芝 音声認識装置、音声認識方法および音声認識プログラム
US7707027B2 (en) 2006-04-13 2010-04-27 Nuance Communications, Inc. Identification and rejection of meaningless input during natural language classification
US8423347B2 (en) 2006-06-06 2013-04-16 Microsoft Corporation Natural language personal information management
US20100257160A1 (en) 2006-06-07 2010-10-07 Yu Cao Methods & apparatus for searching with awareness of different types of information
US7483894B2 (en) 2006-06-07 2009-01-27 Platformation Technologies, Inc Methods and apparatus for entity search
US7523108B2 (en) 2006-06-07 2009-04-21 Platformation, Inc. Methods and apparatus for searching with awareness of geography and languages
US20070294263A1 (en) * 2006-06-16 2007-12-20 Ericsson, Inc. Associating independent multimedia sources into a conference call
KR100776800B1 (ko) 2006-06-16 2007-11-19 한국전자통신연구원 지능형 가제트를 이용한 맞춤형 서비스 제공 방법 및시스템
US20070291108A1 (en) * 2006-06-16 2007-12-20 Ericsson, Inc. Conference layout control and control protocol
US7548895B2 (en) 2006-06-30 2009-06-16 Microsoft Corporation Communication-prompted user assistance
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8036766B2 (en) 2006-09-11 2011-10-11 Apple Inc. Intelligent audio mixing among media playback and at least one other non-playback application
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US20080129520A1 (en) 2006-12-01 2008-06-05 Apple Computer, Inc. Electronic device with enhanced audio feedback
US8493330B2 (en) 2007-01-03 2013-07-23 Apple Inc. Individual channel phase delay scheme
WO2008086112A1 (en) 2007-01-04 2008-07-17 Sound Id Personalized sound system hearing profile selection process
KR100883657B1 (ko) 2007-01-26 2009-02-18 삼성전자주식회사 음성 인식 기반의 음악 검색 방법 및 장치
US7818176B2 (en) 2007-02-06 2010-10-19 Voicebox Technologies, Inc. System and method for selecting and presenting advertisements based on natural language processing of voice-based input
US7822608B2 (en) 2007-02-27 2010-10-26 Nuance Communications, Inc. Disambiguating a speech recognition grammar in a multimodal application
US7801729B2 (en) 2007-03-13 2010-09-21 Sensory, Inc. Using multiple attributes to create a voice search playlist
US8219406B2 (en) 2007-03-15 2012-07-10 Microsoft Corporation Speech-centric multimodal user interface design in mobile technology
JP2008236448A (ja) 2007-03-22 2008-10-02 Clarion Co Ltd 音声信号処理装置、ハンズフリー通話装置、音声信号処理方法および制御プログラム
US7809610B2 (en) 2007-04-09 2010-10-05 Platformation, Inc. Methods and apparatus for freshness and completeness of information
US20080253577A1 (en) 2007-04-13 2008-10-16 Apple Inc. Multi-channel sound panner
US7983915B2 (en) 2007-04-30 2011-07-19 Sonic Foundry, Inc. Audio content search engine
US8055708B2 (en) 2007-06-01 2011-11-08 Microsoft Corporation Multimedia spaces
US8204238B2 (en) 2007-06-08 2012-06-19 Sensory, Inc Systems and methods of sonic communication
KR20080109322A (ko) 2007-06-12 2008-12-17 엘지전자 주식회사 사용자의 직관적 의도 파악에 따른 서비스 제공 방법 및장치
US9632561B2 (en) 2007-06-28 2017-04-25 Apple Inc. Power-gating media decoders to reduce power consumption
US8041438B2 (en) 2007-06-28 2011-10-18 Apple Inc. Data-driven media management within an electronic device
US7861008B2 (en) 2007-06-28 2010-12-28 Apple Inc. Media management and routing within an electronic device
US9794605B2 (en) 2007-06-28 2017-10-17 Apple Inc. Using time-stamped event entries to facilitate synchronizing data streams
US8190627B2 (en) 2007-06-28 2012-05-29 Microsoft Corporation Machine assisted query formulation
US8019606B2 (en) 2007-06-29 2011-09-13 Microsoft Corporation Identification and selection of a software application via speech
US8306235B2 (en) 2007-07-17 2012-11-06 Apple Inc. Method and apparatus for using a sound sensor to adjust the audio output for a device
JP2009036999A (ja) 2007-08-01 2009-02-19 Infocom Corp コンピュータによる対話方法、対話システム、コンピュータプログラムおよびコンピュータに読み取り可能な記憶媒体
WO2009029910A2 (en) 2007-08-31 2009-03-05 Proxpro, Inc. Situation-aware personal information management for a mobile device
US20090058823A1 (en) 2007-09-04 2009-03-05 Apple Inc. Virtual Keyboards in Multi-Language Environment
US8683197B2 (en) 2007-09-04 2014-03-25 Apple Inc. Method and apparatus for providing seamless resumption of video playback
KR100920267B1 (ko) 2007-09-17 2009-10-05 한국전자통신연구원 음성 대화 분석 시스템 및 그 방법
US8706476B2 (en) 2007-09-18 2014-04-22 Ariadne Genomics, Inc. Natural language processing method by analyzing primitive sentences, logical clauses, clause types and verbal blocks
US8069051B2 (en) 2007-09-25 2011-11-29 Apple Inc. Zero-gap playback using predictive mixing
US8462959B2 (en) 2007-10-04 2013-06-11 Apple Inc. Managing acoustic noise produced by a device
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8515095B2 (en) 2007-10-04 2013-08-20 Apple Inc. Reducing annoyance by managing the acoustic noise produced by a device
US8036901B2 (en) 2007-10-05 2011-10-11 Sensory, Incorporated Systems and methods of performing speech recognition using sensory inputs of human position
US20090112677A1 (en) 2007-10-24 2009-04-30 Rhett Randolph L Method for automatically developing suggested optimal work schedules from unsorted group and individual task lists
US7840447B2 (en) 2007-10-30 2010-11-23 Leonard Kleinrock Pricing and auctioning of bundled items among multiple sellers and buyers
US7983997B2 (en) 2007-11-02 2011-07-19 Florida Institute For Human And Machine Cognition, Inc. Interactive complex task teaching system that allows for natural language input, recognizes a user's intent, and automatically performs tasks in document object model (DOM) nodes
US8112280B2 (en) 2007-11-19 2012-02-07 Sensory, Inc. Systems and methods of performing speech recognition with barge-in for use in a bluetooth system
US7805286B2 (en) * 2007-11-30 2010-09-28 Bose Corporation System and method for sound system simulation
US8140335B2 (en) 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US8219407B1 (en) 2007-12-27 2012-07-10 Great Northern Research, LLC Method for processing the output of a speech recognizer
US8138896B2 (en) 2007-12-31 2012-03-20 Apple Inc. Tactile feedback in an electronic device
KR101334066B1 (ko) 2008-02-11 2013-11-29 이점식 진화하는 사이버 로봇 시스템 및 그 제공 방법
US8099289B2 (en) 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
US20090253457A1 (en) 2008-04-04 2009-10-08 Apple Inc. Audio signal processing for certification enhancement in a handheld wireless communications device
US8082148B2 (en) * 2008-04-24 2011-12-20 Nuance Communications, Inc. Testing a grammar used in speech recognition for reliability in a plurality of operating environments having different background noise
US8121837B2 (en) * 2008-04-24 2012-02-21 Nuance Communications, Inc. Adjusting a speech engine for a mobile computing device based on background noise
US8285344B2 (en) 2008-05-21 2012-10-09 DP Technlogies, Inc. Method and apparatus for adjusting audio for a user environment
US8589161B2 (en) 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US8423288B2 (en) 2009-11-30 2013-04-16 Apple Inc. Dynamic alerts for calendar events
US8166019B1 (en) 2008-07-21 2012-04-24 Sprint Communications Company L.P. Providing suggested actions in response to textual communications
US8041848B2 (en) 2008-08-04 2011-10-18 Apple Inc. Media processing method and device
US8380959B2 (en) 2008-09-05 2013-02-19 Apple Inc. Memory management system and method
US20100063825A1 (en) 2008-09-05 2010-03-11 Apple Inc. Systems and Methods for Memory Management and Crossfading in an Electronic Device
US8098262B2 (en) 2008-09-05 2012-01-17 Apple Inc. Arbitrary fractional pixel movement
US8401178B2 (en) 2008-09-30 2013-03-19 Apple Inc. Multiple microphone switching and configuration
US9077526B2 (en) 2008-09-30 2015-07-07 Apple Inc. Method and system for ensuring sequential playback of digital media
US9200913B2 (en) 2008-10-07 2015-12-01 Telecommunication Systems, Inc. User interface for predictive traffic
US8326637B2 (en) 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
US8606735B2 (en) 2009-04-30 2013-12-10 Samsung Electronics Co., Ltd. Apparatus and method for predicting user's intention based on multimodal information
KR101581883B1 (ko) 2009-04-30 2016-01-11 삼성전자주식회사 모션 정보를 이용하는 음성 검출 장치 및 방법
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
KR101562792B1 (ko) 2009-06-10 2015-10-23 삼성전자주식회사 목표 예측 인터페이스 제공 장치 및 그 방법
US8527278B2 (en) 2009-06-29 2013-09-03 Abraham Ben David Intelligent home automation
US8321527B2 (en) 2009-09-10 2012-11-27 Tribal Brands System and method for tracking user location and associated activity and responsively providing mobile device updates
KR20110036385A (ko) 2009-10-01 2011-04-07 삼성전자주식회사 사용자 의도 분석 장치 및 방법
US9197736B2 (en) 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US20110099507A1 (en) 2009-10-28 2011-04-28 Google Inc. Displaying a collection of interactive elements that trigger actions directed to an item
US9171541B2 (en) 2009-11-10 2015-10-27 Voicebox Technologies Corporation System and method for hybrid processing in a natural language voice services environment
WO2011059997A1 (en) 2009-11-10 2011-05-19 Voicebox Technologies, Inc. System and method for providing a natural language content dedication service
US8712759B2 (en) 2009-11-13 2014-04-29 Clausal Computing Oy Specializing disambiguation of a natural language expression
KR101960835B1 (ko) 2009-11-24 2019-03-21 삼성전자주식회사 대화 로봇을 이용한 일정 관리 시스템 및 그 방법
US8396888B2 (en) 2009-12-04 2013-03-12 Google Inc. Location-based searching using a search area that corresponds to a geographical location of a computing device
KR101622111B1 (ko) 2009-12-11 2016-05-18 삼성전자 주식회사 대화 시스템 및 그의 대화 방법
US8494852B2 (en) 2010-01-05 2013-07-23 Google Inc. Word-level correction of speech input
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8626511B2 (en) 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
US20110218855A1 (en) 2010-03-03 2011-09-08 Platformation, Inc. Offering Promotions Based on Query Analysis
KR101369810B1 (ko) 2010-04-09 2014-03-05 이초강 로봇을 위한 경험적 상황인식 방법을 실행하는 프로그램을 기록한 컴퓨터 판독가능한 기록 매체.
US8265928B2 (en) 2010-04-14 2012-09-11 Google Inc. Geotagged environmental audio for enhanced speech recognition accuracy
US20110279368A1 (en) 2010-05-12 2011-11-17 Microsoft Corporation Inferring user intent to engage a motion capture system
US8694313B2 (en) 2010-05-19 2014-04-08 Google Inc. Disambiguation of contact information using historical data
US8522283B2 (en) 2010-05-20 2013-08-27 Google Inc. Television remote control data transfer
US8468012B2 (en) 2010-05-26 2013-06-18 Google Inc. Acoustic model adaptation using geographic information
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
US20110306426A1 (en) 2010-06-10 2011-12-15 Microsoft Corporation Activity Participation Based On User Intent
US8234111B2 (en) * 2010-06-14 2012-07-31 Google Inc. Speech and noise models for speech recognition
US8411874B2 (en) 2010-06-30 2013-04-02 Google Inc. Removing noise from audio
US8775156B2 (en) 2010-08-05 2014-07-08 Google Inc. Translating languages in response to device motion
US8473289B2 (en) 2010-08-06 2013-06-25 Google Inc. Disambiguating input based on context
US8359020B2 (en) 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
WO2012148904A1 (en) 2011-04-25 2012-11-01 Veveo, Inc. System and method for an intelligent personal timeline assistant

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060282264A1 (en) * 2005-06-09 2006-12-14 Bellsouth Intellectual Property Corporation Methods and systems for providing noise filtering using speech recognition
JP2008271481A (ja) * 2007-03-27 2008-11-06 Brother Ind Ltd 電話装置
WO2009104126A1 (en) * 2008-02-20 2009-08-27 Koninklijke Philips Electronics N.V. Audio device and method of operation therefor

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180103125A (ko) * 2016-05-05 2018-09-18 구글 엘엘씨 비디오 콘텐츠에서의 윈드 노이즈들의 필터링
KR102138185B1 (ko) 2016-05-05 2020-07-27 구글 엘엘씨 비디오 콘텐츠에서의 윈드 노이즈들의 필터링
JPWO2020017518A1 (ja) * 2018-07-20 2021-08-05 株式会社ソニー・インタラクティブエンタテインメント 音声信号処理装置
US11749293B2 (en) 2018-07-20 2023-09-05 Sony Interactive Entertainment Inc. Audio signal processing device

Also Published As

Publication number Publication date
CN102859592B (zh) 2014-08-13
US20110300806A1 (en) 2011-12-08
AU2011261756B2 (en) 2014-09-04
WO2011152993A1 (en) 2011-12-08
EP2577658B1 (en) 2016-11-02
US8639516B2 (en) 2014-01-28
KR20130012073A (ko) 2013-01-31
KR101520162B1 (ko) 2015-05-13
US20140142935A1 (en) 2014-05-22
EP2577658A1 (en) 2013-04-10
US10446167B2 (en) 2019-10-15
CN102859592A (zh) 2013-01-02
AU2011261756A1 (en) 2012-11-01

Similar Documents

Publication Publication Date Title
AU2011261756B2 (en) User-specific noise suppression for voice quality improvements
US11615802B2 (en) Methods and apparatus for biometric processes
US8600743B2 (en) Noise profile determination for voice-related feature
US9711135B2 (en) Electronic devices and methods for compensating for environmental noise in text-to-speech applications
US9584940B2 (en) Wireless exchange of data between devices in live events
CN108346433A (zh) 一种音频处理方法、装置、设备及可读存储介质
US20140309549A1 (en) Methods for testing hearing
US8844358B2 (en) Hearing-test method
US8358786B2 (en) Method and apparatus to measure hearing ability of user of mobile device
JP6121606B1 (ja) 聴覚トレーニング装置、聴覚トレーニング装置の作動方法、およびプログラム
US20090061843A1 (en) System and Method for Measuring the Speech Quality of Telephone Devices in the Presence of Noise
JP5027127B2 (ja) 背景雑音に応じてバイブレータの動作を制御することによる移動通信装置の音声了解度の向上
US9754606B2 (en) Processing apparatus, processing method, program, computer readable information recording medium and processing system
US20080255827A1 (en) Voice Conversion Training and Data Collection
CN116158092A (zh) 使用外部刺激评估耳封的系统和方法
CN116132869A (zh) 耳机音量的调节方法、耳机及存储介质
CN113259826B (zh) 在电子终端中实现助听的方法和装置
US8244538B2 (en) Measuring double talk performance
CN116057962A (zh) 使用归一化评估耳封的系统和方法
TWI716123B (zh) 除噪能力評估系統及方法
CN115362499A (zh) 用于在各种环境中增强音频的系统和方法
CN116506760A (zh) 一种耳机记忆控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140407

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140414

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140703

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150302

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150702

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150710

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20151002