JP2012502596A - ネットワーク上で音を監視するための方法およびシステム - Google Patents

ネットワーク上で音を監視するための方法およびシステム Download PDF

Info

Publication number
JP2012502596A
JP2012502596A JP2011526997A JP2011526997A JP2012502596A JP 2012502596 A JP2012502596 A JP 2012502596A JP 2011526997 A JP2011526997 A JP 2011526997A JP 2011526997 A JP2011526997 A JP 2011526997A JP 2012502596 A JP2012502596 A JP 2012502596A
Authority
JP
Japan
Prior art keywords
sound pressure
mobile device
pressure level
microphone
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011526997A
Other languages
English (en)
Other versions
JP2012502596A5 (ja
Inventor
スティーブン ゴールドスタイン,
マーク ボイロット,
ジェイソン マッキントッシュ,
ジョン ピー. キーディ,
Original Assignee
パーソニクス ホールディングス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42005497&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2012502596(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by パーソニクス ホールディングス インコーポレイテッド filed Critical パーソニクス ホールディングス インコーポレイテッド
Publication of JP2012502596A publication Critical patent/JP2012502596A/ja
Publication of JP2012502596A5 publication Critical patent/JP2012502596A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00Measuring characteristics of vibrations by using a detector in a fluid
    • G01H3/10Amplitude; Power
    • G01H3/14Measuring mean amplitude; Measuring mean power; Measuring time integral of power
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/10Details of telephonic subscriber devices including a GPS signal receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

モバイル通信(100)は、音圧レベルデータを測定して送信するモバイルデバイス(160)を含むことができる。モバイルデバイス(160)は、トリガイベントの検出に応答して、オーディオ情報の収集を開始することができる。モバイルデバイス(160)は、オーディオ情報から音圧レベルを測定または計算することができる。時間情報および地理的位置情報を含むメタデータを、収集されたオーディオ情報とともに捕捉することができる。モバイルデバイス(160)は、音圧レベルデータおよびメタデータを、有線または無線通信経路を通してデータベース(614)に送信することができる。

Description

(関連出願の引用)
本願は、米国仮特許出願第61/096,128号(2008年9月11日出願)の利益を主張する。該出願の開示は、その全体が参照により本明細書に引用される。
(技術分野)
本発明は、オーディオコンテンツの管理に関し、より具体的には、音のデータベースを作成するための、モバイルデバイスを使用した音圧測定に関する。
近年、携帯電子デバイスおよびモバイル通信デバイスのユビキタスは、飛躍的に増大している。携帯電話、携帯メディアプレーヤー、携帯情報端末(PDA)等のモバイル通信デバイスは、地上通信線ネットワーク、セルラーネットワーク、および最近では、ワイドローカルエリアネットワーク(WLAN)上で、他の通信デバイスとのマルチメディア通信を確立することが可能である。このようなデバイスは、デジタルマルチメディアファイル等の種々の形式のメディアを、一般の視聴者に配信することが可能である。
世界の画像は、共有されてきており、地理的および時間的タグ付けを伴って表示することができる。しかしながら、音響的には、世界は、同じようにマップされてこなかった。加えて、領域の音波的毒性は、マップされてこなかった。
人々は、概して、種々の環境設定において、自分たちのモバイルデバイスを至る所に携持する。一実施形態によれば、モバイルデバイスは、発生する日々の、有意な、または異常な音を捕捉するために使用することができる。種々の音は、有意な、歴史的、科学的、および社会的利益を提供するように、収集してデータベースの中に記憶することができる。
少なくとも1つの例示的実施形態は、モバイルデバイスのマイクロホンから音響情報を受信するステップと、音響情報に対応するマイクロホンからの信号を、デジタル信号に変換するステップと、音響情報のオーディオ処理を構成するステップと、デジタル信号から音圧レベルを計算するステップと、音圧レベル測定がいつどこで行われたのかを識別するための時間情報および地理的情報を含む、音圧レベルに対応するメタデータを提供するステップとを含む、モバイルデバイスを使用する方法を対象とする。
少なくとも1つの例示的実施形態は、マイクロホンと、マイクロホンに連結されるオーディオ処理回路と、オーディオ処理回路およびマイクロホンに動作可能に接続されるプロセッサであって、オーディオ処理回路は、音圧レベル測定を行う時にバイパスされる、プロセッサとを備える、音圧レベルを測定するためのモバイルデバイスを対象とする。
本発明の実施形態は、モバイルデバイスを使用して、ネットワーク上で、音を監視、測定、報告、および提供するための、方法およびシステムを対象とする。音報告は、音レベルを時間および場所と関連付けて生成することができる。音報告は、次いで、他のネットワークユーザと共有することができる。
本発明の例示的実施形態は、詳細な説明および添付図面からより十分に理解されるであろう。
図1は、モバイル通信環境を示す図である。 図1Aは、少なくとも1つの例示的実施形態による、モバイルデバイスを介して送信することができる、データパケットの実施例を示す図である。 図2は、少なくとも1つの例示的実施形態による、マルチメディアデバイスを示す図である。 図3は、少なくとも1つの例示的実施形態による、オーディオ捕捉インターフェースを示す図である。 図4は、少なくとも1つの例示的実施形態による、フロントエンドプロセッサ構成のブロック図である。 図5は、少なくとも1つの例示的実施形態による、マイクロホン集音の指向性線図である。 図6は、少なくとも1つの例示的実施形態による、モバイル通信デバイスのブロック図である。 図7a−cは、少なくとも1つの例示的実施形態による、音圧レベルを測定するためのトリガイベントを示す図である。 図8は、少なくとも1つの例示的実施形態による、モバイルデバイスを使用して、ネットワーク上で、音を監視、測定、および報告するための方法を示す図である。 図9は、音波的ランドスケープにアクセスするために使用することができる、簡略化されたGUIを示す図である。 図10は、少なくとも1つの例示的実施形態による、世界マップGUIを示す図である。 図11は、少なくとも1つの例示的実施形態による、世界GUIを使用して、国を選択するユーザを示す図である。 図12は、少なくとも1つの例示的実施形態による、SPL量の等高線図である。 図12A−12Dは、少なくとも1つの例示的実施形態による、地理的領域と関連付けられる平均SPLを計算して、得られた画素関連のSPL値に平均値を組み合わせるプロセスを示す図である。 図13は、少なくとも1つの例示的実施形態による、場所オプションを選択するユーザを示す図である。 図14は、少なくとも1つの例示的実施形態による、マップ場所を選択するために使用される場所GUIを示す図である。 図15は、少なくとも1つの例示的実施形態による、GUIを示す図である。 図16は、少なくとも1つの例示的実施形態による、場所選択を精緻化するためのGUIを示す図である。 図17は、少なくとも1つの例示的実施形態による、都市の場所を選択するためのGUIを示す図である。 図18は、少なくとも1つの例示的実施形態による、種々の利用可能な音響信号を示すGUIを示す図である。 図19は、少なくとも1つの例示的実施形態による、聴取する音響信号の選択を示す図である。 図20は、少なくとも1つの例示的実施形態による、音記録に関係する聴取場所および推定されたソース場所を示す図である。 図21は、少なくとも1つの例示的実施形態による、聴取領域の中の利用可能な音記録からの、計算されたソース信号を示す図である。 図22は、少なくとも1つの例示的実施形態による、計算されたソース信号を示す図である。 図23は、音ソースに整合する時間を示す図である。 図24は、少なくとも1つの例示的実施形態による、ユーザが選択したユーザ位置、および計算されたソース信号に対するその関係を示す図である。 図25は、選択された聴取位置からのソース距離に基づいて強度変動ソース信号を示す図である。 図26は、少なくとも1つの例示的実施形態による、利用可能なソース信号からのモデル化信号を含む、聴取場所に対するソース信号を示す図である。
以下の例示的実施形態の説明は単に例証であり、本発明、その用途、または使用を限定することを意図するものではない。
当業者に公知のプロセス、技術、装置、および材料は、詳細に論じられない場合があるが、必要に応じて実際的な説明の一部であることを意図する。例えば、特定のコンピュータコードは、論じられるステップのそれぞれを達成するために列記されなくてもよいが、当業者であれば、本明細書の実用化開示を考慮すると、必要以上の実験を伴わずに、そのようなコードを書くことができるであろう。このようなコードは、少なくとも1つの例示的実施形態の範囲内に入ることが意図される。
以下の図面において、同じ参照番号および文字は、同じアイテムを指し、したがって、1つの図面においてあるアイテムが定義されると、以降の図面の中ではさらに論じられない、または定義されない場合がある。
本明細書で図示されて論じられる実施例の全てにおいて、提供されるいかなる特定の値も例示的なものに過ぎず、限定的なものではないと解釈されたい。したがって、例示的実施形態の他の実施例は、異なる値を有し得る。
図1を参照すると、モバイル通信環境100が示される。モバイル通信環境100は、無線周波数(RF)通信ネットワークまたは無線ローカルエリアネットワーク(WLAN)上で、無線接続性を多数のデバイス間に同時に提供することができる。通信環境100内の通信は、任意の好適なプロトコル(例えば、TCP/IP、HTTP等)を使用した、無線、有線、および/または光ファイバ接続を使用して確立することができる。1つの配設において、モバイルデバイス160は、CDMA、GSM、またはiDEN等の標準通信プロトコルを使用して、基地受信機110と通信することができる。その結果、基地受信機110は、モバイル通信デバイス160を、パケット交換リンク上で、インターネット120に接続することができる。インターネット120は、メディアまたはコンテンツをモバイルデバイス160に提供するために、アプリケーションサービスおよびサービスレイヤをサポートすることができる。モバイルデバイス160はまた、無線通信チャネルを使用して、インターネット120を通して他の通信デバイスに接続することができる。モバイルデバイス160は、データおよび情報の交換のために、ネットワーク上のサーバ130との、および他のモバイルデバイス170との接続を確立することができる。サーバは、直接的に、またはインターネット120上で、アプリケーションサービスをホストすることができる。
モバイルデバイス160はまた、WLAN上で、インターネット120に接続することができる。WLANは、スペクトル拡散変調方式を使用して、2つ以上の通信デバイスをリンクする。無線ローカルアクセスネットワーク(WLAN)は、局所の地理的領域内のモバイル通信環境100への無線アクセスを提供することができる。WLANはまた、容量を増大するために、セルラシステムへのロードを補うことができる。WLANは、典型的に、基地局としても知られるアクセスポイント(AP)104のクラスタで構成される。モバイル通信デバイス160は、基地局領域150内のラップトップ170等の、他のWLANステーションと通信することができる。典型的なWLANの実装例において、物理レイヤは、802.11bまたは802.11gのWLAN技術等の様々な技術を使用し、リピータと連結することができ、通常の通信範囲(数10メートル)を拡大する。物理レイヤは、2.4GHz帯域の赤外線周波数ホッピングスペクトラム拡散方式、または2.4GHz帯域の直接シーケンススペクトラム拡散方式を使用してもよい。モバイルデバイス160は、サーバ130またはモバイル通信環境100上の他の遠隔サーバと、データを送受信することができる。
モバイルデバイス160は、携帯電話、携帯情報端末、携帯音楽プレーヤー、ラップトップコンピュータ、または任意の他の好適な通信デバイスであることができる。モバイルデバイス160およびラップトップ170は、適切な無線通信規格に従ってAP140と通信するための、送信機および受信機を備えることができる。本発明の一実施形態において、無線局160は、AP140と通信するための、IEEE802.11に準拠した無線メディアアクセス制御(MAC)チップセットを備える。IEEE802.11は、電気電子技術者(IEEE)協会によって策定された、無線ローカルエリアネットワーク(WLAN)規格を規定する。規格は、概して、技術または実装は規定しないが、物理(PHY)レイヤおよびメディアアクセス制御(MAC)レイヤのための仕様を提供する。規格は、WLAN無線装置の製造業者が、相互運用可能なネットワーク装置を構築することができるようにする。
モバイルデバイス160は、WLAN接続またはRF接続上で、モバイル通信環境100内の他のデバイスと、メディアを送受信することができる。具体的には、モバイルデバイス160は、本明細書で以下により詳細に開示されるように、音圧レベルを測定するために適合される。少なくとも1つの例示的実施形態において、モバイルデバイス160は、音圧レベルを自動的に測定して、測定した音圧レベルをデータベースに送信する。音響情報を収集するプロセスを自動化することで、世界中の雑音レベルをマッピングするために、広域かつ時間的に連続するデータベースを生成することができるようになる。
一実施例において、モバイルデバイス160は、データベースと関連するサーバ130と音圧レベルを受信または伝送するために、サーバ130に接続することができる。モバイルデバイス160は、サーバ130から、オーディオ、テキスト、またはビデオを含むデータパケットを、ウェブサイトがホストするサーバ130を通して伝送および受信することができる。概して、音圧レベル測定および関連するメタデータは、少量のデータの伝送だけしか必要としない。情報の送信は、典型的に、モバイルデバイス160のユーザに対する顕著なデバイス性能の損失をほとんど、または全く伴わずに行うことができる。代替として、情報は、モバイルデバイス160がアイドル状態であり、それによってユーザにいかなる影響も及ぼさない時に、データベースに提供することができる。サーバ130は、オーディオコンテンツおよび関連する情報をダウンロードするために、モバイルデバイス160にメディアを送信することができる。同様に、モバイルデバイス160は、オーディオコンテンツを受信および伝送するために、ピアツーピアネットワーク上で、ラップトップ170と通信することができる。
少なくとも1つの例示的実施形態において、モバイルデバイス160は、衛星信号を傍受してそれらからモバイルデバイス160の場所を特定することができるGPS(全地球測位システム)受信機等の技術を利用する、場所受信機を含む。代替の実施形態において、場所は、携帯電話ネットワークから特定することができる。いずれの実施形態においても、モバイルデバイス160は、場所(または経時的な場所)に対応する地理的コードまたは地理的位置情報を提供するために、および、この情報を、音響情報の記録または音圧レベル測定の測定等のイベントに添付するために適合される。同様に、モバイルデバイス160は、タイムスタンプまたは時間情報を提供し、この情報をイベントに添付するための内部クロックを有する。図1Aは、ヘッダ、位置情報、時間情報、およびSPL情報を含む、データパケットを示す。
図2を参照すると、音の監視および報告のためのモバイルデバイス160が示される。モバイルデバイス160は、1つ以上の音シグネチャを提示するためのメディアディスプレイ210と、メディア(少なくともオーディオコンテンツを含む)のセグメントを捕捉し、提出するための、およびメディアに対する仕様を作成するためのインターフェース220と、仕様に従って媒体を報告するためのプロセッサ230とを含むことができる。報告という用語は、メディアのオーディオコンテンツの少なくとも全部または一部を、オーディオコンテンツを分析するシステムに提示または提出することに関連する、任意のプロセスとして定義される。オーディオコンテンツは、ユーザの環境内で捕捉されるか、または無線もしくは有線接続によりモバイルデバイス160にダウンロードされる音響音であることができる。プロセスは、オーディオコンテンツのセクションを捕捉すること、またはオーディオコンテンツのセクションに参照を挿入することを含むことができる。レンダリングは、捕捉されたオーディオ記録、メディアクリップ、またはビデオから音シグネチャをセグメント化すること、情報(例えば、音(自動車の警笛)、場所(GPS座標)、日付、および音の捕捉方向)を伴う音シグネチャにタグ付けすることを含むことができる。単独で、または組み合わせて、オーディオコンテンツはまた、GPS場所およびタイムスタンプで地理的にコード化することができる。
モバイルデバイス160はまた、メディアを受信(または録音を介して生のオーディオコンテンツを捕捉)して、捕捉されたメディアまたはオーディオコンテンツをサーバに提示するための伝送モジュールおよび受信モジュールを有する、通信ユニット240を含むことができる。通信ユニット240は、パケットデータをサポートすることができ、ユニバーサルリソース識別子(URI)、ハイパーテキスト転送プロトコル(HTTP)アドレス、またはインターネットプロトコル(IP)アドレスへの接続を提供するための、サーバ130等の1つ以上のメディアソースへの通信リンクを確立することができる。プロセッサ230は、オーディオを処理するための信号処理機能を行うことができるソフトウェアコード命令を記憶するための関連するメモリを伴う、マイクロプロセッサまたはDSPであることができる。
図3を参照すると、例示的な一実施形態について、図1のモバイルデバイスのメディアディスプレイ210およびインターフェース220がより詳細に示される。図に示されるように、インターフェース220は、オーディオコンテンツをアップロードするようにアドレスを入力するためのアドレスバー302と、オーディオコンテンツを捕捉する、および編集するためのセレクタパネル217とを含むことができる。メディアディスプレイ210は、オーディオ(図示)またはビデオ形式(図示せず)で、捕捉されたオーディオコンテンツを提示することができる。セレクタ217は、オーディオコンテンツを編集するために、1つ以上の構成ツール(314−320)またはオーサリングツールを含むことができる。例えば、セレクタ217は、オーディオ捕捉ボタン314と、オーディオ捕捉終了ボタン316と、保存/挿入オーディオコンテンツボタン318と、一時停止ボタン320とを含むことができる。保存/挿入ボタン318は、環境の中の音響音信号、またはメディアソースからオーディオ信号を捕捉するために使用することができる。
インターフェース220はまた、メディアの中のオーディオコンテンツの時間を表示するための、タイマー312を含むことができる。タイマー312は、メディアの時間解像度を調整するための、オプションを含むことができる。例えば、メディアディスプレイ210上に提示されるオーディオコンテンツの持続時間の増大または低減である。タイマーは、オーディオコンテンツのビューを調整するための、ズーミング機能を提供することができる。例えば、オーディオは、示されるように、メディアディスプレイ210を横切って移動する、時間変動波形として示すことができる。タイマー312は、メディアディスプレイ210の中に提示されるオーディオの長さを調整することができる。タイマー312はまた、数値的に時間を表示することによって、オーディオクリップまたはビデオクリップの時間長の推定値を提供することができる。セレクタパネル217はまた、オーディオコンテンツ306の音量を調整するための、音量セレクタ313を含むことができる。
開始時間311と終了時間322との間のメディアは、セグメント化されたオーディオコンテンツ399である。タイマー312は、セグメント化されたオーディオコンテンツの時間ラインをユーザが識別できるようにする、進捗機能を提供する。ユーザは、オーディオ捕捉ボタン314を押下げることによって、開始時間311で捕捉を開始し、オーディオ捕捉終了ボタン316を押下げることによって、終了時間322で捕捉を終了し、そして、保存/挿入ボタン318を押下げることによって、オーディオ捕捉セグメントを保存することができる。保存されたオーディオセグメント399は、分析および再検討のために、例えば、音が、自動車の警笛、サイレン、掃除機等の公知の音に対応しているかどうかを決定するように、後で読み出すことができる。
また、モバイルデバイスは、サーバ130への音声通信チャネルを開くことができ、捕捉されたオーディオをサーバ130に流すことができることに留意されたい。次いで、オーディオストリーム全体は、認識された音がオーディオストリームの中に存在するかどうかを決定するように、サーバ130で分析することができる。次いで、サーバ130は、手動または自動介入により、オーディオストリームの中に認識される音を識別する、モバイルデバイス100にメッセージを送信することができる。例えば、モバイルデバイスのディスプレイは、認識された音(「自動車の警笛が検出されたこと」)を可聴的に表すこと、および/または認識された音(例えば、自動車の警笛が識別されたこと)のためのテキストメッセージを提示することができる。
一実施例として、ユーザは、オーディオコンテンツを送信するように、ユニバーサルリソース識別子(URI)、ハイパーテキスト転送プロトコル(HTTP)アドレス、またはインターネットプロトコル(IP)アドレスを、アドレスバー302の中に入力することができる。オーディオコンテンツはまた、ユーザの音響環境の中で捕捉される代わりに、無線でダウンロードされるオーディオファイル、ビデオファイル、またはテキストクリップであることができる。実施形態は、生録音だけからのオーディオコンテンツまたはオーディオコンテンツのセグメントだけでなく、モバイルデバイス100によって受信される他のメディアの捕捉にも限定されない。他のメディアソースは、オーディオセグメントおよびオーディオコンテンツを提供するために、識別することができる(ピアツーピア、アドホック)。例えば、ユーザは、wi−fiシステムにより、捕捉されたオーディオ波形を近傍の別のユーザから受信してもよい。
代替として、例えば音圧レベル測定といった、オーディオコンテンツを捕捉するプロセス全体は、最小限の人間の介入が必要とされるように自動化することができる。概して、捕捉および送信を自動化することで、より信頼性が高くなり、より多様なオーディオコンテンツを提供し、全世界にわたって1日中収集することが可能である。少なくとも1つの例示的実施形態において、モバイルデバイス160は、モバイルデバイス160のマイクロホンから受信される音響情報を記憶するための、循環バッファを含む。バッファは、新しい情報に連続的に上書きすることができるので、オーディオコンテンツの短期記憶領域として作用する。
トリガイベントは、サーバ130(または関連する記憶用データベース)に送信される、オーディオコンテンツの収集または音圧レベルの測定を開始するイベントである。モバイルデバイス160がオーディオコンテンツを収集するトリガイベントの実施例は、ほんの少し例を挙げれば、音シグネチャに類似する音、時間ウィンドウ、地理的位置、音圧レベル、およびセンサデータ(生物学的、加速度/速度、臭気、化学的検出、視覚等)の検出である。例えば、信号が所定の持続時間を超える場合、検出信号の持続時間は、トリガイベントであることができる。
トリガイベントは、バッファの中のオーディオコンテンツのサーバ160への送信を開始する。代替として、オーディオコンテンツは、後の送信のために、循環バッファよりも長い期間の記憶装置に移動させることができる。オーディオコンテンツは、モバイルデバイス160の中のマイクロプロセッサまたはDSPを使用して、モバイルデバイス160の中でさらに処理を受けることができる。例えば、音圧レベルは、捕捉されたオーディオコンテンツから計算することができる。トリガイベントの前後に捕捉されるオーディオコンテンツの量は、音信号全体の捕捉を確実にするように変動させるか、または要件に応じて固定期間とすることができる。オーディオコンテンツまたは音圧レベルの記憶は、モバイルデバイス160が、デバイスとサーバ130との間に通信経路が開かれた時に、適切な時間にコンテンツを送信できるようにする。オーディオコンテンツはまた、データ伝送要件を低減するように、圧縮することができる。
インターネット上でオーディオコンテンツのセグメントを伝送および受信するための他の手段は、本明細書で意図されており、提供されるアドレススキームに限定されない。例えば、モバイルデバイス160は、1つ以上のピアまたは生のオーディオ/ビデオ録画セッションからメディアを、通信ポートまたはインターフェースを通して受信することができる。一側面では、ストリーミングメディアは、サーバ130から、オープン通信接続を通してモバイルデバイスに提供することができる。通信経路は、モバイルデバイスとの通信中にデータのパケットが流される間、開いたままにすることができる。例えば、モバイルデバイス160は、ストリーミングメディアを伝送または受信して、受信した時にデータを処理するために、サーバ130へのソケット接続を開くことができる。
図4を参照すると、例示的なフロントエンドプロセッサ構成400が示される。構成400は、オーディオコンテンツを捕捉および記録するためのオーディオ処理モジュールのオーディオ経路ラインアップに対応することができる。モジュールは、ハードウェアまたはソフトウェアの中に存在することができる。構成400全体は、示される順序に限定されず、必要に応じて、異なる順序で機能することができる。例えば、自動利得制御406は、ハードウェアの中にある場合、A/D404に先行することができる。また、ソフトウェアの中に実装される場合、A/D404に続くことができる。
図に示されるように、音響信号は、マイクロホン242によって捕捉して、アナログ信号に変換することができる。マイクロホンは、特定の指向性パターンを有することができる。一実施例として、1つの指向性パターンを、図5のボードプロットに示す。特に、マイクロホン感度はまた、周波数依存の音圧レベルに影響を及ぼす可能性がある。モバイルデバイスの物理的形状およびその本体サイズは、受信音に影響を及ぼす可能性がある。マイクロホン指向性パターン、モバイルデバイスの物理的形状、マイクロホン感度、マイクロホンポーティング、および任意のバッフリングは、音圧レベルを計算する時に補償される。
少なくとも1つの例示的実施形態において、マイクロホンは、全方向性マイクロホンである。図4には示されていないが、マイクロホンはまた、マイクロホンをモバイルデバイスの本体から離したままにして、全方向性集音を可能にするように、伸長可能なブームを有することができる。代替として、モータが、音圧レベルを測定する時に、デバイスの本体からマイクロホンを動的に移動させることができる。モバイルデバイスの本体からマイクロホンを延長することで、本体の高周波数での音響音のシャドウイングを軽減するのに役立つことができる。マイクロホンはまた、音を減衰させるほこりを入らせないように、フェルトのカバーを含むことができる。フェルトはまた、マイクロホン分極に影響を及ぼす可能性があり、音圧レベルを計算する際に補償されるべきである。
アナログ信号は、ダイナミックレンジを増大させて、アナログ−デジタル(A/D)変換器404の入力範囲に整合するように、増幅器402によって増幅することができる。1つの配設において、A/Dコンバータ404は、66dBのダイナミックレンジを伴う13ビットADCであることができる。代替的に、132dBのダイナミックレンジを有するように、24ビットADCを使用することができる。ADCはまた、例えば8、16、32、および44.1kHzといった、可変サンプリングレートをサポートすることができる。ADCはまた、可変サンプリングレート変換を可能にするように、オーディオ取得中にサンプリングレートを調整するように構成することができる。
デジタル信号に変換すると、自動利得制御406はさらに、利得の変動を制御するように、オーディオ信号を調整することができる。AGC406はまた、ノイズ抑制、利得成形、圧縮、またはゲイン制御の他の側面を含むことができる。等化器は、オーディオ経路構成の中の任意の変形を補償するように、および/または周波数応答が所定のマスクの範囲内に入るよう調整するように、オーディオ信号を等化408することができる。例えば、モバイルデバイスの製造業者は、概して、モバイルデバイスの音響ポーティング特徴またはオーディオ構成要素に基づいて、特定の製品のためのSPL周波数依存マスクを有する。随意のオーディオ圧縮モジュール410は、データ整理(例えば、オーディオコーディング、オーディオ圧縮)のために、オーディオ信号を圧縮することができる。特徴抽出器412は、オーディオ信号から1つ以上の顕著な特徴を抽出することができる。例えば、音声信号のための特徴抽出器は、線形予測係数、メルケプストラル係数、PARCOR係数、フーリエ級数係数を抽出してもよい。
コントローラ420(マイクロプロセッサまたはDSP)は、オーディオ構成経路400の中の種々のモジュールを選択的に有効または無効にすることができる。例えば、ユーザが指令すると、コントローラ420は、モジュールのうちの1つ以上をバイパスし、モジュールがオーディオ信号を処理することを防止することができる。コントローラ420はまた、オーディオ信号がどのようにモジュールによって処理されるのかを決定するために、モジュールから、モジュール構成データを読み出すことができる。例えば、AGCは、アタック時間、減衰時間、圧縮曲線、およびオーディオ信号の処理に関する他のパラメトリック情報を提供することができる。このようなことから、コントローラ420は、次いで、サーバ130が音響信号の元々の特徴を評価することを可能にするように、この情報を、捕捉されたオーディオコンテンツと共にサーバ130に渡すことができる。パラメータおよび関連する有効/無効フラグは、他のデバイスと共有することができるコントローラ420によって管理される、コードプラグに記憶することができる。コードプラグはまた、モバイルデバイスのオーディオ処理モジュール(402−412)の動作のためのカスタマイゼーションを可能にする。
図6は、例示的な一実施形態による、音圧レベルを測定する、および送信するための、モバイルデバイス600のブロック図である。概して、モバイルデバイス600は、通信目的で設計される。モバイルデバイス600は、マイクロホン606と、双方向通信を提供するためのスピーカ(図示せず)とを有する。マイクロホン606は、しばしば、モバイルデバイス600の筐体内の固定位置にある。マイクロホンポーティング604は、音を受信するためのマイクロホン606を、モバイルデバイス600の筐体の外部に音響的に連結する。マイクロホンポーティング604は、しばしば、マイクロホン606(筐体の内部に位置する)を外部ポートに接続する、音響チャネルである。異物がマイクロホンポーティング604の中に入るのを防止するように、スクリーンまたはカバーが、外部ポートに採用されてもよい。少なくとも1つの例示的実施形態において、モバイルデバイス600は、音圧レベル測定を平均するために、複数のマイクロホンを有することができる。さらに、人々は、自分たちの電話を常時開いたままにせず、それらをホルスタおよびポケットの中に有する。複数のマイクロホンは、自動的にオーディオコンテンツを収集する時に、妨げられていないマイクロホンが情報を受信するために利用できる可能性を増大させる。
モバイルデバイス600の構成要素に起因して生じる音または信号の何らかの変化が考慮され、それによって、音圧レベル測定の完全性を保持する。理想的には、マイクロホン606からの信号は、正確に音を表す。これは、最良の状況下であっても生じない。例えば、モバイルデバイス600上のマイクロホン606の場所に応じて、筐体からの音響信号の反射が、音圧レベル測定を増大または減少させる可能性がある。少なくとも1つの例示的実施形態において、モバイルデバイス600は、この問題を最小化するように、筐体から離れて延長することができるブームマイクロホン、または音圧レベルが測定される時に筐体から延長する電動式のマイクロホンを有する。マイクロホン指向性パターン602、マイクロホンポーティング604、増幅器402、およびデバイスの筐体は、受信音響信号の変形に関するので、音圧レベルを測定または計算する時に補償される。基準に対するモバイルデバイス600の定期的な較正は、測定の精度を確保するのに有益である。
自動利得制御406、等化408、オーディオ圧縮410、および特徴抽出412は、モバイルデバイス600の中に、オーディオ信号を処理するための回路を備える。少なくとも1つの例示的実施形態において、オーディオ信号のオーディオ処理は、信号のさらなる変形を防止するためにバイパスされる。代替として、信号のオーディオ処理は、音圧レベルの測定または計算の際に補償され得る。音圧レベル測定が行われている時にコントローラ420がオーディオ処理回路を無効またはオフにすることは、オーディオバイパスの1つの形式である。また、マイクロホン606からのオーディオ信号は、任意のオーディオ処理が生じる前に、増幅器402からアナログ信号として、またはA/Dコンバータ404からデジタル信号として取り出すことができる。アナログ信号またはデジタル信号の結合は、コントローラ420の制御下で、スイッチを介して制御することができる。例えば、増幅器402またはマイクロホン606の出力からのアナログ信号は、コントローラ420の制御下で音圧レベルを測定するための専用回路に提供される。コントローラ420は、回路が所定の期間にわたって音圧レベルを測定すること、およびデータベース614への通信経路が開かれた時に、メモリ618に記憶された結果をデータベース614に送信することを有効にする。
少なくとも1つの例示的実施形態において、A/Dコンバータ404からのデジタル信号は、循環バッファ616に提供される。オーディオ処理回路は、マイクロホン606によって提供されるオーディオ信号に対する変形を最小化するようにバイパスされる。循環バッファ616は、コントローラ420の制御下にある。循環バッファ616は、マイクロホン606によって受信される音響情報に対応する、変換デジタル信号を連続的に記憶する。循環バッファ616は、新しい入力データを最も古いデータに上書きする、所定量の音響情報を記憶する。利得を含む増幅器402の特性は、音圧レベルの測定または計算の際に考慮される。
概して、モバイルデバイス600のユーザは、デバイスが音圧レベルを測定することを手動で有効にすることができる。典型的に、測定は、デバイスが測定することを有効にされた後の所定の期間にわたって生じる。所定の期間の測定に対応する循環バッファ616のオーディオコンテンツは、バッファ616からコントローラ420またはメモリ618に転送される。コントローラ420は、デジタル信号を処理して音圧レベルを計算すること、メタデータを添付すること、ならびにSPL、デジタル信号(必要に応じて)、およびメタデータをメモリ618に記憶することができる。ユーザはさらに、音の種類または他の関連する情報等のメタデータに追加することができる。代替として、デジタル信号は、対応するメタデータとともにメモリ618に記憶することができる。次いで、コントローラ420は、後に音圧レベルを計算および記憶することができる。
少なくとも1つの例示的実施形態において、モバイルデバイス600は、人間の介入を最小限に伴い、または伴わずに、音圧レベルを自動的に収集して、測定した音響レベルをデータベース614に送信する。トリガイベントは、音圧レベルの測定を開始するイベントである。音圧レベルを使用したトリガイベントが、このプロセスを次の図において示すために使用される。音圧レベルの収集をトリガするために使用されるイベントの実施例は、ほんの少し例を挙げれば、音圧レベル、時間、地理的位置、音シグネチャ検出、生物学的データ、加速度/速度データ、温度、視覚/クロマデータ、臭気(匂い)、大気データ(気圧、風速、湿度等)、化学的検出である。
音圧レベル測定の収集をトリガした音響情報のデジタル信号は、コントローラ420によって処理されるために識別される、またはバッファ616から長期メモリ618まで移動させられる。SPL測定に必要とされる音響情報の時間ウィンドウは、トリガイベントに先行し、これを超えて延長することができることに留意されたい。デジタル信号の適切な時間幅は、循環バッファ616から読み出され、測定のための音響情報の全てを捕捉するように、バッファ616からの1つ以上の完全なダウンロードを含み得る。上述のように、コントローラ420は、音圧レベルを計算するように、または後の処理のためにデジタル信号をメモリ618に記憶するように、デジタル信号を受信するとすぐにそれを処理することができる。
メタデータは、音響情報の識別および分類を援助するように、デジタル信号(収集される場合)および音圧レベル測定に添付される。メタデータに含まれるのは、時間情報および地理的位置情報である。デジタル信号の時間ラインがクロック608によって提供された時の時間情報またはタイムスタンプは、コントローラ420に動作可能に連結される。デジタル信号の間、モバイルデバイス600の場所の地理的位置情報または地理的コードは、データ通信システム610およびコントローラ420と動作可能に構成されるGPS受信機612によって提供される。
少なくとも1つの例示的実施形態において、測定した音圧レベルおよびそれらの関連するメタデータは、メモリ618に記憶することができる。概して、SPLデータおよびメタデータは、音響情報を記憶することに対して実質的により少ないメモリを使用する。SPLデータおよびメタデータが利用できるようになると、コントローラ420は、システム610と連携して、情報をアップロードするための、データベース614への通信経路を開くことができる。代替として、SPLデータ、オーディオコンテンツ(必要に応じて)、およびメタデータの待ち行列は、経時的にメモリ618に記憶され得、モバイルデバイス600は、データベース614への通信経路を開き、デバイス600のユーザと干渉しない時に、情報をアップロードする。
図7a−7cは、例示的実施形態による、音響情報を収集するためのトリガイベントとしての音圧レベルの使用を示す、関連図面である。図7a−7cは、図6のモバイルデバイス600のトリガイベントに関連する。図6を参照すると、通信デバイス600は、デバイスのマイクロホンを通してオーディオ情報を受信している。少なくとも1つの例示的実施形態において、音響情報は、分析のためにモバイルデバイス616のバッファに記憶される。分析は、音圧レベル等の、トリガイベントを探すことを含むことができる。トリガイベントはまた、1つ以上の他のトリガイベントがオーディオコンテンツの収集を開始するAND関数、または種々のトリガイベントのうちの任意の1つが検出された時にオーディオコンテンツの収集を開始するOR関数を備えることができる。
図7aを参照すると、バッファ616の中のオーディオコンテンツから、モバイルデバイス600によって測定または計算される、音圧レベル対時間のグラフが示される。トリガイベントは、音響情報の音圧レベルが、音圧レベル閾値706を超えた時に生じる。例えば、高ノイズ領域に関する情報が収集されている。音圧レベル閾値706を70dBに設定して、持続時間にわたって聴覚損失を生じ得る音圧レベルを有する領域の中の情報を収集する。多数のデータ点を収集することで、三次元領域上で経時的に音響情報をマッピングできるようになる。この情報は、様々な用途を有し、そのうちの1つは、ある人が、いつどこで都市内の潜在的な有害音響レベルにさらされたのかを識別することである。
トリガイベント702で、オーディオコンテンツの音圧レベルは、音圧レベル閾値706以上である。トリガイベント702は、期間t−t中に、破線によって示されるように生じる。トリガされると、図7bに示される期間t−t中の音響情報が、データベースに送信するために収集される。音響情報は、その全体が即時に、処理/送信され、もしくは通信デバイスのメモリに記憶され、またはよりコンパクトな形態に変換されて、収集の必要性に応じてメタデータが提供される。メタデータに含まれるのは、音響情報がいつどこで捕捉されたのかに関連する、時間情報(t−t)および地理的位置情報である。コントローラ420は、収集の必要性に基づいて、音響情報(t−t)から音圧レベル測定を計算することができる。例えば、平均またはピーク音圧測定は、期間の全体または期間の一部にわたって計算され得る。
図7cを参照すると、x、y、およびz座標対時間で示される通信デバイスの位置は、GPS受信機612によって提供されるグラフに示される。GPS情報はまた、周期的に提供され得る。補間(線形、その他)は、場所対時間を推定するために使用され得る。単一の地理的位置も必要に応じて簡潔にするために使用され得る。したがって、モバイルデバイス600の位置は、静止または経時的に移動する可能性があり、この情報は、収集された音響情報と共に提供される。
同様に、第2のトリガイベント704を図7aに示す。音響信号は、期間t−t中のトリガイベント704において、音圧レベル706以上である。音響情報は、図7bに示されるように、同様に収集され、音圧レベルは上記に開示されるように計算される。
実施例において、トリガイベントは、音圧レベル閾値706を超えた時にいつでも生じる。トリガイベントは、他の方法で修正され得る。例えば、所定の期間にわたって閾値706を超える音圧レベルは、トリガイベントであり得、または所定の量を超える音圧レベルの変化もトリガイベントであり得る。さらに、収集される音響情報は、トリガイベントが生じる期間に限定されない。収集される音響情報の量は、必要に応じて変動させることができる。例えば、音圧レベル閾値706を超える音響情報だけを収集する。その逆に、トリガイベントは、バッファ616のサイズに応じて、以前の、現在の、および次の期間から音響情報を収集し得る。上記に開示されるように、音圧レベル、メタデータ、および他の情報は、モバイルデバイス600によって即時に、または後のより適切な時間に、データベース614に送信され得る。
図8を参照すると、モバイルデバイスを使用してネットワーク上で音を監視する、および報告するための、例示的な方法800が示される。方法800は、示されるよりも多い、または少ないステップ数を含むことができ、示されるステップの順序に限定されない。方法800は、図4に示されるモバイルデバイスの構成要素によって実装することができる。
ステップ802で、モバイルデバイスは、周囲環境の音響信号を監視する。モバイルデバイスのマイクロホンは、トリガイベントの検出に応じて、環境の中の音響信号を能動的に分析すること、および音響信号の処理を始めることができる。少なくとも1つの例示的実施形態において、モバイルデバイス160は、トリガイベントが生じると、ステップ804で、音響信号のバッファリングを始める。代替として、音響信号は、予め循環バッファに記憶しておくことができる。例えば、プロセッサは、音圧レベルの変化を監視することができ、SPLの著しい変化の検出に応じて、関連するオーディオ信号のメモリへの保存を始めることができる。イベントはまた、例えばユーザが、環境の中で音を聞き、次いでユーザインターフェース上の録音ボタンを押した場合に、ユーザが開始することができる。別の実施形態において、モバイルデバイスは、音シグネチャが音響信号内に検出された場合に、ユーザに録音を始めるようプロンプトすることができることに留意されたい。この場合、モバイルデバイスは、ユーザ環境の中の、サイレンの警告音等の顕著な情報に対する音響信号を継続的に監視および分析する。
トリガイベントは、ステップ806で、モバイルデバイス160を始動させ、サーバ130との通信チャネルを開くことを進める。上述のように、接続は、音声チャネル、データチャネル、パケットデータチャネル、wi−fiチャネル、または任意の他の通信リンクであることができる。1つの配設において、モバイルデバイスは、捕捉されたオーディオ信号を音声チャネル上で直接的に送信することができる。例えば、データは、元々の信号特徴を保つように、音声チャネル上で未処理のPCM形式で、または非可逆圧縮形式で送信することができる。チャネルを開くと、モバイルデバイスはまた、オーディオ構成経路ラインアップのパラメータ設定を識別するコードプラグ情報(図4を参照されたい)を送信することができる。
ステップ808で、モバイルデバイス160は、音響信号から特徴を抽出する。例えば、先に説明したように、プロセッサ230は、オーディオ信号からメルケプストラム係数を抽出することができる。特徴抽出はまた、オーディオ信号を表す際に必要とされるデータサイズを低減するように機能する。例えば、fs=8kHzで10msのフレームサイズを160のサンプルに変換すると、10msのフレームサイズは、わずか10−14のメルケプストラム係数で表すことができる。しかしながら、非可逆圧縮はまた、データ次元は低くするが、再構築されたオーディオ信号の完全性を損なわないように、オーディオ信号に行うことができる。非可逆圧縮はまた、データ表現サイズをさらに低減するように、データに行うことができる。
代替として、プロセッサ230は、オーディオ処理回路をバイパスして、マイクロホンからのバイパスされた信号を使用して音圧レベルを計算する。計算は、マイクロホン特徴、マイクロホンポーティング、異物カバー、増幅器、および他のオーディオ処理回路等の、モバイルデバイス160の側面のための補償を含む。代替として、マイクロホン信号は、さらなる処理のために、音圧レベルを測定するための専用回路に連結されて、プロセッサ230に提供される。
メタデータまたはタグ情報は、生成されて、特徴または音響信号に自動的に添付される。メタデータに含まれるのは、音響信号がいつどこで収集されたのかを識別する、時間情報および地理的位置情報である。プロセスはまた、オーディオコンテンツに関連する、手動で添付されたタグを含むことができる。タグは、音の種類(例えば、自動車の警笛、サイレン、笛、ベル、手持ち削岩機等)、捕捉場所に関連する詳細な情報(例えば、レストランの名前、自宅の住所等)、音の方向(例えば、近づく、離れる、静止している)、および任意の関連する音の説明(例えば、微弱な音声、非常に大きい、うるさい、楽しい等)等の識別情報を含むことができる。ステップ810で、モバイルデバイスは、タグ情報を受信して、それを音響信号の特徴、または代替的に実際の捕捉されたオーディオ信号の特徴と関連付ける。
ステップ812で、モバイルデバイスは、オープン通信チャネル上で、タグおよび特徴(または音響信号)をサーバ130に伝送する。音響信号およびタグは、一緒にパッケージ化すること、またはネットワーク上で別々に送信することができる。パケットネットワーク構成において、パケットは、異なるホップ上で送信すること、およびサーバから異なる時間に受信することができる。サーバ130は、次いで、標準的な再構築技術に基づいて、パケットを並べ換えることができる。
ステップ814で、サーバ130は、音圧レベル(SPL)および音シグネチャのための特徴およびタグ(音響信号)を分析する。サーバ130はまた、オーディオモジュールのパラメータを決定するための受信コードプラグ情報を参照する。例えば、受信音声信号または特徴からSPLレベルを評価する際に、サーバは、音取得中に行われるあらゆる圧縮または等化を考慮する。次いで、SPLレベルは、フロントエンド処理(例えば、圧縮、等化、自動利得制御、フィルタリング)に基づいて、補償することができる。代替として、音圧レベルがモバイルデバイス160によって計算される場合は、サーバ130によって受信して、さらなる分析(形式およびデータ品質を検証する他の確認以外)を伴わずに、関連するメタデータとともに記憶することができる。この実施例では、実質的により少ない情報を、伝送しなければならない。
分析中に、サーバ130はまた、音シグネチャのためのオーディオ信号−再構築された音響信号または抽出された特徴−を走査することができる。音シグネチャは、自動車の警笛、サイレン、気笛等の特定の音イベントである。音シグネチャのモデルは、ガウス混合モデル(GMM)、隠れマルコフモデル(HMM)、または任意の他の統計に基づくパターン分類器の形で記憶することができる。また、タグは、オーディオ信号が以前に学習した音シグネチャを含むかどうかを決定するために、構文解析することができる。例えば、ユーザは、アップロードされた音響信号を、気笛音を含むものとして逐語的(textually)に識別してもよい。したがって、サーバ130は、新しいオーディオコンテンツを伴う気笛音の音シグネチャモデルを更新することができる。これは、広範囲の気笛音を認識するモデルの能力をさらに補強する。代替的に、サーバ130がタグ付き音のモデルを含まない場合、サーバ130は、未知の音の特徴を学習するように、新しいモデルをトレーニングすることができる。例えば、ユーザが、「手持ち削岩機の音」としてタグ付けし、その音のためのいかなるモデルも存在しない場合、サーバ130は、手持ち削岩機のための新しいモデルを生成することができる。
音シグネチャおよびSPLレベルの検出に応じて、ステップ816で、サーバ130は、分析に照らして、音分析報告を生成すること、およびログを取ることができる。音分析の報告は、検出された音シグネチャ、それらの対応するSPLレベル、および音が脅威であるかどうか、または検出された音の種類等の他の情報を識別することができる。報告は、次いで、オーディオコンテンツのデータの取り出しに関心があるサービスプロバイダと共有することができる。例えば、飲食店は、それらの飲食店で食事をした顧客のオーディオコンテンツの格付けを受信するように申し込むことができる。オーディオコンテンツの格付けは、関連するタイムスタンプおよびあらゆる顧客関連情報を伴う音レベル分析を含むことができる。これは、飲食店のユーザおよび所有者が、飲食店の音品質を評価することを可能にし、所有者が、ユーザの飲食店での体験に関連するユーザフィードバックを監視できるようにする。
ステップ818で、サーバは、オープン通信チャネルまたは他の手段により、モバイルデバイスまたは加入者に報告を伝送する。ステップ820で、モバイルデバイスは、報告の詳細をユーザに提示する。報告の側面は、視覚もしくは可聴形式、またはそれらの組み合わせで提示することができる。例えば、音圧レベルを自動的に捕捉して、SPL/関連情報を分析のためのサーバに伝送すると、次いで、モバイルデバイスのユーザは、長期間にわたって維持された場合にSPLレベルがユーザに対して有害であり得る旨を、またはユーザの周囲環境の音レベルをより正確に評価すべきである旨を警告する、テキストメッセージを受信することができる。モバイルデバイスはまた、例えば検出音シグネチャの脅威レベルといった報告の側面、および応答するための可能な命令を可聴的に示すことができる。例えば、ユーザが食事をしている間に微弱な火災警報信号が検出された場合、モバイルデバイスは、検出された火災警報を可聴的に提示すること、および飲食店または施設を出るためのマップを視覚的に示すことができる。当然のことながら、本発明の教示による、報告を通信する他の手段を意図することができる。
図9は、音のランドスケープにアクセスするために使用できる、簡略化されたGUI 900を示す。GUIは、複数のパラメータ(例えば、場所、時間、トピック(例えば、コンサート、講義、自動車、船、飛行機、交戦地帯、歴史)、およびそれによって音響信号をタグ付けおよび識別することができる、任意の他の識別トピック)に基づく、音響検索のためのオプション(例えば、マップ相互作用のためのマップボタン920、およびアドレスルックアップ相互作用のためのアドレスボタン930)を提供するようにプログラムする(例えば、JAVA(登録商標)、C++)ことができる。示される限定的でない実施例において、GUI900は、2つのボタンを伴う背景パネル910と、マップボタン920と、アドレス検索ボタン930とを有する。ユーザインターフェース(例えば、マウス960)も示され、これは、利用可能なオプション(例えば、ボタン920および930上のカーソル940の運動、および選択ボタン970の選択の押下(3))のユーザによる選択を促進する。例えば、ユーザが、マップ上の領域を選択することによって音響信号を検索することを望む場合、ユーザは、マウス960を位置(1)から位置(2)へ移動させる955ことができ、これはそれぞれ、カーソル940を位置(1’)から位置(2’)へ移動させる950。ユーザは、次いで、マウス960の中に組み込まれるボタン970上を押下(3)することによって、マップボタン920(例えば、ハイライトされた境界(3’))を選択することができる。例えば、ソフトウェア側で、ボタン920は、子フォーム(すなわち、別個のGUI1000)を開くこと1010(例えば、C++ ChildForm−>Show())と関連付けられる、「on Click」イベント(例えば、C++で、void _fastcall TForm1::BitBtn1Click(TObject *Sender){})を有することができ、ユーザは、カーソルを位置付けること、ならびに関心の領域をハイライトおよび/または選択することができる。
図10は、少なくとも1つの例示的実施形態による、世界マップGUI1000を示す。これは、カーソルを位置付けて、関心の領域(例えば、国)を選択する能力をユーザに提供するように開くことができる、世界マップの限定的でない実施例である。
図11は、ユーザが、少なくとも1つの例示的実施形態による世界GUI1000を使用して、国を選択すること1100を示す。ユーザは、世界マップGUI1000上のカーソルを位置(4’)から位置(5’)に移動させる(1150)ように、ユーザインターフェース960(例えば、マウス)を位置(4)から位置(5)に移動させる(1155)ことができる。ユーザは、次いで、ユーザインターフェース960上の選択ボタン970を押下する(6)ことによって、ハイライトされた領域(6’)を選択することができる。「on Click」イベント時に、子フォームは、種々の情報(例えば、その領域全体の現在のSPL量、場所選択をさらに精緻化する地理的マップ)の表示を開くことができる。
図12に示されるのは、現在の、および/または予測されるSPLレベルで、標準的な量の計算の時間枠(例えば、8時間、24時間)の中で体験する、その領域1200の現在のSPL量である。らに、場所の精緻化は、特定の場所ボタン1220によって促進される。
図12は、限定的でない実施例に過ぎない。SPL量は、画像の中の画素を、示される領域の中の関連する地理的範囲と関連付けることによって計算することができる。次いで、利用可能なSPL記録を、現時点の関連するSPL平均値を計算するために使用すること、および地理的領域に関連するSPL量の計算に送ることができる。例えば、図12A−12Dは、図12におけるようにプロットされ得る、SPL平均値に関連する画素およびSPL量値に関連する画素を得るように、地理的領域と関連付けられる平均SPLを計算して、平均値を組み合わせるプロセスを示す。例えば、図12Aのマップの各画素のSPL量値は、画素と関連付けられる地理的領域の利用可能なSPL記録値(例えば、1340、1350、1360)を使用することによって計算することができる。例えば、図12Bは、画像と関連付けられる種々の画素1310(例えば、図12Cの1330)を示す。画像1320の地理的領域は、多数の画素(例えば、1330)を有することができる。図12Dは、画素1330のSPLソース(SPL1、SPL2、およびSPL3)を示す。SPLの平均値(例えばSPLave)は、記録されたソースから、例えばSPLave=(SPL1+SPL2+SPL3)/3で計算することができる。SPL量の値は、選択時間枠(例えば、8時間)にわたって適用されたSPL平均値から計算することができる。例えば、方程式(A1)は、この限定的でない実施例について、1日のノイズ暴露がSPL量(他の実施例ではそうならない場合がある)であると仮定した場合のSPL量を計算するために使用することができる。
(A1) D=100C/T
式中、Tは、特定のSPL平均での基準持続時間であり、Cは、全作業長さである。例えば、Cが16時間で、平均SPLが85dBAである場合、D=100%である。Cが8時間で、平均SPLが85dBAである場合、D=50%である。Cが約24時間である場合は、約82dBAのSPL平均値がD=100%を与えることに留意されたい。Dの種々の値は、色分けされて得られるカラー画像であることができる。例えば、D=100%である場合、色は、赤色であることができる。150%である場合は、その領域の中で100%を超えていることを示す、白色であり得る。
図13は、少なくとも1つの例示的実施形態による、場所のオプションを選択するユーザを示す。GUI1200に関連する場所ボタン1220は、ユーザインターフェースで選択する(7)ことができる。次いで、より具体的な場所のGUIマップ1400を図14に示し、ユーザは、次いで、カーソルを場所(8’)から所望の場所の上(9’)に移動させる1450ことができ、移動1450は、ユーザインターフェース1460の場所(8)から(9)への移動1455と関連付けられ、ユーザは、GUIマップ1400上のカーソル場所と関連付けられる場所を選択する(10)ことができる。
図15は、少なくとも1つの例示的実施形態による、GUIを示す。図15は、ユーザによって選択された(10)、ハイライト領域(1510、例えばVirginia)を示す。図16に示されるように、選択時に、選択領域のより詳細なマップを、相互作用GUIの中に表示することができる。少なくとも1つの例示的実施形態の範囲内に入る種々の表示オプションを示すために、ユーザは、カーソル場所を中心として、任意のより詳細なビュー選択の次の範囲を示す、サブ領域範囲1620を中央に合わせる。ユーザは、ユーザインターフェースの位置(11)から位置(12)への移動1655に対応する、カーソルの位置(11’)から位置(12’)への移動1650のために、ユーザインターフェース1460を使用することができる。ユーザは、次いで、カーソルの現在位置の周囲の領域のより詳細なビューを選択する(13)ことができ、これは、例えば、包囲する領域(13’)の色の変化によって示すことができる。他の選択の表示を使用することができ、本明細書の議論は、例示目的に過ぎないことに留意されたい。
図17は、少なくとも1つの例示的実施形態による、都市の場所を選択するためのGUI1700を示す。この実施形態は、ユーザが解像度を増大または低減するために使用することができる、ズームバー1730を示すことに留意されたい。例えば、解像度の増大は、GUIの画像として類似したサイズの画像の中に表示される、ビューの長方形1710の範囲によって示すことができる。解像度の選択時に、1710の中の画像は、図18に示されるように表示することができる(例えば、子フォームを開く1750)。
図18は、少なくとも1つの例示的実施形態による、種々の利用可能な音響信号を示すGUI1810を示す。録音の場所、録音の種類(例えば、自動車等の異なるトピックに対する異なる形状)、録音の音信号の強度(例えば、色、形状)、および録音がリアルタイムであるか、古いものであるかの表示(例えば、記号)を示すために使用することができる、種々の方法(例えば、シンボル、光、形状、色)があり得ることに留意されたい。図18に示される限定的でない実施例は、リアルタイム記録のための円を示し、リアルタイムは、現在時間から終了時間Dtを有する任意の記録に設定することができる。例えば、現在時間の30分以内の任意の記録は、リアルタイムの記録とみなすことができ、この時間は、変動する可能性があり、数分の1秒ほどの短さから数日になることに留意されたい。また、色は、この限定的でない実施例において、記録場所における録音の音の強さを示すように、形状と関連付けられる。
少なくとも1つの例示的実施形態は、記号の上をカーソルに通過させることによって記号と関連付けられる音声を再生し、その時に、ソフトウェア(例えば、C++ OnEnterイベント)は、メディアプレーヤーを起動して、記号と関連付けられる画素の場所と関連付けられる録音をロードし、カーソルの移動が記号から外れた時点で停止する(例えば、C++ OnExitイベント)。メディアプレーヤーを随意に表示できることに留意されたい。加えて、ユーザは、記号をクリックして再生することができる(例えば、C++ OnClickイベント)。例えば、図19は、選択録音を再生するメディアプレーヤーセットを示す。録音1910は、モノラルまたはステレオで表示することができる。ユーザは、録音の再生1940、逆転1920、または一時停止1930を制御することができる。他の例示的実施形態は、他のメディアプレーヤーを有することができること、および例示的実施形態は、メディアプレーヤーの種類によっても、メディアプレーヤーが視覚的に表示されるかどうかによっても制限されないことに留意されたい。
図20は、図18からのソース信号、および録音を生じた関連するソース信号(1820および1850)を示す。1820および1850でマイクロホンによって記録された音は、複数のソース(例えば、2310、2320、および2330)からのものであり得ることに留意されたい。録音は、必ずしもソースの場所を示すわけではないことに留意されたい。x,y,zにおける強度Iの記録は、半径rで強度I0のソースに起因することができる。したがって、ソースの場所は、一意的に識別されない。ソース強度をマイクロホンの記録から分離することができる3つ以上の記録(例えば、M1、M2、M5)は、ソース信号の場所(例えば、s1 2310)を一意的に識別するために使用することができる。例えばIsource、xsource、ysource、およびzsourceといった、4つの未知数を示すソース強度および場所が必要であり得ることに留意されたい。例えば、ソース信号は、類似したコヒーレンスを有する録音(例えばM1、M2、およびM3)の中の周波数依存性を探すことによって、M1、M2、およびM5において識別することができる。高コヒーレンス周波数帯域は、類似信号による周波数強度を識別する、および整合させるために使用することができる。整合周波数帯域は、ソースの場所を畳み込み、かつそれらの帯域に対して強度を近似するように、それらの帯域における記録の強度および記録の場所に基づいて使用することができる。次いで、推定のソース信号(例えば、2310、2320、2330)を、場所とともに構成することができる。次いで、ソース信号2310、2320、および2330は、ユーザが選択した場所2300(x,y,z)での音を近似するために使用することができる。本明細書で論じられる方法論は、選択された場所で音響ソースを生成する1つの方法の実施例であることに留意されたい。例示的実施形態の範囲内の他のものがあり得る。
図21は、少なくとも1つの例示的実施形態による、聴取領域の中の利用可能なソースからのソース信号を示す。例えば、ソース2010、2020、および2030は、GUI1810上に位置し、選択位置2040でユーザが聞く音を推定するために使用することができる。
図22は、ソース信号、s1、s2、およびs3を示す。場所(x,y,z)および時間t1を選択したユーザは、x,y,zおよびt1と関連付けられる録音を構成するように、ソースを使用することができる。例示的な一実施形態において、組み合わせのための方法は、開始時間t1で、種々のソース(s1、s2、およびs3)を整合させる(図23)。
選択位置(x,y,z)と関連付けられるソース記録は、半径方向の距離(例えば、r1、r2、およびr3)(図24を参照されたい)を計算することによって構成することができ、半径方向の距離は、x、y、およびzでのソースの強度を修正するために使用され、ソースと関連する時間遅延を修正する。例えば、t1でソースs1が音信号を放射している場合、それは音の速度に基づく時間遅延を伴って、選択位置2300に到達する。同様に、他のソースは、場所2300に対してt1からの時間遅延を有する。また、ソース信号S1、S2、およびS3はまた、(例えば、種々のマイクロホン測定間の時間遅延を介して)ソースの場所を特定するのに役立つように、高いコヒーレンスを探すことによってだけではなく、時間的記録の時間遅延によっても、M1、M2、およびM3の中に識別することができる。半径方向の距離は、2300での音ソースの予測強度を修正するために使用することができる(図25)。
修正された信号は、2300における推定の録音2510を作成するために組み合わせることができる(図26)。
該当する場合には、本発明の本実施形態は、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせで実現することができる。本明細書で説明される方法を実行するために適合される、あらゆる種類のコンピュータシステムまたは他の装置が好適である。ハードウェアおよびソフトウェアの典型的な組み合わせは、ロードされて実行された時に、モバイル通信デバイスが本明細書で説明される方法を実行できるように、それを制御することができるコンピュータプログラムを伴う、モバイル通信デバイスであることができる。本方法およびシステムの各部分はまた、コンピュータプログラム製品に組み込まれてもよく、該製品は、本明細書で説明される方法の実行を可能にする全ての特徴を備え、コンピュータシステムにロードされた時に、これらの方法を実行することが可能である。
本発明の好ましい実施形態を図示して説明してきたが、本発明の実施形態がそのように限定されないことは明らかである。数多くの、修正、変更、変形、置換、および同等物は、添付の特許請求の範囲によって定義される本発明の実施形態の精神および範囲から逸脱することなく、当業者に生じるであろう。

Claims (23)

  1. モバイルデバイスのマイクロホンから音響情報を受信するステップと、
    該音響情報に対応する該マイクロホンからの信号を、デジタル信号に変換するステップと、
    該音響情報のオーディオ処理を構成するステップと、
    該デジタル信号から音圧レベルを計算するステップと、
    該音圧レベル測定がいつどこで行われたのかを識別するための時間情報および地理的情報を含む、該音圧レベルに対応するメタデータを提供するステップと
    を含む、モバイルデバイスを使用する方法。
  2. マイクロホン指向性パターンの効果を補償するように、前記音圧レベルの計算を調整するステップをさらに含む、請求項1に記載のモバイルデバイスを使用する方法。
  3. マイクロホンポートの効果を補償するように、前記音圧の計算を調整するステップをさらに含む、請求項1に記載のモバイルデバイスを使用する方法。
  4. 増幅器利得を考慮するように、前記音圧の計算を調整するステップをさらに含む、請求項1に記載のモバイルデバイスを使用する方法。
  5. 前記オーディオ処理を構成するステップは、前記モバイルデバイスの中のオーディオ処理回路を迂回して、前記音響情報のためのバイパス信号経路を提供するステップをさらに含む、請求項1に記載のモバイルデバイスを使用する方法。
  6. 前記オーディオ処理を構成するステップは、音圧レベルを測定する場合に、自動利得制御回路を無効にするステップをさらに含む、請求項1に記載のモバイルデバイスを使用する方法。
  7. 前記オーディオ処理を構成するステップは、音圧レベルを測定する場合に、等化回路を無効にするステップをさらに含む、請求項1に記載のモバイルデバイスを使用する方法。
  8. 前記音圧レベルおよびメタデータを、音響情報を収集するためのデータベースに送信するステップをさらに含む、請求項1に記載のモバイルデバイスを使用する方法。
  9. データベースに提供するための音圧レベル測定をそれぞれが有する、複数のモバイルデバイスと、
    該複数のモバイルデバイスが該データベースに連結するための通信経路であって、モバイルデバイスは、該データベースへの通信経路を開き、該音圧レベル測定を該データベースにアップロードする、通信経路と
    を備える、音圧レベル測定システム。
  10. 前記通信経路は、前記複数のモバイルデバイスを前記データベースに連結するための少なくとも1つの基地受信機を有する無線周波数通信ネットワークを備える、請求項9に記載の音圧レベル測定システム。
  11. 前記通信経路は、音圧レベル測定を前記データベースに提供するために、1つ以上の該音圧レベル測定を有するモバイルデバイスを該データベースに連結する無線ローカルエリアネットワークを備える、請求項9に記載の音圧レベル測定システム。
  12. 前記通信経路は、音圧レベル測定を前記データベースに提供するために、1つ以上の該音圧レベル測定を有するモバイルデバイスを該データベースに連結する有線または光ファイバ経路を備える、請求項9に記載の音圧レベル測定システム。
  13. 前記複数のモバイルデバイスは、音圧レベルを自動的に測定し、メタデータは、各音圧レベル測定と提供され、いつどこで該測定が行われたのかに関する時間情報および地理的位置情報を含む、請求項9に記載の音圧レベル測定システム。
  14. 前記モバイルデバイスは、トリガイベントが生じると、音圧レベルを測定して、前記データベースに送信する、請求項13に記載の音圧レベル測定システム。
  15. 前記モバイルデバイスは、音圧レベルを測定して、メモリに記憶し、音圧レベルの待ち行列は、通信経路が開かれた時に前記データベースにアップロードされるように、該モバイルデバイスのメモリに記憶される、請求項13に記載の音圧レベル測定システム。
  16. マイクロホンと、
    該マイクロホンに連結されるオーディオ処理回路と、
    該オーディオ処理回路およびマイクロホンに対して動作可能に構成されるプロセッサであって、該オーディオ処理回路は、音圧レベル測定を行う場合にバイパスされる、プロセッサと
    を備える、音圧レベルを測定するためのモバイルデバイス。
  17. 前記マイクロホンは、周囲環境から音圧レベルを測定する場合に、前記デバイスの筐体の外側に位置付けられることができる、請求項16に記載のモバイルデバイス。
  18. 前記マイクロホンは、音圧レベル測定のために前記デバイスの筐体から離れて該マイクロホンを位置付けるブームマイクロホンである、請求項16に記載のモバイルデバイス。
  19. 前記マイクロホンは、無指向性マイクロホンである、請求項16に記載のモバイルデバイス。
  20. 前記モバイルデバイスは、2つ以上のマイクロホンを有する、請求項16に記載のモバイルデバイス。
  21. 音圧レベル測定が行われた時の時間情報を提供するクロックと、
    該音圧レベル測定が行われた時の地理的位置情報を提供するGPS受信機であって、該時間情報および該地理的位置情報は、該音圧レベル測定と共に提供される、GPS受信機と
    をさらに含む、請求項16に記載のモバイルデバイス。
  22. 前記マイクロホンからの信号は、音圧レベルを測定するための回路に連結され、前記プロセッサは、音圧レベル測定を受信するために動作可能に構成され、該プロセッサは、該音圧レベルをデータベースに送信するためのデータ通信システムに対して動作可能に構成される、請求項16に記載のモバイルデバイス。
  23. 前記プロセッサは、前記オーディオ処理回路を無効にし、前記マイクロホンからの信号は、デジタル信号に変換され、該デジタル信号は、前記音圧レベルを計算する前記プロセッサに連結され、該プロセッサは、該音圧レベルをデータベースに送信するためのデータ通信システムに対して動作可能に構成される、請求項16に記載のモバイルデバイス。
JP2011526997A 2008-09-11 2009-09-11 ネットワーク上で音を監視するための方法およびシステム Pending JP2012502596A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US9612808P 2008-09-11 2008-09-11
US61/096,128 2008-09-11
PCT/US2009/056673 WO2010030889A1 (en) 2008-09-11 2009-09-11 Method and system for sound monitoring over a network

Publications (2)

Publication Number Publication Date
JP2012502596A true JP2012502596A (ja) 2012-01-26
JP2012502596A5 JP2012502596A5 (ja) 2012-11-01

Family

ID=42005497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011526997A Pending JP2012502596A (ja) 2008-09-11 2009-09-11 ネットワーク上で音を監視するための方法およびシステム

Country Status (4)

Country Link
US (4) US8488799B2 (ja)
EP (1) EP2332345A4 (ja)
JP (1) JP2012502596A (ja)
WO (1) WO2010030889A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019516152A (ja) * 2016-03-07 2019-06-13 スリーエム イノベイティブ プロパティズ カンパニー 個人用保護具のためのインテリジェントな安全監視及び分析システム

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009037687A1 (de) * 2009-08-18 2011-02-24 Sennheiser Electronic Gmbh & Co. Kg Mikrofoneinheit, Taschensender und drahtloses Audiosystem
US20110216905A1 (en) * 2010-03-05 2011-09-08 Nexidia Inc. Channel compression
US9112989B2 (en) 2010-04-08 2015-08-18 Qualcomm Incorporated System and method of smart audio logging for mobile devices
US9736600B2 (en) * 2010-05-17 2017-08-15 Iii Holdings 4, Llc Devices and methods for collecting acoustic data
US8550206B2 (en) 2011-05-31 2013-10-08 Virginia Tech Intellectual Properties, Inc. Method and structure for achieving spectrum-tunable and uniform attenuation
GB2497243A (en) * 2010-08-23 2013-06-05 Intific Inc Apparatus and methods for creation, collection and dissemination of instructional content modules using mobile devices
CN103098493A (zh) * 2010-11-12 2013-05-08 松下电器产业株式会社 音压评价系统及其方法、程序
US9135952B2 (en) * 2010-12-17 2015-09-15 Adobe Systems Incorporated Systems and methods for semi-automatic audio problem detection and correction
JP2013066307A (ja) * 2011-09-16 2013-04-11 Sharp Corp 無線端末、電力伝送システムおよび電力伝送方法
KR20160036104A (ko) 2011-12-07 2016-04-01 퀄컴 인코포레이티드 디지털화된 오디오 스트림을 분석하는 저전력 집적 회로
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US10200751B2 (en) 2012-03-30 2019-02-05 The Nielsen Company (Us), Llc Methods, apparatus, and machine readable storage media to monitor a media presentation
US9674587B2 (en) * 2012-06-26 2017-06-06 Sonos, Inc. Systems and methods for networked music playback including remote add to queue
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9668049B2 (en) 2012-06-28 2017-05-30 Sonos, Inc. Playback device calibration user interfaces
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
CN104508508A (zh) * 2012-07-06 2015-04-08 丰田自动车株式会社 位置确定系统以及方法
GB201214573D0 (en) * 2012-08-15 2012-09-26 Britton Colin Audio amplification apparatus
US10194239B2 (en) * 2012-11-06 2019-01-29 Nokia Technologies Oy Multi-resolution audio signals
US20140192990A1 (en) * 2013-01-10 2014-07-10 Wilson Cheng Virtual Audio Map
CN103970793B (zh) * 2013-02-04 2020-03-03 腾讯科技(深圳)有限公司 信息查询方法、客户端及服务器
US20160021512A1 (en) * 2013-03-13 2016-01-21 Retail Optimization International Inc. Systems and methods for indoor location services
US10045133B2 (en) 2013-03-15 2018-08-07 Natan Bauman Variable sound attenuator with hearing aid
US9521480B2 (en) 2013-07-31 2016-12-13 Natan Bauman Variable noise attenuator with adjustable attenuation
US9333116B2 (en) 2013-03-15 2016-05-10 Natan Bauman Variable sound attenuator
US9247363B2 (en) 2013-04-16 2016-01-26 Sonos, Inc. Playback queue transfer in a media playback system
US9361371B2 (en) 2013-04-16 2016-06-07 Sonos, Inc. Playlist update in a media playback system
KR102109739B1 (ko) * 2013-07-09 2020-05-12 삼성전자 주식회사 위치 기반 소리 출력 방법 및 장치
WO2015061712A1 (en) 2013-10-24 2015-04-30 Tourmaline Labs, Inc. Systems and methods for collecting and transmitting telematics data from a mobile device
US10659889B2 (en) * 2013-11-08 2020-05-19 Infineon Technologies Ag Microphone package and method for generating a microphone signal
US9606713B1 (en) * 2013-12-13 2017-03-28 Amazon Technologies, Inc. Utilizing dynamic granularity for application controls
US9729984B2 (en) 2014-01-18 2017-08-08 Microsoft Technology Licensing, Llc Dynamic calibration of an audio system
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US10325591B1 (en) * 2014-09-05 2019-06-18 Amazon Technologies, Inc. Identifying and suppressing interfering audio content
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
GB201509483D0 (en) * 2014-12-23 2015-07-15 Cirrus Logic Internat Uk Ltd Feature extraction
GB2535167B (en) * 2015-02-09 2017-03-29 24 Acoustics Ltd Audio signal processing apparatus, client device, system and method
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
GB201510032D0 (en) 2015-06-09 2015-07-22 Kp Acoustics Ltd Integrated sensor system
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
US11477560B2 (en) 2015-09-11 2022-10-18 Hear Llc Earplugs, earphones, and eartips
CN111314826B (zh) 2015-09-17 2021-05-14 搜诺思公司 由计算设备执行的方法及相应计算机可读介质和计算设备
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
WO2017058893A1 (en) * 2015-09-29 2017-04-06 Swineguard, Inc. Warning system for animal farrowing operations
US20180254042A1 (en) * 2015-10-23 2018-09-06 Samsung Electronics Co., Ltd. Electronic device and control method therefor
JP6657769B2 (ja) * 2015-10-23 2020-03-04 株式会社Jvcケンウッド 送信装置、送信方法
US9609449B1 (en) 2015-10-26 2017-03-28 Microsoft Technology Licensing, Llc Continuous sound pressure level monitoring
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US11475746B2 (en) * 2016-03-15 2022-10-18 Motorola Solutions, Inc. Method and apparatus for camera activation
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
IT201600098080A1 (it) * 2016-09-30 2018-03-30 Lucas Srl Misuratore dell'inquinamento acustico indoor
AU2017358065B2 (en) 2016-11-10 2023-02-02 Fiber Sense Limited Acoustic method and system for providing digital data
GB2555843A (en) * 2016-11-11 2018-05-16 Eartex Ltd Noise dosimeter
WO2018144367A1 (en) * 2017-02-03 2018-08-09 iZotope, Inc. Audio control system and related methods
CN110249639B (zh) 2017-02-10 2021-10-22 霍尼韦尔国际公司 监测和标测来自多个噪声监测设备的噪声数据的系统和方法
US9870719B1 (en) 2017-04-17 2018-01-16 Hz Innovations Inc. Apparatus and method for wireless sound recognition to notify users of detected sounds
US10440463B2 (en) 2017-06-09 2019-10-08 Honeywell International Inc. Dosimetry hearing protection device with time remaining warning
US10148241B1 (en) * 2017-11-20 2018-12-04 Dell Products, L.P. Adaptive audio interface
US11094316B2 (en) * 2018-05-04 2021-08-17 Qualcomm Incorporated Audio analytics for natural language processing
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US11234088B2 (en) 2019-04-16 2022-01-25 Biamp Systems, LLC Centrally controlling communication at a venue
US10796177B1 (en) * 2019-05-15 2020-10-06 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for controlling the playback of video in a vehicle using timers
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
US20220351114A1 (en) * 2019-08-20 2022-11-03 Nippon Telegraph And Telephone Corporation Information collecting apparatus and method
CN110489076B (zh) * 2019-08-22 2024-03-01 百度在线网络技术(北京)有限公司 环境声音监控方法、装置以及电子设备
US11129011B2 (en) * 2019-12-26 2021-09-21 Process Integration System Inc. System and method to detect and report to the authorities high level sounds that infringe the law
SE545604C2 (en) * 2020-06-05 2023-11-07 Saint Gobain Ecophon Ab Determining an airborne and/or aerosol pathogen risk exposure

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133895A (ja) * 2002-08-09 2004-04-30 Matsushita Electric Ind Co Ltd ペイバックシステムの通信端末装置及び情報処理装置
JP2006092381A (ja) * 2004-09-27 2006-04-06 Hitachi Ltd メディアマイニング方法
JP2008170415A (ja) * 2007-07-11 2008-07-24 Earth Watch Corp 環境測定システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4484345A (en) * 1983-02-28 1984-11-20 Stearns William P Prosthetic device for optimizing speech understanding through adjustable frequency spectrum responses
US5732143A (en) * 1992-10-29 1998-03-24 Andrea Electronics Corp. Noise cancellation apparatus
EP1128693A1 (en) * 2000-02-28 2001-08-29 TELEFONAKTIEBOLAGET LM ERICSSON (publ) Testing acoustic properties of a mobile terminal
US7340062B2 (en) * 2000-03-14 2008-03-04 Revit Lawrence J Sound reproduction method and apparatus for assessing real-world performance of hearing and hearing aids
US6654652B1 (en) * 2000-08-23 2003-11-25 Beiersdorf Ag Calibration and security device for PC auditory programs
US6895378B1 (en) * 2000-09-22 2005-05-17 Meyer Sound Laboratories, Incorporated System and method for producing acoustic response predictions via a communications network
JP4722347B2 (ja) * 2000-10-02 2011-07-13 中部電力株式会社 音源探査システム
US6601456B1 (en) 2001-06-06 2003-08-05 Southwest Research Institute Fretting fixture for high-cycle fatigue test machines
US6677883B2 (en) * 2002-05-09 2004-01-13 Bae Systems Information And Electronic Systems Integration Inc. Surveillance method and apparatus
US6920789B2 (en) * 2002-07-01 2005-07-26 Yokio Sakai System for watching and forecasting changes in natural phenomena and weather based on sounds from the earth
US7222071B2 (en) * 2002-09-27 2007-05-22 Arbitron Inc. Audio data receipt/exposure measurement with code monitoring and signature extraction
JP2006524411A (ja) * 2003-04-24 2006-10-26 トムソン ライセンシング オーディオ識別子を用いたプレイリストの作成
JP4206876B2 (ja) * 2003-09-10 2009-01-14 ヤマハ株式会社 遠隔地の様子を伝達する通信装置およびプログラム
US7076211B2 (en) * 2003-10-14 2006-07-11 Electronic Data Systems Corporation Wireless sensor alerts
US20050244013A1 (en) * 2004-04-29 2005-11-03 Quest Technologies Noise exposure monitoring device
US20070032895A1 (en) * 2005-07-29 2007-02-08 Fawad Nackvi Loudspeaker with demonstration mode
WO2008064230A2 (en) * 2006-11-20 2008-05-29 Personics Holdings Inc. Methods and devices for hearing damage notification and intervention ii
US7983426B2 (en) * 2006-12-29 2011-07-19 Motorola Mobility, Inc. Method for autonomously monitoring and reporting sound pressure level (SPL) exposure for a user of a communication device
KR101627219B1 (ko) * 2008-04-29 2016-06-03 엘지전자 주식회사 가전기기 및 가전기기를 포함하는 가전기기시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133895A (ja) * 2002-08-09 2004-04-30 Matsushita Electric Ind Co Ltd ペイバックシステムの通信端末装置及び情報処理装置
JP2006092381A (ja) * 2004-09-27 2006-04-06 Hitachi Ltd メディアマイニング方法
JP2008170415A (ja) * 2007-07-11 2008-07-24 Earth Watch Corp 環境測定システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019516152A (ja) * 2016-03-07 2019-06-13 スリーエム イノベイティブ プロパティズ カンパニー 個人用保護具のためのインテリジェントな安全監視及び分析システム

Also Published As

Publication number Publication date
US20210250713A1 (en) 2021-08-12
US8488799B2 (en) 2013-07-16
US20200015025A1 (en) 2020-01-09
EP2332345A1 (en) 2011-06-15
EP2332345A4 (en) 2014-05-14
US10419863B2 (en) 2019-09-17
WO2010030889A1 (en) 2010-03-18
US20130279703A1 (en) 2013-10-24
US20100142725A1 (en) 2010-06-10
US11039259B2 (en) 2021-06-15

Similar Documents

Publication Publication Date Title
US11039259B2 (en) Method and system for sound monitoring over a network
US10021457B2 (en) System and method for engaging a person in the presence of ambient audio
CN105519138B (zh) 具有自适应分类器的助听器
US10275210B2 (en) Privacy protection in collective feedforward
KR101833152B1 (ko) 분류기를 구비한 보청기
US10750293B2 (en) Hearing augmentation systems and methods
CN108391206A (zh) 信号处理方法、装置、终端、耳机及可读存储介质
US10275209B2 (en) Sharing of custom audio processing parameters
US10390155B2 (en) Hearing augmentation systems and methods
US10433074B2 (en) Hearing augmentation systems and methods
CN102124758A (zh) 助听器、助听系统、步行检测方法和助听方法
CN101820474A (zh) 通信系统
US10341791B2 (en) Hearing augmentation systems and methods
US10853025B2 (en) Sharing of custom audio processing parameters
US20170230767A1 (en) Hearing Augmentation Systems and Methods
EP3414924A1 (en) Hearing augmentation systems and methods
WO2017195616A1 (ja) 情報処理装置および方法
US20210035422A1 (en) Methods Circuits Devices Assemblies Systems and Functionally Related Machine Executable Instructions for Selective Acoustic Sensing Capture Sampling and Monitoring
US9769553B2 (en) Adaptive filtering with machine learning
JP2014191385A (ja) 情報処理装置
US11145320B2 (en) Privacy protection in collective feedforward
CN109426794A (zh) 展示信息的监测方法及装置、计算机可读存储介质、终端
JP2020088672A (ja) リスナー認証システム
GB2463682A (en) System and Method for Collection and Analysis of Sound Outdoors

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130911

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140311