JP2018528453A - データベースを生成するための方法および装置 - Google Patents

データベースを生成するための方法および装置 Download PDF

Info

Publication number
JP2018528453A
JP2018528453A JP2017568346A JP2017568346A JP2018528453A JP 2018528453 A JP2018528453 A JP 2018528453A JP 2017568346 A JP2017568346 A JP 2017568346A JP 2017568346 A JP2017568346 A JP 2017568346A JP 2018528453 A JP2018528453 A JP 2018528453A
Authority
JP
Japan
Prior art keywords
signal
noise
recording
environmental noise
buffered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017568346A
Other languages
English (en)
Other versions
JP6602406B2 (ja
Inventor
トーマス・シュポラー
トビアス・クラウス
リーベトゥラウ・ユディス
サラ・ケップリンガー
ディトマー・ケップリンガー
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2018528453A publication Critical patent/JP2018528453A/ja
Application granted granted Critical
Publication of JP6602406B2 publication Critical patent/JP6602406B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/61Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/632Query formulation
    • G06F16/634Query by example, e.g. query by humming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephone Function (AREA)

Abstract

【解決手段】
本発明の実施形態は、データベースを生成するための方法を提供する。この方法は、典型的には外乱ノイズを含み得る「環境ノイズを受信する」ステップと、30もしくは60秒のような、または好ましくは5秒超の「移動時間窓のために環境ノイズをバッファリングする」ステップを含む。別の選択肢として、この方法は、「環境ノイズに対するパラメータの組を取り出す」ステップと、「移動時間窓のためにパラメータの組をバッファリングする」ステップとを含むこともまた、考えられる。このバッファリングされた環境ノイズまたはこのバッファリングされたパラメータの組のうちの少なくとも一方は、通常、録音と呼ばれている。さらに、この方法は、「信号を取得する」ステップを含み、このステップは、環境ノイズ中の複数の信号種別(外乱ノイズおよび非外乱ノイズ)のうちの(外乱ノイズのような)ある信号種別を識別する。第3の基本的なステップは、内部メモリまたは外部メモリのようなメモリの中に「信号に応答してバッファリングされた録音を記憶する」ステップである。取得するおよび記憶するというこれらのステップは、同一の信号種別に対する複数のバッファリングされた録音を含むデータベースを構築するために、繰り返される。
【選択図】図1a

Description

本発明の実施形態は、複数の信号種別の録音をバッファリングしたデータベースを生成するための方法および装置に関する。
ノイズは、例えば、外乱ノイズおよび非外乱ノイズのように、信号種別に細分割される場合がある。例えば、さらに外乱の多いノイズおよびさらに外乱の少ないノイズに細分割することもまた、考えられる。
外乱ノイズを分類することは、必ずしも容易であるとは限らない。あるノイズが外乱ノイズとして知覚されるかどうかに影響を与える様々な要因が存在することを理解することが重要である。鳥のさえずりが騒しく(客観的な測定可能なパラメータは、音圧レベル)、しかもその他の環境ノイズ(客観的な測定可能なパラメータは、ダイナミクス因子)からはっきりと区別できるときにも、鳥は、主観的に外乱ノイズとして知覚されるわけではない。しかしながら、それより相当静かに通過している飛行機は、より多くの試験者によって、上述の鳥よりも、外乱ノイズとして知覚されるであろう。
ここでの結果は、すなわち、例えば現行の方法を使ってノイズ評価の予測を可能にする目的で、外乱ノイズに対して、ホテル、ホテルのウェルネスエリア、または職場のような、ある環境を試験するときに、評価をその試験者に任せる必要があることを意味する。
例えば、絶対的なラウドネスもしくは音量を基準とした、またはレベルの増加量を基準とした完全自動評価は、最初の1つのヒントとしての役割を果たすが、最終的な評価としては、十分ではない。よって、改善された方法の必要性がある。
(主な態様)
本発明の目的は、主観的な外乱ノイズのように、ノイズを分類するための概念を提供することである。
この目的は、本願の独立請求項の主題によって達成される。
本発明の実施形態は、データベースを生成するための方法を提供する。この方法は、典型的には外乱ノイズを含み得る「環境ノイズを受信する」ステップと、30もしくは60秒のような、または好ましくは5秒超の「移動時間窓のために環境ノイズをバッファリングする」ステップを含む。別の選択肢として、この方法は、「環境ノイズに対するパラメータの組を取り出す」ステップと、「移動時間窓のためにパラメータの組をバッファリングする」ステップとを含むこともまた、考えられる。このバッファリングされた環境ノイズまたはこのバッファリングされたパラメータの組のうちの少なくとも一方は、通常、録音と呼ばれている。さらに、この方法は、「信号を取得する」ステップを含み、このステップは、環境ノイズ中の複数の信号種別(外乱ノイズおよび非外乱ノイズ)のうちの(外乱ノイズのような)ある信号種別を識別する。第3の基本的なステップは、内部メモリまたは外部メモリのように、メモリの中に「信号に応答してバッファリングされた録音を記憶する」ステップである。取得するおよび記憶するというこれらのステップは、同一の信号種別に対する複数のバッファリングされた録音を含むデータベースを構築するために、繰り返される。
本発明の実施形態は、以下の知見に基づいており、その知見とは、環境の中の適切な場所を連続的に録音し記憶する装置を使って、その録音の音響フィンガープリントまたは心理音響パラメータのような、録音または特性が記憶され、その結果、後になってそのような音響シーケンスを認識することが可能となるデータベースを構築することができるということである。ここでの概念は、「主観的な外乱ノイズまたはある種別のノイズを認識する」ステップが、ボタンもしくはキーまたは様々な入力インターフェースを使用して、その外乱ノイズまたは信号種別を典型的に識別しまたは採点する人間によって実行されることを前提としている。この信号は、シーケンスを切り出しまたは現在連続的に動作しているシーケンスからその特性を抽出し、構築されるべきデータベースのメモリの中に同一の特性を記憶するためのインジケータとして使用される。このため、一義的にサウンド表現パラメータを関連付けるための外乱ノイズまたは選別機のライブラリを簡単に構築することができ、このことにより主観的なノイズの知覚を後になって予測することが可能になる。
いくつかの実施形態によれば、その主観的な外乱ノイズは、オーディオフィンガープリントのような、音量、ダイナミクス、エクステント、ダイナミクスの拡大、周波数スペクトル、モノトニ、もしくは繰り返し特性のような個別のパラメータを含むパラメータによって、またはシャープネス、ラフネス、トーナリティ、変動強度、または音量のような、心理音響パラメータによって、表現されることができる。このため、さらなる実施形態によれば、この方法は、バッファリングされた録音に対するオーディオフィンガープリントを判定するステップ、または心理音響パラメータを判定するステップを含む。通常、その録音またはそのオーディオフィンガープリントがデータベースに記憶されることは、それで十分事足りることであるが、これに対して心理音響パラメータは、追加情報を表す。その録音を記憶することが匿名にされた方法で行われることは、オーディオフィンガープリントの利点である。
ボタンのようなユーザインターフェースから信号を取得する個別のステップでは、現在識別された制御ノイズを主観的に評価する、さらなる代替信号または追加信号が取得されてもよい。この主観的な評価により、そのオーディオ信号を(少ない外乱または多い外乱のような)信号種別に割り当てている。次いで、この主観的な評価は、それぞれの部分またはパラメータと組み合わせて記憶される。
さらなる実施形態によれば、タイムスタンプが、その部分またはパラメータに加えて記憶されることができる。なおもさらなる実施形態によれば、例えばGPS受信機からの現在の位置情報を記憶することもまた、考えられる。このデータベースをあまり大規模にしないようにするため、データ圧縮方法でバッファリングされたデータを記憶することもまた、実行可能である。
ここで、1つの実施形態によれば、そのメモリまたはデータベースは、この方法を実行するそれぞれの装置の中に直接含まれ、または別の実施形態によれば、そのメモリまたはデータベースは、外部にもまた設けられることができる。
さらなる実施形態は、対応する装置に関する。当該装置は、連続的に録音するためのマイクロフォン、バッファリングするためのバッファ、信号を受信するためのインターフェース、および識別された外乱ノイズに属する信号種別と関連する録音(オーディオファイル、オーディオフィンガープリント、または心理音響パラメータ)を記憶するためのさらなるメモリを備える。さらなる実施形態によれば、この装置は、ボタンのような、入力インターフェースを備えてもよく、この入力インターフェースを使って、主観的外乱ノイズの存在を確証することができ、または通常は、あるノイズは、ある信号種別に割り当てられることができる。この入力手段はまた、複数の信号種別のうちの1つに仕分けすることによって、すなわち評価によって拡張されてもよい。なおもさらなる実施形態によれば、この装置はまた、外部メモリ(外部データベース)を接続させる通信インターフェースを備えてもよい。
さらなる展開は、従属請求項において定義されている。
(さらなる態様)
本発明の実施形態は、(外乱ノイズおよび非外乱ノイズのような)複数の信号種別のうちの(外乱ノイズのような)ある信号種別のノイズを認識するための方法を提供する。本方法は、「環境ノイズを受信する」ステップと、「当該環境ノイズまたは当該環境ノイズから取り出されたパラメータの組のうちの少なくとも一方が、当該複数の信号種別のうちの当該信号種別を表現する所定の規則を満たすかどうかを確立する」ステップと、を含む。ここから、「当該所定の規則が満たされたことをログ記録する」ステップ、「移動時間窓のために受信された当該環境ノイズを録音する」ステップ、「当該移動時間窓のために当該環境ノイズからパラメータの組を取り出して保存する」ステップ、または「ノイズを認識するための別の装置に対して動作信号を発する」ステップが実行される。
この態様の実施形態は、以下の知見に基づいており、その知見とは、現在のノイズ環境を、データベースからのノイズ、またはデータベースから取得されたもしくはデータベースに記憶されたパラメータからのノイズ、すなわちオーディオフィンガープリントのようなノイズと比較するような、上述された方法に基づいて上述された装置という手段によって判定されることができるようなデータベースから、主観的に知覚された外乱ノイズの存在を認識することが可能である、ということである。この方法は、自動化された方式で実行されることができ、人によって実行されるどんな主観的な評価も必要とせず、蓄積されたデータベースを使用するのみで、ノイズ状況(鳥のさえずり対空気調節)の評価の予測を可能にする。
規則の一致を認識するステップは、環境ノイズと以前バッファリングされた環境ノイズとを比較することによって、または現在取り出されたパラメータデータセット(オーディオフィンガープリント)と以前判定されたパラメータデータセットとを比較することによって、または心理音響パラメータを取り出して当該心理音響パラメータに対してあらかじめ設定された閾値とを比較することによって、典型的に実行されてもよい。
別の実施形態は、複数の信号種別のうちの1つの信号種別のノイズを認識するための装置に関する。この装置は、現在の環境ノイズを連続的に聴取するためのマイクロフォン、その現在の環境ノイズと(外乱ノイズまたはその外乱ノイズを表現しているパラメータを録音している)データベースに記憶されたデータとを比較するためのプロセッサ、および外乱ノイズが現在の環境の中で識別されると直ちに情報を出力するためのインターフェースを含む。ここで、以前判定された録音等のデータ、および以前判定されたオーディオフィンガープリントまたは心理音響パラメータのために以前確立された閾値は、内部に記憶されることができるか、またはさらなる実施形態に基づいて、データベースを使って外部に読み出されることができ、例えば当該さらなる態様に基づいて、これと同じように、判定され続ける。
これらの認識されるべき客観的な外乱ノイズまたは信号種別から、当該情報は、単独でまたは時間の表示、場所の表示もしくは当該外乱ノイズの複数の種別(対応する外乱グループは、少ない外乱、外乱、多い外乱)のうちの1つへの分類を組み合わせて、さらに処理されてもよい。1つの好ましい実施形態によれば、これらの情報は、外部のデータベースに出力される。
この実施形態では、またはさらなる実施形態によれば、1つの場所またはこの1つの所在位置の評価のみが提供されるため、間隙を介してまたは屋外環境の複数の所在位置、すなわち(街全体に分布されているような)複数の近隣の所在位置等の複数の所在位置に、この評価を拡張することも考えられる。このため、1つのさらなる実施形態は、「録音する」、「比較する」、および「出力する」ステップが、2つの近隣の所在位置に対して受信される方法を提供する。2つの近隣の所在位置に対する情報がある場合、例えば、主観的に知覚された外乱ノイズの移動、空間的広がり、または方向を判定するために、第1の所在位置の録音と第2の所在位置の録音との間の関係が判定されることができる。
1つのさらなる実施形態によれば、外乱ノイズを認識することから類推すると、対応する制御信号が出力されるのに使われる制御命令と同じような、異なったシーケンスを認識することも考えられる。ここで、その制御信号に関連付けられる録音は、音声コマンドでもよく、または上述のように、外乱ノイズとして分類された音響信号でもよい。例えば、この制御信号は、例えば録音が開始されるようにそれ自体がその方法を実行する装置、またはその制御信号により録音モードに切り替えられる異なった所在位置に配置された別の装置のような、外部装置によって出力される。
さらなる実施形態によれば、上で概説された装置はまた、以前に判定された外乱ノイズもしくはパラメータを読み込むためまたは外乱ノイズに関する情報を出力するため、データベースと通信するための通信インターフェースを備えてもよい。なおもさらなる実施形態によれば、外乱ノイズが2つの近隣の所在位置に対して取得されかつ/または分析されることができるように、その装置がこの通信インターフェースを使って別の装置と通信することも可能である。
1つの下位態様の実施形態は、ある信号種別のノイズを分析する方法を提供する。この方法は、第1の所在位置および第2の所在位置における現在の環境ノイズを連続的に録音するステップを含む。ここでの次々に録音するステップとは、オーディオフィンガープリントまたは心理音響パラメータのように、環境ノイズを直接録音するステップまたは環境ノイズに属するパラメータの組から、同一の環境ノイズを取り出すステップを意味する。さらに、各録音に対して、主観的に知覚された外乱ノイズのうちの以前取得された録音、または外乱ノイズを表現するパラメータとの比較が実行され、その結果、各所在位置(第1のおよび第2の所在位置)の外乱ノイズを識別する。それら録音同士間の関係は、異なった所在位置の一方の外乱ノイズを含む当該2つの録音(第1のおよび第2の録音)から判定されることができ、その結果生じた外乱ノイズを、例えばその外乱ノイズの所在位置、拡大、または移動に対してより正確に分析することができるようになる。
この態様の実施形態は、以下の知見に基づいており、その知見とは、2つの異なった所在位置で録音した同一の外乱ノイズの2つの録音の関係を使うと、外乱ノイズ自体に関する拡張された情報を獲得することが可能となることである。ここで、まず、それぞれの環境(すなわち、第1の所在位置における、および第2の所在位置における)外乱ノイズが識別され、識別されるときに互いに関連付けられる。好都合なことに、外乱ノイズの移動に関する、または外乱ノイズの拡張に関する、または外乱ノイズの伝播方向に関する情報を取得することも、ここでは可能である。さらにまた、ローカル外乱ノイズすなわち1つの所在位置のみでの外乱ノイズと、グローバルイベントすなわち複数の所在位置で生じる外乱ノイズとを区別することも可能である。特徴的なノイズイベントおよびそれらの移動伝播を認識することは、この方法を使用することにより可能である。
いくつかの実施態様によれば、第1の録音と第2の録音との間の関係を判定するステップは、第1の録音と第2の録音との間のレベル差を分析することによって実行される。他の方法としてまたは追加の方法としては、時間オフセット、すなわち当該2つの異なった所在位置で確立された2つの録音におけるイベント同士間の待ち時間または実行時間オフセットが、その関係を判定するステップで確立されることもまた可能である。他の方法としては、その2つの録音はまた、周波数およびホール効果における差異に対しても評価されてもよい。これらすべての分析パラメータを使って、ノイズ源と録音位置との間の距離を測定することが可能であり、その理由は、音は、通常、距離が増加するに伴い減衰することや、高域周波数が削除されるような周波数シフトが存在することからである。
さらなる実施態様によれば、この方法は、第1の所在位置と第2の所在位置との間の距離に対するオーディオイベントまたはそれぞれのオーディオ源を分析するステップ、主観的外乱ノイズ源の移動に対して分析するステップ、または主観的外乱ノイズ源の数量に対して分析するステップのうちの少なくとも1つのステップを含む。これらの3つの分析は、第1の録音と第2の録音との間の関係を評価すること、すなわち例えば、上で言及された要因を比較することからその関係を評価することに基づいている。
この態様で説明されるべきことは、連続的に録音する方法は、移動時間窓を使用して実行されることが好ましいことである。さらに、上の態様と同様に、比較されるべき外部のノイズを読み込むことも考えられる。
ここで、この方法は、当然ながら、第3の所在位置に拡張されてもよい。
この態様による実施形態では、伝播する外乱信号の時間分析を可能にするために、録音は、外乱信号が第1の所在位置で判定されたときに、第2の所在位置で開始されてもよい。
1つのさらなる実施形態は、ある信号種別の複数の信号を分析するためのシステムに関する。このシステムは、現在の環境ノイズを連続的に録音するための各ユニット毎に1つのマイクロフォンを有する2つのユニットを備える。この2つのユニットは、近隣の所在位置のような異なった所在位置に配置されてもよい。ここで再び、「録音する」とは、環境ノイズを直接録音すること、およびオーディオフィンガープリントと同じようなパラメータから同一の環境ノイズを取り出すことの両方を意味する。さらに、このシステムは、少なくとも1つのプロセッサを備え、このプロセッサは、第1のユニットまたは第2のユニットの中に一体化されてもよく、また、第1のユニットおよび第2のユニットの第1の録音および第2の録音と、以前取得された少なくとも1つの録音/信号種別の信号のオーディオフィンガープリント、または信号種別の信号を表現するパラメータとを比較することによって、そのノイズを識別するように構成されることができる。さらに、このプロセッサは、第1の録音と第2の録音との間の関係を確立するように構成されている。
いくつかの実施態様によれば、この2つのユニットは、無線インターフェースのような通信インターフェースを通じて互いに接続されてもよい。
さらなる実施形態によれば、上述の方法のうちの1つを実行するためのコンピュータプログラムが提供される。
本発明の実施形態は、添付された図面を参照して以下に論述する。
基本的な変形例の態様1「データベースの構築」に基づく本方法を例示するためのフローチャートである。 態様1に基づく拡張された方法を例示するためのフローチャートである。 態様1の装置の変形例を示す図である。 態様1の装置の変形例を示す図である。 態様1の装置の変形例を示す図である。 態様1の装置の変形例を示す図である。 態様2の対応する基本的な変形例の方法「ある信号種別のノイズを認識する方法」を例示するためのフローチャートである。 態様2の拡張された実施形態のフローチャートである。 態様2の装置の略ブロック図である。 態様3の基本的な変形例の方法「個別の信号種別のノイズを分析する方法」を例示するためのフローチャートである。 態様3の装置の略ブロック図である。
本発明の態様の実施形態を以下により詳細に論述する前に、同じ効果の構成要素および構造体には、同じ参照番号が付与されており、その結果、それらの説明が相互に適用可能でありまたは交換可能であることを指摘しておく。
図1aは、「マイクロフォン11および信号受信120を使って受信し録音する110」ステップを含むデータベースを構築するための方法100を示す。信号120が受信されたとき(判断場所125を参照)、ステップ110の録音は、データベースの中に記憶され、このデータベースはステップ130を用いて例示されている。このステップ130は、基本的な方法100の終了を本質的に表している(終了点135を参照)。
「録音する110」のステップに関して指摘されておくべきことは、録音するときは、通常、符号化というサブステップが含まれることができる。符号化はまた、いわゆるオーディオフィンガープリント、すなわちその録音のための特性パラメータの取り出しが得られるように、実行されてもよい。このオーディオフィンガープリントは、ある録音と比較されるとき、高い圧縮率で圧縮されしたがって匿名化され、そのオーディオフィンガープリントは、依然として、比較可能なノイズ、すなわち同一種別のノイズをそのオーディオフィンガープリントを用いて認識することを可能にしている。一般的に、オーディオフィンガープリントは、そのオーディオフィンガープリントがオーディオ信号のすべての本質的な特徴を表すオーディオ信号の代表であり、その結果、その後の分類が可能であるように表現されてもよい。オーディオフィンガープリントは、通常、実際のオーディオ信号を形成する復号化を可能にするには十分ではなく、よってプライバシを保護する。符号化と同様にまたは並行して、心理音響パラメータのようなパラメータを取り出すサブステップが存在してもよく、この心理音響パラメータはその録音を表現する。
録音処理110はまた、リングバッファであるように表現されてもよく、その理由は、その録音が、通常何度も何度も上書きされるためであり、例えば120、60、もしくは30秒、または、概ね5秒超のような所定期間だけバッファリングされる。このリングバッファはまた、プライバシ要求条件が満たされるという利点をも提供する。最後の期間に対する環境ノイズのこの時間窓が記憶され、または、ステップ130を使って信号120を取得しているとき、(データベースのような)さらなるメモリの中に最終的に記憶され、その結果、この時間窓は、後になって利用可能になる。このデータベースを効率的に構築するため、方法100を実行するステップが、1つのまたは異なった複数の信号種別を持つ複数の信号に対して繰り返される。
この方法100は、マイクロフォン11により受信された(すなわち、録音された)主観的外乱ノイズが識別される場所のデータベースを構築する役割を果たす。識別するステップは、ユーザがその環境において外乱ノイズを認識した際に、ボタン12(または一般的にはユーザ入力インターフェース12)を使って「信号120出力」ステップを典型的に実行するユーザにより実施されるステップを使って実行される。マイクロフォン110が環境ノイズを受信し、これらの環境ノイズがステップ110においてバッファリングされるため、これらの外乱ノイズはまた、録音され、その結果、バッファリングされた録音またはその一部は、データベースを構築するための固定記憶装置の中に記憶されてもよい(ステップ130を参照)。外乱ノイズがユーザにより認識されなかった場合には、この方法は繰り返されることになり、この繰り返しは、主観的評価(判断要素125)から開始点101までの矢印を使って例示されている。
この方法は、このように十分広範囲のデータベースが構築されることができるという点で有利であり、このデータベースは、オーディオフィンガープリントと同じような複数の録音またはパラメータを含み、これらは主観的に知覚された外乱ノイズと関連付けられる。
ここで、この結果は、その信号の時点が時間窓に依存する。典型的には、その依存は、その信号のその時点での時間窓の始まりが、その信号のその時点よりも30または60秒等の一定期間前であるという事実からもたらされる。さらに、その時間窓の終了もまた、その信号のその時点に依存してもよく、その結果、例えばその信号の時間およびその時間窓が一致し、または(その信号のその時点より前に終了する)5秒の時間間隔が存在する。一般に、この依存性は、録音時間窓が、常にその信号のその時点に先行するように選択され、その信号もまた、その時間窓内に存在してもよい。
図1bは、データベースの構築、ただし拡張された情報と一緒にデータベースの構築を可能にする拡張された方法100’を示す。この方法100’は、概して方法100に基づいており、開始101および終了135によるその経路には制約がある。その結果、この方法100’もまた、録音するステップ110’と、主観的ノイズ評価に対する信号、または一般には、(非外乱ノイズ、弱外乱ノイズ、および強外乱ノイズのような)複数の信号種別を起点にした(外乱ノイズのような)信号種別への受信信号の割り当てに対する信号を受信するステップ120’と、データベースを使うような、バッファリングされた録音を記憶するステップ130との基本的なステップを含む。さらに、ステップ130および120’は、判断ポイント125を介して接続されている。
この実施形態では、録音するステップ110’は、2つのサブステップ、すなわち110a’および110b’に細分割される。ステップ110aは、例えばラフネス、シャープネス、音量、トーナリティ、変動強度等の心理音響パラメータを計算するステップを表す。ステップ110bは、録音の固有の特徴をオーディオフィンガープリントによって後に再度確認できるように、その録音を表現するオーディオフィンガープリントを判定することと単純化できる。
主観的ノイズ評価のステップ120’を実行するための様々な入力手段があり得る。これらの入力手段は、方法100’(参照番号12a’を参照)を実行する装置上のキーまたはボタンを使った「評価」であり、アンケート調査を使った主観的ノイズ評価(参照番号12b’を参照)またはスマートデバイスを使った評価(参照番号12c’を参照)と関連付けている。これら3つの評価変形例12a’、12b’、および12c’は、主観的ノイズ評価ステップ120’を実行するため、単独でまたは組み合わせて使用されてもよい。ある評価(判断点125を参照)がなされるとすぐに、心理音響パラメータ(参照番号110a’を参照)やオーディオフィンガープリント(参照番号110b’を参照)が、ステップ130に例示されているメモリの中に記憶される。
さらなる実施形態によれば、時間や場所の情報は、 純然たるパラメータまたはフィンガープリントまたはオーディオ録音の一部に加えて、追加されてもよい。これらの情報もまた、ステップ130で記憶され、それらに応じて現在の場所を判定するステップや現在の時間を判定するステップを含む別のステップ132から作り出される。
データベースが構築され、ある対応する大きさを有する場合(ステップ130を参照)、ステップ132に例示されているように、そのデータベースは、相関性または統計的評価等により評価されることができる。
上述の方法100および100’の典型的な応用例としては、例えばホテルの部屋に置かれて現在の環境ノイズをモニタリングする装置がある。宿泊客が彼のホテルの部屋で安らぎや静けさを得たいが、外乱ノイズによりそのようにすることができない場合、この宿泊客はこれらの外乱ノイズを採点することができる。これにより達成され得る結果としては、宿泊客の就寝を妨げる空気調節装置のように、その部屋がそれほど騒々しくないのか、そうは言ってもある程度の騒音が存在し得るのかという例である。この装置を使って、宿泊客は、主観的評価、すなわち「騒がしい」、「大変騒がしい」、または「極めて騒がしい」等の信号種別の分類を実行することができる。この評価は、様々なパラメータを使って評価されたノイズ状態を特徴付ける。最終的には、信号種別のうちの1つに関連付けられた、オーディオフィンガープリント、心理音響パラメータ、または一般的には録音が、データベースの中に記憶される。
3つの装置の変形例について、図1c、図1d、および図1eを参照しながら以下に論述される。
図1cは、第1の装置の変形例すなわち装置20を示し、インターフェースまたは無線インターフェースを通じて実際の信号処理装置(図示されていない)に接続され、基本的に外乱信号または特定の信号種別を識別するための信号を放射するように構成されている。ここで、本実施形態の装置22は、主観的評価を実行し得る2つのボタン24aおよび24bを備えている。これらのボタン24aおよび24bは、様々な信号種別と関連付けられている。
この装置20は、典型的には、タブレット型コンピュータ、スマートウォッチ、スマートフォンのようなスマートデバイスとしてもよい、これらは、1つのアプリに一体化された仮想ボタン24aおよび24bを含む。このアプリはまた、全般的な品質に関するさらなる情報を宿泊客等のユーザから収集することができるアンケート調査を典型的には含んでもよい。
ボタン24aおよび24bを操作すると、環境ノイズをバッファリングしまたはパラメータを取り出し、次いで実際に記憶する方法が、実際のデータ収集装置の中で実行される。この外部装置は、例えばモニタリングするそれぞれの場所にマイクロフォンを有するサーバとしてもよい。
図1dは、別の変形例を示し、ここで、環境ノイズを受信するための内部マイクロフォン26は、ボタン24aおよび24bを備える装置20’の中に一体化されている。追加の方法としてまたは別の方法として、外部マイクロフォン26eが、インターフェースを通じて装置20’と接続されてもよい。
図1eは、装置20’’である別の変形例を示し、この変形例は、もはや入力手段としてのボタンを備えておらず、ただし内部マイクロフォン26または省略可能なもしくは代替えの外部マイクロフォン26eを備え、ある信号種別の環境ノイズに関連付けられることができるこの音声コマンドを使って制御されることができる。
この装置20’および20’’を参照すると、複数の外部マイクロフォンもまた、接続されることができるという点に注目すべきである。ここでは、通常の空中音に加えて、固体伝播音も録音される(それぞれの装置が固体伝播音受信機を備えることを意味する)こともまた、考えられる。
図1cおよび図1dの実施形態を参照すると、異なったボタン24aおよび24bはまた、別のボタンにより拡張してもよいことに注意すべきである。これらのボタンを区別するため、色コーディング、すなわち赤色=騒がしい、黄色=問題なし、緑色=大変心地よい、といった環境ノイズ(典型的には、後者は、鳥のさえずりがはっきりと聞こえるが、望ましいノイズとして知覚される)を提供することもできる。
図1c〜1dを参照すると、装置20、20’、および20’’は、ソフトウエアアプリケーションとしてさらに一体化されてもよく、またスマートフォン、タブレット型コンピュータ、またはスマートウォッチのような装置の中に追加して一体化されてもよいことについて言及されるべきである。これらのソフトウエアアプリケーションは、以下の機能を可能にすることができる。
‐ アンケート手法または様々な主観的獲得手法による上述のノイズ品質の検出の拡張、
‐ より遠くの装置の中に存在するセンサシステム(マイクロフォン、GPS、傾斜センサ、バイオフィードバック機能)の使用、
‐ 無線または、適用可能な場合、ここで開発された装置とデータ通信との機械的な接続、
‐ ここで開発されたソフトウエアを使った、ここで開発された装置の完全制御、である。
図1fは、装置20’’’の構成部品を示す。この装置20’’’は、マイクロフォン26、そのマイクロフォンを校正するための省略可能な較正手段26k、および処理装置42、およびメモリ44を備える。
この処理手段42は、オーディオファイルを符号化するための、またはオーディオフィンガープリントを取り出すための前処理46、および心理音響パラメータを判定するためのユニット48を含む。前処理46のメタデータおよびユニット48の心理音響パラメータの両方は、メモリ44に書き込まれる。さらに、オーディオ信号は、記憶され、または例えばボタンにより制御されたユニット49の手段によりメモリ44の中に一層正確に記憶されてもよい。
その較正手段26kは、ある定義された感度の値を有するすべてのセンサを提供する役割を果たす。ここで、例えばスイッチ、周波数応答、または圧縮の測定または録音は、事前に実行される。
記憶されたオーディオサンプル、メタデータ(心理音響パラメータのオーディオフィンガープリント)、図1c〜1dの入力手段のうちの1つによる採点を基に、データ分析機50の手段による実際のデータ分析、および個々の信号種別との関連付けが、実行されてもよい。
ここで、この装置は、典型的にはモバイル機器であり、その結果、そのモバイル機器は通常、バッテリまたは蓄電池を用いて電力を供給されることができる。別の方法としては、従来の電源もまた、実施可能である。その録音を記憶するため、この装置はまた、(SDカード等の)携帯型メモリ媒体のようなメモリ媒体、またはサーバとの接続も含んでもよい。このサーバとの接続は、電線もしくはガラスファイバのインターフェース、または無線インターフェースさえも介して実現される。プロトコルレベルについては、これを実行する様々な方法があるが、ここではより詳細には論述されない。
評価可能性を向上させるため、この装置はまた、例えばタイムコードまたは世界時計のような、他の装置と正確に同期するための手段も備えてもよい。さらにまた、この装置が、GPS受信機のような位置判定ユニットに結合されることも考えられ、またはどの外乱ノイズが、どの位置で判定されたかまたは外乱であると知覚されたかを判定するために一体化された同じ位置判定ユニットを有することも考えられる。
ここで、さらなる実施形態によれば、この方法100または100’はまた、事前較正(較正手段26kを参照)も含んでもよい。このことは、いくつかの実施形態によれば、上で論述されたこの方法100または100’が、較正するステップを含むことを意味する。
態様1に関して、いくつかの実施形態によれば、これらすべての装置が、データを減らすためその測定データのデータ圧縮録音を実行することも考えられる。このデータ圧縮はまた、長期間の測定に関して有利となる場合がある。圧縮または誤りの程度に応じて、プライバシの維持が保証されることができ、その理由は、モニタされたデータは常に圧縮されることができるため、基本的に心理音響パラメータ(ラフネス、シャープネス、トーナリティ等)またはオーディオフィンガープリントのようなパラメータのみが録音されるからである。さらに、録音もしくはオーディオフィンガープリントを使うべきか、または心理音響パラメータのみを使うべきかの的確な判断は、データ保護および消費者保護に対する法的枠組み条件により根本的に影響を受けることである。
上で論述されたように、いわゆる「オーディオフィンガープリント」という用語が使われているが、これには様々な変形種が存在し、以下に詳細に論述される。いくつかの方法がすでに知られており、それを使って、特徴またはフィンガープリントが、あるオーディオ信号から抽出されることができる。米国特許第5,918,223号は、オーディオ情報のコンテンツベースの分析、記憶、復元、および分割のための方法を開示している。オーディオデータの分析は、1組の数値を生成し、この組は特徴ベクトルとして参照され、このベクトルはそれぞれのオーディオ素片同士間の類似点を分類しかつ格付けするために使用されることができる。1つのオーディオ素片の素片量、ピッチ、音質の鮮明度、帯域幅、およびいわゆるメル周波数ケプストラム係数(MFCC)が、オーディオ素片を特徴化しまたは分類するための特徴として使用される。ブロックまたはフレーム当たりの値は、記憶され、次いで時間に対して第1の取り出しを受ける。これらの各特徴の平均値または標準偏差のような統計的な量は、その中に一次微分を含み、時間にわたる偏差を表現するため、この一次微分から計算される。この統計的な量の組が、その特徴ベクトルを形成する。したがって、この特徴ベクトルが、そのオーディオ素片のフィンガープリントであり、データベースの中に記憶されることができる。
専門誌「Multimedia Content Analysis」、Yao Wang et al.,IEEE Signal Processing Magazine,November 2000,pages 12 to 36には、マルチメディア素片を索引付けして特徴付けるための同様な概念が開示されている。オーディオ信号とある特定の種別との効果的な関連付けを保証するため、いくつかの特徴および分類機が開発されてきた。時間領域の特徴または周波数領域の特徴は、マルチメディア素片の中身を分類するための特徴として提案される。これらの特徴は、音量、オーディオ信号形状の基本周波数としてのピッチ、全エネルギ量に対するある帯域のエネルギ量のようなスペクトル特徴、スペクトル推移におけるカットオフ周波数等を含む。いわゆるオーディオ信号のサンプルブロック当たりの大きさに対する短時間の特徴は別として、そのオーディオ素片のより長い期間に対する長期間の量が提案される。さらなる典型的な特徴は、それぞれの特徴が時間的相違を形成することによって形成される。各ブロックで獲得された特徴は、データレートが高すぎるため、その状態のまま直接分類へ送られることはめったにない。さらなる処理の1つの伝統的な形式は、短期間の統計情報を計算することである。これには、例えば平均値、分散量、および時間相関係数の計算が含まれる。これにより、データレートを減少させているが、その反面、結果としてオーディオ信号の認識を向上させている。
WO02/065782は、マルチメディア信号を形成するためにフィンガープリントを形成するための方法について述べている。この方法は、オーディオ信号から1つまたは複数の特徴を抽出することに関する。ここでのオーディオ信号は、セグメントに分割され、ブロックおよび周波数帯域に関する処理が各セグメントにおいて行われる。そのパワー密度スペクトラムのエネルギ、トーナリティ、および標準偏差の帯域的な計算が、実施例として言及されている。
オーディオ信号を分類するための装置および方法は、DE10134471およびDE10109648から既知であり、その中で、フィンガープリントは、そのオーディオ信号のトーナリティの測定により獲得される。ここでのフィンガープリントは、オーディオ信号のロバストな、コンテンツベースの分類を可能にしている。これらの文献は、あるオーディオ信号全体にわたってトーナリティの測定を発生させる複数の可能性を明らかにしている。この場合、オーディオ信号のセグメントをスペクトル領域に変換することが、そのトーナリティを計算する基本となる。次いで、このトーナリティは、周波数帯域に対してまたはすべての周波数帯域に対して並行して計算されることができる。しかしながら、そのようなシステムの欠点は、オーディオ信号の歪みが増えるにつれ、フィンガープリントはもはや十分に表現できないこと、また信頼性を満たしながらオーディオ信号を認識することは、もはや不可能であることである。しかしながら、歪みは、極めて多くの場合、特にオーディオ信号が伝送品質の低いシステムを使って送信される場合に、起こる。現在、これは、特にモバイルシステムを伴う場合、またはデータ圧縮が強い場合である。携帯型電話等のそのようなシステムは、当初、音声信号の双方向通信用に実現され、またたびたび品質の極めて低い音楽信号を送信するにすぎない。低品質のマイクロフォン、チャネル妨害、およびトランスコーディング効果のように、送信された信号の品質に負の影響を与える可能性があるさらなる要因が存在する。信号を識別し分類するための装置の場合、信号品質の低下の結果は、認識性能の大きな低下をもたらす。様々な試験により、特にDE10134471およびDE10109648による装置および方法を使う場合、そのシステムに変化が起こり、同時にトーナリティの認識判定基準(Spectral Flatness Measure)を維持しても、結果として認識性能における顕著な改善が見られないことが明らかとなった。
異なった信号種別の外乱ノイズのようなノイズを含む十分な量のデータベースが構築され、ここから開始すると仮定する場合、ある一定の外乱ノイズが任意の環境に対して調査されることができ、次いでその一定の外乱ノイズは、そのような外乱ノイズが認識されるかどうかをログ記録されることができる。この方法は、図2aに例示されている。
図2aは、方法200を示し、この方法は、マイクロフォン11(受信するステップ205を参照)を通じて受信された環境ノイズをデータベース15からの録音と一致させるステップ210を含む。判断215の場所において例示されているある一致が見つかるとすぐに、ログ記録するためまたはさらなる操作を除外するためといった目的で信号が出力される。一致が見つからない限り、その方法は、繰り返され、開始点201までの矢印を使って例示されている。
いくつかの実施形態によれば、録音の代わりに、現在の環境ノイズのそれぞれのオーディオフィンガープリントは、データベース15の中に以前記憶されたオーディオフィンガープリントと比較されてもよい。ここでのその方法は、現在の環境ノイズのオーディオフィンガープリントを判定するステップと、それを、データベース15の中に記憶されたオーディオフィンガープリントと比較するステップを含む。
方法200において、環境ノイズまたはオーディオフィンガープリントを、データベース15の中に事前に記憶された環境ノイズ/オーディオフィンガープリントに一致させることが、認識のために行われると仮定されている場合であっても、一般的に表現すれば、その環境ノイズは、ある規則に対してモニタリングされ得る。環境ノイズ/オーディオフィンガープリントを比較する場合、その規則は「部分一致」を意味することになる。
別のそのような規則は、例えば簡単に超えられる音量値、または超えられるべき心理音響パラメータに関する閾値としてもよい。いくつかの実施形態によれば、現在の環境ノイズの心理音響パラメータを取り出すステップが起こり、そのパラメータは、そのようなイベントが生じたことを認識するため、所定の規則の手段により所定のそれぞれの閾値と比較される。
拡張された実施形態によれば、この方法は、そのような外乱ノイズを完全に認識するだけでなく、そのノイズを、例えば音声、モータ騒音、音楽、教会の鐘、または発砲音に分類することもできる。
スマートフォン、または特にこの方法のために設計された装置の上で典型的に実行されるそのような方法を応用するための1つの潜在的なシナリオは、その装置が、ホテルの部屋に設置されてその環境ノイズをモニタリングすることである。ここで、その環境ノイズは、データベース15からのデータを使って評価され、おそらく外乱であると知覚されたいくつのおよびどのノイズイベントが時間と共に生じたかがログ記録される。このことは、例えばその日の間の空気調節外乱ノイズを計数し続けることができる。ログ記録とは別の方法として、このノイズのオーディオ録音、または事前にバッファリングされた環境ノイズを記憶する(上述を参照)ことが実行され得る。その根底にあるアイデアは、ホテルの操作員がこの方法を使ってそのノイズ知覚を予測したり評価したりすることができることである。
図2bは、拡張された方法200’を示し、この方法は、判断215のステップまたはポイントと終了216との間にさらなるステップを含む。
これらのステップは、ステップ220の手段により、またはセル変数221を使ってそのイベントを計数し、結果としてイベントの数222が取得される。必要に応じて、オーディオ録音は、ステップ230を使って例示されているように、認識されたイベントによって開始されることができる。
図2cは、装置40のさらなる具体例を示す。その装置は、中央装置として、分析/マッチングの実際のステップを実行するプロセッサ41を含む。まず第一に、その装置は、内部マイクロフォン26を使用し、外部マイクロフォン26e1および26e2とのアクセスも考えられる。マッチング用データは、例えば内部メモリ44の中に記憶されている。
必要に応じて、このプロセッサは、オーディオフィンガープリントまたは心理音響パラメータのうち少なくとも一方を判定しマッチングさせ、対応する規則との一致を得るように構成されている。
この機能を可能にするため、必要に応じて、内部クロック55、バッテリ56b、または通常、それ用のケーブル56kを使って実現されてもよい電源56のような、さらなる周辺装置が設けられる。必要に応じて、このプロセッサはまた、録音動作ボタンまたはタイマ59のような、さらなるセンサ素子57、制御装置58にアクセスすることもできる。ここで、さらなる実施形態によれば、プロセッサ41はまた、主観的評価(主観的音調イベントを認識すること)を組み合わせて相関性を確立するため、客観的ノイズ評価を実行するように構成されてもよい。
いくつかの実施形態によれば、以前取得された心地よさの主観的評価から開始すると、このCPUは、様々な評価マトリックスに、その信号種別の各々の認識されたノイズを、それぞれのノイズ種別に応じて、分類/仕分けすることができる。
さらなる実施形態によれば、外部データ記憶装置60は、外部ハードディスクまたはサーバのように、データベースを記憶するまたは展開するために設けられてもよい。この接続は、有線接続または無線接続であってもよい。さらなる実施形態によれば、無線通信では、無線インターフェース62wまたは有線インターフェース62kのように、外部とのアクセスを実現する通信インターフェース62を設けることができる。
別の態様によれば、以前説明され、基本的に互いに組み合わされた2つの装置40からなるシステムが提供され、その結果、その2つの装置は、対応するノイズ、すなわち信号種別が、それらの装置のうちの1つに受信されるとすぐに、相互に動作する。このシステムは、それぞれのノイズ種別のノイズをより詳細に分析しまたは評価するための役割を果たす。図3で以下に論述される方法は、ここで実行される。
図3aは、方法300を示しており、この方法は、第1の所在位置でおよび第2の所在位置で実行される方法200または200’に基づくノイズ分析のステップを含む。これは、ステップ210が2倍(210aおよび210bを参照)存在することを意味する。
(ステップ210aおよび210bによる)2つの所在位置でのオーディオフィンガープリントのような、録音および判定されたパラメータは、次いで別のステップ220において比較される。
いくつかの実施形態によれば、この2つの近隣の所在位置でのこの2つのステップ210は、省略可能なステップ「近隣装置211におけるオーディオ録音」を使って例示されているように、相互に依存し合うことができる。別の方法として、別の動作が、近隣装置で実行されてもよい。これは、方法210aを実行する第1の装置が、例えばあるノイズを認識し、方法210bを実行する第2の装置を動作させる場合、その同一のノイズは、異なった所在位置で認識されることができるからである。ここで最後に言及されるべきことは、判断215の場所から開始すると、開始点301に向かう別の矢印が存在し、その矢印は、ノイズ分析の方法210aが、対応する一致が見つかるまで実行されるという事実を基本的に暗示していることである。
それらの所在位置は、典型的には空間的に近隣にあるため、そのノイズの伝播、速度、またはより大きなノイズ源をこのようにして推定することが可能である。
典型的には、その分析と別の装置での分析を同時に比較する際、同一のイベントが複数の装置で認識されたときに、このイベントが雷鳴や稲妻のようなグローバルイベント(判断321の領域の後の参照番号232を参照)か、またはローカルイベント(判断321の領域の後の参照番号324)かが判定されることができる。グローバルイベント323の場合、通常、「近隣の」装置と「遠隔の」装置との間のレベル差は、無視できるほど小さい(rの変化がrに対して小さい場合、レベルは約1/r)。ローカルイベント324の場合、そのレベル差は大きい(rの変化がrに対して大きい場合、レベルは約1/r)。あるローカルイベントは、例えば助けを求める叫び、破裂音、野外コンサートの音であり得る。ローカルイベントの場合、さらなる分析、すなわちさらなるパラメータに関する分析325へ続くことができる。時間偏差または周波数シフトから開始すると、そのローカルイベントの量、伝播またはタイムラインを判定することができる。グローバルイベント323またはローカルイベント324を判定するステップは、それらの分析325と同様に、その方法の終了329である。
1つの可能性のある応用シナリオは、例えば複数の装置が都市中心全体に分散している場合である。それらのすべての装置は、(有線、無線、イーサネットまたはLAN接続等の)データ接続を介して互いに接続されている。サーバを使った接続もまた、可能である。それらのすべての装置は、そのノイズ状態(心理音響パラメータ、オーディオフィンガープリント)を分析する。これらの装置のうちの1台は、事前にデータベースの中で分類されたある信号種別のような、特徴イベントを認識する。オーディオ録音は、現地で起動される。同時に、その装置は、近隣ノード上の動作のような、動作を開始する。この2つのノードを比較することによって、グローバルイベントおよびローカルイベントは、上で論述されたように、区別されてもよい。
この方法300は、基本的に、2つの装置40(図2c)を含むシステムにより実行される。
しかしながら、この2つの装置を接続するための予備のインターフェースが設けられているため、図3bに例示されているように、ほとんどの変形例もまた、可能とすることができない。
図3bは、入力側にマイクロフォン26および省略可能な較正装置26kを含む装置70を示す。このマイクロフォンにより受信されたオーディオストリームは、例えばオーディオフィンガープリント(参照番号46aを参照)または心理音響パラメータ(参照番号48を参照)を取り出すため、前処理46の手段により前処理される。並行して、イベントまたは種別が認識されてもよい(参照番号50を参照)。イベント/種別を認識する手段によって、一方では自動オーディオ録音が起動されることができ(参照番号50a1を参照)、またはさらなるノードを動作させるような制御命令(参照番号50a2またはさらなる装置70’)が発せられることができる。制御命令を出力するための手段50a2は、典型的にはメモリを作動させることができ、次いでこのメモリは、オーディオフィンガープリント46aを生成するための手段からの、または心理音響パラメータ48を取り出すための手段からの、データを受信し録音する。このオーディオ信号はまた、メモリ44の中にも記憶されてもよく、ここでもまた、ボタン49aにより、録音が可能とされまたは防止されてもよい。この実施形態では、CPU41はまた、タイマ59にも接続されてもよい。
装置70は別として、装置70’は、基本的に同一の機能を満足し、別の近隣の場所に設置される。この装置70’もまた、メモリ44を含み、この装置70’が動作させる手段50a2の手段により動作されたとき、または認識されある種別に属するノイズから開始するとき、メモリ44は、この時間間隔の間にそのオーディオ結果を記憶した。装置70および70’のメモリ44からの録音またはオーディオフィンガープリントまたは心理音響パラメータは、例えば拡張に関する次のステップでのデータ分析機72によって分析される。しかしながら、データ分析機72がそのさらなる装置の両方のメモリと接続されていることは、ここでは好都合であり、そこではこのデータ分析機72が、装置70および70’のうちの1台の中に、またはその両者に対して外部に配置されてもよいことをここで述べておく。
さらなる実施形態によれば、ボタン24a’のような任意のボタンが装置70の中に一体化されてもよい、その結果、装置70は、装置20、20’、または20’’の機能も実行する。
省略可能な構成要素50a’により、分類を認識した後の自動録音起動を可能にする。別の方法として、ここでは、この自動録音が、すでに取得されたどの信号種別にもノイズが見つからなかったときに開始されることも考えられる。
言い換えると、この方法303は、方法200の機能性、すなわち音声、モータノイズ、音楽、キッチンブロック、発砲音のようなノイズを認識し分類する機能が、基本的にカバーされていることを説明することができ、この機能性は、異なった場所にあるいくつかのマイクロフォンから開始され、分析により拡張される。
ここで、例えばテロリズムを示唆する破裂音および発砲音を伴うような特定の種別の自動録音もまた可能である。ここで、すべての近隣ノード70/70’が、録音することに直接切り替えられることは、有効である。
さらに、特定のノイズ閾値が、ある時間間隔にわたって超えている場合でも、自動的な(例えば、時間的に制約された)録音は、可能である。その録音はまた、近隣ノードに拡張されてもよく、したがって、これらのより長い録音によりその信号源の正確な位置測定を実行することができ、そのときは、(ノイズ源を分離しながら外乱源の調査を可能とする)複数のノードを併合する。
上述の3つのシナリオの潜在的な応用分野は、以下のようである。
‐ 観光事業、ホテル、ウェルネスセクタ、サイクリング道路、ハイキング道路
‐ 作業保護(事務作業、機械工場、客室の職場)
‐ 都市計画(サウンドスケープ、ノイズマッピング)
‐ 公安(生産設備の監視)
方法100/100’、200/200’および300、または装置20/20’/20’’/20’’’、40および70/70’の機能性の組み合わせもまた、考えられる。この例は、装置内で主観的に評価し録音するための、また装置の機械評価のための装置および方法の組み合わせである。
ここで、別の態様と関連して論述された構成要素は、当然ながら、さらに第2の態様にも適用されてもよい。典型的には、オーディオフィンガープリントまたは心理音響パラメータに関する教示は、3つのすべての態様に適用可能であり、その教示は、第1の態様に関連するのみ、より詳細に論述されている。
いくつかの態様は、ある装置の文脈で説明されてきたが、これらの態様はまた、その対応する方法の説明をも表していることは明らかであり、その結果、ある装置のブロックまたは構成要素はまた、それぞれの方法ステップまたは方法ステップの特徴にも対応している。同様に、方法ステップの文脈で説明された態様は、対応するブロックもしくは用語または対応する装置の特徴についての説明をも表している。いくつかのまたはすべての方法ステップは、例えばマイクロプロセッサ、プログラマブルコンピュータ、または電子回路のようなハードウエア装置によって(または使用することによって)実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのいくつかは、そのような装置によって実行されてもよい。
オーディオ信号、ビデオ信号またはトランスポートストリーム信号のような信号を本発明の方法で符号化した信号は、デジタル記憶媒体上に記憶されてもよく、または、インターネット等の、無線伝送媒体もしくは有線伝送媒体のような伝送媒体上に送信されてもよい。
本発明の方法で符号化されたオーディオ信号は、デジタル記憶媒体上に記憶されてもよく、または、例えばインターネット等の、無線伝送媒体もしくは有線伝送媒体のような伝送媒体上に送信されてもよい。
特定の実現要求条件に依存して、本発明の実施形態は、ハードウエアの中に、またはソフトウエアの中に実現されることができる。この実現は、デジタル記憶媒体を用いて実現されることができ、例えばフロッピーディスク、DVD.Blu−Rayディスク、CD、ROM、PROM、EPROM、EEPROMもしくはFLASHメモリ、ハードドライブ、または電子的可読制御信号が上部に記憶された別の磁気的メモリもしくは光学的メモリであり、これらは、そのそれぞれの方法が実現されるように、互いに協働、またはプログラミング可能なコンピュータと協働することができる。したがって、デジタル記憶媒体は、コンピュータ可読であってもよい。
本発明に基づくいくつかの実施形態は、電子的可読制御信号を含むデータ媒体を含み、これらの制御信号は、本明細書に記載された方法のうちの1つが実行されるように、プログラミング可能なコンピュータシステムと協働することができる。
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装されることができ、このプログラムコードは、そのコンピュータプログラム製品がコンピュータ上で実行されるとき、その方法のうちの1つを実行するために動作する。
このプログラムコードは、例えば機械可読媒体の上に記憶されてもよい。
他の実施形態は、本明細書に記載された方法のうちの1つを実行するためのコンピュータプログラムを含み、このコンピュータプログラムは、機械可読媒体の上に記憶される。
言い換えれば、本発明の方法の実施形態は、したがって、そのコンピュータプログラムが、コンピュータ上で実行されるとき、本明細書に記載された方法のうちの1つを実行するためのプログラムコードを含むコンピュータプログラムである。
本発明の方法のさらなる実施形態は、したがって、上部に録音された、本明細書に記載された方法のうちの1つを実行するためのコンピュータプログラムを含む、データ媒体(またはデジタル記憶媒体またはコンピュータ可読媒体)である。
本発明の方法のさらなる実施形態は、したがって、本明細書に記載された方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。このデータストリームまたは一連の信号は、例えば、データ通信接続、例えばインターネットを介して転送されるように構成されてもよい。
さらなる実施形態は、本明細書に記載された方法のうちの1つを実行するように構成されまたは適合されたコンピュータ、またはプログラム可能論理回路のような処理手段を含む。
さらなる実施形態は、本明細書に記載された方法のうちの1つを実行するためのコンピュータプログラムをその上にインストールしたコンピュータを含む。
本発明に基づくさらなる実施形態は、本明細書に記載された方法のうちの少なくとも1つを実行するためのコンピュータプログラムを受信機に転送するように構成されている装置またはシステムを含む。この送信は、電子的にまたは光学的に実行されることができる。この受信機は、例えばコンピュータ、モバイル機器、メモリデバイス等とであってもよい。この装置またはシステムは、例えばそのコンピュータプログラムを受信機に転送するためのファイルサーバを含んでもよい。
いくつかの実施形態では、プログラム可能論理回路(例えば、フィールドプログラマブルゲートアレイ(Field-Programmable Gate Array:FPGA))が使われ、本明細書に記載された方法のいくつかのまたはすべての機能性を実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載された方法のうちの1つを実行するため、マイクロプロセッサと協働してもよい。概して、ある実施形態では、これらの方法は、任意のハードウエアにより実行されている。これは、コンピュータプロセッサ(Computer Processor:CPU)等の普遍的に適用可能なハードウエアとすることができ、またはASIC等の当該方法に特化したハードウエアとすることができる。
上述された実施形態は、本発明の原理に対する単なる例示にすぎない。本明細書に記載された配置および詳細について様々な修正例および変形例が存在することは、当業者には明らかであることを理解されたい。したがって、本発明は、添付された特許請求の範囲によってのみ限定され、本明細書の実施形態の記載および説明によって示された特定の詳細によっては限定されないことを意図している。

Claims (20)

  1. データベース(15)を生成するための方法(100、100’)であって、
    バッファリングされた録音を取得するため、環境ノイズを受信して(110、110’)移動時間窓のために前記環境ノイズをバッファリングし、または前記環境ノイズからパラメータの組を取り出して前記移動時間窓のために前記パラメータの組をバッファリングするステップと、
    前記環境ノイズの中の複数の信号種別のうちのある信号種別を識別する信号を取得するステップ(120)と、
    前記信号に応答してメモリの中に前記バッファリングされた録音を記憶するステップ(130)と、
    同一の信号種別のための複数のバッファリングされた録音を含む前記データベース(15)を取得するため、取得するステップ(120)および記憶するステップ(130)を繰り返すステップと、を含む方法。
  2. 前記信号と前記バッファリングされた録音の前記移動時間窓との間に時間的な依存が存在する、請求項1に記載の方法(100、100’)。
  3. 前記時間的な依存は、前記移動時間窓の先頭が前記信号の時間より前であるか、または
    前記移動時間窓の最後尾が前記信号の前記時間であるかもしくは前記時間より前である、請求項2に記載の方法(100、100’)。
  4. 前記信号は、ユーザ入力手段(24a、24b)、ボタン(24a、24b)、またはスマートデバイスによって受信されている、請求項1〜3のいずれか一項に記載の方法(100、100’)。
  5. 前記信号は、音量を判定するための検出器、前記環境ノイズの中の制御信号を識別するためのプロセッサ、または近隣の所在位置でのデータベース(15)を生成するための装置によって受信されている、請求項1〜4のいずれか一項に記載の方法(100、100’)。
  6. 前記パラメータの組の取り出しは、前記バッファリングされた環境ノイズのための音響フィンガープリントを判定することを含む、請求項1〜5のいずれか一項に記載の方法(100、100’)。
  7. 前記パラメータの組の取り出しは、前記バッファリングされた録音の心理音響パラメータを判定することを含む、請求項1〜6のいずれか一項に記載の方法(100、100’)。
  8. 前記心理音響パラメータは、音量、シャープネス、トーナリティ、ラフネス、または変動強度のうちの少なくとも1つを含む、請求項7に記載の方法(100、100’)。
  9. 前記環境ノイズの中の複数の信号種別のうちのさらなる信号種別を識別するさらなる信号を取得するステップを含み、前記記憶するステップは、前記種別または前記さらなる信号種別に対する前記バッファリングされた録音の対応付けが維持されるように、前記さらなる信号に応答して実行されている、請求項1〜8のいずれか一項に記載の方法(100、100’)。
  10. 前記記憶する(130)ステップにおいて、前記信号が取得されるときのタイムスタンプもまた、前記バッファリングされた録音と一緒に記憶される、請求項1〜9のいずれか一項に記載の方法(100、100’)。
  11. 前記方法(100、100’)は、前記信号を取得するステップにおいて現在の場所を判定するステップを含み、前記判定された場所は、前記バッファリングされた録音と一緒に記憶される、請求項1〜10のいずれか一項に記載の方法(100、100’)。
  12. 前記バッファリングされた録音は、データ圧縮方法で記憶される、請求項1〜11のいずれか一項に記載の方法(100、100’)。
  13. 前記メモリ(44)が、外部に配置されている、請求項1〜12のいずれか一項に記載の方法(100、100’)。
  14. コンピュータプログラムであって、前記プログラムがコンピュータ上で実行されるとき、請求項1〜13のいずれか一項に記載の方法(100、100’)を実行するためのプログラムコードを有する、コンピュータプログラム。
  15. データベース(15)を生成するための装置(20、20’、20’’、20’’’)であって、
    環境ノイズを受信するためのマイクロフォン(11)と、
    バッファリングされた録音を取得するため、移動時間窓のために前記環境ノイズをバッファリングし、または前記環境ノイズからパラメータの組を取り出して前記移動時間窓のために前記パラメータの組をバッファリングするためのバッファと、
    前記環境ノイズの中の複数の信号種別のうちのある信号種別を識別する信号を取得するためのインターフェースと、
    前記信号に応答して前記バッファリングされた録音を記憶するためのメモリ(44)と、を含み、
    前記装置(20、20’、20’’、20’’’)は、同一の信号種別に対する複数のバッファリングされた録音を含む前記データベース(15)を取得するために、取得することおよび記憶することを繰り返すように構成されている、装置。
  16. 前記装置(20、20’、20’’、20’’’)は、前記入力インターフェースに接続された入力手段、ボタンもしくはスマートデバイスを備え、または
    前記入力インターフェースは、前記音量を判定するための検出器、前記環境ノイズの中の制御信号を識別するためのプロセッサ、または近隣の所在位置でのデータベース(15)を生成するためのさらなる装置(20、20’、20’’、20’’’)に接続されている、請求項15に記載の装置(20、20’、20’’、20’’’)。
  17. 前記装置(20、20’、20’’、20’’’)は、現在の所在位置が、記憶されるべき前記バッファリングされた録音の一部またはパラメータに関連して記憶されることができるように、前記現在の所在位置が判定されることができる所在位置判定手段を含む、請求項15または16に記載の装置(20、20’、20’’、20’’’)。
  18. 前記バッファはリングメモリである、請求項15〜17のいずれか一項に記載の装置(20、20’、20’’、20’’’)。
  19. 前記装置(20、20’、20’’、20’’’)は、前記外部メモリ(44)が接続されることができる通信インターフェースを含む、請求項15〜18のいずれか一項に記載の装置(20、20’、20’’、20’’’)。
  20. 請求項1〜13のいずれか一項に記載の方法の手段によって生成されるデータベース(15)の使用方法。
JP2017568346A 2015-06-30 2016-06-30 データベースを生成するための方法および装置 Active JP6602406B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15174634 2015-06-30
EP15174634.4 2015-06-30
PCT/EP2016/065392 WO2017001607A1 (de) 2015-06-30 2016-06-30 Verfahren und vorrichtung zum erzeugen einer datenbank

Publications (2)

Publication Number Publication Date
JP2018528453A true JP2018528453A (ja) 2018-09-27
JP6602406B2 JP6602406B2 (ja) 2019-11-06

Family

ID=56368939

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017568340A Active JP6654209B2 (ja) 2015-06-30 2016-06-30 ノイズを関連付けそして分析するための方法および装置
JP2017568346A Active JP6602406B2 (ja) 2015-06-30 2016-06-30 データベースを生成するための方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017568340A Active JP6654209B2 (ja) 2015-06-30 2016-06-30 ノイズを関連付けそして分析するための方法および装置

Country Status (7)

Country Link
US (2) US11003709B2 (ja)
EP (2) EP3317878B1 (ja)
JP (2) JP6654209B2 (ja)
KR (2) KR102087832B1 (ja)
CN (2) CN108028047B (ja)
CA (2) CA2990888A1 (ja)
WO (2) WO2017001611A1 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3278783B1 (en) 2012-07-20 2020-02-12 Ferno-Washington, Inc. Automated systems for powered cots
CA2990888A1 (en) 2015-06-30 2017-01-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and device for generating a database
US10402696B2 (en) * 2016-01-04 2019-09-03 Texas Instruments Incorporated Scene obstruction detection using high pass filters
US9820039B2 (en) 2016-02-22 2017-11-14 Sonos, Inc. Default playback devices
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
CN107731220B (zh) * 2017-10-18 2019-01-22 北京达佳互联信息技术有限公司 音频识别方法、装置和服务器
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10440324B1 (en) * 2018-09-06 2019-10-08 Amazon Technologies, Inc. Altering undesirable communication data for communication sessions
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11521598B2 (en) * 2018-09-18 2022-12-06 Apple Inc. Systems and methods for classifying sounds
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) * 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
DE102019001966B4 (de) * 2019-03-21 2023-05-25 Dräger Safety AG & Co. KGaA Vorrichtung, System und Verfahren zur Audiosignalverarbeitung
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
TWI716029B (zh) * 2019-07-09 2021-01-11 佑華微電子股份有限公司 隨選聲音片段偵測方法
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
WO2022194381A1 (en) * 2021-03-18 2022-09-22 Telefonaktiebolaget Lm Ericsson (Publ) Predict and trigger a future response to a predicted background noise based on a sequence of sounds
US11533577B2 (en) 2021-05-20 2022-12-20 Apple Inc. Method and system for detecting sound event liveness using a microphone array
CN113643716B (zh) * 2021-07-07 2023-09-26 珠海格力电器股份有限公司 电机噪声控制方法、装置和电机及电器设备
CN117436709B (zh) * 2023-12-20 2024-03-19 四川宽窄智慧物流有限责任公司 一种跨区域订单数据统筹预警方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10170332A (ja) * 1996-12-13 1998-06-26 Daisho Eng Kk 実音モニターリングシステム
JP2001165763A (ja) * 1999-12-07 2001-06-22 Kyoto Prefecture 騒音測定管理システム及び該システム用記録媒体
JP2003315143A (ja) * 2002-04-19 2003-11-06 Rion Co Ltd 騒音振動測定における音の録音方法及びそれを用いた装置
JP2006189367A (ja) * 2005-01-07 2006-07-20 Chugoku Electric Power Co Inc:The 騒音測定装置
JP2008225056A (ja) * 2007-03-13 2008-09-25 Alpine Electronics Inc 音声明瞭度改善装置およびその騒音レベル推定方法
US20090115635A1 (en) * 2007-10-03 2009-05-07 University Of Southern California Detection and classification of running vehicles based on acoustic signatures
JP2011196991A (ja) * 2010-02-25 2011-10-06 Mitsubishi Heavy Ind Ltd 騒音測定装置、騒音測定システム、騒音測定方法および音線解析装置
JP2012047483A (ja) * 2010-08-24 2012-03-08 Railway Technical Research Institute 鉄道車両内騒音の評価方法

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5367332A (en) * 1992-10-09 1994-11-22 Apple Computer, Inc. Digital camera with time bracketing feature
US5918223A (en) 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
JPH10282985A (ja) * 1997-04-07 1998-10-23 Omron Corp 聴覚支援装置
FR2762467B1 (fr) * 1997-04-16 1999-07-02 France Telecom Procede d'annulation d'echo acoustique multi-voies et annuleur d'echo acoustique multi-voies
US6381569B1 (en) * 1998-02-04 2002-04-30 Qualcomm Incorporated Noise-compensated speech recognition templates
US6260010B1 (en) * 1998-08-24 2001-07-10 Conexant Systems, Inc. Speech encoder using gain normalization that combines open and closed loop gains
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US7055107B1 (en) * 2000-09-22 2006-05-30 Wireless Valley Communications, Inc. Method and system for automated selection of optimal communication network equipment model, position, and configuration
DE60228202D1 (de) 2001-02-12 2008-09-25 Gracenote Inc Verfahren zum erzeugen einer identifikations hash vom inhalt einer multimedia datei
DE10109648C2 (de) 2001-02-28 2003-01-30 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Charakterisieren eines Signals und Verfahren und Vorrichtung zum Erzeugen eines indexierten Signals
DE10134471C2 (de) 2001-02-28 2003-05-22 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Charakterisieren eines Signals und Verfahren und Vorrichtung zum Erzeugen eines indexierten Signals
US6996531B2 (en) 2001-03-30 2006-02-07 Comverse Ltd. Automated database assistance using a telephone for a speech based or text based multimedia communication mode
US6683938B1 (en) * 2001-08-30 2004-01-27 At&T Corp. Method and system for transmitting background audio during a telephone call
US6959276B2 (en) 2001-09-27 2005-10-25 Microsoft Corporation Including the category of environmental noise when processing speech signals
US7158931B2 (en) * 2002-01-28 2007-01-02 Phonak Ag Method for identifying a momentary acoustic scene, use of the method and hearing device
FR2842014B1 (fr) * 2002-07-08 2006-05-05 Lyon Ecole Centrale Procede et appareil pour affecter une classe sonore a un signal sonore
JP4352790B2 (ja) * 2002-10-31 2009-10-28 セイコーエプソン株式会社 音響モデル作成方法および音声認識装置ならびに音声認識装置を有する乗り物
JP2005234074A (ja) * 2004-02-18 2005-09-02 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びにプログラム
DE102004036154B3 (de) * 2004-07-26 2005-12-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur robusten Klassifizierung von Audiosignalen sowie Verfahren zu Einrichtung und Betrieb einer Audiosignal-Datenbank sowie Computer-Programm
CN1727911A (zh) * 2004-07-26 2006-02-01 松下电器产业株式会社 声控定位系统及方法
DE102005008333A1 (de) 2005-02-23 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Steuern einer Wellenfeldsynthese-Rendering-Einrichtung
US7948557B2 (en) * 2005-06-22 2011-05-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating a control signal for a film event system
US7464029B2 (en) 2005-07-22 2008-12-09 Qualcomm Incorporated Robust separation of speech signals in a noisy environment
US20070183604A1 (en) * 2006-02-09 2007-08-09 St-Infonox Response to anomalous acoustic environments
US20100257974A1 (en) 2006-06-21 2010-10-14 Carrens Vernon M Mechanical machine designed to utilize unbalanced torque to enhance angular momentum
US20080024469A1 (en) * 2006-07-31 2008-01-31 Niranjan Damera-Venkata Generating sub-frames for projection based on map values generated from at least one training image
JP4854533B2 (ja) * 2007-01-30 2012-01-18 富士通株式会社 音響判定方法、音響判定装置及びコンピュータプログラム
US8762143B2 (en) * 2007-05-29 2014-06-24 At&T Intellectual Property Ii, L.P. Method and apparatus for identifying acoustic background environments based on time and speed to enhance automatic speech recognition
KR20100116223A (ko) 2008-03-20 2010-10-29 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 음향 디스플레이 장치 및 방법
KR20090122142A (ko) * 2008-05-23 2009-11-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
CN102150201B (zh) * 2008-07-11 2013-04-17 弗劳恩霍夫应用研究促进协会 提供时间扭曲激活信号以及使用该时间扭曲激活信号对音频信号编码
FR2943875A1 (fr) 2009-03-31 2010-10-01 France Telecom Procede et dispositif de classification du bruit de fond contenu dans un signal audio.
DK2328363T3 (en) * 2009-09-11 2016-08-22 Starkey Labs Inc SOUND CLASSIFICATION SYSTEM FOR HEARING DEVICES
GB0919672D0 (en) * 2009-11-10 2009-12-23 Skype Ltd Noise suppression
EP2362620A1 (en) * 2010-02-23 2011-08-31 Vodafone Holding GmbH Method of editing a noise-database and computer device
US8265928B2 (en) * 2010-04-14 2012-09-11 Google Inc. Geotagged environmental audio for enhanced speech recognition accuracy
US8812014B2 (en) * 2010-08-30 2014-08-19 Qualcomm Incorporated Audio-based environment awareness
CN103348408B (zh) * 2011-02-10 2015-11-25 杜比实验室特许公司 噪声和位置外信号的组合抑制方法和系统
US9142220B2 (en) * 2011-03-25 2015-09-22 The Intellisis Corporation Systems and methods for reconstructing an audio signal from transformed audio information
US8731474B2 (en) * 2011-05-25 2014-05-20 Shared Spectrum Company Method and system for man-made noise rejection detector
CN102354499B (zh) * 2011-07-25 2017-12-19 中兴通讯股份有限公司 降低噪音的方法和设备
US20130040694A1 (en) * 2011-08-10 2013-02-14 Babak Forutanpour Removal of user identified noise
US20140316775A1 (en) 2012-02-10 2014-10-23 Mitsubishi Electric Corporation Noise suppression device
US9528852B2 (en) * 2012-03-02 2016-12-27 Nokia Technologies Oy Method and apparatus for generating an audio summary of a location
FR2994495B1 (fr) * 2012-08-10 2015-08-21 Thales Sa Procede et systeme pour detecter des evenements sonores dans un environnement donne
KR101967917B1 (ko) 2012-10-30 2019-08-13 삼성전자주식회사 음성을 인식하는 전자 장치 및 방법
US9275625B2 (en) * 2013-03-06 2016-03-01 Qualcomm Incorporated Content based noise suppression
US9384754B2 (en) * 2013-03-12 2016-07-05 Comcast Cable Communications, Llc Removal of audio noise
US9390170B2 (en) * 2013-03-15 2016-07-12 Shazam Investments Ltd. Methods and systems for arranging and searching a database of media content recordings
IN2013MU03833A (ja) 2013-12-06 2015-07-31 Tata Consultancy Services Ltd
US20150179181A1 (en) 2013-12-20 2015-06-25 Microsoft Corporation Adapting audio based upon detected environmental accoustics
US10373611B2 (en) * 2014-01-03 2019-08-06 Gracenote, Inc. Modification of electronic system operation based on acoustic ambience classification
CN103745728B (zh) * 2014-01-08 2017-04-12 叶兰玉 房屋智能有源降噪的方法及装置
WO2015127194A1 (en) 2014-02-20 2015-08-27 Harman International Industries, Inc. Environment sensing intelligent apparatus
US9837102B2 (en) 2014-07-02 2017-12-05 Microsoft Technology Licensing, Llc User environment aware acoustic noise reduction
CN104517607A (zh) * 2014-12-16 2015-04-15 佛山市顺德区美的电热电器制造有限公司 滤除语音控制电器中的噪声的方法及语音控制电器
WO2016119107A1 (zh) 2015-01-26 2016-08-04 深圳市冠旭电子有限公司 一种噪音地图绘制方法及装置
CA2990888A1 (en) 2015-06-30 2017-01-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and device for generating a database

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10170332A (ja) * 1996-12-13 1998-06-26 Daisho Eng Kk 実音モニターリングシステム
JP2001165763A (ja) * 1999-12-07 2001-06-22 Kyoto Prefecture 騒音測定管理システム及び該システム用記録媒体
JP2003315143A (ja) * 2002-04-19 2003-11-06 Rion Co Ltd 騒音振動測定における音の録音方法及びそれを用いた装置
JP2006189367A (ja) * 2005-01-07 2006-07-20 Chugoku Electric Power Co Inc:The 騒音測定装置
JP2008225056A (ja) * 2007-03-13 2008-09-25 Alpine Electronics Inc 音声明瞭度改善装置およびその騒音レベル推定方法
US20090115635A1 (en) * 2007-10-03 2009-05-07 University Of Southern California Detection and classification of running vehicles based on acoustic signatures
JP2011196991A (ja) * 2010-02-25 2011-10-06 Mitsubishi Heavy Ind Ltd 騒音測定装置、騒音測定システム、騒音測定方法および音線解析装置
JP2012047483A (ja) * 2010-08-24 2012-03-08 Railway Technical Research Institute 鉄道車両内騒音の評価方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小林将大他: "人間の感覚を考慮した騒音マップ作成のための騒々しさ推定方式", 「マルチメディア,分散,協調とモバイル(DICOMO2016)シンポジウム」論文集, vol. 2016, no. 1, JPN6019006217, July 2016 (2016-07-01), pages 141 - 148, ISSN: 0004116849 *

Also Published As

Publication number Publication date
CN108028047B (zh) 2022-08-30
EP3317878A1 (de) 2018-05-09
EP3317878B1 (de) 2020-03-25
US20180122398A1 (en) 2018-05-03
WO2017001607A1 (de) 2017-01-05
CA2990891A1 (en) 2017-01-05
WO2017001611A1 (de) 2017-01-05
CA2990888A1 (en) 2017-01-05
US11880407B2 (en) 2024-01-23
EP3317879A1 (de) 2018-05-09
KR20180022967A (ko) 2018-03-06
CN108028048A (zh) 2018-05-11
KR102087832B1 (ko) 2020-04-21
EP3317879B1 (de) 2020-02-19
JP6602406B2 (ja) 2019-11-06
US20180121540A1 (en) 2018-05-03
US11003709B2 (en) 2021-05-11
CN108028047A (zh) 2018-05-11
CN108028048B (zh) 2022-06-21
KR102137537B1 (ko) 2020-07-27
KR20180025921A (ko) 2018-03-09
JP6654209B2 (ja) 2020-02-26
JP2018525664A (ja) 2018-09-06

Similar Documents

Publication Publication Date Title
JP6602406B2 (ja) データベースを生成するための方法および装置
KR102571011B1 (ko) 분류기 모델과 컨텍스트 파라미터를 사용한 원격 미디어 분류 쿼리에 대한 응답
Jia et al. SoundLoc: Accurate room-level indoor localization using acoustic signatures
CN105611400A (zh) 内容处理设备和用于发送可变大小的片段的方法
CN109997186A (zh) 一种用于分类声环境的设备和方法
US20230074279A1 (en) Methods, non-transitory computer readable media, and systems of transcription using multiple recording devices
WO2017117234A1 (en) Responding to remote media classification queries using classifier models and context parameters
KR101660306B1 (ko) 휴대용 단말기에서 라이프 로그 생성 방법 및 장치
JP5907487B2 (ja) 情報伝送システム、送信装置、受信装置、情報伝送方法、およびプログラム
US20210249033A1 (en) Speech processing method, information device, and computer program product
JPWO2022012777A5 (ja)
Sharma et al. Smartphone audio based distress detection

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191008

R150 Certificate of patent or registration of utility model

Ref document number: 6602406

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250