JP2008508542A - 構造化信号の非線形周波数解析方法及び装置 - Google Patents
構造化信号の非線形周波数解析方法及び装置 Download PDFInfo
- Publication number
- JP2008508542A JP2008508542A JP2007518177A JP2007518177A JP2008508542A JP 2008508542 A JP2008508542 A JP 2008508542A JP 2007518177 A JP2007518177 A JP 2007518177A JP 2007518177 A JP2007518177 A JP 2007518177A JP 2008508542 A JP2008508542 A JP 2008508542A
- Authority
- JP
- Japan
- Prior art keywords
- network
- input signal
- frequency
- nonlinear
- oscillators
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004458 analytical method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000008859 change Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 17
- 230000008878 coupling Effects 0.000 claims description 9
- 238000010168 coupling process Methods 0.000 claims description 9
- 238000005859 coupling reaction Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 239000007943 implant Substances 0.000 description 11
- 230000033764 rhythmic process Effects 0.000 description 7
- 239000011295 pitch Substances 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000001020 rhythmical effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 210000000860 cochlear nerve Anatomy 0.000 description 2
- 238000003012 network analysis Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000035559 beat frequency Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000005923 long-lasting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000000944 nerve tissue Anatomy 0.000 description 1
- 238000005312 nonlinear dynamic Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- WQGWDDDVZFFDIG-UHFFFAOYSA-N pyrogallol Chemical compound OC1=CC=CC(O)=C1O WQGWDDDVZFFDIG-UHFFFAOYSA-N 0.000 description 1
- 230000021670 response to stimulus Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000542 thalamic effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Electrophonic Musical Instruments (AREA)
- Time-Division Multiplex Systems (AREA)
Abstract
本発明は、例えば音楽や言語などの音響信号を処理するための方法及び装置に関する。該方法は、受信する入力信号の非線形周波数解析を必要とする。一側面においては、識別可能な周波数をそれぞれ伴う非線形オシレータのネットワークは、信号の処理に適用される。各信号成分の周波数,振幅及び位相は、識別される。さらに、ネットワークにおける非線形性は、入力信号において十分分解できない又は存在しない成分を補う。別の側面においては、非線形オシレータネットワークの変更は、入力信号の周波数成分の変動をトラッキングするために利用される。
【選択図】図4
【選択図】図4
Description
本願は、一般的に信号入力の知覚及び認識に関し、より具体的には、構造化信号(structured signals:構造化された信号)の非線形周波数解析を提供する信号処理方法及び装置に関する。
一般に、スペクトルの特徴を抽出し、背景音から信号を分離し、言語のリズム及び音楽の時間尺度で周期性を見つけるための信号処理アプリケーションを利用した周知の信号処理技術が多くある。一般的に、特徴は、ある識別可能な音構造についての参照パターン(モデル)を生成するために抽出され、使用される。例えば、これらの音構造は、音素、音程、又はリズミカルなミーター(meter:韻律)を含み得る。
ところで図1を参照すると、従来技術に基づく一般的な信号処理システムが示される。この処理システムは、音響信号処理に関連して説明されることとなるが、信号の他の種類に関する処理に対して同じ概念が適用され得ることを理解されるべきである。処理システム100は、入力信号101を受信する。入力信号は、例えば音楽、言語又はソナー(音波探知機)の反響など構造化信号のどのような種類のものでもよい。
通常は、音響の前段部(図示しない)は、音響信号を、入力音によって引き起こされる空気圧の変動に関連して時間と共に変化する電圧を有するアナログ電気信号へ変換するために、マイク又は他の同様の装置を備える。また、前記音響の前段部は、所望のサンプリング率でアナログ波形の電圧をサンプリングすることによってアナログ信号をデジタル化(離散化)し、対応するデジタル値に対してサンプリングされた電圧を変換するためのアナログ−デジタル(A/D)変換器を備える。前記サンプリング率は、通常、入力信号において最も高い周波数成分の2倍が選ばれる。
処理システム100において、スペクトルの特徴は、音響信号のウェーブレット変換演算により、変換モジュール102で抽出され得る。あるいは、スライド窓フーリエ変換(sliding window Fourier transform)が、音響信号の時間周波数解析を提供するために使用されてもよい。初期周波数解析が変換モジュール102により実行されるに続いて、一乃至複数の解析変換が解析変換モジュール103で適用され得る。例えば、「スカッシング(squashing:押しつぶし)」機能(例えば平方根など)が、その結果の振幅を変更するために適用され得る。あるいは、同期圧縮変換が、出力の周波数分解を改善するために適用されてもよい。この種の変換は、バス他の米国特許第6,253,175号に説明される。次に、ケプストラムは、入力信号に存在し得ない又は分解でき得ない構造上の特徴(例えば音程など)を補填又は強調するために、ケプストラム解析モジュール104で適用され得る。最後に、特徴抽出モジュール105は、完全に変換された信号から、識別されるべき構造(複数の構造)に関するそれらの特徴を抽出する。このシステムの出力は、入力信号からこのようにして抽出された特徴が与えられる特定の構造(例えば音素など)を識別する認識システムへ、その後通過され得る。上記各モジュールの実行のための処理は、信号処理に関する周知技術である。
次に図2を参照すると、従来技術に従った一般的なビート(拍子)検出システムが示されている。図1によると、音響信号201は、デジタル処理でサンプリングされ、(付随的に)前述の周波数解析モジュール202へ持ち込まれる。その結果として生じる信号は、その次にオンセット(onset:音の立ち上がり点)検出モジュール203へ持ち込まれ、この検出モジュール203が、信号処理に関する周知技術に属する方法で、個別の音響事象の開始点を特定するために、信号エンベロープ(包絡線)の時間導関数を調べる。その結果として生じるオンセット信号は、その次に自己相関モジュール204へ持ち込まれ、この自己相関モジュール204が、信号処理に関する周知技術に属する方法で、そこで事象のオンセットが相互に関連付けられるメイン時間遅延(複数のメイン時間遅延)(main time lag(s))を特定する。前述の技術は、J.C.ブラウン,自己相関による楽譜のミーターの決定,アメリカ音響学会機関紙94,1953−57(1993)に、より詳細に説明される。あるいは、所定のパルス列を用いた相互相関は、ラロシェの米国特許第6,316,712号に開示されるもののように同様の結果をもたらすことができる。最後に、構造識別モジュール205は、周波数と、事象シーケンス(sequence:連続,列)に関する基本ビートの位相とを特定する。注目に値すべきなのは、単独の周波数及び位相がシーケンス全体のために特定されることから、前述のシステムは、主に、そのテンポ(速度)が一定であるシーケンスに当てはまることである。
次に図3を参照すると、一般的なビートトラッキング(tracking:追跡)システムが示される。入力信号301は、当該システムへ入力として与えられる。周知技術であるが、信号は、前段落中に説明された方法で特定され得る、又は、MIDI入力信号から直接抽出され得るオンセットからなる。オンセット信号は、非線形オシレータ(発振器)302のわずかなバンク(列)(sparse bank)へ入力として与えられ、各非線形オシレータ302が識別可能な周波数を有する。相対的オシレータ周波数は、基本周波数であるが、既知であることを前提とする。前記信号の前記周波数は変化し得る。オシレータバンクトラック(oscillator bank tracks)は、オシレータバンクにおけるオシレータの周波数及び位相を適合させることにより、入力信号の周波数及び位相の中で変化する。ラージ他の米国特許第5,751,899号は、従来技術の典型的なビートトラッキングシステムを説明する。その結果、出力信号303が生成され、シーケンスの韻律構造及びビートに合致する離散的なビート(パルス)の形式か、テンポの形式のどちらかが、シーケンスのテンポ(1分毎のビート中での周波数)における変化を記述するメッセージを変更する。また、出力信号は、入力事象の正しい音符(すなわち音符持続時間)を特定するために、入力信号(離散的な事象)と直接比較され得る。注目に値すべきなのは、このやり方の適用は、初期のテンポ及びメイン周波数成分が既知である信号に限られることである。
前述の音響処理技術は、多くの用途に有用であると分かっている。しかしながら、それらには、幾つかの重要な問題に対して何らかの処置が施されていない。例えば、これらの従来のやり方は、これらが入力信号中で十分分解できない又は存在しない成分を有効に補わないことから、入力信号を変える時間構造を特定することに関して、常に効果的ではない。
本発明は、音響信号の構造を解明するよう設計された方法及びシステムを対象とする。このような構造は、例えば音程や音質などの個々の音響事象の構造や、音響事象シーケンスの韻律構造を含む。このやり方は、音響入力信号の代替変換を伴い、各オシレータが識別可能な周波数に同調される非線形オシレータのネットワークを利用する。各オシレータは、ネットワーク中の他のオシレータとの相互作用及び入力を受けて、音響入力信号における構造を特定するために利用される非線形共振を引き起こす。非線形周波数変換の出力は、信号のさらに進んだ解析を提供するシステムに対して入力として使用され得る。一実施例によれば、ネットワーク中のオシレータの位相及び振幅は、識別可能な音響事象に該当するそれらの周波数成分を特定すると共に、その事象の音程(もしあれば)を特定するために、調べられる。
この方法では、音響信号は非線形周波数解析に対して入力として供給され、これが本非線形方法の全ての利点及び特徴を提供する。この解析の結果は、信号をさらに解析するであろうどのシステムについても利用可能にし得る。例えば、これらのシステムは、人間の聴覚系,自動化の言語認識システム,又は別の人工ニューラルネットワーク(神経回路網)を含み得る。
別の側面においては、本発明は、音響事象のシーケンスに関するミーター及びビートを特定するための方法に関する。該方法は、音響事象のシーケンスのミーター及び基本ビートに該当する位相及び周波数を特定するために、非線形周波数解析の実行ステップを含み得る。この方法では、信号のミーター及びビートに該当する周波数成分の変動は、第ニの人工ニューラルネットワークとの相互作用を通じてトラッキングされる。
これら及びその他の側面,本装置及び方法の利点及び特徴は、添付図と共に読まれるべきである、以下に説明される実施例の内容から明らかになるであろう。
本発明は、ハードウェア,ソフトウェア,ファームウェア,又はこれらの結合についての様々な組み合わせに実施され得ることを理解されるべきである。例えば、音響信号処理のためにここで説明されるシステムモジュールは、任意の適切かつ好ましいマイクロプロセッサアーキテクチャ(microprocessor architecture)を有する多目的コンピュータに読み込まれて実行されるアプリケーションプログラムのようなソフトウェアに実施され得る。多目的コンピュータは、例えば一以上の中央処理装置(CPU),ランダムアクセスメモリ(RAM:ラム),及び入力/出力(I/O)インターフェースなどの周辺ハードウェアを備えてもよい。
また、多目的コンピュータは、オペレーティングシステム(OS)及びマイクロ命令コード(microinstruction code)を備えてもよい。ここで説明される関連する様々な処理及び機能は、マイクロ命令コードの一部か、オペレーティングシステム経由で実行されるアプリケーションプログラムのどちらであってもよい。加えて、様々な他の周辺装置は、例えば増設のデータ記憶装置や印刷装置などのコンピュータへ接続されてもよい。
図中のシステムで示された実際の接続(通信)は、ここで説明される構成システム部品の一部が、望ましくはソフトウェアモジュールとして導入されることから、システムがそのプログラミング手法に応じて異なり得ることが、さらに理解されるべきである。さらに、当業者であれば、代わりに又は追加で、多目的コンピュータシステム,専用マイクロプロセッサ又はアナログハードウェアが発明の変形例を実施するために用いられ得ることが分かる。ここで示唆が与えられることにより、関連技術における当業者は、本システム及び方法の同一及び類似の構成を検討することができる。
最後に、どの当業者にも理解されるように、ここで説明される非線形オシレータモデルは、標準形(すなわち一般形)で提示される。適当な制約を満たす他の非線形オシレータモデルは、この一般形表示へ変換可能であるため、以下のシステムと同等の特性を示す。H.R.ウィルソンとJ.D.カワン著、「皮質及び視床神経組織に関する機能的ダイナミクス(functional dynamics)の数学理論」、人工頭脳学13、55−80(1973)。F.C.ホッペンステットとE.M.イジケヴィッチ著、「弱く接続されたニューラルネットワーク」、ニューヨーク、スプリンガー(1977)。ここで示唆が与えられることにより、関連技術における当業者は、本発明の代わりの構成を意味することとなる代替的なニューラルネットワークの実施を検討することができる。
周波数成分の振幅及び位相の識別に関する非線形ネットワーク
ある実施例によると、本発明は、各信号成分の周波数,振幅,及び位相を識別可能な非線形オシレータのネットワークに関する。加えて、また一方、本発明は、音声チャネル(channel:伝達経路,媒介)における雑音又は損失が原因で、入力信号中に存在しない、及び/又は、入力信号中で十分分解できない周波数成分を生成することができる。付加的な構成は、ここで説明される非線形性に起因してネットワーク内に生じ、ネットワークパラメータを適切に選択することにより、特定のネットワークは、信号の特定のタイプに関する構造を特定すべく設計され得る。前述の可能性は、いくつかの原因に関して重要である。
ある実施例によると、本発明は、各信号成分の周波数,振幅,及び位相を識別可能な非線形オシレータのネットワークに関する。加えて、また一方、本発明は、音声チャネル(channel:伝達経路,媒介)における雑音又は損失が原因で、入力信号中に存在しない、及び/又は、入力信号中で十分分解できない周波数成分を生成することができる。付加的な構成は、ここで説明される非線形性に起因してネットワーク内に生じ、ネットワークパラメータを適切に選択することにより、特定のネットワークは、信号の特定のタイプに関する構造を特定すべく設計され得る。前述の可能性は、いくつかの原因に関して重要である。
ある原因は、人間の聴覚系が非線形系であると共に、入力信号の非線形歪みを発生させることが知られているという事実に関し、W.A.ヨースト著、「聴覚の原理」、サンディエゴ、学術誌、(2000)で議論されたような、調波,分数調波及び差音を含む。聴覚インプラント(人工移植物)(例えば蝸牛インプラント及び聴覚脳幹インプラントなど)は、重度の聴覚障害を負っている個人を補助するために開発されている。このようなインプラントは、J.P.ローシェッカーとR.V.シャノン著、「脳への音伝達」、295サイエンス、1025−29(2002)で議論される。例えば、蝸牛インプラントは、内耳内で損傷部を迂回して聴覚神経を直接刺激し、いくらかの聴覚障害者が言語及びその他の音を聞いて解釈することを可能とする。しかしながら、このようなインプラントを使用する多数の人が、知覚された音質が不自然であると感じる。例えば、一部の人は、人間の声を人工的に聞こえさせるように知覚された音質と表現している。さらに、言語認識率は、正常聴力の個人のそれ以下のままである。
聴覚インプラントによって提供された耳の知覚対象の低下した性質は、人間の聴覚系により常時発生される非線形成分が、従来の蝸牛インプラントの場合には同じ様に作り出されていないからであるかもしれないと考えられている。その結果、入力信号中で十分分解できない又は存在しない非線形成分を発生可能なシステムが、使用者にとってより自然な音の知覚を提供するために蝸牛インプラントの分野において有効であるかもしれず、おそらく結果として、改善された言語認識になる。例えば、ここで説明された非線形ネットワークは、それらが人間の聴覚神経に対する蝸牛インプラントによって伝達される前に、音響信号を修正するために使用され得る。
入力信号中に存在しない、及び/又は入力信号中で十分分解されない周波数成分を発生させる能力は、言語認識分野においても有用であるかもしれない。例えば、騒々しい環境、又は信号が伝送路中で高度の損失を受ける場所においては、人間の声について様々な周波数成分が失われ得る。人間の聴覚系は、固有の非線形性に起因してこれらの失われた周波数成分のいくらかを発生させる能力を本質的に有すると考えられており、言語を理解するための改善された能力を提供する。コンピュータ言語認識システムに対して同様の可能性を提供することによって、とりわけ騒々しい又は損失の多い環境において、改善された動作ができ得ると期待される。
非線形歪みを発生させる能力は、入力信号における周波数成分及び周波数成分のパターンの変化を追跡する能力と相まって、音楽及び言語におけるリズム解析にも有用である。例えば、音楽的な性能において、ミーター(関連する周波数のパターン)が同じままである間に、テンポ(基本ビートの周波数)はしばしば変化する。人間は、不変のリズミカルなパターン(ミーター)の認識を保持している間ずっと、リズミカルな周波数(テンポ)中の変化を追跡でき、この能力は、音楽的なリズムの移調及び言語韻律学の解釈を含む時間パターン認識タスクに関して重要であるべきと考えられる。コンピュータを利用したリズムトラッキングシステムを作り出すことによって、音楽的なリズムの移調を含む、多くの時間パターン処理タスクにおける改善された性能が実現され得ることが期待される。
広く規定すれば、本発明は、動的な方程式
方程式1は、N個のオシレータのネットワークを示す。この明細書の目的に関して、図では、ネットワーク中のオシレータが対数周波数において規則的に間隔が空けられていることを前提とする。ただし、本発明はこの点に限定されず、このシステムの基本性質を変更することなくその他の周波数間隔でも可能である。
方程式1では、znはオシレータnに対応する複素数状態変数であり、τn>0はオシレータ時間的尺度(オシレータ周波数を決定する)であり、an及びbnは複素数パラメータであり、an=αn+iγn及びbn=βn+iδnである。パラメータαnは、αn<0のときにオシレータは安定な固定点を見せ、αn>0のときにオシレータは安定リミットサイクルを見せるような、分岐パラメータである。γn>0は、τn(前述の時間的尺度)と合わせて、f=γn/(2πτn)の関係に従ってオシレータ周波数を特定する。さらに、パラメータβn<0は、振動の定常状態振幅を制御する非線形パラメータ(同等である他のもの)であり、応答振幅の非線形「スカッシング」を引き起こす。最後に、δnは、δn≠0のときに、振動周波数が変化し、その変化がいつでも振動の瞬間振幅に依存するような離調パラメータである。
方程式1における3つの追加項、すなわち
図4に示されるように、システムは、非線形オシレータ4051,4052,4053...405Nのネットワーク402から構成される。入力刺激層401は、一組の刺激接続403を通じてネットワーク402へ入力信号を伝達できる。この点で、入力刺激層401は、一以上の入力チャネル4061,4062,4063...406Cを含み得る。入力チャネルは、従来の周波数解析によって提供されるような、多周波数入力の単一チャネル,多周波数入力の二以上のチャネル,又は単一周波数入力の複数チャネルを含み得る。従来の周波数解析は、線形手法(フーリエ変換,ウェーブレット変換,又は線形フィルタバンクなどの周知技術である方法)又は例えば同じタイプの別のネットワークなどの別の非線形ネットワークを含んでもよい。Cを図4に示す入力チャネルとすれば、時間tでのチャネル406C上の刺激は、xC(t)で表され、刺激接続403の行列は方程式1においてSとして表される。Sは、複素数パラメータの行列であり、以下に明らかなように、それぞれ入力チャネル406Cからオシレータ405nへの接続強度を表現する。とりわけ、行列Sは、これらの刺激接続のうち一以上のものの強度がゼロに等しくなるように選ばれ得る。
再び図4を参照すると、内部ネットワーク接続404は、ネットワーク402内の各オシレータ405nが他のオシレータへどのように接続されるかを決定する。これらの内部接続は、Dによって表示され、Dは複素数パラメータの行列であり、次に説明するように、特定の共振(共鳴)に関して、それぞれ一つのオシレータ405mから別のオシレータ405nへの接続強度を表現する。
結合関数(方程式1中のF及びG)は、入力信号への応答で起こるネットワーク共振を表現する。該当する関数の構成は、非線形動的システムの当業者にとって周知であるが、ここで簡単に要約する。結合関数は、基礎をなすオシレータレベル記述(oscillator-level description)から導かれるあるいは、それらは特定のアプリケーションのために設計され得る。結合関数は、非線形であり得るが、ネットワークによって表示される幾つかの項(各共振の一つ、r、一組の非線形共振における、R)の和としてたいてい書かれる。以下の説明において明確にするために、各共振関数は、括弧でくくられた上付き文字を用いて、共振を表現する周波数比率(例えば1:1,2:1,3:2)で示される。ゆえに、線形共振は1:1で示され、2:1で第2調波での共振、1:2で第2分数調波での共振、などとなる。
最後に、方程式1は、ゼロ平均と分散Qを伴うガウス白色雑音を表す最終項
要約すれば、方程式1は、(2)応答振幅の能動的な非線形スカッシングを用いて、(1)入力信号の時間周波数解析を実行する、非線形ネットワークと、(3)周波数離調とを示し、そこでの(4)振動が能動的(自律)か受動的(減衰)のどちらかであり得る。その上、(5)刺激結合及び内部結合は、複合音の音程及び音楽的なリズムのミーターを含む、時間的な構造に対してネットワークが高感度であり得るような、非線形共振がネットワークによって発生されることを可能とする。ネットワークは、振動の構造化パターンを認識できると共に、入力中で見つけられた部分的なパターンを完全にすることができる。
このネットワークは、多くの重要な点で、例えばラージ他の米国特許第5,751,899号などの従来技術とは異なる。第1に、ネットワーク中のオシレータが離散時間ではない連続時間を定義するため、ネットワークは連続時間信号(最初と次の例で示した)に直接適用され得る。第2に、オシレータは、このネットワークによって行われる動作が線形時間周波数解析の一般化(例えばウェーブレット変換又はスライド窓フーリエ解析)になるように、周波数において密集している。これはラージにおいて説明されたシステムから区別されるべきである。ラージでは、現在のネットワークにおいて発生するであろう非線形共振となるように、ネットワークに属するオシレータの周波数が予め調整される。それゆえに、本発明では、初期の周波数が既知である必要はなく、個々のオシレータは周波数の適合を必要としない。さらに、本発明における非線形オシレータの自然周波数間隔は、少なくとも1オクターブ毎に約12のオシレータあるいはそれ以上あるように、有利に選択される。それゆえ、基音(基本波)の絶対周波数に関係なく、非線形共振が信号に影響するしないに関係なく、非線形オシレータは、特有の周波数で反応することができる周波数に十分近いものが得られるだろう。
最後に、ネットワークにおける振動は、自律である必要はなく、むしろオシレータは受動的モードで動作してもよい。ラージの付加機構により説明されたテンポトラッキングのタイプを導入することは、自律振動(以下の「ビート及びミーターをトラッキングするための非線形ネットワーク」を見よ)を起こさせるために使用される。
例
ここに示された例に関して、内部共振1:1,2:1,1:2,3:1,及び1:3が用いられる。外部入力に関して、線形共振項(1:1)のみが用いられる。これらは、ネットワークの基本挙動を実証するには十分である。結果として生じる方程式は、
ここに示された例に関して、内部共振1:1,2:1,1:2,3:1,及び1:3が用いられる。外部入力に関して、線形共振項(1:1)のみが用いられる。これらは、ネットワークの基本挙動を実証するには十分である。結果として生じる方程式は、
以下は、方程式2により表されたネットワークの挙動を明らかにする2つの例である。各例において、ネットワークオシレータ4051,4052,4053...405Nの周波数は、1オクターブ毎に36のオシレータを用いて、100Hzから1600Hzまでの4オクターブにわたる。パラメータは、τn=1/fn、αn=−0.05、γn=2π、βn=−1、δn=0である。
接続性行列は、
ところで図5Aを参照すると、同図には400Hzの周波数を伴うネットワークに対する純音入力信号が示されている。図5Bは、時間の関数としての結果として生じるオシレータ出力振幅(すなわち位相は表示されていない)を示す。強い応答が400Hzで見ることができ、これは、周知技術としての線形周波数解析(例えばウェーブレット解析など)によって補われるであろう周波数のみである。但し、ここに説明されたネットワークの非線形特性も、800Hz(2:1),1200Hz(3:1),200Hz(1:2)での成分及び133Hz(1:3)での最小応答に表れる。非線形応答の相対的強弱度は、信号振幅が増大するのと同様に増大する。このような調波及び分数調波応答は、人間の聴覚系に観測されている。
ところで図6Aを参照すると、600及び900Hzの周波数を伴う2音複合入力信号が示される。ここに説明される非線形ネットワークの応答が図6Bに示される。主成分(600及び900Hz)と、様々な調波及び分数調波とに加えて、300Hzで強い成分もネットワーク出力中に生成されることが観測できる。300Hz成分は、人間及び幾らかの動物がこの刺激にさらされたときに知覚する音に対応する。それゆえ、この態様において、本発明は、音程の知覚を含む、人間の聴覚系の非線形挙動を刺激するために利用され得る。
ビート及びミーターをトラッキングするための非線形ネットワーク
本発明の第2実施例において、方程式1の非線形ネットワークは、図7に示すように、第ニネットワークと相互に情報をやりとりするよう構成され得る。非線形オシレータ7031,7032,7033,...703Mの第一ネットワーク701の活性(activity:動き)は、フィードフォワード接続706n経由で処理装置7051,7052,7053,...705Mの第二ネットワーク702へフィードフォワードされる。第二ネットワーク702は、各非線形オシレータ703nからの各振動の振幅を算出して、乗法接続の形式で、この振幅をフィードバック接続708n経由でオシレータへフィードバックする。乗法接続は、周波数にすぐ近い(比率1:1の近く)オシレータからの接続のみに影響を与える。このようなローカル接続性制限(local connectivity restriction)を実施する結合カーネル(kernel:中心部)の具体例が以下の例に説明される。このような構成は、明確な音響事象のシーケンスのミーター及び基本ビートを構成する成分の位相及び振幅のトラッキングを可能にする。この実施例では、結果として生じる挙動は、次の動的方程式で正準に表現され得る。
本発明の第2実施例において、方程式1の非線形ネットワークは、図7に示すように、第ニネットワークと相互に情報をやりとりするよう構成され得る。非線形オシレータ7031,7032,7033,...703Mの第一ネットワーク701の活性(activity:動き)は、フィードフォワード接続706n経由で処理装置7051,7052,7053,...705Mの第二ネットワーク702へフィードフォワードされる。第二ネットワーク702は、各非線形オシレータ703nからの各振動の振幅を算出して、乗法接続の形式で、この振幅をフィードバック接続708n経由でオシレータへフィードバックする。乗法接続は、周波数にすぐ近い(比率1:1の近く)オシレータからの接続のみに影響を与える。このようなローカル接続性制限(local connectivity restriction)を実施する結合カーネル(kernel:中心部)の具体例が以下の例に説明される。このような構成は、明確な音響事象のシーケンスのミーター及び基本ビートを構成する成分の位相及び振幅のトラッキングを可能にする。この実施例では、結果として生じる挙動は、次の動的方程式で正準に表現され得る。
基本ネットワークの特性に加えて、上記構成は、次の特性を追加する。1.予測。自律振動は、該振動が入力信号を予測することになるように、受信信号の周波数成分に発生及び混入する。2.パターン生成。ネットワークは、入力中に見つかる部分的なパターンを完全にすることができる。3.パターントラッキング。周波数成分が変化すると、テンポが変化する音楽的なリズムを伴って、自律振動は、パターンをトラッキングするために、ネットワークの長さに従って「スライド(slide:滑る)」することとなる。これら基本特性は、動的にすること,複合に必要な実時間パターン認識,時間的に構築されたシーケンスを組合わせる。現在の書類において、我々は一例としてミーターを利用するこれらの特性を示す。次の例に示すように、このネットワークは、リズミカルなシーケンスのミーター及び基本ビートを特定する能力と、リズムにおけるテンポ変化をトラッキングする能力とを組合わせて、ラージ他の米国特許第5,751,899号に言及される技術状態を意味があるように拡大適用する。
ラージ他の基本限度は、シーケンスの特定のミーター及びテンポについての情報に基づくネットワークの非線形オシレータの周波数を予め特定することが必要である。本発明は、例えば、少なくとも1オクターブ毎に約12の自然周波数間隔を有するオシレータを用いるなど、密接に間隔が空けられた非線形オシレータを用いた時間周波数解析を提供することによりこの問題を解決する。ここの方程式1における基本非線形オシレータネットワークは、初期周波数が既知であることを必要としないような、周波数解析を実行する。十分強い又は十分持続する振動は、第二ネットワークとの相互作用を通じて自律型になる。従って、位相及び周波数は、事前情報が与えられていない入力信号に関するテンポ及びミーターをトラッキングするための実用的な実装である手法で、自律振動によりトラッキングされる。やはり、当業者が、本発明はこの点で限定されないことを容易に理解するであろう。代わりに、方程式3に従う動的システムは、パターン認識,完成及び発生が望まれるどのような場合でも利用され得る。
発明の変形次第で、周波数解析は、音響信号上で実行され得るものであり、多周波数帯域の全域で個別の音響事象の開始を特定することに適用されるオンセット検出変換である。これらの技術は、図1及び2に関して既に説明されたものとしてよく知られている。あるいは、MIDI信号は入力として供給され得ると共に、オンセットがそこから直接抽出され得る。次に、オンセットは、ネットワークに対する入力に適した形式に加工される。例えば、ネットワーク入力は、オンセットの振幅及びタイミングを表現するディジタルデータ又はアナログ信号の形式になり得る。
方程式2により表されたシステムの挙動をさらに十分理解するために、いくつかの例がここで示されるだろう。各場合において、オシレータネットワーク周波数は、1オクターブ毎に18のオシレータを用いて、0.5Hz(周期、□=2ms)から16Hz(周期、□=0.0625ms)までの5オクターブにわたる。パラメータは、τn=1/fn、αn=−1、γn=2π、βn=−1、δn=0である。
接続性行列S及びDは、反応する周波数に近いそれらのオシレータに対する接続性を制限する複素(complex:複合)結合カーネルとなるよう、有利に選択され得る。重要なことに、この例に関して
以下の例のそれぞれにおいて、ここで説明されるネットワークによって提供される結果に従って、入力信号が示される。各場合において、音響信号は、音響信号におけるオンセットの振幅及びタイミングを表現するディジタルデータ又はアナログ信号を生成するために、前述の前処理がなされている。
ところで図9Aを参照すると、入力信号は、2:1の関係を示す音響事象のシーケンスである。刺激は、t=3のすぐ後に終了する。ネットワーク解析の結果は、2:1の関係を具体化するオシレータに関する、2つの局部的な集団が活性化することを示す図9Bに示される。ここで留意すべきは、オシレータは、刺激に対して固定された位相であり、刺激が続く限りその刺激を予測し、当該オシレータは刺激が止まった後も活性状態のままである(これは自律特性である)。
ところで図10Aを参照すると、入力は、3:1の関係(3/4ミーター)を示すと共に、4と5の間のt値で終わる音響事象のシーケンスである。ネットワーク解析の結果は、図10Bに示される。出力から分かり得るように、3:1の関係を示すオシレータに関する2つの局部的な集団は、活性状態である。ここで留意すべきは、オシレータに関する2つの局部的な集団は、刺激が続く限り刺激に対して固定された位相(及びその刺激を予想するもの)であり、当該オシレータは刺激が止まった後も活性状態のままである。
最後に、図11Aを参照すると、入力は、シーケンスの進展時にそのテンポが変化する周期的な音響事象のシーケンスである。再度、図11Bにおけるネットワーク出力を参照すると、オシレータに関する局部的な集団が活性化されることが観察できる。注目に値すべきなのは、刺激のテンポが変化し始める時に、当該活性は、オシレータネットワーク(oscillator net)に従ってゆっくりとスライドして、テンポ変動をトラッキングする。
Claims (34)
- 前記非線形ネットワークにより提供される複数の非線形共振が、Dの各要素が、非線形共振のために一の非線形オシレータから他の非線形オシレータへの接続強度を特定する複素数値パラメータである接続パラメータDの行列を割り当てると共に、これらの非線形共振を発生させるような関数F(z,D)を定義することによって選択的に特定される請求項1記載の方法。
- Dにおける前記接続パラメータが、有理数の比率に近づける個別の周波数を有する前記非線形オシレータ間の複数の連結を定義する請求項2記載の方法。
- Sの各要素が、特定の共振rに関する一の入力チャネルから一の非線形オシレータへの接続強度を表す複素数値パラメータである入力接続パラメータScの行列を選択的に割り当てることによって、前記非線形ネットワークにより提供される多数の非線形共振を特定すると共に、これらの非線形共振を発生させるような関数G(x(t),z,S)を定義するステップをさらに備えた請求項1記載の方法。
- 前記入力信号の基本周波数と、前記入力信号に存在しない少なくとも一つの非線形共振とを前記ネットワークからの前記出力に含ませるステップをさらに備えた請求項1記載の方法。
- 前記入力信号の基本周波数と、前記入力信号に存在するが十分分解できない少なくとも一つの非線形共振とを前記ネットワークからの前記出力に含ませるステップをさらに備えた請求項1記載の方法。
- 前記非線形オシレータのそれぞれから処理装置の第2のネットワークへの出力をフィードフォワードするステップをさらに備えた請求項1記載の方法。
- 前記処理装置において、前記非線形オシレータのそれぞれによって提供される振動の振幅を特定するステップをさらに備えた請求項7記載の方法。
- 前記振幅を示す信号を前記非線形オシレータのうちから選択されたものへフィードバックするステップをさらに備えた請求項8記載の方法。
- 前記数式の項に基づいて、前記ネットワークにおける結合関数F(z,D)の線形部分を|zn|により乗算するステップをさらに備えた請求項1記載の方法。
- 前記ネットワーク中の前記非線形オシレータの少なくとも一つにおける自律振動を前記入力信号から提供するステップをさらに備えた請求項11記載の方法。
- 前記入力信号の周波数成分へ前記自律振動を混入させるステップをさらに備えた請求項12記載の方法。
- 前記自律振動を伴う前記入力信号を予測するステップをさらに備えた請求項13記載の方法。
- 前記入力信号中の周波数成分における変化に対応する非線形オシレータの前記ネットワークについて動的に変化させるものに、前記自律振動を提供することにより、前記入力信号中の音響パターンをトラッキングするステップをさらに備えた請求項11記載の方法。
- 前記入力信号中の識別可能な音響事象のシーケンスにおけるミーター及びビートのうち少なくとも一つを識別する信号を前記出力へ提供するステップをさらに備えた請求項11記載の方法。
- 非線形オシレータの前記ネットワークを用いて、入力信号中に見つけられた部分的なパターンを完全にすると共に、前記出力中の前記完全にされたパターンを識別するステップをさらに備えた請求項11記載の方法。
- 少なくとも12以上が1オクターブ毎に含まれるように間隔を空けられた異なる自然周波数をそれぞれ有する複数の非線形オシレータから構成されたネットワークに対する入力信号を変える時間を伝達し、
前記ネットワークから少なくとも一つの周波数出力を生成するステップを備え、
前記周波数出力は、
(a)入力信号中の周波数
(b)整数の比率による入力信号に関連する周波数
のうち少なくとも一つである、
信号を変える時間を処理するための方法。 - 前記ネットワークの前記非線形オシレータのうち少なくとも第1のものから、ネットワーク中の前記非線形オシレータのうち少なくとも第2のものへ、拡大縮小された出力を伝達するステップをさらに備えた請求項18記載の方法。
- 前記第1のオシレータの前記拡大縮小された出力から、前記非線形オシレータのうち前記第2のものに関する自然周波数に略等しい周波数を得るステップをさらに備えた請求項19記載の方法。
- 前記拡大縮小された出力が、2:1,1:2,3:1,及び1:3からなる群のうちの一つと同等の前記発信元オシレータに関連する周波数比率を有するために伝達される前記第2の非線形オシレータを選択するステップをさらに備えた請求項20記載の方法。
- 前記ネットワーク中の前記非線形オシレータのそれぞれから処理装置の第2のネットワークへフィードフォワードするステップをさらに備えた請求項18記載の方法。
- 前記処理装置のそれぞれにおいて、前記非線形オシレータのうちの関連する一つによって提供される前記振動の振幅を特定するステップをさらに備えた請求項22記載の方法。
- 前記振幅に基づいて、受信する信号を前記非線形オシレータへ乗じる乗法接続の形式で、各処理装置から、関連付けられた非線形オシレータへ前記振幅をフィードバックするステップをさらに備えた請求項23記載の方法。
- 前記出力周波数は、前記入力信号中に存在しないものである請求項18記載の方法。
- 前記出力周波数は、前記入力信号中で十分分解されないものである請求項18記載の方法。
- 前記ネットワーク中の前記非線形オシレータのうち少なくとも一つに自律振動を提供するステップをさらに備えた請求項18記載の方法。
- 前記入力信号から構成される識別可能な音響事象のシーケンスにおけるミーター及びビートのうち少なくとも一つをトラッキングする前記ネットワークから出力を生成するステップをさらに備えた請求項18記載の方法。
- 第1の所定の変換関数を有すると共に、少なくとも12以上が1オクターブ毎に含まれるように間隔を空けられた異なる自然周波数をそれぞれ有する複数の非線形オシレータへ入力信号を伝達する少なくとも一つの入力チャネルと、
それぞれ第2の所定の変換関数を有すると共に、前記ネットワーク中の各非線形オシレータによって発生された非線形共振を、前記ネットワーク中のすくなくとも一つの他の非線形オシレータへ伝達するために前記非線形オシレータ間に定義された複数の結合接続と
を備えた信号を変える時間を処理するための非線形オシレータのネットワーク。 - 前記ネットワークは、入力信号の時間周波数解析を実行するものである請求項29記載のネットワーク。
- 前記ネットワークは、応答振幅の能動的非線形圧縮を実行するものである請求項30記載のネットワーク。
- 前記非線形オシレータは、自律型及び減衰型のうち少なくとも一つである請求項30記載のネットワーク。
- 前記ネットワークは、前記入力信号中のビート,ミーター及び周波数成分のうち少なくとも一つを識別できるものである請求項30記載のネットワーク。
- 前記ネットワークは、前記入力信号中に見つけられた部分的なパターンを完全にするものである請求項33記載のネットワーク。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/873,896 US7376562B2 (en) | 2004-06-22 | 2004-06-22 | Method and apparatus for nonlinear frequency analysis of structured signals |
PCT/US2005/021764 WO2006010002A2 (en) | 2004-06-22 | 2005-06-21 | Method and apparatus for nonlinear frequency analysis of structured signals |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008508542A true JP2008508542A (ja) | 2008-03-21 |
Family
ID=35481745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007518177A Pending JP2008508542A (ja) | 2004-06-22 | 2005-06-21 | 構造化信号の非線形周波数解析方法及び装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7376562B2 (ja) |
EP (1) | EP1774514B1 (ja) |
JP (1) | JP2008508542A (ja) |
WO (1) | WO2006010002A2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4650662B2 (ja) * | 2004-03-23 | 2011-03-16 | ソニー株式会社 | 信号処理装置および信号処理方法、プログラム、並びに記録媒体 |
US7856224B2 (en) * | 2005-03-31 | 2010-12-21 | General Electric Company | Systems and methods for recovering a signal of interest from a complex signal |
US7457756B1 (en) * | 2005-06-09 | 2008-11-25 | The United States Of America As Represented By The Director Of The National Security Agency | Method of generating time-frequency signal representation preserving phase information |
EP2192415A4 (en) | 2007-09-20 | 2013-03-20 | Nat Univ Corp Univ Toyama | SIGNAL ANALYSIS METHOD, SIGNAL ANALYSIS DEVICE, AND SIGNAL ANALYSIS PROGRAM |
US20110051952A1 (en) * | 2008-01-18 | 2011-03-03 | Shinji Ohashi | Sound source identifying and measuring apparatus, system and method |
JP2013518313A (ja) * | 2010-01-29 | 2013-05-20 | サーキュラー ロジック リミテッド ライアビリティ カンパニー | 音声信号の正準非線形解析のための方法及び装置 |
EP2529369B1 (en) * | 2010-01-29 | 2019-12-04 | Circular Logic, LLC | Learning and auditory scene analysis in multi-phase nonlinear oscillator networks |
US11508393B2 (en) | 2018-06-12 | 2022-11-22 | Oscilloscape, LLC | Controller for real-time visual display of music |
CN109033021B (zh) * | 2018-07-20 | 2021-07-20 | 华南理工大学 | 一种基于变参收敛神经网络的线性方程求解器设计方法 |
CN111048111B (zh) * | 2019-12-25 | 2023-07-04 | 广州酷狗计算机科技有限公司 | 检测音频的节奏点的方法、装置、设备及可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004139678A (ja) * | 2002-10-18 | 2004-05-13 | Texas Instr Japan Ltd | イベントのタイミング調整方法および装置 |
JP2004208152A (ja) * | 2002-12-26 | 2004-07-22 | Mitsubishi Electric Corp | 遅延回路 |
WO2004079978A2 (en) * | 2003-02-28 | 2004-09-16 | Rgb Networks, Inc. | Cost-effective multi-channel quadrature amplitude modulation |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US65517A (en) * | 1867-06-04 | sweetl-and | ||
US178012A (en) * | 1876-05-30 | Improvement in flag-staff holders | ||
US5751899A (en) * | 1994-06-08 | 1998-05-12 | Large; Edward W. | Method and apparatus of analysis of signals from non-stationary processes possessing temporal structure such as music, speech, and other event sequences |
US6957204B1 (en) * | 1998-11-13 | 2005-10-18 | Arizona Board Of Regents | Oscillatary neurocomputers with dynamic connectivity |
US6253175B1 (en) | 1998-11-30 | 2001-06-26 | International Business Machines Corporation | Wavelet-based energy binning cepstal features for automatic speech recognition |
US6316712B1 (en) | 1999-01-25 | 2001-11-13 | Creative Technology Ltd. | Method and apparatus for tempo and downbeat detection and alteration of rhythm in a musical segment |
US7069208B2 (en) | 2001-01-24 | 2006-06-27 | Nokia, Corp. | System and method for concealment of data loss in digital audio transmission |
JP4646099B2 (ja) | 2001-09-28 | 2011-03-09 | パイオニア株式会社 | オーディオ情報再生装置及びオーディオ情報再生システム |
-
2004
- 2004-06-22 US US10/873,896 patent/US7376562B2/en active Active
-
2005
- 2005-06-21 WO PCT/US2005/021764 patent/WO2006010002A2/en active Search and Examination
- 2005-06-21 EP EP05761033.9A patent/EP1774514B1/en active Active
- 2005-06-21 JP JP2007518177A patent/JP2008508542A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004139678A (ja) * | 2002-10-18 | 2004-05-13 | Texas Instr Japan Ltd | イベントのタイミング調整方法および装置 |
JP2004208152A (ja) * | 2002-12-26 | 2004-07-22 | Mitsubishi Electric Corp | 遅延回路 |
WO2004079978A2 (en) * | 2003-02-28 | 2004-09-16 | Rgb Networks, Inc. | Cost-effective multi-channel quadrature amplitude modulation |
Also Published As
Publication number | Publication date |
---|---|
WO2006010002A2 (en) | 2006-01-26 |
US20050283360A1 (en) | 2005-12-22 |
EP1774514B1 (en) | 2017-01-25 |
EP1774514A4 (en) | 2007-08-22 |
WO2006010002A3 (en) | 2006-08-10 |
US7376562B2 (en) | 2008-05-20 |
EP1774514A2 (en) | 2007-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008508542A (ja) | 構造化信号の非線形周波数解析方法及び装置 | |
Lyon et al. | Auditory representations of timbre and pitch | |
Shamma et al. | The case of the missing pitch templates: how harmonic templates emerge in the early auditory system | |
Laneau et al. | Improved music perception with explicit pitch coding in cochlear implants | |
KR100875720B1 (ko) | 환경을 음향적으로 개선하기 위한 장치 | |
Zamm et al. | Amplitude envelope correlations measure synchronous cortical oscillations in performing musicians | |
Cariani | Temporal codes, timing nets, and music perception | |
US10636400B2 (en) | Method for producing and streaming music generated from biofeedback | |
CN104688222A (zh) | 基于脑电信号的音色合成装置 | |
Brown et al. | Modelling the perceptual segregation of double vowels with a network of neural oscillators | |
Plack et al. | Overview: The present and future of pitch | |
Alfalahi et al. | Cochlear decomposition: A novel bio-inspired multiscale analysis framework | |
Swanson | Pitch perception with cochlear implants | |
JPH02239292A (ja) | 音声合成装置 | |
Mellinger et al. | Scene analysis | |
JP3863553B2 (ja) | サウンド生成方法、コンピュータ読み取り可能な記憶媒体、スタンドアロン型サウンド生成再生装置及びネットワーク配信型サウンド生成再生システム | |
JP2006346471A (ja) | サウンド生成方法、コンピュータ読み取り可能な記憶媒体、スタンドアロン型サウンド生成再生装置及びネットワーク配信型サウンド生成再生システム | |
Schneider et al. | Perception of harmonic and inharmonic sounds: Results from ear models | |
Dear et al. | Synchronized cortical potentials and wavelet packets: a potential mechanism for perceptual binding and conveying information | |
Marolt | Adaptive oscillator networks for partial tracking and piano music transcription | |
Stables et al. | Fundamental frequency modulation in singing voice synthesis | |
Bader | Pitch and timbre discrimination at wave-to-spike transition in the cochlea | |
Gauer | Audio signal processing methods for the enhancement of music perception in Cochlear implant listeners | |
Yan et al. | Speech recognition based on lateral inhibition network auditory model | |
Zuk et al. | Envelope reconstruction of speech and music highlights unique tracking of speech at low frequencies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110523 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111031 |