CN101421782A - 用来修正音频信号的方法和系统 - Google Patents
用来修正音频信号的方法和系统 Download PDFInfo
- Publication number
- CN101421782A CN101421782A CNA2007800132831A CN200780013283A CN101421782A CN 101421782 A CN101421782 A CN 101421782A CN A2007800132831 A CNA2007800132831 A CN A2007800132831A CN 200780013283 A CN200780013283 A CN 200780013283A CN 101421782 A CN101421782 A CN 101421782A
- Authority
- CN
- China
- Prior art keywords
- signal
- pointer
- input
- input signal
- pitch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000005236 sound signal Effects 0.000 title claims abstract description 33
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 31
- 238000005070 sampling Methods 0.000 claims abstract description 19
- 238000012952 Resampling Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 11
- 239000012634 fragment Substances 0.000 claims abstract description 10
- 238000012546 transfer Methods 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims abstract description 5
- 230000008859 change Effects 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000004088 simulation Methods 0.000 claims description 5
- 238000010612 desalination reaction Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 14
- 238000012937 correction Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 244000287680 Garcinia dulcis Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H3/00—Instruments in which the tones are generated by electromechanical means
- G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
- G10H3/14—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means
- G10H3/18—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means using a string, e.g. electric guitar
- G10H3/186—Means for processing the signal picked up from the strings
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
- G10H7/02—Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories
- G10H7/06—Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories in which amplitudes are read at a fixed rate, the read-out address varying stepwise by a given value, e.g. according to pitch
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/155—Musical effects
- G10H2210/195—Modulation effects, i.e. smooth non-discontinuous variations over a time interval, e.g. within a note, melody or musical transition, of any sound parameter, e.g. amplitude, pitch, spectral response or playback speed
- G10H2210/221—Glissando, i.e. pitch smoothly sliding from one note to another, e.g. gliss, glide, slide, bend, smear or sweep
- G10H2210/225—Portamento, i.e. smooth continuously variable pitch-bend, without emphasis of each chromatic pitch during the pitch change, which only stops at the end of the pitch shift, as obtained, e.g. by a MIDI pitch wheel or trombone
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
- G10H2230/025—Computing or signal processing architecture features
- G10H2230/031—Use of cache memory for electrophonic musical instrument processes, e.g. for improving processing capabilities or solving interfacing problems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
- G10H2250/621—Waveform interpolation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
- G10H2250/631—Waveform resampling, i.e. sample rate conversion or sample depth conversion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本发明涉及用来修正音频信号的方法和系统，包括根据控制信号对音频信号进行音高折曲。音频信号包括限定接收音频信号的点的输入信号和限定信号音高的预期变化的控制信号。所述方法包括以这样的形式在数据文件存储器中数字化和存储输入信号的采样使得每段信号数据被放置在具有定位下一个可用存储位置的输入指针和定位从队列读取的下一个位置的输出指针的队列中。处理输入信号以便找到输入信号的开始点。所述方法通过作为控制信号的函数的重采样执行输入信号的音高移位，导致相应指针以不同速度围绕存储器移动，由此改变信号长度。为了保存信号长度，通过选择将被丢弃和重复的输入信号的片段通过时标来修正输入信号。所述方法的主要特征在于，为输入中的每个采样测量输入指针和输出指针之间的距离并且根据测量的距离转移存储器中的输出指针以便避免在任何位置的指针冲突。可以用来执行所述方法的本发明的系统包括用来产生音频信号的装置例如吉他。它也包括将音频信号的振动变成电输入信号的一个或多个拾音器、用于输入信号的模拟数字转换器、以及用来存储数字化的输入信号的存储器。所述系统也包括具有用于控制信号分析的装置并且具有运行用来处理输入信号的算法的装置的数字信号处理处理器、用于输出信号的数字模拟转换器、和放大输出信号的放大器、以及用于输入信号的开始处理以便找到输入信号的开始点的装置。
Description
技术领域
本发明涉及用来修正音频信号的方法和系统，特别是吉他音调，包括音频信号的音高折曲(pitch-bending)。
背景技术
电信号可以是其中信号由连续变化的量携带的模拟信号和其中信号由有限组的离散值(经常仅两个，用0和1表示)表示的数字信号。
例如，在电仪器中处理音乐时，首先用数字信号替换模拟信号，在它们被再次转换成用来播放出的模拟信号以前以所述数字信号的形式处理它们。由演奏者演奏的音乐首先由麦克风转换成电模拟信号，但是然后通过采样(按时测量在特定点处的声音强度，一秒钟成千上万次)和量化(将每个强度分配给有限数量的强度等级中的一个)将所述电信号转换成零和一的序列。存储在存储器中用于进一步处理的是该零和一的序列。
然后信号和它的谱是随着时间的过去而波动的一系列点的形式并且在所述频率范围(实际上在0Hz和采样频率的一半之间)中。原始声音信号的一些部分自然丢失。计算机仅在一些精确时刻知道所述声音。为了确保它将被准确播放并且没有任何模糊，采样必须非常精确。
对于数字信号有两个非常重要的优势。首先，数字信号可以被精确复制，并且其次，数字信号可以被容易地操纵。因为所述信号仅仅是零和一的序列，并且因为计算机可以对这种序列做可以列举的任何事情，所以可以根据需要通过数字信号处理(DSP)修正所述数字信号。
一旦信号被数字化并且所得到的数据利用合适数据结构被存储到的数据文件中，就可以编辑所述声音。输入信号的采样以这种形式存储在数据文件存储器中使得每段信号数据被如此放置以便形成数据段的队列。
圆形队列是回绕的存储缓冲区，看起来像无限长的缓冲区。这种队列具有输入指针(其定位下一个可用的存储位置)和输出指针(其定位从所述队列读取的下一个位置)。当数据被写入所述队列时，输入指针指示数据将被存储在队列中的哪个地方。然后指针增加到下一个位置。如果指针到达队列的末端，则它被复位到队列的开始。同样地，当从队列读取数据时，输出指针指示读取下一个数据段的位置。在从队列读取所述数据后，输出指针被增加，并且如必要的话回绕到队列的开始。在例如MidiEvent结构中，输入数据被放置和存储在具有512个事件(event)的默认大小的圆形队列中。
为了除去不需要的频率，使用滤波器。滤波器是被广泛使用的术语，其适用于能够保持或变换部分声音的任何设备。例如，低通滤波器被用来抑制不能听见但是干扰采样的高频，而高通滤波器抑制低频。
实际上，数字化允许将空气压力的变化变换成计算机理解的一系列数字。麦克风将压力变化转换成电信号并且采样器将电信号转换成数字。采样是描述将音频从模拟源转换成数字域的过程的准确的词语。采样器是通称并且ADC(模拟数字转换器)经常被电工使用。声卡可以记录点(数字)的速度被叫做采样频率。
电仪器具有拾音器，所述拾音器将共鸣板或弦的振动转换为电信号。所述电信号与压力成比例地被放出。一些材料如某些晶体、陶瓷、和聚合物显示出压电现象。压电(Piezo)在希腊语中表示压力，并且压电材料直接将机械振动转换成电信号。许多拾音器是基于压电效应。最普通的拾音器是磁性和压电的。
在音乐中，音高是用来描述音符(note)有多高或多低的技术术语。它取决于声音的频率(每秒的振动数)，其是以赫兹(Hz)为单位测量的。因此音高是用于音符频率的音乐家的术语并且描述音符听起来多高或多低。
音高折曲是随着时间过去对音高进行的逐步和平滑操作。例如，从一个音符到另一个音符的吉他弹奏者可以选择简单地跳跃到第二音符(其将被认为是音高移位)、或逐渐弯曲(bending)弦使得音高平滑地从第一音符转到第二音符。这就是音高折曲。
并且，音高折曲是连续的控制信号，所述控制信号可以被施加到键盘合成器中通常由在最低键(lowest key)左边的操纵杆获得的合成音符。当操纵杆分别向左或向右移动时，声音的音高变得升高或降低。
当它随着音乐进行时，时间利用声学起基本角色的作用。非常紧密的关系将时间和空间结合在一起，因为声音是随着时间过去传播到空间中的波。
信号的时标修正(TSM)包括产生不同持续时间的新信号但是保存局部的周期性。TSM包括输入信号的分段以及随后及时对这些片段进行重新配置。例如，比例因数2会将声音文件伸长到它原始长度的两倍。
音频信号的时标修正改变音频信号的持续时间同时保持所述信号的局部频率含量，导致这样的总体效果：在不影响原始信号的质量、音高或自然性的情况下加速或减慢记录的音频信号被感觉的重放速度。
一种已知的音高移位(Pitch-Shifting)算法是基于例如在AndyDuncan、Dave Rossum的文章“Fundamentals of Pitch-Shifting”中介绍的重采样方法，所述文章出现在the 85th Convention of theAudio Engineering Society，(1988 Oct.)，preprint 2714。为进行重采样，需要从一组采样找到任意时刻的信号值。换句话说，必须内插采样之间的信号。对于数字音频应用而言，最好的内插法是使用正弦函数的限带内插法(band-limited interpolation)。对于音频输入中的每个采样而言，系统从控制输入接收一个采样。控制信号的值确定与重采样因数具有线性关系的音高移位因数。重采样因数又确定必须内插信号值的时刻。在下一个步骤中，正弦函数在该时刻与它的峰排成直线。然后，采样值乘以正弦函数的对应值并且彼此相加以产生信号值。该值被播放，作为输入采样的音高移位型式。音高移位因数由控制信号确定。因此，重采样因数是控制信号的函数。
因为重采样信号改变信号的长度，所以时标方法可以被用来将信号伸长/缩短回它的原始长度，信号长度以该方式被保存。一个这样的时标方法涉及由Francis Lee在1979年在“Time Compression andExpansion of Speech by the Sampling Method”(JAES Volume 20Number 9 pp.738-742；November 1972)中介绍的环形缓冲区方法，所述环形缓冲区方法基于丢弃和重复信号的一些片段以分别压缩或展开信号的长度。因为信号的幅度和频率改变(作为时间的函数)，常规的环形缓冲区方法导致可听见的噪声(artifact)。
在Francis Lee的方法中，输入和输出指针分别动作。缓冲区的输入指针负责写入缓冲区并且输出指针根据时标因数以不同的速度从缓冲区读取。指针环绕固定长度的缓冲区移动的不同速度使它们在缓冲区中的一些位置处发生冲突。缓冲区中的输入和输出指针的冲突导致输出信号中的不连续性，所述不连续性被听到为可听见的噪声。
本发明的目的
本发明的目的是研制用来避免所述冲突问题的方法和系统。
发明内容
本发明的用来修正音频信号的方法包括根据控制信号对音频信号进行音高折曲。音频信号包括限定接收音频信号的点的输入信号和限定信号音高的预期变化的控制信号。所述方法包括以这样的形式在数据文件存储器中数字化和存储输入信号的采样使得每段信号数据被放置在具有定位下一个可用存储位置的输入指针和定位从队列读取的下一个位置的输出指针的队列中。处理输入信号以便找到输入信号的开始点。所述方法通过作为控制信号的函数的重采样执行输入信号的音高移位，导致相应指针以不同速度围绕存储器移动，由此改变信号长度。为了保存信号长度，通过选择将被丢弃和重复的输入信号的片段通过时标来修正输入信号。所述方法的主要特征在于，为输入中的每个采样测量输入指针和输出指针之间的距离并且根据测量的距离转移存储器中的输出指针以便避免在任何位置的指针冲突。
可以执行所述方法的本发明的系统包括用来产生音频信号的装置，例如吉他。它也包括将音频信号的振动变成电输入信号的拾音器、用于输入信号的模拟数字转换器、以及用来存储数字化的输入信号的存储器。所述系统还包括数字信号处理处理器，该数字信号处理处理器具有用于控制信号分析的装置并且具有运行用来处理输入信号的算法的装置的、用于输出信号的数字模拟转换器、和放大输出信号的放大器、以及用于输入信号的开始处理以便找到输入信号的开始点的装置。
本发明的优选实施例具有从属权利要求的特征。
优选地，如果距离短于给出的预定量，则转移输出指针是在存储器中将输出指针向后转移到信号开始重放的点，并且如果距离长于所述预定量，则输出指针在存储器中在输入指针的后面向前转移到信号开始重放的点。
本发明的方法首先旨在用于吉他音调。因此，在本发明中使用的音高移位算法基于改变信号长度的重采样。在本发明中，在使系统保持低的等待时间时信号长度的变化可以被补偿。
在本发明中使用的音高折曲算法中，信号的一些片段被重复或丢弃以便改变信号的长度。在研制的新方法中，标准化滤波相关时标修正(NFC-TSM)被用来寻找信号片段彼此接合的最佳点。NFC-TSM利用相关技术寻找标准化低通滤波信号中的最佳接合点(splice point)。
使用开始处理以便具有低等待时间的系统并且在检测到开始时执行时间同步。这补偿了大于3毫秒的时间漂移。如果指针之间的测量距离比预定量长，则在检测到开始时通过将输出指针在存储器中在输入指针的后面向前转移到信号开始重放的点来执行时间同步。优选地，如果所述预定距离是空弦周期长度的两倍以上则执行时间同步。
此外，吉他音调的增益和音色处理被用作音高折曲因数的函数。当在电吉他中通过手动操作杆改变音高时，信号的音色和增益变化。当通过虚拟音高折曲器改变音高时，增益和音色处理模拟这些变化。
本发明是能够根据具有3毫秒的等待时间的控制信号执行音调(特别是电吉他音调)的音高折曲的实时系统，已经设计了基于重采样的时域音高移位算法。本发明的新方法保存输入信号的长度，并且以新的方式使用环形缓冲区技术[例如在Fairbanks，G.，W.L.Everitt，和R.P.Jaeger的文章“Method for Time or FrequencyCompression-Expansion of Speech.”(Transactions of theInstitute of Radio Engineers，Professional Group on Audio AU-2(1954)：7-12.Reprinted in G.Fairbanks，Experimental Phonetics：Selected Articles，University of Illinois Press，1966)和FrancisF.Lee的文章Time Compression and Expansion of Speech by theSampling Method(JAES Volume 20 Number 9 pp.738-742；November1972)中介绍的]与交迭和加法算法[例如在Udo 
的文章DigitalAudio Effects(ISBN：0-471-49078-4，Hardcover 554 pages，February 2002)中介绍的]。
通过重复和丢弃信号的一些部分来保存信号长度。为了跟随信号中的所有变化，开始检测器被用来寻找信号中的开始并且在它出现后以例如3毫秒的等待时间跳到新事件。
当在传统的电吉他中利用手动操作杆使信号的音高向下移位时，弦振动的程度减弱并且音色变为稍微低沉的声音，即较高的频率被衰减了。可以利用被音高移位因数控制的自动增益控制器(AGC)和均衡器(EQ)来模拟这些现象。将由测量获得用于自动增益控制器和均衡器的参数。因此数字信号处理处理器优选进一步包括用于作为音高折曲因数的函数的音高折曲信号的音色处理以便模拟由于音高移位引起的信号变化的均衡器、拾音器滤波器和自动增益控制器(AGC)。
此外，分析从附着于系统的拉伸传感器(stretch-sensor)获得的控制信号。未处理的信号有噪声，并且以大约3毫秒的时间间隔被处理。因此，平均技术连同曲线拟合法一起被用来使信号平滑。
在本发明中，传统的手动操作杆被传感器替换并且通过DSP算法执行音高折曲。
然而，能够对不同手动操纵杆的谐振行为进行模拟。在迅速释放操纵杆之后手动操纵杆易于轻微振动，即，在从偏移位置迅速释放操纵杆后操纵杆并不完全移到它的静止位置而是轻微地谐振。这在吉他信号中引起了可听见的效果。相比之下，产生控制信号的机电操纵杆是非常固定的并且不像一些手动操纵杆那样谐振。操纵杆谐振模型利用数字滤波器模拟手动操纵杆的该谐振行为。将在本发明中使用的合适的数字滤波器是谐振器，所述谐振器的参数根据实际的手动操纵杆被调整以控制输出信号的衰减时间。换句话说，所述滤波器的中心频率和衰减时间与目标响应匹配。这样，手动操纵杆的谐振质量-弹簧系统被数字滤波器模拟并且它对输出信号的影响被适当模拟。在信号链中，滤波器模拟手动操纵杆的谐振行为被放置为输出前的最后一个块。就图2来说，它被放置在AGC块的后面(图2在具体实施方式部分被描述)。
下面，通过参考附图借助于有利实施例的实例来说明本发明。详细描述仅仅是说明性目的并且本发明并不打算将本发明限制于下列介绍的细节。下列实例例如涉及吉他，但是本发明的思想同样可以以用于例如其他电音乐仪器的其它连接(connection)实施。
附图说明
图1示出用来产生电操纵音乐的普通的现有技术系统。
图2描述整个发明系统的方块图。
图3a-3b更详细地介绍本发明的音高移位算法的思想。
具体实施方式
图1利用电吉他示出用来产生电操纵音乐的普通的现有技术系统。
在图1中，电吉他1具有六个压电拾音器8。拾音器将吉他弦的振动变成电信号。拾音器中的材料(例如压电材料)直接将机械振动变换成电信号。所述系统也包括用于输入信号的多通道模拟数字转换器(ADC)2、用于输出信号的单通道数字模拟转换器(DAC)3、运行用来处理输入信号的相关算法的DSP处理器4、用来存储数字化输入信号的外部存储器5、放大输出信号的放大器6和扬声器7。
吉他上的每个弦连接到压电拾音器。有六个产生将被处理的信号的压电拾音器。这些信号通过6个通道传导到模拟数字转换器(ADC)的输入。控制信号由安装在吉他上的相关手动控制设备例如操纵杆产生并且也将被传导到模拟数字转换器。演奏者利用操纵杆表达音乐应当怎样演奏。在DSP处理器中，算法操纵信号以便形成被产生并且被传送到数字模拟转换器(DAC)的预期输出信号。对于适当运行的算法而言，DSP处理器需要用来存储从音频输入信号采样的中间数据的外部存储器。在转换成模拟格式之后，输出信号被放大并且通过扬声器播放。
输入信号的采样被数字化并且以这样的形式的数据文件被存储在存储器5中，即：每段信号数据被放置在具有定位下一个可用存储位置的输入指针和定位从队列读取的下一个位置的输出指针的队列中。通过时标修正输入信号，导致相应指针以不同的速度围绕存储器移动。
在图1的DSP处理器部分上实施本发明。
图2描述本发明的整个DSP处理器系统的方块图。数字化音频信号包括限定接收音频信号的点的输入信号和限定信号音高的预期变化的控制信号。因此，图2介绍怎样处理音频信号的输入信号9和控制信号10。
数字信号处理(DSP)处理器(在图1中由参考数字4表示)包括用于控制信号分析的装置11、用于开始(onset)处理的装置12、运行音高移位算法的装置13、用于音高折曲信号的音色处理的均衡器14、拾音器滤波器15、和用来产生输出信号17的自动增益控制器(AGC)16。然后输出信号在放大器6(在图1中出现)中被放大并且通过扬声器7(在图1中出现)播放。
根据吉他的操纵杆的位置由附着于图1的系统的传感器产生控制信号。接收的控制信号有噪声。由于控制信号中的周期性噪声，在察觉的音高中一些颤动能够被听见。因此，从传感器电路获得的接收的控制信号应当被处理以具有平滑的波形。为了该目的可以使用数字信号处理方法。
接收的控制信号是具有大约31个采样的周期(1423Hz)的脉冲序列。查看该控制信号，可以认识到，信号的负部分比正部分包含更多的信息。因此，第一步骤是隔离信号的负部分。
如上所述，控制信号有噪声。除去噪声的一个方法是求平均。在不考虑零值的情况下在脉冲序列的每个周期中计算信号的平均值。如果我们考察更长的时间间隔中的周期(比如说100个周期)的平均值，我们会注意到在这些周期范围内的平均值也不稳定地变化。原因在于在每个周期中存在一些点，所述点的值与信号的实际值具有大的差别。在下一阶段中，再次计算信号的平均值，忽略其与前面的平均值的差异大于阈值的那些值。根据实验确定所述阈值。然后，在每个周期中用计算的平均值替换采样值。
即使对单个周期范围内的控制信号求平均也没有使信号平滑到预期程度。下一步骤是利用曲线拟合技术使信号平滑。存在不同种类的曲线拟合技术。因为控制信号具有非常低的频率，所以线性曲线拟合技术适合于我们的应用。首先，计算被计算的平均点的导数。该导数信号被用来确定应当被考虑用于拟合分隔线(line between)的点的数目。最后，应用曲线拟合技术。
图2中的开始处理块12负责寻找输入信号中的开始。换句话说，应当能够检测声音的幅度、音高或音色的任何显著的变化，因为信号中与它们的出现同时发生的所有变化必须被听见。
在本发明中输入信号的采样以这样的形式存储在数据文件存储器中，即：每段信号数据被放置成使得数据段的队列被形成得具有输入指针(其定位下一个可用的存储位置)和输出指针(其定位从所述队列读取的下一个位置)。当数据被写入所述队列时，输入指针指示队列中将要存储数据的地方。同样地，当从所述队列读取数据时，输出指针指示读取下一段数据的位置。
正如可以从音高移位算法推导的，由于时间修正技术(时标)，输出指针到缓冲区的位置根据音高移位因数而变化。为此，输出和输入指针之间的距离不是恒定的并且很有可能的是，当开始出现时，输出指针与输入指针具有3毫秒以上的距离。这样，我们不能听见具有小于3毫秒的等待时间的新弹拨(pluck)。为避免该问题，如果开始出现，则输出指针应当向前跳跃到正好在输入指针的后面等于或小于3毫秒的距离，以便当开始出现时我们能够听见它。
开始检测器12包括高通滤波器，因为吉他音调中的大部分开始包含高频成分。然后，利用积分器计算高通滤波信号的能量。以特定的时间间隔比较所述高通滤波信号的能量。所述高通滤波信号的能量的任何相当大的变化都被标记为开始(onset)。然而，信号幅度的突然变化也引起开始的感觉。因此，在没有高通滤波的情况下对信号本身也进行能量计算和比较。
因为该应用应当为低等待时间，所以需要高分辨率开始检测器。即，应当能够在3毫秒内检测到开始。为此，对能量计算和比较而言需要非常短的间隔。使用短长度的间隔进行比较是不可能的，因为信号的能量周期性变化。为解决该问题，比较能量的包络(音符的特性)的值，而不是以特定的时间间隔比较信号的能量。为所述高通滤波信号和输入信号进行该操作。
运行音高移位算法的装置13执行重采样和时标(以保存信号长度)。由控制信号确定音高移位因数。因此，重采样因数是控制信号的函数。
本发明的时标技术是基于分别丢弃和重复信号的一些片段以压缩或扩展信号的长度。
缓冲区的输入指针负责写入缓冲区并且输出指针根据时标因数以不同的速度从缓冲区读取。指针围绕固定长度的缓冲区移动的不同速度通常会使它们在缓冲区中的一些位置发生冲突，结果是听到的输出信号不连续。然而，在本发明中避免了该问题。
以这样的方式操纵缓冲器的输出指针，即：它绝不会与输入指针冲突并且也总是与输入指针齐步以跟随幅度和频率的变化。因此，对于输入中的每个采样，测量输入和输出指针之间的距离。如果所述距离短于特定量则输出指针在缓冲区中向后跳跃并且从该点开始播放信号。另一方面，如果所述距离大于给定量则输出指针向前跳跃，在输入指针的后面。应当注意，跳跃长度不能很长，因为我们目的在于以短的等待时间来跟随信号变化。图3示出输入和输出指针在所述的两种不同情形下怎样运转；当音高在图3a中升高并且在图3b中下降时。
在图3a中，输出指针(利用信息段队列下面的箭头18示出)移动得比输入指针(利用信息段队列上面的箭头19示出)慢。因此，输出指针必须向前跳跃以与输入指针齐步，这在图3a中用参考数字20表示。
在图3b中，输出指针(利用信息段队列下面的箭头18示出)移动得比输入指针(利用信息段队列上面的箭头19示出)快。因此，输出指针必须向后跳跃以与输入指针齐步，这在图3b中用参考数字20表示。
然而，当跳跃到新的点时，不准打破信号的周期性。因此，必须使用相关技术来寻找正确的点。在本发明中使用的相关函数是AMDF(平均幅度差函数，Average Magnitude Difference Function)，所述AMDF已经显示了比例如也可以使用的互相关技术更好的结果。在开始利用AMDF寻找最佳接合点前，信号通过低通滤波器并且然后被标准化。低通滤波使信号变得更平滑。这样，更容易找到最佳接合点。通过标准化低通滤波的信号，在寻找最佳点的过程中信号水平的影响将被消除，因为这时优先保存信号基频的周期性。最佳接合点是在整个搜寻区域中AMDF具有最小值的地方。如果找到了最合适的点，输出指针可以从该点开始播放信号。为避免幅度不连续，使用交叉淡化(cross-fading function)函数来接合先前的声音片段与新的片段。
均衡器14用于音高折曲信号的音色处理。DSP处理器也包括拾音器滤波器15、和用来产生输出信号的自动增益控制器(AGC)。当通过电吉他中的手动操纵杆改变音高时，信号的音色和增益改变。当通过虚拟音高折曲器改变音高时，增益和音色处理模拟这些变化。
Claims (21)
1.用来修正音频信号的方法，包括根据控制信号对音频信号进行音高折曲，所述音频信号包括限定接收音频信号的点的输入信号和限定信号音高的预期变化的控制信号，所述方法包括以下步骤：
a)以这样的形式在数据文件存储器中数字化和存储输入信号的采样，即：每段信号数据被放置在队列中，该队列具有定位下一个可用存储位置的输入指针和定位从该队列读取的下一个位置的输出指针，
b)处理输入信号以便找到输入信号的开始点，
c)通过作为控制信号的函数的重采样对输入信号进行音高移位，导致相应指针以不同速度围绕存储器移动，由此改变信号长度，
d)为了保存信号长度，通过选择将被丢弃和重复的输入信号的片段通过时标来修正输入信号，
其特征在于，为输入中的每个采样测量输入指针和输出指针之间的距离，并且根据测量的距离转移存储器中的输出指针以便避免在任何位置的指针冲突。
2.如权利要求1所述的方法，其特征在于如果所述距离短于给出的预定量则在存储器中将输出指针向后转移到信号开始重放的点，并且如果所述距离长于所述预定量则在存储器中在输入指针的后面将输出指针向前转移到信号开始重放的点。
3.如权利要求2所述的方法，其特征在于使用相关函数来在所有情况下找到指针转移到的最佳接合点。
4.如权利要求3所述的方法，其特征在于使用的相关函数是平均幅度差函数(AMDF)。
5.如权利要求4所述的方法，其特征在于在搜寻区域中的AMDF的最小值被选择作为最佳接合点。
6.如权利要求5所述的方法，其特征在于使用交叉淡化函数来接合先前的声音片段与新的片段。
7.如权利要求1-6中的任一项所述的方法，其特征在于在检测到开始时执行时间同步。
8.如权利要求7所述的方法，其特征在于如果指针之间的测量的距离长于预定量则通过将输出指针在存储器中在输入指针的后面向前转移到信号开始重放的点来执行开始处的时间同步。
9.如权利要求8所述的方法，其特征在于如果所述预定距离是空弦周期长度的两倍以上则执行所述时间同步。
10.如权利要求7-9中的任一项所述的方法，其特征在于为输入信号及其高通滤波的信号执行开始检测。
11.如权利要求10所述的方法，其特征在于比较信号的计算的能量的包络值以便检测开始。
12.如权利要求1-11中的任一项所述的方法，其特征在于作为音高折曲因数的函数的对信号进行的增益和音色处理以便模拟由于音高移位引起的信号变化。
13.如权利要求1-12中的任一项所述的方法，其特征在于将被修正的音频信号是吉他音调。
14.如权利要求1-13中的任一项所述的方法，其特征在于通过调整参数利用数字滤波器激发手动操纵杆的谐振行为使得滤波器的中心频率和衰减时间与目标响应匹配。
15.用来修正音频信号的系统，包括
用来产生包含限定接收音频信号的点的输入信号和限定信号音高的预期变化的控制信号的音频信号的装置，
将音频信号的振动变成电输入信号的一个或多个拾音器，
用于输入信号的模拟数字转换器，
用来存储数字化的输入信号的存储器，该存储器具有这样的形式的数据文件，即：每段信号数据被放置在队列中，该队列具有定位下一个可用存储位置的输入指针和定位从该队列读取的下一个位置的输出指针，
具有下列装置的数字信号处理处理器：
用于控制信号分析的装置，
运行用来处理输入信号的算法的装置，用于输出信号的数字模拟转换器，以及放大输出信号的放大器，所述算法通过作为控制信号的函数的重采样来执行输入信号的音高移位并且选择将被丢弃和重复的输入信号的片段以便保存信号长度，其由于重采样而变化，
用于输入信号的开始处理以便找到输入信号的开始点的装置，
其特征在于所述算法为输入中的每个采样测量输入指针和输出指针之间的距离，并且根据测量的距离转移存储器中的输出指针以便避免在任何位置的指针冲突。
16.如权利要求15所述的系统，其特征在于所述算法使用相关函数来在所有情况下找到指针转移到的最佳接合点。
17.如权利要求16所述的系统，其特征在于运行算法的装置利用平均幅度差函数(AMDF)作为相关函数。
18.如权利要求15所述的系统，其特征在于数字信号处理处理器进一步包括用于作为音高折曲因数的函数的音高折曲信号的音色处理以便模拟由于音高移位引起的信号变化的均衡器。
19.如权利要求15所述的系统，其特征在于数字信号处理处理器进一步包括拾音器滤波器。
20.如权利要求15所述的系统，其特征在于数字信号处理处理器进一步包括自动增益控制器(AGC)。
21.如权利要求15所述的系统，其特征在于用来产生音频信号的装置是吉他。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FI20060133 | 2006-02-13 | ||
| FI20060133A FI20060133A0 (fi) | 2006-02-13 | 2006-02-13 | Menetelmä ja järjestelmä äänisignaalien modifioimiseksi |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101421782A true CN101421782A (zh) | 2009-04-29 |
Family
ID=35953599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2007800132831A Pending CN101421782A (zh) | 2006-02-13 | 2007-02-01 | 用来修正音频信号的方法和系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20070191976A1 (zh) |
| CN (1) | CN101421782A (zh) |
| FI (1) | FI20060133A0 (zh) |
| WO (1) | WO2007093664A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105744443A (zh) * | 2016-05-05 | 2016-07-06 | 广州博创乐器有限公司 | 用于弦乐器的数字音频处理系统 |
| CN107871490A (zh) * | 2016-09-27 | 2018-04-03 | 卡西欧计算机株式会社 | 效果赋予装置、效果赋予方法、记录介质以及电子乐器 |
| CN108022574A (zh) * | 2016-10-31 | 2018-05-11 | 音乐集团公司 | 音频脚踏板 |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7279631B2 (en) * | 2002-07-16 | 2007-10-09 | Line 6, Inc. | Stringed instrument with embedded DSP modeling for modeling acoustic stringed instruments |
| ATE443318T1 (de) * | 2005-07-14 | 2009-10-15 | Koninkl Philips Electronics Nv | Audiosignalsynthese |
| JP2007304515A (ja) * | 2006-05-15 | 2007-11-22 | Sony Corp | オーディオ信号伸張圧縮方法及び装置 |
| US9318086B1 (en) * | 2012-09-07 | 2016-04-19 | Jerry A. Miller | Musical instrument and vocal effects |
| US9626947B1 (en) * | 2015-10-21 | 2017-04-18 | Kesumo, Llc | Fret scanners and pickups for stringed instruments |
| US10373608B2 (en) | 2015-10-22 | 2019-08-06 | Texas Instruments Incorporated | Time-based frequency tuning of analog-to-information feature extraction |
| US10074373B2 (en) * | 2015-12-21 | 2018-09-11 | Qualcomm Incorporated | Channel adjustment for inter-frame temporal shift variations |
| JP6922614B2 (ja) * | 2017-09-27 | 2021-08-18 | カシオ計算機株式会社 | 電子楽器、楽音発生方法、及びプログラム |
| CN111247583B (zh) * | 2017-11-01 | 2023-08-15 | 雷蛇(亚太)私人有限公司 | 用于对音频信号进行重新采样的方法和设备 |
| IL276134B1 (en) * | 2020-07-19 | 2024-10-01 | Elchanan Sharabi | Music processor |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4464784A (en) * | 1981-04-30 | 1984-08-07 | Eventide Clockworks, Inc. | Pitch changer with glitch minimizer |
| US4700391A (en) * | 1983-06-03 | 1987-10-13 | The Variable Speech Control Company ("Vsc") | Method and apparatus for pitch controlled voice signal processing |
| US4974486A (en) * | 1988-09-19 | 1990-12-04 | Wallace Stephen M | Electric stringless toy guitar |
| US5644677A (en) * | 1993-09-13 | 1997-07-01 | Motorola, Inc. | Signal processing system for performing real-time pitch shifting and method therefor |
| US5619004A (en) * | 1995-06-07 | 1997-04-08 | Virtual Dsp Corporation | Method and device for determining the primary pitch of a music signal |
| JPH0962294A (ja) * | 1995-08-25 | 1997-03-07 | Rohm Co Ltd | ピッチシフト回路およびそれを備えた音声信号処理装置 |
| US5781636A (en) * | 1996-04-22 | 1998-07-14 | United Microelectronics Corporation | Method and apparatus for generating sounds with tremolo and vibrato sound effects |
| JPH1084284A (ja) * | 1996-09-06 | 1998-03-31 | Sony Corp | 信号再生方法および装置 |
| US6049766A (en) * | 1996-11-07 | 2000-04-11 | Creative Technology Ltd. | Time-domain time/pitch scaling of speech or audio signals with transient handling |
| US6888057B2 (en) * | 1999-04-26 | 2005-05-03 | Gibson Guitar Corp. | Digital guitar processing circuit |
-
2006
- 2006-02-13 FI FI20060133A patent/FI20060133A0/fi not_active Application Discontinuation
- 2006-03-15 US US11/376,374 patent/US20070191976A1/en not_active Abandoned
-
2007
- 2007-02-01 WO PCT/FI2007/000026 patent/WO2007093664A1/en active Application Filing
- 2007-02-01 CN CNA2007800132831A patent/CN101421782A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105744443A (zh) * | 2016-05-05 | 2016-07-06 | 广州博创乐器有限公司 | 用于弦乐器的数字音频处理系统 |
| CN105744443B (zh) * | 2016-05-05 | 2019-07-09 | 广州博创乐器有限公司 | 用于弦乐器的数字音频处理系统 |
| CN107871490A (zh) * | 2016-09-27 | 2018-04-03 | 卡西欧计算机株式会社 | 效果赋予装置、效果赋予方法、记录介质以及电子乐器 |
| CN107871490B (zh) * | 2016-09-27 | 2021-08-10 | 卡西欧计算机株式会社 | 效果赋予装置、效果赋予方法、记录介质以及电子乐器 |
| CN108022574A (zh) * | 2016-10-31 | 2018-05-11 | 音乐集团公司 | 音频脚踏板 |
| CN108022574B (zh) * | 2016-10-31 | 2023-01-06 | 音乐部落创新丹麦有限公司 | 音频脚踏板 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20070191976A1 (en) | 2007-08-16 |
| WO2007093664A1 (en) | 2007-08-23 |
| FI20060133A0 (fi) | 2006-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101421782A (zh) | 用来修正音频信号的方法和系统 | |
| US8143509B1 (en) | System and method for guitar signal processing | |
| JP3908221B2 (ja) | 楽譜追跡方法およびその装置 | |
| US8716586B2 (en) | Process and device for synthesis of an audio signal according to the playing of an instrumentalist that is carried out on a vibrating body | |
| JP4916947B2 (ja) | リズム検出装置及びリズム検出用コンピュータ・プログラム | |
| WO2007010637A1 (ja) | テンポ検出装置、コード名検出装置及びプログラム | |
| WO2014113788A1 (en) | Synthesizer with bi-directional transmission | |
| CN102194451B (zh) | 信号处理装置和弦乐器 | |
| CN108573690B (zh) | 电子乐器、发音控制方法以及记录介质 | |
| WO2007010638A1 (ja) | 自動採譜装置及びプログラム | |
| Gabrielli et al. | A digital waveguide-based approach for Clavinet modeling and synthesis | |
| JP4274272B2 (ja) | アルペジオ演奏装置 | |
| WO2020158891A1 (ja) | 音信号合成方法およびニューラルネットワークの訓練方法 | |
| CN106847249B (zh) | 一种发音处理方法及系统 | |
| JP5228218B2 (ja) | 鍵盤楽器 | |
| JP3925349B2 (ja) | 音声データと演奏データの同期再生を行うための装置および方法 | |
| KR101712334B1 (ko) | 화음 음정 정확도 평가 방법 및 장치 | |
| JP2012118234A (ja) | 信号処理装置，及びプログラム | |
| JP2687698B2 (ja) | 電子楽器の楽音制御装置 | |
| AU2020104383A4 (en) | Projection filter based universal framework to match the musical notes of synthesizer and indian classical instruments | |
| US11501745B1 (en) | Musical instrument pickup signal processing system | |
| WO2024034118A1 (ja) | 音声信号処理装置、音声信号処理方法およびプログラム | |
| JPH05276592A (ja) | 記録再生装置 | |
| Škrabánek | Detekce základního tónu signálu strunných nástrojů a její interpretace pomocí syntezátoru v technologii Virtual Studio Technology | |
| JP6102131B2 (ja) | 楽音制御装置、楽音制御方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |