CN104185870B - 声学信号处理装置和声学信号处理方法 - Google Patents

声学信号处理装置和声学信号处理方法 Download PDF

Info

Publication number
CN104185870B
CN104185870B CN201380013601.XA CN201380013601A CN104185870B CN 104185870 B CN104185870 B CN 104185870B CN 201380013601 A CN201380013601 A CN 201380013601A CN 104185870 B CN104185870 B CN 104185870B
Authority
CN
China
Prior art keywords
amplitude
spectrum signal
signal
amplitude spectrum
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380013601.XA
Other languages
English (en)
Other versions
CN104185870A (zh
Inventor
桥本武志
渡边哲生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN104185870A publication Critical patent/CN104185870A/zh
Application granted granted Critical
Publication of CN104185870B publication Critical patent/CN104185870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04—Time compression or expansion
    • G10L21/057—Time compression or expansion for improving intelligibility
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/281—Reverberation or echo
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025—Detection of transients or attacks for time/frequency resolution switching
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/007—Electronic adaptation of audio signals to reverberation of the listening space for PA

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

提供一种用于调节起音、余音和噪声成分并且使输出音适合收听者的偏好的声学信号处理装置。该声学信号处理装置包括：FFT部，用于通过将输入音频信号从时域变换成频域来计算频谱信号，并且生成第一振幅谱信号和相位谱信号；起音成分控制器(10)，用于通过控制第一振幅谱信号的起音成分来生成第二振幅谱信号；余音成分控制器(20)，用于通过控制第一振幅谱信号的余音成分来生成第三振幅谱信号；第一相加部(40)，用于通过将第一振幅谱信号、第二振幅谱信号和第三振幅谱信号进行合成来生成第四振幅谱信号；以及IFFT部，用于基于第四振幅谱信号和FFT部所生成的相位谱信号来生成从频域变换成时域的音频信号。

Description

声学信号处理装置和声学信号处理方法
技术领域
本发明涉及声学信号处理装置和声学信号处理方法，并且更具体地，涉及能够进行所输入的音频信号中的起音(attack sound)或余音(reverberation)的增强/降低处理以及噪声降低处理等的声学信号处理装置和声学信号处理方法。
背景技术
如今，经常使用数据压缩后的数字音频信号来生成音乐。作为数据压缩后的数字音频信号其中之一，众所周知有MP3(MPEG音频层-3)。MP3是用于使用数字技术来处理声学数据的压缩方法其中之一。如今，MP3广泛用在携带型音乐播放器等中。
诸如MP3等的一般的数字音频信号的问题在于以下：在直接对解压缩后的数字音频信号进行模拟转换以供输出的情况下，起音(起音成分)劣化而使音质受损。为了应对该问题，提出了放大起音的信号输出的数字信号处理装置(例如，参考专利文献1)。
所提出的数字信号处理装置将经由带分割滤波器所提取的预定频带的信号电平与预定阈值电平进行比较，并且将电平等于或高于阈值电平的数字信号检测作为起音。然后，数字信号处理装置放大所检测到的起音，并将放大后的起音与带分割之前的数字信号合成，由此增强起音。
如上所述，可以根据信号电平来放大并增强预定频带中所包括的起音，以使得在例如放大低频起音的情况下，可以增强诸如鼓声等的强力音的动感。在放大高频起音的情况下，可以使诸如钹声等的声音的透明感更强。
如上所述，通过根据信号电平放大并增强起音可能会使输出声音整体变尖锐。因而，所提出的装置可以在起音可能明显劣化的诸如MP3等的压缩后的音频信号的质量方面带来高的改善效果。
现有技术文献
专利文献
专利文献1：日本特开2007-36710
发明内容
发明要解决的问题
在上述的声学信号处理装置中，基于预定阈值来检测声源中所包括的起音。然而，声源还收录各种振幅电平，由此仅基于阈值难以充分检测到起音。
在包括乐器声和语音这两者的声源中，通过将乐器声和语音合成来表示声源的振幅，由此基于阈值难以将乐器声的起音的信号电平与语音的信号电平区分开。因此，不仅乐器声的起音被不利地放大，而且语音信号也被不利地放大。
此外，乐器声包括波形的上升时的起音和在该起音之后持续的余音(余音成分)。然而，上述的数字信号处理装置仅控制起音，但没有特别控制余音。因此，尽管可以通过放大起音来获得尖锐的输出声音，但存在与余音相比仅尖锐感被过度增强的可能性。
此外，与均匀地放大预定频带的使用例如均衡器的传统放大方法相比，上述的数字信号处理装置可以在S/N比(信噪比)没有降低的情况下增强输出声音。然而，在声源的收录环境中始终存在噪声的情况下、特别是在起音的提取带中包括稳态噪声的情况下，可以增强包括噪声的起音以供合成，这可能导致S/N比大幅降低。
此外，在收听音乐时，音乐对于收听者而言是好是坏在很大程度上依赖于收听者的偏好。因而，一些收听者喜欢尖锐声音，而另一些收听者则认为尖锐声音烦人。一些收听者喜欢包括大量余音成分的声音，而另一些收听者则不喜欢这种声音。一些收听者喜欢包括声源本身中所包含的稳态信号成分(共鸣)或声源的收录环境中所包含的稳态噪声成分作为具有现场感的声音，而另一些收听者则喜欢清晰声音。也就是说，仅通过使用上述的数字信号处理装置放大起音以产生尖锐声音，不容易满足收听者的各种偏好(要求)。
本发明是考虑到上述问题而作出的，并且其目的是提供一种声学信号处理装置和声学信号处理方法，其中该声学信号处理装置和声学信号处理方法能够通过调节诸如乐器声等的声源中所包括的起音、在该起音之后持续的余音、以及收录环境中的稳态噪声成分或声源中所包括的稳态信号成分，来产生满足收听者偏好的输出声音。
用于解决问题的方案
根据本发明的一种声学信号处理装置，包括：快速傅立叶变换部即FFT部，用于进行以下操作：在时间每次偏移傅立叶变换长度和重叠长度之间的差分时间的情况下对输入音频信号进行短时间傅立叶变换，以计算在时间上彼此相差了所述差分时间的多个振幅谱；针对各频率来计算所计算出的各振幅谱的时间变化，以将所述输入音频信号从时域变换成频域并且计算频谱信号；以及基于所计算出的频谱信号来生成第一振幅谱信号和相位谱信号；起音成分控制器，用于控制所述FFT部所生成的所述第一振幅谱信号的起音成分，以生成第二振幅谱信号；余音成分控制器，用于控制所述FFT部所生成的所述第一振幅谱信号的余音成分，以生成第三振幅谱信号；第一相加部，用于将所述FFT部所生成的所述第一振幅谱信号、所述起音成分控制器所生成的所述第二振幅谱信号和所述余音成分控制器所生成的所述第三振幅谱信号进行合成，以生成第四振幅谱信号；以及逆快速傅立叶变换部即IFFT部，用于基于所述第一相加部所生成的所述第四振幅谱信号和所述FFT部所生成的所述相位谱信号来计算频谱信号，并且对所计算出的频谱信号进行短时间逆傅立叶变换处理和重叠相加，以生成从频域变换成时域的音频信号，其中，所述起音成分控制器包括：第一高通滤波器部即第一HPF部，用于针对各谱，基于预设的第一截止频率来对所述FFT部所生成的所述第一振幅谱信号进行高通滤波处理；第一限幅器部，用于对所述第一HPF部进行了高通滤波处理的振幅谱信号的负侧振幅进行限制以将该负侧振幅设置为0，从而针对各谱来检测该振幅谱信号的起音成分；以及第一增益部，用于基于预设的第一加权量来对所述第一限幅器部所检测到的振幅谱信号的起音成分进行加权处理，以及所述余音成分控制器包括：第二高通滤波器部即第二HPF部，用于针对各谱，基于预设的第二截止频率来对所述FFT部所生成的所述第一振幅谱信号进行高通滤波处理；振幅反转部，用于将所述第二HPF部进行了高通滤波处理的振幅谱信号乘以-1，以进行振幅反转；第二限幅器部，用于对所述振幅反转部进行了振幅反转的振幅谱信号的负侧振幅进行限制以将该负侧振幅设置为0，从而针对各谱来检测该振幅谱信号的余音成分；以及第二增益部，用于基于预设的第二加权量来对所述第二限幅器部所检测到的振幅谱信号的余音成分进行加权处理。
根据本发明的一种声学信号处理装置的声学信号处理方法，其中在所述声学信号处理装置中，对输入音频信号进行起音成分控制和余音成分控制，所述声学信号处理装置包括：快速傅立叶变换部即FFT部，用于将所述输入音频信号从时域变换成频域以计算频谱信号，并且生成第一振幅谱信号和相位谱信号；起音成分控制器，用于控制所述FFT部所生成的所述第一振幅谱信号的起音成分，以生成第二振幅谱信号；余音成分控制器，用于控制所述FFT部所生成的所述第一振幅谱信号的余音成分，以生成第三振幅谱信号；第一相加部，用于将所述FFT部所生成的所述第一振幅谱信号、所述起音成分控制器所生成的所述第二振幅谱信号和所述余音成分控制器所生成的所述第三振幅谱信号进行合成，以生成第四振幅谱信号；以及逆快速傅立叶变换部即IFFT部，用于基于所述第一相加部所生成的所述第四振幅谱信号和所述FFT部所生成的所述相位谱信号，来生成从频域变换成时域的音频信号，所述起音成分控制器包括：第一高通滤波器部即第一HPF部、第一限幅器部和第一增益部，所述余音成分控制器包括：第二高通滤波器部即第二HPF部、振幅反转部、第二限幅器部和第二增益部，其中，所述声学信号处理方法包括以下步骤：利用所述FFT部来进行以下操作：在时间每次偏移傅立叶变换长度和重叠长度之间的差分时间的情况下对所述输入音频信号进行短时间傅立叶变换，以计算在时间上彼此相差了所述差分时间的多个振幅谱；针对各频率来计算所计算出的各振幅谱的时间变化以计算频谱信号；以及基于所计算出的频谱信号来生成所述第一振幅谱信号和所述相位谱信号；在所述起音成分控制器中，进行以下操作：利用所述第一HPF部，针对各谱、基于预设的第一截止频率来对所述FFT部所生成的所述第一振幅谱信号进行高通滤波处理；利用所述第一限幅器部，对所述第一HPF部进行了高通滤波处理的振幅谱信号的负侧振幅进行限制以将该负侧振幅设置为0，从而针对各谱来检测该振幅谱信号的起音成分；以及利用所述第一增益部，基于预设的第一加权量来对所述第一限幅器部所检测到的振幅谱信号的起音成分进行加权处理，以及在所述余音成分控制器中，进行以下操作：利用所述第二HPF部，针对各谱、基于预设的第二截止频率来对所述FFT部所生成的所述第一振幅谱信号进行高通滤波处理；利用所述振幅反转部，将所述第二HPF部进行了高通滤波处理的振幅谱信号乘以-1，以进行振幅反转；利用所述第二限幅器部，对所述振幅反转部进行了振幅反转的振幅谱信号的负侧振幅进行限制以将该负侧振幅设置为0，从而针对各谱来检测该振幅谱信号的余音成分；以及利用所述第二增益部，基于预设的第二加权量来对所述第二限幅器部所检测到的振幅谱信号的余音成分进行加权处理；利用所述第一相加部，将所述第一振幅谱信号、所述第一增益部对起音成分进行了加权处理的所述第二振幅谱信号、以及所述第二增益部对余音成分进行了加权处理的所述第三振幅谱信号进行合成，以生成第四振幅谱信号；以及利用所述IFFT部，基于所述第四振幅谱信号和所述FFT部所生成的所述相位谱信号来计算频谱信号，并且对所计算出的频谱信号进行短时间逆傅立叶变换和重叠相加，以生成从频域变换成时域的音频信号。
在根据本发明的声学信号处理装置和声学信号处理方法中，通过调整起音成分控制器的第一增益部的第一加权量，可以增强/降低音频信号的起音成分(起音)。此外，通过调整第一HPF部的第一截止频率，可以改变起音成分的控制时间(增强时间、降低时间)。因而，通过根据信号电平放大起音成分以增强该起音成分，可以使输出音整体变尖锐。此外，通过控制诸如MP3等的常见数字音频信号中的可能劣化的起音成分，可以提高数字音频信号的音质。
此外，在根据本发明的声学信号处理装置和声学信号处理方法中，通过调整余音成分控制器的第二增益部的第二加权量，可以增强/降低音频信号的余音成分(余音)。此外，通过调整第二HPF部的第二截止频率，可以改变余音的控制时间(增强时间、降低时间)。因而，可以根据收听者的偏好来增强或降低余音。
此外，基于频域的各振幅谱的变化量来进行上述的利用起音成分控制器的起音成分控制处理和利用余音成分控制器的余音成分控制处理。这样解决了在使用阈值来识别起音的传统方法中所产生的问题、即防止了检测状态受到声源的振幅电平的大幅影响。
此外，可以针对各振幅谱来个别设置起音成分控制器和余音成分控制器中的截止频率(第一截止频率和第二截止频率)或加权量(第一加权量和第二加权量)。因而，如下结构也是可能的：将频带分割成多个带，并且针对多个带各自进行设置。
例如，将所输入的音频信号的频率区域分割成低频区域、中频区域和高频区域。在这种情况下，通过在低频区域中增强起音成分并且降低余音，可以再现鼓等的击打力和应答性的声音。此外，在中频区域中，增强余音成分以增强语音的共鸣。此外，在高频区域中，增强起音成分以使钹声等的透明感更强。
上述的声学信号处理装置还可以包括噪声控制器，所述噪声控制器用于对所述第一相加部所生成的所述第四振幅谱信号进行噪声控制，以生成第五振幅谱信号，其中，所述IFFT部基于所述噪声控制器所生成的所述第五振幅谱信号和所述FFT部所生成的所述相位谱信号，来生成从频域变换成时域的音频信号，以及所述噪声控制器包括：第三高通滤波器部即第三HPF部，用于针对各谱，基于预设的第三截止频率来对所述第一相加部所生成的所述第四振幅谱信号进行高通滤波处理；第三限幅器部，用于对所述第三HPF部进行了高通滤波处理的振幅谱信号的负侧振幅进行限制，以将该负侧振幅设置为0；第三增益部，用于基于预设的作为0以上且1以下的值的第三加权量，来对所述第三限幅器部对负侧振幅进行了限制的振幅谱信号进行加权处理；第四增益部，用于基于通过从值1中减去所述第三加权量的值所获得的加权量，来对所述第一相加部所生成的所述第四振幅谱信号进行加权处理；以及第二相加部，用于将所述第三增益部进行了加权处理的振幅谱信号和所述第四增益部进行了加权处理的振幅谱信号进行合成，以生成所述第五振幅谱信号。
在所述声学信号处理方法中，所述声学信号处理装置还可以包括：噪声控制器，用于对所述第一相加部所生成的所述第四振幅谱信号进行噪声控制，以生成第五振幅谱信号，所述噪声控制器包括：第三高通滤波器部即第三HPF部、第三限幅器部、第三增益部、第四增益部和第二相加部，其中，所述声学信号处理方法还可以包括以下步骤：利用所述IFFT部，基于所述噪声控制器所生成的所述第五振幅谱信号和所述FFT部所生成的所述相位谱信号来生成从频域变换成时域的音频信号；以及在所述噪声控制器中，进行以下操作：利用所述第三HPF部，针对各谱、基于预设的第三截止频率来对所述第一相加部所生成的所述第四振幅谱信号进行高通滤波处理；利用所述第三限幅器部，对所述第三HPF部进行了高通滤波处理的振幅谱信号的负侧振幅进行限制，以将该负侧振幅设置为0；利用所述第三增益部，基于预设的作为0以上且1以下的值的第三加权量来对所述第三限幅器部对负侧振幅进行了限制的振幅谱信号进行加权处理；利用所述第四增益部，基于通过从值1中减去所述第三加权量的值所获得的加权量来对所述第一相加部所生成的所述第四振幅谱信号进行加权处理；以及利用所述第二相加部，将所述第三增益部进行了加权处理的振幅谱信号和所述第四增益部进行了加权处理的振幅谱信号进行合成，以生成所述第五振幅谱信号。
此外，在根据本发明的声学信号处理装置和声学信号处理方法中，通过调整噪声控制器的第三增益部和第四增益部的加权量，可以调整噪声降低量。此外，通过调整第三HPF部的第三截止频率，可以抑制噪声的DC成分。因而，可以调整声源的收录环境或声源本身中所包括的稳态噪声。
此外，上述的噪声降低处理由噪声控制器基于频域的各振幅谱的变化量来进行。这样解决了使用阈值来识别起音的传统方法中所产生的问题、即防止了检测状态受到声源的振幅电平的大幅影响。
在再现包括声源本身中所包含的稳态信号成分和/或声源的收录环境中所包含的稳态噪声成分的音频信号的情况下，噪声等可能作为具有现场感的声音被感知为“收听者处于收录环境”；然而，乐器声或语音的清晰度趋于下降。在这种情况下，通过使用根据本发明的声学信号处理装置和声学信号处理方法，可以在噪声控制器中进行噪声控制以调整噪声的降低量，由此使得能够在一定程度上维持现场感的同时，将乐器声或语音的声学成分输出作为清晰声音。
发明的效果
在根据本发明的声学信号处理装置和声学信号处理方法中，可以调节诸如乐器声等的声源中所包括的起音成分(起音)、在该起音成分之后持续的余音成分(余音)、以及收录环境中的稳态噪声成分或声源中所包括的稳态信号成分，由此满足收听者的各种偏好。
附图说明
图1是示出根据实施例的声学信号处理装置的示意结构的框图。
图2是示出根据实施例的向着FFT部所输入的音频信号、以及在对该音频信号进行短时间傅立叶变换处理的情况下的傅立叶变换长度N和重叠长度M的图。
图3是示出根据实施例的FFT部中的针对各时间偏移的振幅谱的图。
图4是示出根据实施例的FFT部中的振幅谱的时间变化的图。
图5是示出根据实施例的频谱域滤波部的示意结构的框图。
图6是用于说明针对各频率执行根据实施例的声学信号处理装置的处理的状态的图。
图7(a)是示出第一增益部和第二增益部中所设置的加权量和与该加权量相对应的增强/降低量之间的关系的图；并且(b)是示出第一HPF部和第二HPF部中所设置的截止频率的值和根据所设置的截止频率而改变的起音或余音的控制时间之间的关系的图。
图8(a)是示出噪声控制器的第三增益部中的加权量和噪声降低量之间的关系的图；并且(b)是示出声学信号处理中所使用的所输入的音频信号的状态的示例的图。
图9(a)是示出在仅使起音控制器的第一HPF部和第一限幅器部进行工作的情况下所获得的输出信号的图；并且(b)是示出如下信号的图，其中该信号是通过将通过使第一HPF部和第一限幅器部进行工作以将第一增益部的加权值设置为1所获得的音频信号与输入至频谱域滤波部的音频信号合成所获得的。
图10(a)是示出如下信号的图，其中该信号是通过将通过使起音控制器的第一HPF部和第一限幅器部进行工作以将第一增益部的加权值设置为-1所获得的音频信号与输入至频谱域滤波部的音频信号合成所获得的；并且(b)是示出在图9(b)所示的信号的设置条件中、在将第一HPF部的截止频率从2.5Hz改变为1.25Hz的情况下所合成的信号的图。
图11(a)是示出在仅使余音控制器的第二HPF部、振幅反转部和第二限幅器部进行工作的情况下所获得的输出信号的图；并且(b)是示出如下信号的图，其中该信号是通过将图9(b)所示的信号、使第二HPF部、振幅反转部和第二限幅器部进行工作以将第二增益部的加权值设置为-1所获得的音频信号、以及输入至频谱域滤波部的音频信号合成所获得的。
图12是示出如下信号的图，其中该信号是通过将在起音控制器中降低了起音的图10(a)所示的信号、使余音控制器的第二HPF部、振幅反转部和第二限幅器部进行工作以将第二增益部的加权值设置为1所获得的音频信号、以及输入至频谱域滤波部的音频信号合成所获得的。
图13(a)是示出通过将1.2kHz的稳态正弦波作为噪声添加至所输入的音频信号所获得的输入信号的图；并且(b)是示出通过在噪声控制器中对图13(a)所示的信号应用噪声控制处理所获得的信号的图。
具体实施方式
以下通过采用根据本发明的声学信号处理装置作为示例来进行详细说明。图1是示出声学信号处理装置的示意结构的框图。如图1所示，声学信号处理装置1包括FFT(快速傅立叶变换)部2、频谱域滤波部3和IFFT(逆快速傅立叶变换)部4。将未示出的音频信号再现装置所再现的音频信号输入至声学信号处理装置1的FFT部2，并且将声学信号处理装置1中经过了声学处理的信号从IFFT部4输出，然后从未示出的扬声器输出。
FFT部
FFT部2通过重叠处理并使用窗函数来对所输入的音频信号进行加权，并且进行短时间傅立叶变换以将该所输入信号从时域信号变换成频域信号，由此计算实部和虚部的频谱。此外，FFT部2将所计算出的频谱变换成振幅谱信号(第一振幅谱信号)和相位谱信号。FFT部2将振幅谱信号(第一振幅谱信号)输出至频谱域滤波部3并将相位谱信号输出至IFFT部4。
图2是示出所输入的音频信号、以及在对该音频信号应用短时间傅立叶变换的情况下的傅立叶变换长度N和重叠长度M的图。如图2所示，FFT部2在时间每次偏移了傅立叶变换长度N和重叠长度M之间的差分时间的情况下进行短时间傅立叶变换。更具体地，如图2所示，计算与通过使时间偏移了傅立叶变换长度N和重叠长度M之间的差分时间所获得的时间(时间t1、时间t2、时间t3、时间t4、时间t5、…)相对应的tn(n＝1,2,…,n)个频谱。
图3是示出针对各时间偏移的振幅谱的图。更具体地，图3示出时间t1的振幅谱、时间t2的振幅谱和时间t3的振幅谱，其中在各振幅谱中，示出各频率(f1,f2,f3,f4,f5,f6,f7,f8,…,fn-1,fn)的振幅。在将诸如音乐等的非稳态信号作为音频信号输入至FFT部2的情况下，如图3所示，振幅谱针对各时间偏移而改变。在傅立叶变换长度为N的情况下，频谱的总数为N。
图4是示出振幅谱的时间变化的图。更具体地，图4示出频率f1的振幅谱的时间变化、频率f2的振幅谱的时间变化和频率f3的振幅谱的时间变化，其中在各时间变化中，示出各时间(t1,t2,t3,t4,t5,…,tk)的振幅。时间偏移的间隔与频谱的采样频率相对应。
频谱域滤波部
图5是示出频谱域滤波部3的示意结构的框图。如图5所示，频谱域滤波部3包括起音控制器(起音成分控制器)10、余音控制器(余音成分控制器)20、噪声控制器30、第一相加部40和第四限幅器部41。
将从FFT部2输出至频谱域滤波部3的振幅谱信号(第一振幅谱信号)的一部分输入至起音控制器10和余音控制器20。将起音控制器10和余音控制器20中经过了处理的各振幅谱信号(第二振幅谱信号和第三振幅谱信号)分别输出至第一相加部40。将从FFT部2输出至频谱域滤波部3的振幅谱信号(第一振幅谱信号)的其余部分直接输入至第一相加部40。
频谱域滤波部3针对各振幅谱来对从FFT部2所输入的音频信号(第一振幅谱信号)应用滤波处理、振幅限制处理和振幅加权处理。如图1所示，没有对所输入的音频信号的相位谱进行任何处理。
起音控制器
起音控制器10包括第一HPF(高通滤波器)部11、第一限幅器部12和第一增益部13。
第一HPF部11针对各谱来对所输入的振幅谱信号(第一振幅谱信号)应用高通滤波处理即微分处理。第一限幅器部12对经过了高通滤波处理的振幅谱信号的负侧振幅进行限制，以将该负侧振幅设置为0。将负侧振幅设置为0使得能够检测到各谱的信号的上升成分、即起音成分(起音)。
第一HPF部11中要设置的截止频率(第一截止频率)的值越大，起音的控制时间越短；而截止频率值越小，则控制时间越长。可以如图1所示将截止频率设置为参数。
第一增益部13对第一限幅器部12所检测到的振幅谱信号的起音成分应用加权(相乘)。将由第一增益部13进行了加权的信号(第二振幅谱信号)输出至第一相加部40。在该相加部40中，将起音控制器10中对起音成分进行了声学处理的振幅谱信号(第二振幅谱信号)与原始振幅谱信号(没有在起音控制器10和余音控制器20中经过声学处理的振幅谱信号：第一振幅谱信号)进行合成。在作为合成结果、加权量(第一加权量)是正值的情况下，增强原始振幅谱信号(第一振幅谱信号)的起音，而在加权量是负值的情况下，降低其起音。
加权量的正值或负值越大，起音的增强或降低程度变得越高。可以如图1所示将加权量(第一加权量)设置为参数。在本实施例中，如后面所述，设置-1以上且1以下的值。
余音控制器
余音控制器20包括第二HPF部21、振幅反转部22、第二限幅器部23和第二增益部24。
第二HPF部21针对各谱来对所输入的振幅谱信号(第一振幅谱信号)应用高通滤波处理、即微分处理。振幅反转部22将第二HPF部21中经过了高通滤波处理的振幅谱信号乘以-1以进行振幅的反转。
第二限幅器部23对振幅已被反转的振幅谱信号的负侧振幅进行限制以将该负侧振幅设置为0。将负侧振幅设置为0使得能够检测到各谱的信号的下降成分、即余音成分。
第二HPF部21中要设置的截止频率(第二截止频率)的值越大，余音的控制时间越短；而截止频率值越小，则控制时间越长。可以如图1所示将截止频率设置为参数。
第二增益部24对第二限幅器部23所检测到的振幅谱信号的余音成分应用加权(相乘)。将由第二增益部24进行了加权的信号(第三振幅谱信号)输出至第一相加部40。在该相加部40中，将余音控制器20中对余音成分进行了声学处理的振幅谱信号(第三振幅谱信号)与原始振幅谱信号(没有在起音控制器10和余音控制器20中经过声学处理的振幅谱信号：第一振幅谱信号)进行合成。在作为合成结果、加权量(第二加权量)是正值的情况下，增强原始振幅谱信号(第一振幅谱信号)的余音，而在加权量是负值的情况下，降低原始振幅谱信号的余音。
加权量的正值或负值越大，余音的增强或降低程度变得越高。可以如图1所示将加权量(第二加权量)设置为参数。在本实施例中，如后面所述，设置-1以上且1以下的值。
第一相加部
第一相加部40具有将以下三个振幅谱信号进行合成的作用：起音控制器10中对起音进行了声学处理的振幅谱信号(第二振幅谱信号)、余音控制器20中对余音进行了声学处理的振幅谱信号(第三振幅谱信号)、以及从FFT部2所输入的原始振幅谱信号(第一振幅谱信号)。与原始振幅谱信号(第一振幅谱信号)相比，第一相加部40中所合成的信号(第四振幅谱信号)在起音和余音方面增强或降低，并且被输出至噪声控制器30。
噪声控制器
噪声控制器30具有提高S/N比的作用。噪声控制器30包括第三HPF部31、第三限幅器部32、第三增益部33、第四增益部34和第二相加部35。将第一相加部40中所合成得到的振幅谱信号(第四振幅谱信号)输出至第三HPF部31和第四增益部34。
第三HPF部31针对各谱来对第一相加部40中所合成得到的(所生成的)振幅谱信号(第四振幅谱信号)应用高通滤波处理、即微分处理。第三限幅器部32对经过了高通滤波处理的振幅谱信号的负侧振幅进行限制以将该负侧振幅设置为0。
第三HPF部31和第三限幅器部32的上述操作使得能够在同一频率的振幅谱中将诸如CW(恒波)等的以稳态存在的信号成分判断为噪声，并且可以通过微分处理来抑制稳态成分即DC(直流)成分。通常，高通滤波器的截止频率(第三截止频率)越低，DC附近的信号成分被抑制得越多，由此可以抑制较为平稳的信号。
如后面所述，在第三HPF部31中，将比第一HPF部11和第二HPF部21中所设置的截止频率(第一截止频率和第二截止频率)低的频率设置为截止频率(第三截止频率)。可以如图1所示将该截止频率设置为参数。
第三增益部33中对稳态成分已被抑制的信号进行加权，然后输出至第二相加部35。另一方面，与要输入至第三HPF部31的振幅谱信号分开，向第四增益部34输入第一相加部40中所合成得到的(所生成的)振幅谱信号(第四振幅谱信号)。第四增益部34对所输入的振幅谱信号应用加权，然后将由此得到的信号输出至第二相加部35。
第二相加部35将第三增益部33中经过了加权的振幅谱信号和第四增益部34中经过了加权的振幅谱信号进行合成。第二相加部35中所合成得到的信号在第三增益部33和第四增益部34中经过了加权，因此变为噪声降低量已被调整的信号(第五振幅谱信号)。
可以如图1所示将第三增益部33的加权量(第三加权量)和第四增益部34的加权量设置为参数。在本实施例中，将0以上且1以下的值设置为第三增益部33的加权量(第三加权量)，并且将通过从值1中减去第三增益部33的加权量(第三加权量)所获得的值设置为第四增益部34的加权量。
为了大幅提高S/N比，例如，将第三增益部33的加权量设置为1，并且将第四增益部34的加权量设置为0(1-1＝0)。为了略微提高S/N比，例如，将第三增益部33的加权量设置为0.5，并且将第四增益部34的加权量设置为0.5(1-0.5＝0.5)。
第四限幅器部
第四限幅器部41具有进行调整以使得第二相加部35中经过了合成处理的信号(第五振幅谱信号)的振幅没有变为负值的作用。更详细地，第四限幅器部41进行调整，以使得利用起音控制器10、余音控制器20和噪声控制器30分别进行了起音、余音和噪声降低量的调整的信号的振幅没有变为负值。第四限幅器部41对该信号的负侧振幅进行限制以将该负侧振幅设置为0。
针对各振幅谱进行上述的起音控制器10、余音控制器20、第一相加部40、噪声控制器30和第四限幅器部41的声学处理。因此，如图6所示，针对各频率(f1,f2,…,fn)，利用起音控制器10、余音控制器20、第一相加部40、噪声控制器30和第四限幅器部41分别在起音、余音、噪声降低量和振幅方面对频谱信号进行调整，并且针对各频率(f1',f2',…,fn')输出由此得到的信号。在傅立叶变换长度N为1024的情况下，频率的数量fn为1024，这意味着处理了1024个频谱信号。
将第四限幅器部41中进行了振幅调整的频谱信号输出至IFFT部4。
IFFT部
IFFT部4基于频谱域滤波部3中进行了滤波处理的振幅谱信号和从FFT部2所输出的相位谱信号，来将所获取到的信号变换成实部和虚部的频谱。在将所获取到的信号变换成频谱之后，IFFT部4使用窗函数来对频谱信号应用加权，然后进行短时间逆傅立叶变换和重叠相加，以将由此得到的信号从频域信号变换成时域信号。利用未示出的扬声器来输出如此从频域变换成时域的音频信号。通过扬声器将利用声学信号处理装置1进行了声学处理的音频信号作为如下信号输出，其中在该信号中，诸如乐器声等的声源中所包括的起音和在该起音之后持续的余音受到控制并且S/N比进一步提高。
设置值的调整
图7(a)是示出起音控制器10的第一增益部13和余音控制器20的第二增益部24中所设置的加权量(第一加权量和第二加权量)的值和与该加权量相对应的增强/降低量之间的关系的图。如图7(a)所示，第一增益部13和第二增益部24中所设置的加权量是-1～1内的任意值。如图7(a)所示，在加权量为正(加权量的设置值大于0)的情况下，与该加权量的值的增加量成比例地，在第一增益部13中进行起音的增强，并且在第二增益部24中进行余音的增强。另一方面，如图7(a)所示，在加权量为负(加权量的设置值小于0)的情况下，与该加权量的值的减少量成比例地，在第一增益部13中进行起音的降低，并且在第二增益部24中进行余音的降低。
图7(b)是示出起音控制器10的第一HPF部11和余音控制器20的第二HPF部21中所设置的截止频率(滤波器截止频率：第一截止频率)的值与根据所设置的截止频率值而改变的起音或余音的控制时间之间的关系的图。
如图7(b)所示，截止频率的值越大，起音的控制时间和余音的控制时间越短；而截止频率值越小，则该控制时间越长。也就是说，截止频率值越大，起音/余音增强/降低的时间越短；而截止频率值越小，起音/余音增强/降低的时间越长。注意，截止频率的倒数与控制时间大致相对应。在本实施例中，将截止频率的范围设置为0.5Hz～10Hz(控制时间：2秒～0.1秒)。
图8(a)是示出噪声控制器30的第三增益部33中的加权量(第三加权量)和噪声降低量之间的关系的图。如上所述，噪声控制器30的第三HPF部31抑制稳态成分、即DC成分，由此将非常小的值(例如，0.031Hz(控制时间：32秒))设置为截止频率(滤波器截止频率：第三截止频率)。
噪声控制器30中所降低的噪声的噪声降低量根据第三增益部33中所设置的加权量的值而改变。第三增益部33中要设置的加权量的值为0以上且1以下，并且随着加权量的值从0改变为1，噪声降低量增加。将第四增益部34中的加权量的值设置为通过从值1中减去第三增益部33中所设置的加权量(0以上且1以下的值)所获得的值。
如上所述，通过调整第一增益部13和第二增益部24中所设置的加权量(第一加权量、第二加权量)的值，可以增强或降低起音和余音。此外，通过调整第一HPF部11和第二HPF部21中所设置的截止频率(第一截止频率、第二截止频率)的值，可以进行起音和余音的控制时间的长度调整。此外，通过调整第三增益部33和第四增益部34中所设置的加权量(第三加权量等)的值，可以进行噪声降低量的调整。如上所述，对加权量和截止频率进行适当调整使得能够调节诸如乐器声等的声源中所包括的起音、在该起音之后持续的余音、以及收录环境中的稳态噪声成分或声源中所包括的稳态信号成分，由此能够将音频信号调整成适合收听者的偏好。
声学信号处理示例
以下说明在频谱域滤波部3中调节输入至声学信号处理装置1的如图8(b)所示的音频信号的诸如加权量和截止频率等的参数的情况下所获得的输出信号的示例。
假定所输入的音频信号的采样频率为44.1kHz。此外，如图8(b)所示，所输入的音频信号包括起音和余音，并且其频率成分为1kHz。
FFT部2的傅立叶变换长度N是4096个样本，其重叠长度M是作为傅立叶变换长度N的15/16倍的3840个样本，窗函数是Blackman(布莱克曼)窗函数，并且振幅谱的采样频率是172Hz(44100/(4096-3840)≈172)。
此外，第一HPF部11、第二HPF部21和第三HPF部31各自是线性Butterworth(巴特沃斯)高通滤波器，并且截止频率分别为2.5Hz、1.25Hz和0.031Hz。此外，作为加权量，在第一增益部13、第二增益部24、第三增益部33和第四增益部34各自中单独设置-1、0和1其中之一。
图9(a)是示出在频谱域滤波部3中仅使起音控制器10的第一HPF部11和第一限幅器部12进行工作的情况下所获得的输出信号的图。第一HPF部11的截止频率为2.5Hz。
在仅使起音控制器10的第一HPF部11和第一限幅器部12进行工作的情况下，如图9(a)所示检测到所输入的音频信号的上升成分、即起音(起音成分)。
此外，在图9(b)中，利用实线示出如下信号，其中该信号是通过将通过使起音控制器10的第一HPF部11和第一限幅器部12进行工作以将第一增益部13的加权值设置为1而增强了起音的音频信号与输入至频谱域滤波部3的音频信号(图8(b)所示的信号)进行合成所获得的。图9(b)中虚线所示的信号表示图8(b)所示的所输入的音频信号的状态。如图9(b)的实线所示，与图8(b)所示的音频信号相比，合成信号在起音(起音成分)方面增强。
此外，在图10(a)中，利用实线示出如下信号，其中该信号是通过将通过使起音控制器10的第一HPF部11和第一限幅器部12进行工作以将第一增益部13的加权值设置为-1而降低了起音的音频信号与输入至频谱域滤波部3的音频信号(图8(b)所示的信号)进行合成所获得的。图10(a)中虚线所示的信号表示图8(b)所示的所输入的音频信号的状态。如图10(a)的实线所示，与图8(b)所示的音频信号相比，合成信号在起音(起音成分)方面降低。
此外，在图10(b)中，利用实线来表示在图9(b)所定义的条件中、在将第一HPF部11的截止频率从2.5Hz改变为1.25Hz的情况下所合成得到的信号。图10(b)中虚线所示的信号表示图8(b)所示的所输入的音频信号的状态。通过将截止频率从2.5Hz改变为1.25Hz，控制时间变长(参见图7(b))，由此与图8(b)所示的音频信号相比，合成信号不仅在起音方面增强，而且在起音时间方面也增大。
图11(a)示出在频谱域滤波部3中仅使余音控制器20的第二HPF部21、振幅反转部22和第二限幅器部23进行工作的情况下所获得的输出信号。第二HPF部21的截止频率为2.5Hz。
在使余音控制器20的第二HPF部21、振幅反转部22和第二限幅器部23进行工作的情况下，如图11(a)所示，检测到所输入的音频信号的下降成分、即余音(余音成分)。
此外，在图11(b)中，利用实线示出如下信号，其中该信号是通过将如图9(b)所示利用起音控制器10增强了起音的音频信号、使余音控制器20的第二HPF部21、振幅反转部22和第二限幅器部23进行工作以将第二增益部24的加权值设置为-1而降低了余音的音频信号、以及输入至频谱域滤波部3的音频信号(图8(b)所示的信号)这三者进行合成所获得的。图11(b)中虚线所示的信号表示图8(b)所示的所输入的音频信号的状态。在将图11(b)中实线所示的合成信号与图8(b)所示的所输入的音频信号进行比较的情况下，起音增强而余音降低。此外，如图11(b)的实线所示，与图9(b)的实线所示的音频信号相比，合成信号在余音(余音成分)方面降低。
此外，在图12中，利用实线示出如下信号，其中该信号是通过将如图10(a)所示利用起音控制器10降低了起音的音频信号、使余音控制器20的第二HPF部21、振幅反转部22和第二限幅器部23进行工作以将第二增益部24的加权值设置为1而增强了余音的音频信号、以及输入至频谱域滤波部3的音频信号(图8(b)所示的信号)这三者进行合成所获得的。图12中虚线所示的信号表示图8(b)中的所输入的音频信号的状态。
在将图12所示的合成信号与图8(b)所示的所输入的音频信号进行比较的情况下，起音降低而余音增强。此外，如图12的实线所示，与图10(a)的实线所示的音频信号相比，合成信号在余音(余音成分)方面增强。
图13(a)示出针对通过将1.2kHz的稳态正弦波作为噪声添加至所输入的音频信号(图8(b)所示的信号)所获得的输入信号、在将起音控制器10的第一HPF部11的截止频率设置为2.5Hz并将第一增益部13的加权量设置为1的情况下所获得的输出信号的状态。利用起音控制器10对添加有噪声的音频信号应用起音控制处理，由此起音在图13(a)所示的信号中增强。
图13(b)示出针对图13(a)所示的信号、在将噪声控制器30的第三HPF部31的截止频率设置为0.031Hz、将第三增益部33的加权量设置为1并将第四增益部34的加权量设置为0的情况下所获得的由噪声控制器30进行了噪声控制处理的信号。如图13(b)所示，通过将第三HPF部31的截止频率设置为低的值(0.031Hz)，可以抑制DC附近的信号成分，由此可以在维持起音增强的同时仅降低稳态噪声。
如上所述，在根据本实施例的声学信号处理装置1中，通过调整起音控制器10的第一增益部13的加权量，可以增强/降低音频信号的起音。此外，通过调整第一HPF部11的截止频率，可以改变起音的控制时间(增强时间、降低时间)。因而，通过根据信号电平放大起音以增强该起音，可以使输出声音整体变尖锐。此外，通过控制诸如MP3等的常见数字音频信号中的可能劣化的起音，可以提高数字音频信号的音质。
此外，在根据本实施例的声学信号处理装置1中，通过调整余音控制器20的第二增益部24的加权量，可以增强/降低音频信号的余音。此外，通过调整第二HPF部21的截止频率，可以改变余音的控制时间(增强时间、降低时间)。因而，可以根据收听者的偏好来增强或降低余音。
此外，在根据本实施例的声学信号处理装置1中，通过调整噪声控制器30的第三增益部33和第四增益部34的加权量，可以调整噪声降低量。此外，通过调整第三HPF部31的截止频率，可以抑制噪声的DC成分。因而，可以调节声源的收录环境或声源本身中所包括的稳态噪声。
此外，基于针对频域的各振幅谱的变化量来进行上述的起音控制处理、余音控制处理和噪声降低处理。这样解决了在使用阈值来识别起音的传统方法中所产生的问题、即防止了检测状态受到声源的振幅电平的大幅影响(检测状态不依赖于声源的振幅电平)。
例如，在包括乐器声和语音的音频信号中，与乐器声的起音的上升时间相比，语音的上升时间延迟，并且语音的针对各振幅谱的变化量较小，从而使得能够根据起音控制器10中的第一HPF部11的截止频率的设置来将起音仅添加至乐器声。通过如此仅增强乐器声的起音，可以在维持语音的语调感的同时增强乐器声的尖锐感。
此外，可以针对各振幅谱个别设置起音控制器10、余音控制器20和噪声控制器30中的截止频率或加权量。因而，如下结构是可能的：将频带分割成多个带，并且针对多个带各自进行设置。
例如，将所输入的音频信号的频率区域分割成低频区域、中频区域和高频区域。在这种情况下，通过在低频区域中增强起音并降低余音，可以再现鼓等的击打力和应答性的声音。此外，在中频区域中，增强余音以增强语音的共鸣。此外，在高频区域中，增强起音以使钹声等的透明感更强。
在再现包括声源本身中所包含的稳态信号成分和/或声源的收录环境中所包含的稳态噪声成分的音频信号的情况下，噪声等可能作为具有现场感的声音被感知为“收听者处于收录环境”；然而，乐器声或语音的清晰度趋于降低。在这种情况下，在噪声控制器30中进行噪声控制以使噪声量略微减少，由此使得能够在一定程度上维持现场感的同时，将乐器声或语音的声学成分输出作为清晰声音。
如上所述，通过使用根据本实施例的声学信号处理装置1，可以调节诸如乐器声等的声源中所包括的起音、在该起音之后持续的余音、以及收录环境中的稳态噪声成分或声源中所包括的稳态信号成分，由此满足收听者的各种偏好。
尽管已经详细说明并示出了声学信号处理装置1作为本发明的声学信号处理装置的示例，但本发明的声学信号处理装置和声学信号处理方法不限于上述实施例。显然，本领域技术人员可以在所附权利要求书的范围内想到各种替代实现和修改实现。
附图标记说明
1 声学信号处理装置
2 FFT部
3 频谱域滤波部
4 IFFT部
10 起音控制器(起音成分控制器)
11 (起音控制器的)第一HPF部
12 (起音控制器的)第一限幅器部
13 (起音控制器的)第一增益部
20 余音控制器(余音成分控制器)
21 (余音控制器的)第二HPF部
22 (余音控制器的)振幅反转部
23 (余音控制器的)第二限幅器部
24 (余音控制器的)第二增益部
30 噪声控制器
31 (噪声控制器的)第三HPF部
32 (噪声控制器的)第三限幅器部
33 (噪声控制器的)第三增益部
34 (噪声控制器的)第四增益部
35 (噪声控制器的)第二相加部
40 第一相加部
41 第四限幅器部

Claims (4)

1.一种声学信号处理装置，包括：
快速傅立叶变换部即FFT部，用于进行以下操作：在时间每次偏移傅立叶变换长度和重叠长度之间的差分时间的情况下对输入音频信号进行短时间傅立叶变换，以计算在时间上彼此相差了所述差分时间的多个振幅谱；针对各频率来计算所计算出的各振幅谱的时间变化，以将所述输入音频信号从时域变换成频域并且计算频谱信号；以及基于所计算出的频谱信号来生成第一振幅谱信号和相位谱信号；
起音成分控制器，用于控制所述FFT部所生成的所述第一振幅谱信号的起音成分，以生成第二振幅谱信号；以及
余音成分控制器，用于控制所述FFT部所生成的所述第一振幅谱信号的余音成分，以生成第三振幅谱信号，
其特征在于，所述声学信号处理装置进一步包括：
第一相加部，用于将所述FFT部所生成的所述第一振幅谱信号、所述起音成分控制器所生成的所述第二振幅谱信号和所述余音成分控制器所生成的所述第三振幅谱信号进行合成，以生成第四振幅谱信号；以及
逆快速傅立叶变换部即IFFT部，用于基于所述第一相加部所生成的所述第四振幅谱信号和所述FFT部所生成的所述相位谱信号来计算频谱信号，并且对所计算出的频谱信号进行短时间逆傅立叶变换处理和重叠相加，以生成从频域变换成时域的音频信号，
其中，所述起音成分控制器包括：
第一高通滤波器部即第一HPF部，用于针对各谱，基于预设的第一截止频率来对所述FFT部所生成的所述第一振幅谱信号进行高通滤波处理；
第一限幅器部，用于对所述第一HPF部进行了高通滤波处理的振幅谱信号的负侧振幅进行限制以将该负侧振幅设置为0，从而针对各谱来检测该振幅谱信号的起音成分；以及
第一增益部，用于基于预设的第一加权量来对所述第一限幅器部所检测到的振幅谱信号的起音成分进行加权处理，以及
所述余音成分控制器包括：
第二高通滤波器部即第二HPF部，用于针对各谱，基于预设的第二截止频率来对所述FFT部所生成的所述第一振幅谱信号进行高通滤波处理；
振幅反转部，用于将所述第二HPF部进行了高通滤波处理的振幅谱信号乘以-1，以进行振幅反转；
第二限幅器部，用于对所述振幅反转部进行了振幅反转的振幅谱信号的负侧振幅进行限制以将该负侧振幅设置为0，从而针对各谱来检测该振幅谱信号的余音成分；以及
第二增益部，用于基于预设的第二加权量来对所述第二限幅器部所检测到的振幅谱信号的余音成分进行加权处理。
2.根据权利要求1所述的声学信号处理装置，其中，还包括噪声控制器，所述噪声控制器用于对所述第一相加部所生成的所述第四振幅谱信号进行噪声控制，以生成第五振幅谱信号，
其中，所述IFFT部基于所述噪声控制器所生成的所述第五振幅谱信号和所述FFT部所生成的所述相位谱信号，来生成从频域变换成时域的音频信号，以及
所述噪声控制器包括：
第三高通滤波器部即第三HPF部，用于针对各谱，基于预设的第三截止频率来对所述第一相加部所生成的所述第四振幅谱信号进行高通滤波处理；
第三限幅器部，用于对所述第三HPF部进行了高通滤波处理的振幅谱信号的负侧振幅进行限制，以将该负侧振幅设置为0；
第三增益部，用于基于预设的作为0以上且1以下的值的第三加权量，来对所述第三限幅器部对负侧振幅进行了限制的振幅谱信号进行加权处理；
第四增益部，用于基于通过从值1中减去所述第三加权量的值所获得的加权量，来对所述第一相加部所生成的所述第四振幅谱信号进行加权处理；以及
第二相加部，用于将所述第三增益部进行了加权处理的振幅谱信号和所述第四增益部进行了加权处理的振幅谱信号进行合成，以生成所述第五振幅谱信号。
3.一种声学信号处理装置的声学信号处理方法，其中在所述声学信号处理装置中，对输入音频信号进行起音成分控制和余音成分控制，
所述声学信号处理装置包括：
快速傅立叶变换部即FFT部，用于将所述输入音频信号从时域变换成频域以计算频谱信号，并且生成第一振幅谱信号和相位谱信号；
起音成分控制器，用于控制所述FFT部所生成的所述第一振幅谱信号的起音成分，以生成第二振幅谱信号；
余音成分控制器，用于控制所述FFT部所生成的所述第一振幅谱信号的余音成分，以生成第三振幅谱信号；
第一相加部，用于将所述FFT部所生成的所述第一振幅谱信号、所述起音成分控制器所生成的所述第二振幅谱信号和所述余音成分控制器所生成的所述第三振幅谱信号进行合成，以生成第四振幅谱信号；以及
逆快速傅立叶变换部即IFFT部，用于基于所述第一相加部所生成的所述第四振幅谱信号和所述FFT部所生成的所述相位谱信号，来生成从频域变换成时域的音频信号，
所述起音成分控制器包括：第一高通滤波器部即第一HPF部、第一限幅器部和第一增益部，
所述余音成分控制器包括：第二高通滤波器部即第二HPF部、振幅反转部、第二限幅器部和第二增益部，
其中，所述声学信号处理方法的特征在于，包括以下步骤：
利用所述FFT部来进行以下操作：在时间每次偏移傅立叶变换长度和重叠长度之间的差分时间的情况下对所述输入音频信号进行短时间傅立叶变换，以计算在时间上彼此相差了所述差分时间的多个振幅谱；针对各频率来计算所计算出的各振幅谱的时间变化以计算频谱信号；以及基于所计算出的频谱信号来生成所述第一振幅谱信号和所述相位谱信号；
在所述起音成分控制器中，进行以下操作：
利用所述第一HPF部，针对各谱、基于预设的第一截止频率来对所述FFT部所生成的所述第一振幅谱信号进行高通滤波处理；
利用所述第一限幅器部，对所述第一HPF部进行了高通滤波处理的振幅谱信号的负侧振幅进行限制以将该负侧振幅设置为0，从而针对各谱来检测该振幅谱信号的起音成分；以及
利用所述第一增益部，基于预设的第一加权量来对所述第一限幅器部所检测到的振幅谱信号的起音成分进行加权处理，以及
在所述余音成分控制器中，进行以下操作：
利用所述第二HPF部，针对各谱、基于预设的第二截止频率来对所述FFT部所生成的所述第一振幅谱信号进行高通滤波处理；
利用所述振幅反转部，将所述第二HPF部进行了高通滤波处理的振幅谱信号乘以-1，以进行振幅反转；
利用所述第二限幅器部，对所述振幅反转部进行了振幅反转的振幅谱信号的负侧振幅进行限制以将该负侧振幅设置为0，从而针对各谱来检测该振幅谱信号的余音成分；以及
利用所述第二增益部，基于预设的第二加权量来对所述第二限幅器部所检测到的振幅谱信号的余音成分进行加权处理；
利用所述第一相加部，将所述第一振幅谱信号、所述第一增益部对起音成分进行了加权处理的所述第二振幅谱信号、以及所述第二增益部对余音成分进行了加权处理的所述第三振幅谱信号进行合成，以生成第四振幅谱信号；以及
利用所述IFFT部，基于所述第四振幅谱信号和所述FFT部所生成的所述相位谱信号来计算频谱信号，并且对所计算出的频谱信号进行短时间逆傅立叶变换和重叠相加，以生成从频域变换成时域的音频信号。
4.根据权利要求3所述的声学信号处理装置的声学信号处理方法，所述声学信号处理装置还包括：
噪声控制器，用于对所述第一相加部所生成的所述第四振幅谱信号进行噪声控制，以生成第五振幅谱信号，
所述噪声控制器包括：第三高通滤波器部即第三HPF部、第三限幅器部、第三增益部、第四增益部和第二相加部，
其中，所述声学信号处理方法还包括以下步骤：
利用所述IFFT部，基于所述噪声控制器所生成的所述第五振幅谱信号和所述FFT部所生成的所述相位谱信号来生成从频域变换成时域的音频信号；以及
在所述噪声控制器中，进行以下操作：
利用所述第三HPF部，针对各谱、基于预设的第三截止频率来对所述第一相加部所生成的所述第四振幅谱信号进行高通滤波处理；
利用所述第三限幅器部，对所述第三HPF部进行了高通滤波处理的振幅谱信号的负侧振幅进行限制，以将该负侧振幅设置为0；
利用所述第三增益部，基于预设的作为0以上且1以下的值的第三加权量来对所述第三限幅器部对负侧振幅进行了限制的振幅谱信号进行加权处理；
利用所述第四增益部，基于通过从值1中减去所述第三加权量的值所获得的加权量来对所述第一相加部所生成的所述第四振幅谱信号进行加权处理；以及
利用所述第二相加部，将所述第三增益部进行了加权处理的振幅谱信号和所述第四增益部进行了加权处理的振幅谱信号进行合成，以生成所述第五振幅谱信号。
CN201380013601.XA 2012-03-12 2013-01-23 声学信号处理装置和声学信号处理方法 Active CN104185870B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-054560 2012-03-12
JP2012054560A JP5898534B2 (ja) 2012-03-12 2012-03-12 音響信号処理装置および音響信号処理方法
PCT/JP2013/051273 WO2013136846A1 (ja) 2012-03-12 2013-01-23 音響信号処理装置および音響信号処理方法

Publications (2)

Publication Number Publication Date
CN104185870A CN104185870A (zh) 2014-12-03
CN104185870B true CN104185870B (zh) 2016-10-26

Family

ID=49160768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380013601.XA Active CN104185870B (zh) 2012-03-12 2013-01-23 声学信号处理装置和声学信号处理方法

Country Status (5)

Country Link
US (1) US9280986B2 (zh)
EP (1) EP2827330B1 (zh)
JP (1) JP5898534B2 (zh)
CN (1) CN104185870B (zh)
WO (1) WO2013136846A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6258061B2 (ja) * 2014-02-17 2018-01-10 クラリオン株式会社 音響処理装置、音響処理方法及び音響処理プログラム
JP6313629B2 (ja) * 2014-03-31 2018-04-18 Ｐｉｏｎｅｅｒ ＤＪ株式会社 音声信号処理装置、音声信号処理装置の制御方法およびプログラム
AU2014204540B1 (en) * 2014-07-21 2015-08-20 Matthew Brown Audio Signal Processing Methods and Systems
EP3121814A1 (en) * 2015-07-24 2017-01-25 Sound object techology S.A. in organization A method and a system for decomposition of acoustic signal into sound objects, a sound object and its use
CN109247069B (zh) * 2016-03-18 2021-12-21 弗劳恩霍夫应用研究促进协会 通过使用音频频谱图上的结构张量来重构相位信息的编码
EP3270378A1 (en) * 2016-07-14 2018-01-17 Steinberg Media Technologies GmbH Method for projected regularization of audio data
CN106847249B (zh) * 2017-01-25 2020-10-27 得理电子(上海)有限公司 一种发音处理方法及系统
DE102017204181A1 (de) 2017-03-14 2018-09-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sender zum Emittieren von Signalen und Empfänger zum Empfangen von Signalen
EP3382700A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using a transient location detection
EP3382701A1 (en) 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using prediction based shaping
CN107623962B (zh) * 2017-08-25 2019-06-07 广州飞达音响股份有限公司 一种利用led灯指示音频压缩限幅效果的系统及方法
CN108804072A (zh) * 2018-06-13 2018-11-13 广州酷狗计算机科技有限公司 音频处理方法、装置、存储介质及终端
DE102018213834B3 (de) 2018-07-02 2020-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur modifizierung eines lautsprechersignals zur vermeidung einer membranüberauslenkung
JP6912780B2 (ja) * 2018-08-24 2021-08-04 日本電信電話株式会社 音源強調装置、音源強調学習装置、音源強調方法、プログラム
KR102096588B1 (ko) * 2018-12-27 2020-04-02 인하대학교 산학협력단 음향 장치에서 맞춤 오디오 잡음을 이용해 사생활 보호를 구현하는 기술
TWI719429B (zh) * 2019-03-19 2021-02-21 瑞昱半導體股份有限公司 音訊處理方法與音訊處理系統
JP7352383B2 (ja) 2019-06-04 2023-09-28 フォルシアクラリオン・エレクトロニクス株式会社 ミキシング処理装置及びミキシング処理方法
CN112447166A (zh) * 2019-08-16 2021-03-05 阿里巴巴集团控股有限公司 一种针对目标频谱矩阵的处理方法及装置
DE102019216504A1 (de) 2019-10-25 2021-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Konzept zur Modifizierung eines Lautsprechersignals zur Vermeidung einer Membranüberauslenkung
TW202133950A (zh) * 2019-10-28 2021-09-16 國立大學法人東北大學 振動控制裝置、振動控制程式及振動控制方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7272556B1 (en) * 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
JP2000101439A (ja) 1998-09-24 2000-04-07 Sony Corp 情報処理装置および方法、情報記録装置および方法、記録媒体、並びに提供媒体
US20030023429A1 (en) * 2000-12-20 2003-01-30 Octiv, Inc. Digital signal processing techniques for improving audio clarity and intelligibility
JP3753956B2 (ja) * 2001-06-21 2006-03-08 シャープ株式会社 符号化装置
US7353169B1 (en) 2003-06-24 2008-04-01 Creative Technology Ltd. Transient detection and modification in audio signals
US7876909B2 (en) 2004-07-13 2011-01-25 Waves Audio Ltd. Efficient filter for artificial ambience
KR101149591B1 (ko) * 2004-07-22 2012-05-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 신호 반향 억제
JP2007036710A (ja) * 2005-07-27 2007-02-08 Victor Co Of Japan Ltd アタック信号増幅デジタル信号処理装置
US7783488B2 (en) * 2005-12-19 2010-08-24 Nuance Communications, Inc. Remote tracing and debugging of automatic speech recognition servers by speech reconstruction from cepstra and pitch information
CN101790756B (zh) * 2007-08-27 2012-09-05 爱立信电话股份有限公司 瞬态检测器以及用于支持音频信号的编码的方法
US8706496B2 (en) * 2007-09-13 2014-04-22 Universitat Pompeu Fabra Audio signal transforming by utilizing a computational cost function
US7594423B2 (en) * 2007-11-07 2009-09-29 Freescale Semiconductor, Inc. Knock signal detection in automotive systems
US8143620B1 (en) * 2007-12-21 2012-03-27 Audience, Inc. System and method for adaptive classification of audio sources
JP2012002858A (ja) * 2010-06-14 2012-01-05 Pioneer Electronic Corp タイムスケーリング方法、ピッチシフト方法、オーディオデータ処理装置およびプログラム
US8804977B2 (en) * 2011-03-18 2014-08-12 Dolby Laboratories Licensing Corporation Nonlinear reference signal processing for echo suppression
US9635474B2 (en) * 2011-05-23 2017-04-25 Sonova Ag Method of processing a signal in a hearing instrument, and hearing instrument
JP5654955B2 (ja) * 2011-07-01 2015-01-14 クラリオン株式会社 直接音抽出装置および残響音抽出装置

Also Published As

Publication number Publication date
CN104185870A (zh) 2014-12-03
US9280986B2 (en) 2016-03-08
JP2013190470A (ja) 2013-09-26
EP2827330A4 (en) 2015-11-11
US20150030171A1 (en) 2015-01-29
JP5898534B2 (ja) 2016-04-06
EP2827330A1 (en) 2015-01-21
EP2827330B1 (en) 2016-12-14
WO2013136846A1 (ja) 2013-09-19

Similar Documents

Publication Publication Date Title
CN104185870B (zh) 声学信号处理装置和声学信号处理方法
CN1992513B (zh) 效果增加方法和效果增加装置
US8750538B2 (en) Method for enhancing audio signals
JP4701684B2 (ja) 音声処理装置およびプログラム
EP2194733B1 (en) Sound volume correcting device, sound volume correcting method, sound volume correcting program, and electronic apparatus.
HK1103936A1 (en) Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
US9241214B2 (en) Direct sound extraction device and reverberant sound extraction device
US20220277759A1 (en) Playback enhancement in audio systems
WO2014113185A1 (en) Vehicle engine sound extraction and reproduction
JP5577787B2 (ja) 信号処理装置
JP4448464B2 (ja) 雑音低減方法、装置、プログラム及び記録媒体
JP5307770B2 (ja) 音声信号処理装置、方法、プログラム、及び記録媒体
EP3772224A1 (en) Vibration signal generation apparatus and vibration signal generation program
US6766290B2 (en) Voice responsive audio system
JP2008072600A (ja) 音響信号処理装置、音響信号処理プログラム、音響信号処理方法
JP5998357B2 (ja) 車載用音響再生装置
JP2015049470A (ja) 信号処理装置及びそのプログラム
JP2012187995A (ja) 車載用音響再生装置
JP6616099B2 (ja) 音声処理装置
CN113299304B (zh) 抑制麦克风啸叫的方法、装置和麦克风
JP6785166B2 (ja) 音声信号補償装置、音声信号補償方法、及びプログラム
JP6314803B2 (ja) 信号処理装置、信号処理方法及びプログラム
Corbach et al. Automated equalization for room resonance suppression
WO2024107342A1 (en) Dynamic effects karaoke
JP2017167322A (ja) 電子鍵盤楽器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant