CN111800729A - 声音信号处理装置及声音信号处理方法 - Google Patents

声音信号处理装置及声音信号处理方法 Download PDF

Info

Publication number
CN111800729A
CN111800729A CN202010185419.4A CN202010185419A CN111800729A CN 111800729 A CN111800729 A CN 111800729A CN 202010185419 A CN202010185419 A CN 202010185419A CN 111800729 A CN111800729 A CN 111800729A
Authority
CN
China
Prior art keywords
sound signal
sound
beat
signal processing
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010185419.4A
Other languages
English (en)
Other versions
CN111800729B (zh
Inventor
青木良太郎
须山明彦
福山龙也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN111800729A publication Critical patent/CN111800729A/zh
Application granted granted Critical
Publication of CN111800729B publication Critical patent/CN111800729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/051—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or detection of onsets of musical sounds or notes, i.e. note attack timings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/305—Source positioning in a soundscape, e.g. instrument positioning on a virtual soundstage, stereo panning or related delay or reverberation changes; Changing the stereo width of a musical source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Abstract

本发明提供一种能够自动地控制针对音源的声音信号的处理的声音信号处理装置。声音信号处理装置的特征在于，具有：声音信号输入部，其取得声音信号；节拍检测部，其从所述声音信号对节拍进行检测；以及处理部，其基于检测出的所述节拍，针对所述声音信号进行二维以上的空间所涉及的效果的处理。

Description

声音信号处理装置及声音信号处理方法
技术领域
本发明的一个实施方式涉及对声音信号进行各种处理的声音信号处理装置。
背景技术
在专利文献1中公开了一种音频系统，其使音源定位于由用户经由智能手机等便携终端所指定的位置。便携终端对表示本终端的姿态的信息进行检测，与表示用户所期望的音源的设置位置的位置信息一起发送至音频系统。音频系统基于接收到的信息，使音源定位，生成赋予给各扬声器的音频信号。在上述这样的技术内容中，通过使便携终端的姿态变更，从而能够使音源的设置位置实时地移动。
专利文献1：日本特开2014－103456号公报
但是，用户手动地控制音源的位置是复杂且困难的。
发明内容
本发明的目的在于，提供能够自动地控制针对音源的声音信号的处理的声音信号处理装置。
本发明的一个实施方式所涉及的声音信号处理装置，其特征在于，具有：声音信号输入部，其取得声音信号；节拍检测部，其从所述声音信号对节拍进行检测；以及处理部，其基于检测出的所述节拍，针对所述声音信号进行二维以上的空间所涉及的效果的处理。
发明的效果
根据上述的实施方式，声音信号处理装置与声音信号所包含的节拍相匹配地针对声音信号进行效果的处理，因此能够自动地控制。
附图说明
图1是表示本发明的一个实施方式所涉及的声音信号处理系统的结构的框图。
图2是本发明的一个实施方式中的听取环境的示意图。
图3是表示本发明的一个实施方式所涉及的声音信号处理装置的结构的框图。
图4是表示本发明的一个实施方式所涉及的CPU的功能结构的框图。
图5是表示本发明的一个实施方式所涉及的CPU的动作的流程图。
图6是表示本发明的一个实施方式所涉及的CPU的动作的流程图。
图7是表示本发明的其他实施方式所涉及的CPU的功能结构的框图。
图8是表示本发明的其他实施方式所涉及的声音信号处理装置的结构的框图。
图9是表示本发明的其他实施方式所涉及的CPU的功能结构的框图。
标号的说明
R…房间
SP1、SP2、SP3、SP4、SP5、SP6、SP7、SP8…扬声器
1…声音信号处理装置
11…声音信号输入部
13…信号处理部
14…定位处理部
15…D/A转换器
16…AMP
17…CPU
18…闪存
19…RAM
20…接口
21…低频提取部
100…声音信号处理系统
171…节拍检测部
172…音源位置信息处理部
173…位置控制部
174…滤波器
具体实施方式
图1是表示本发明的一个实施方式所涉及的声音信号处理系统100的结构的框图。图2是本发明的一个实施方式中的听取环境的示意图。声音信号处理系统100具有声音信号处理装置1及多个扬声器，例如具有8个扬声器SP1～SP8。声音信号处理装置1例如是个人计算机、机顶盒、音频接收器、移动设备或有源扬声器等物品。
在本实施方式中，作为一个例子，听取环境为长方体的房间R。扬声器SP1～SP8配置于房间R内。扬声器SP1及扬声器SP2是前置扬声器，配置于房间R的一面墙的两个墙角的地面。扬声器SP3及扬声器SP4是后置扬声器，配置于房间R的另一面墙的两个墙角的地面。扬声器SP5是中置扬声器，配置于扬声器SP1和扬声器SP2之间。扬声器SP6及扬声器SP7是吸顶扬声器，配置于房间R的顶棚。扬声器SP8是低音炮，配置于扬声器SP5的附近。扬声器SP1～SP8分别与声音信号处理装置1连接。
图3是表示本发明的一个实施方式所涉及的声音信号处理装置1的结构的框图。声音信号处理装置1具有：声音信号输入部11、信号处理部13、定位处理部14、D/A转换器15、放大器(AMP)16、CPU 17、闪存18、RAM 19及接口20。
CPU 17将在闪存18中存储的动作用程序(固件)读出至RAM19，集中地控制声音信号处理装置1。
声音信号输入部11例如是HDMI(注册商标)的接口、或网络接口等通信接口。在本实施方式中，声音信号输入部11输入与多个音源相对应的声音信号，输出至信号处理部13。并且，声音信号输入部11将所述声音信号输出至CPU 17。在这里，声音信号所包含的音源信息例如各音源的位置信息及电平(level)等信息也输出至CPU17。
信号处理部13例如由DSP构成。在本实施方式中，信号处理部13根据CPU 17的设定、指示，对与各音源相对应的声音信号实施延时、混响或均衡等信号处理。在信号处理后，与各音源相对应的声音信号输入至定位处理部14。
定位处理部14例如由DSP构成。在本实施方式中，定位处理部14根据CPU 17的指示，进行定位音像的定位处理。定位处理部14将与各音源相对应的声音信号以规定的增益分配给扬声器SP1～SP8，以使得音像定位于与从CPU 17指定出的各音源的位置信息相对应的位置。定位处理部14将与各扬声器SP1～SP8相对应的声音信号输入至D/A转换器15。
D/A转换器15将与各扬声器SP1～SP8相对应的声音信号变换为模拟信号。AMP 16放大与各扬声器SP1～SP8相对应的模拟声音信号，输入至扬声器SP1～SP8。
在上述的实施方式中，声音信号输入部11取得与多个音源相对应的声音信号而直接输出至信号处理部13。但是，在其他实施方式中，在声音信号输入部11和信号处理部13之间，还可以设置有解码器(未图示)。解码器例如由DSP构成。在如上所述的结构中，在声音信号输入部11取得内容数据时，解码器对内容数据进行解码，提取声音信号。在内容数据是与基于客体(Object-based)方式相对应的内容数据的情况下，解码器还提取音源信息。基于客体方式将内容所包含的多个音源(客体)作为各自独立的声音信号而保存。解码器将与各音源相对应的声音信号输入至信号处理部13及CPU 17。另外，在音源信息中包含有各音源的位置信息及电平等信息。解码器将音源的位置信息及电平信息输入至CPU 17。
定位处理部14按照CPU 17的指示，针对声音信号进行二维以上的空间所涉及的效果(effect)的处理，即，进行以二维平面或者三维空间变更音源的位置的处理。另外，信号处理部13按照CPU 17的指示，进行延时、混响或均衡等信号处理。因此，可以将包含信号处理部13和定位处理部14在内的DSP及CPU 17看作为1个处理部。此外，信号处理部13、定位处理部14及解码器可以在1个DSP中通过软件实现，也可以在各自独立的DSP中通过硬件实现。在本实施方式中，信号处理部13及定位处理部14关于与多个音源相对应的声音信号，针对每个音源进行效果的处理(音源位置的变更、信号处理)。
图4是表示本发明的一个实施方式所涉及的CPU 17的功能结构的框图。在本实施方式中，CPU 17在功能方面具有节拍(beat)检测部171、音源位置信息处理部172、位置控制部173。图5是表示本发明的一个实施方式所涉及的CPU 17的动作的流程图。这些功能是通过CPU 17的程序而实现的。节拍检测部171、音源位置信息处理部172、位置控制部173及定位处理部14是处理部的一个例子。
在本实施方式中，节拍检测部171从声音信号输入部11取得声音信号(S11)。在取得与多个音源相对应的声音信号后，节拍检测部171从声音信号对节拍进行检测(S12)。节拍检测部171可以将与特定的音源相对应的声音信号作为对象而进行节拍检测，也可以将全部声音信号作为对象而进行节拍检测。节拍检测部171例如计算每单位时间的振幅平均值，将计算出的振幅平均值和声音信号的振幅值进行比较。节拍是在声音信号的振幅值与振幅平均值相比大一定程度以上(例：+6dB以上)的情况下进行检测的。但是，节拍检测的阈值并不限于+6dB。另外，节拍检测的方法并不限于上述方法。
如果节拍检测结束，则节拍检测部171向信号处理部13通知节拍检测的结果(S13)。详细而言，节拍检测部171将检测出的节拍的位置，即，在声音信号内检测出节拍的定时通知给信号处理部13。而且，与检测出的节拍相匹配地由信号处理部13针对声音信号进行信号处理，例如进行对混响的深度、延时进行调整等处理。即，信号处理部13针对节拍检测的每个定时而改变混响的深度、延时的长度。在本实施方式中，信号处理部13关于与多个音源相对应的声音信号，针对每个音源进行信号处理。
作为信号处理的一个例子，信号处理部13与检测出的节拍相匹配地对声音信号的音量进行调整。例如，信号处理部13在检测出节拍的定时增大声音信号的增益，在其以外的定时减小声音信号的增益。即，信号处理部13将检测出节拍的部分的音量增大，降低其以外的部分的电平。
作为信号处理的另一个例子，信号处理部13与检测出的节拍相匹配地，将音源置换为其他种类的音源的声音信号。为了实现该处理，CPU 17还具有声音信号生成部(未图示)。声音信号生成部预先生成其他种类的音源的声音信号而发送至信号处理部13。而且，信号处理部13根据节拍检测的结果，将已有的某个声音信号置换为预先准备的其他音源的声音信号。在上述这样的处理中，声音信号处理装置1能够创作出新的音乐。
根据上述的处理，在扬声器SP1～SP8输出基于声音信号的声音时，能够进行带有音乐性的各种表现。
图6是表示本发明的一个实施方式所涉及的CPU 17的动作的流程图。这些功能是通过CPU 17的程序而实现的。节拍检测部171及音源位置信息处理部172从声音信号输入部11取得声音信号(S11')。而且，音源位置信息处理部172取得与声音信号相对应的音源的位置信息(S12')，节拍检测部171从声音信号对节拍进行检测(S13')。在本实施方式中，音源的位置信息是基于来自声音信号输入部11的声音信号而取得的。但是，在其他实施方式中，在声音信号处理装置1中存在对位置信息进行解码的解码器的情况下，音源位置信息处理部172也可以直接从解码器取得音源的位置信息。
位置控制部173基于节拍检测的结果，与检测出的节拍相匹配地变更位置信息(S14')。作为位置信息的变更的一个例子，位置控制部173使各音源的位置随机地移动。但是，位置信息的变更并不限定于随机。作为第二例，位置控制部173使各音源的位置以规定轴为中心进行旋转。作为第三例，位置控制部173使各音源的位置在每次进行节拍检测时向上方或下方移动。在变更了位置信息后，位置控制部173将变更后的位置信息输出至定位处理部14(S15')。
定位处理部14基于变更后的位置信息，进行对音像进行定位的定位处理。即，定位处理部14与检测出的节拍相匹配地将各音源的声音信号以规定的增益分配给扬声器SP1～SP8，以使得音像定位于与从CPU 17变更后的各音源的位置信息相对应的位置。
根据上述的音源的音像定位位置的变更，在扬声器SP1～SP8输出基于声音信号的声音时，能够进行带有新的音乐性的各种表现。
在图5所示的流程图中，信号处理与检测出的节拍相匹配地进行。而且，在图6所示的流程图中，各音源的音像定位位置与检测出的节拍相匹配地变更。在上述的实施方式中，图5及图6所示的流程是作为2个独立的流程而示出的，但在其他实施方式中，CPU 17能够将它们同时地执行。详细而言，CPU 17在将节拍检测的结果通知给信号处理部13的同时，与检测出的节拍相匹配地变更音源的位置信息，将变更后的位置信息输出至定位处理部14。于是，信号处理部13及定位处理部14能够与检测出的节拍相匹配地，针对声音信号而连续地执行信号处理及音像的定位。
图7是表示本发明的其他实施方式所涉及的CPU 17的功能结构的框图。在本实施方式中，CPU 17还具有滤波器174。滤波器174是高通滤波器、低通滤波器或带通滤波器，提取声音信号的特定频带。而且，节拍检测部171将由滤波器174提取出的声音信号的特定频带作为对象而进行节拍检测。在上述这样的结构中，CPU 17从音源分离特定的乐器，将该乐器作为对象而进行节拍检测。因此，声音信号处理装置1进一步与特定的乐器的节拍相匹配地进行信号处理、音源位置的变更等效果的处理。
在上述的实施方式中，节拍检测部171针对一定范围(例如一首曲子)的声音信号进行节拍检测。但是，在其他实施方式中，节拍检测部171也可以针对逐次输入的声音信号而实时地检测节拍。声音信号处理装置1从声音信号对节拍进行检测，能够即时地与检测出的节拍相匹配地进行效果的处理。
在本发明的一个实施方式中，声音信号处理装置1可以经由接口20将节拍检测的结果实时或集中地输出至外部的控制装置、操作装置。接口20可以是USB接口、HDMI(注册商标)的接口或网络接口等。外部的控制装置例如是照明的控制装置、影像系统的控制装置等。因此，外部的控制装置能够与检测出的节拍相匹配地对照明效果、影像效果进行变更。另外，在本发明的一个实施方式中，声音信号处理装置1能够经由接口20接收对附加效果的音源位置进行变更的操作的输入。因此，操作装置的用户能够根据节拍检测的结果而变更音源的位置或附加效果。例如，用户能够将音源的位置变更委托给声音信号处理装置1而专注于其他效果的管理。并且，在本发明的一个实施方式中，声音信号处理装置1能够经由接口20而接收对节拍检测的阈值或滤波器174的通带进行变更的操作的输入。因此，用户能够对与节拍检测相关的设定进行变更。
图8是表示本发明的其他实施方式所涉及的声音信号处理装置1的结构的框图。在本实施方式中，声音信号处理装置1还具有低频提取部21。低频提取部21由DSP构成。低频提取部21提取声音信号的低频成分。关于声音信号的低频成分，如果没有从稳定的位置输出，则有时得不到声音的稳定性。因此，低频提取部21预先提取声音信号的低频成分，将声音信号的低频成分和除其以外的成分输出至信号处理部13。
信号处理部13针对声音信号的低频成分不进行基于检测出的节拍的信号处理。而且，信号处理部13将声音信号的低频成分原样输出至定位处理部14。定位处理部14将与各音源相对应的声音信号的低频成分仅分配给扬声器SP8。即，声音信号的低频成分输出至低音炮。在如上所述的结构中，声音信号的低频成分经由低音炮而从稳定的位置输出。
在上述的实施方式中，由声音信号输入部11取得的声音信号、内容数据是与基于客体方式相对应的。但是，本发明能够应对的声音信号、内容数据并不限定于此。在其他实施方式中，由声音信号输入部11取得的声音信号、内容数据是与基于声道(Channel-based)方式相对应的。
图9是表示本发明的其他实施方式所涉及的CPU 17的功能结构的框图。在输入的声音信号、内容数据是与基于声道方式相对应的情况下，从声音信号输入部11、解码器取得了声音信号的信号处理部13在进行信号处理前解析声音信号而提取音源的位置信息。在该情况下，音源位置信息处理部172从信号处理部13取得音源的位置信息。
信号处理部13例如对各声道的声音信号的电平、及声道间的相互相关性进行计算。信号处理部13基于各声道的声音信号的电平及声道间的相互相关性，推定音源的位置。例如，在L声道和SL声道的相关值高，L声道的电平及SL声道的电平高(超过规定的阈值)的情况下，推定为在L声道及SL声道之间存在音源。信号处理部13基于L声道的电平及SL声道的电平，推定音源的位置。信号处理部13例如如果L声道的电平及SL声道的电平之比为1：1，则在L声道及SL声道的正中点推定音源的位置。声道的数量越多，越能够准确地推定音源的位置。信号处理部13通过计算许多声道间的相关值，从而能够基本唯一地确定音源的位置。
此外，在输入的声音信号、内容数据是与基于声道方式相对应的情况下，从声音信号输入部11、解码器取得了声音信号的节拍检测部171将多个声道中的至少1个声道的声音信号作为对象而对节拍进行检测。节拍检测部171实时或集中地将节拍检测的结果输出至信号处理部13。信号处理部13与检测出的节拍相匹配地，针对声音信号进行延时、混响或均衡等信号处理。
并且，位置控制部173基于节拍检测的结果，与检测出的节拍相匹配地变更音源的位置信息。位置控制部173将变更后的位置信息输出至定位处理部14。而且，定位处理部14基于变更后的位置信息而进行对音像进行定位的定位处理。
在上述的实施方式中，声音信号处理装置1针对与基于声道方式相对应的声音信号，连续地进行效果的处理。但是，本发明并不限定于此。也可以针对与基于声道方式相对应的声音信号，单独地进行延时、混响或均衡等信号处理或音源位置的变更。
本实施方式的说明在所有方面都是例示，且并不是限制性的内容。本发明的范围不是由上述的实施方式而是由权利要求书表示。并且，本发明的范围包含与权利要求书等同的含义以及范围内的全部变更。

Claims (20)

1.一种声音信号处理装置，其具有：
声音信号输入部，其取得声音信号；
节拍检测部，其从所述声音信号对节拍进行检测；以及
处理部，其与检测出的所述节拍的定时相匹配地，针对所述声音信号进行二维以上的空间所涉及的效果的处理。
2.根据权利要求1所述的声音信号处理装置，其中，
所述处理部对多个声道的声音信号的电平及所述多个声道间的相互相关性进行计算，基于所述声音信号的电平及所述多个声道间的相互相关性而取得与所述声音信号相对应的音源的位置的位置信息。
3.根据权利要求1或2所述的声音信号处理装置，其中，
所述声音信号输入部取得与多个音源相对应的所述声音信号，
所述处理部对于与所述多个音源相对应的所述声音信号，针对每个音源进行所述效果的处理。
4.根据权利要求1至3中任一项所述的声音信号处理装置，其中，
所述处理部取得与所述声音信号相对应的音源的位置信息，
与检测出的所述节拍的定时相匹配地变更所述位置信息，
基于变更后的所述位置信息而进行对音像进行定位的定位处理。
5.根据权利要求4所述的声音信号处理装置，其中，
所述处理部对所述位置信息进行变更，以使得所述音源的位置绕规定的轴进行旋转或所述音源的位置向上方或下方移动。
6.根据权利要求1至5中任一项所述的声音信号处理装置，其中，
所述处理部与检测出的所述节拍的定时相匹配地对所述声音信号的音量进行调整。
7.根据权利要求1至6中任一项所述的声音信号处理装置，其中，
所述处理部与检测出的所述节拍的定时相匹配地将与所述音源相对应的所述声音信号置换为与所述音源不同种类的其他音源所对应的声音信号。
8.根据权利要求1至7中任一项所述的声音信号处理装置，其中，
具有滤波器，该滤波器提取所述声音信号的特定频带的成分，
所述节拍检测部将所述声音信号的特定频带的提取成分作为对象而进行节拍检测。
9.根据权利要求1至8中任一项所述的声音信号处理装置，其中，
所述节拍检测部针对所输入的所述声音信号，实时地检测所述节拍。
10.根据权利要求1至9中任一项所述的声音信号处理装置，其中，
具有低频提取部，该低频提取部提取所述声音信号的低频成分，
所述处理部与检测出的所述节拍的定时相匹配地，针对所述声音信号的低频成分以外的成分进行所述效果的处理。
11.根据权利要求1至10中任一项所述的声音信号处理装置，其中，
所述声音信号输入部取得多个声道的所述声音信号，
所述节拍检测部将所述多个声道中的至少一个声道的所述声音信号作为对象而对所述节拍进行检测。
12.一种声音信号处理方法，其特征在于，
取得声音信号，
从所述声音信号对节拍进行检测，
与检测出的所述节拍的定时相匹配地，针对所述声音信号进行二维以上的空间所涉及的效果的处理。
13.根据权利要求12所述的声音信号处理方法，其中，
在取得所述声音信号时，取得与多个音源相对应的所述声音信号，
在进行所述效果的处理时，对于与所述多个音源相对应的所述声音信号，针对每个音源进行所述效果的处理。
14.根据权利要求12或13所述的声音信号处理方法，其中，
取得与所述声音信号相对应的音源的位置信息，
与检测出的所述节拍的定时相匹配地变更所述位置信息，
基于变更后的所述位置信息，进行对音像进行定位的定位处理。
15.根据权利要求12至14中任一项所述的声音信号处理方法，其中，
与检测出的所述节拍的定时相匹配地对所述声音信号的音量进行调整。
16.根据权利要求12至15中任一项所述的声音信号处理方法，其中，
与检测出的所述节拍的定时相匹配地将与所述音源相对应的所述声音信号置换为与所述音源不同种类的其他音源所对应的声音信号。
17.根据权利要求12至16中任一项所述的声音信号处理方法，其中，
提取所述声音信号的特定频带的成分，
在从所述声音信号对所述节拍进行检测时，将所述声音信号的特定频带的提取成分作为对象而进行节拍检测。
18.根据权利要求12至17中任一项所述的声音信号处理方法，其中，
在从所述声音信号对所述节拍进行检测时，对于所输入的所述声音信号而实时地检测所述节拍。
19.根据权利要求12至18中任一项所述的声音信号处理方法，其中，
提取所述声音信号的低频成分，
与检测出的所述节拍的定时相匹配地，针对所述声音信号的低频成分以外的成分进行所述效果的处理。
20.根据权利要求12至19中任一项所述的声音信号处理方法，其中，
在取得所述声音信号时，取得多个声道的所述声音信号，
在从所述声音信号对所述节拍进行检测时，将所述多个声道中的至少一个声道的所述声音信号作为对象而对所述节拍进行检测。
CN202010185419.4A 2019-04-03 2020-03-17 声音信号处理装置及声音信号处理方法 Active CN111800729B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019071116A JP2020170939A (ja) 2019-04-03 2019-04-03 音信号処理装置、及び音信号処理方法
JP2019-071116 2019-04-03

Publications (2)

Publication Number Publication Date
CN111800729A true CN111800729A (zh) 2020-10-20
CN111800729B CN111800729B (zh) 2022-03-22

Family

ID=70165891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010185419.4A Active CN111800729B (zh) 2019-04-03 2020-03-17 声音信号处理装置及声音信号处理方法

Country Status (4)

Country Link
US (1) US11140506B2 (zh)
EP (1) EP3719790B1 (zh)
JP (1) JP2020170939A (zh)
CN (1) CN111800729B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023217352A1 (en) * 2022-05-09 2023-11-16 Algoriddim Gmbh Reactive dj system for the playback and manipulation of music based on energy levels and musical features

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614687A (en) * 1995-02-20 1997-03-25 Pioneer Electronic Corporation Apparatus for detecting the number of beats
EP1347668A2 (en) * 2002-03-18 2003-09-24 Yamaha Corporation Effect imparting apparatus for controlling two-dimensional sound image localization
CN101165773A (zh) * 2006-10-20 2008-04-23 索尼株式会社 信号处理设备及方法、程序和记录介质
JP2008102406A (ja) * 2006-10-20 2008-05-01 Sony Corp 信号処理装置および方法、プログラム、並びに記録媒体
CN102209288A (zh) * 2010-03-31 2011-10-05 索尼公司 信号处理设备、信号处理方法和程序
US20140211947A1 (en) * 2011-09-27 2014-07-31 Huawei Technologies Co., Ltd. Method and apparatus for generating and restoring downmixed signal
US20160125867A1 (en) * 2013-05-31 2016-05-05 Nokia Technologies Oy An Audio Scene Apparatus
CN109478400A (zh) * 2016-07-22 2019-03-15 杜比实验室特许公司 现场音乐表演的多媒体内容的基于网络的处理及分布

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583785A (ja) * 1991-09-25 1993-04-02 Matsushita Electric Ind Co Ltd 再生特性制御装置
JPH0777982A (ja) * 1993-06-16 1995-03-20 Kawai Musical Instr Mfg Co Ltd 効果付加装置
JPH07221576A (ja) * 1994-01-27 1995-08-18 Matsushita Electric Ind Co Ltd 音場制御装置
JP2611694B2 (ja) * 1996-04-22 1997-05-21 ヤマハ株式会社 自動演奏装置
WO2008111113A1 (ja) * 2007-03-09 2008-09-18 Pioneer Corporation エフェクト装置、ａｖ処理装置およびプログラム
JP2010034905A (ja) * 2008-07-29 2010-02-12 Yamaha Corp 音響再生装置およびプログラム
JP6047985B2 (ja) * 2012-07-31 2016-12-21 ヤマハ株式会社 伴奏進行生成装置及びプログラム
JP6111611B2 (ja) 2012-11-16 2017-04-12 ヤマハ株式会社 オーディオアンプ
WO2014077374A1 (ja) 2012-11-16 2014-05-22 ヤマハ株式会社 オーディオ信号処理装置、位置情報取得装置、およびオーディオ信号処理システム
US9966051B2 (en) * 2016-03-11 2018-05-08 Yamaha Corporation Sound production control apparatus, sound production control method, and storage medium
US20200043453A1 (en) * 2018-08-02 2020-02-06 Music Tribe Global Brands Ltd. Multiple audio track recording and playback system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614687A (en) * 1995-02-20 1997-03-25 Pioneer Electronic Corporation Apparatus for detecting the number of beats
EP1347668A2 (en) * 2002-03-18 2003-09-24 Yamaha Corporation Effect imparting apparatus for controlling two-dimensional sound image localization
CN101165773A (zh) * 2006-10-20 2008-04-23 索尼株式会社 信号处理设备及方法、程序和记录介质
JP2008102406A (ja) * 2006-10-20 2008-05-01 Sony Corp 信号処理装置および方法、プログラム、並びに記録媒体
CN102209288A (zh) * 2010-03-31 2011-10-05 索尼公司 信号处理设备、信号处理方法和程序
US20140211947A1 (en) * 2011-09-27 2014-07-31 Huawei Technologies Co., Ltd. Method and apparatus for generating and restoring downmixed signal
US20160125867A1 (en) * 2013-05-31 2016-05-05 Nokia Technologies Oy An Audio Scene Apparatus
CN109478400A (zh) * 2016-07-22 2019-03-15 杜比实验室特许公司 现场音乐表演的多媒体内容的基于网络的处理及分布

Also Published As

Publication number Publication date
CN111800729B (zh) 2022-03-22
JP2020170939A (ja) 2020-10-15
US11140506B2 (en) 2021-10-05
US20200322746A1 (en) 2020-10-08
EP3719790A1 (en) 2020-10-07
EP3719790B1 (en) 2022-07-20

Similar Documents

Publication Publication Date Title
US8219394B2 (en) Adaptive ambient sound suppression and speech tracking
US10292002B2 (en) Systems and methods for delivery of personalized audio
US10524077B2 (en) Method and apparatus for processing audio signal based on speaker location information
US9648436B2 (en) Augmented reality sound system
US10959016B2 (en) Speaker position detection system, speaker position detection device, and speaker position detection method
TWI413421B (zh) 音頻訊號之處理方法及其裝置
EP3286929A1 (en) Processing audio data to compensate for partial hearing loss or an adverse hearing environment
CN109155884A (zh) 用全向麦克风进行立体声分离和定向抑制
US9930469B2 (en) System and method for enhancing virtual audio height perception
CN106792365B (zh) 一种音频播放方法及装置
CN111800729B (zh) 声音信号处理装置及声音信号处理方法
US10523171B2 (en) Method for dynamic sound equalization
US9877134B2 (en) Techniques for optimizing the fidelity of a remote recording
US10602276B1 (en) Intelligent personal assistant
JP7176194B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
KR20160122029A (ko) 스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
CN112511962B (zh) 扩声系统的控制方法、扩声控制装置及存储介质
CN110740416B (zh) 一种音频信号处理方法及装置
US20190281388A1 (en) Connection state determination system for speakers, acoustic device, and connection state determination method for speakers
CN115278500A (zh) 扩声延时测量方法、装置及扩声系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant