CN105264915B - 混合控制台、音频信号发生器、用于提供音频信号的方法 - Google Patents
混合控制台、音频信号发生器、用于提供音频信号的方法 Download PDFInfo
- Publication number
- CN105264915B CN105264915B CN201480029942.0A CN201480029942A CN105264915B CN 105264915 B CN105264915 B CN 105264915B CN 201480029942 A CN201480029942 A CN 201480029942A CN 105264915 B CN105264915 B CN 105264915B
- Authority
- CN
- China
- Prior art keywords
- microphone
- signal
- source signal
- rule
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 120
- 238000002156 mixing Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims description 27
- 235000021307 Triticum Nutrition 0.000 claims description 11
- 241000209140 Triticum Species 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000003111 delayed effect Effects 0.000 claims description 3
- 239000011800 void material Substances 0.000 claims description 3
- 239000000203 mixture Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000013519 translation Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000007689 inspection Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 230000010415 tropism Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 240000006409 Acacia auriculiformis Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 1
- 230000027455 binding Effects 0.000 description 1
- 238000009739 binding Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 210000000883 ear external Anatomy 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/004—Monitoring arrangements; Testing arrangements for microphones
- H04R29/005—Microphone arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/40—Visual indication of stereophonic sound image
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
Abstract
本发明涉及一种混合控制台(300),所述混合控制台(300)用于处理至少一个第一源信号和一个第二源信号并且用于提供混合声音信号,所述混合控制台包括声音信号发生器(100),所述声音信号发生器(100)用于针对房间(200)内的虚拟收听位置(202)提供声音信号(120),其中,在所述房间(200)内的第一已知位置处的至少一个第一麦克风(204)的声学场景被记录为第一源信号(210),并且在所述房间(200)内的第二已知位置处的至少一个第二麦克风(206)的声学场景被记录为第二源信号(212)。所述声音信号发生器(100)包括输入接口(102),输入接口(102)被设计成接收由所述第一麦克风(204)记录的所述第一源信号(210)和由所述第二麦克风(206)记录的所述第二源信号(212),并且所述声音信号发生器(100)还包括几何处理器(104),所述几何处理器(104)被设计成基于所述第一位置和所述虚拟收听位置(202)确定第一条几何信息(110),并且基于所述第二位置和所述虚拟收听位置(202)确定第二条几何信息(112)。用于提供声音信号(120)的信号发生器(106)被设计成使用所述第一条几何信息(110)和所述第二条几何信息(112)根据组合规则组合至少所述第一源信号(210)和所述第二源信号(212)。
Description
技术领域
本发明的实施方式涉及用于提供音频信号的装置和方法,其基于由布置在空间或声学场景内的麦克风记录的至少两个源信号。
背景技术
就记录涉及音频信号来说,通常使用音频混合控制台记录更复杂的录音和/或声学场景。在该情况下,任何声音成分和/或任何声音信号都应该被理解为声学场景。为了说明由听众接收的和/或在收听位置处接收的声学信号和/或声音或音频信号通常源自多个不同源的事实,在此使用术语“声学场景”,其中,在此引用的声学场景当然也可以仅由单个声源产生。然而,这种声学场景的特征不仅由产生该声学场景的空间中的声源的数量和/或分布来确定,而且还由空间本身的形状和/或几何形状来确定。例如,由隔壁导致的反射被叠加在从声源直接到达听众的声音部分上作为封闭空间中的房间声学部分,简而言之,该房间声学部分可以被理解为直接声音部分及其它的时间延迟和衰减的副本。
在这种环境中,通常使用音频混合控制台来产生音频材料,音频材料包括均与再次布置在声学场景内(诸如,演奏厅等内)的很多麦克风中的一个相关联的多个通道和/或输入。各个音频和/或源信号在此可以以模拟形式和数字形式二者出现,例如,为一系列数字取样值,其中,取样值在时间上是等距的并且均对应于取样后的音频信号的幅度。根据所使用的音频信号,假如音频信号可以为数字形式,这种混合控制台因此可以被实现为例如专用硬件或PC和/或可编程CPU上的软件组件。可以使用这种音频混合控制台处理的电音频信号(除了麦克风外)还源自其它回放装置(诸如,乐器和效果设备等)。在这样做时,待处理的每个单个音频信号和/或每个音频信号均可以与混合控制台上的单独通道条相关联,其中,通道条可以提供关于相关音频信号的音调变化的多个功能(诸如,音量变化、滤波、与其它通道条混合、相关通道的分布和/或分裂等)。
当记录复杂音频场景(诸如,音乐会录音)时,通常出现的问题是产生音频信号和/或混合录音,使得当听众收听录音时,为听众创建尽可能接近原始的声音印象。这里,针对不同再现构造的初始记录的麦克风信号和/或源信号的所谓混合可能需要诸如针对在输出通道和/或扬声器处的不同数量以不同方式发生。相应示例包括诸如4.0、5.1等的立体声构造和多通道构造。为了能够创建这种空间音频混合和/或混合,迄今,在各个通道条处针对每个声源和/或针对每个麦克风和/或源信号设置音量,使得录音师期望的空间印象产生用于期望的收听构造。这主要通过以下方式实现:通过所谓的平移算法(panning algorithm)将音量分布在多个回放通道和/或扬声器之间,使得在扬声器之间创建幻象声源来实现空间印象。这意味着,由于针对各个回放通道的不同音量,导致给听众的印象是例如所再现的对象在空间上位于扬声器之间。为了便于这样,迄今,必须基于声学场景内的录音麦克风的真实位置手动地调节每个通道,并且每个通道必须与部分相当数量的其它麦克风对齐。
如果应该给听众所记录的声源正在移动的印象,则这种音频混合变得甚至更复杂并且是耗时和/或成本密集的。在该情况下,必须针对时间变化的空间构造中的每个和/或针对声源的移动内的每个时间步,手动重新调节针对所涉及的所有通道条的音量,这不仅是极其耗时的,而且是容易出错。
在一些情况下,诸如当对交响乐团进行记录时,例如超过100个的大量麦克风信号和/或源信号被同时记录并且可以被实时处理成音频混合。为了实现这种空间混合,迄今,操作人员和/或录音师必须至少在实际录音的前奏曲时,通过用手最初标记麦克风的位置和其与各个通道条的关联,在传统混合控制台上产生各个麦克风信号和/或源信号之间的空间关系,以控制音量和可能的其它参数(诸如,针对多个通道的音量分布或各个通道条的混响(平移和混响)),使得音频混合在期望收听位置处和/或针对期望扬声器布置具有期望空间效果。在具有多于100件乐器(每件乐器均单独被记录为直接源信号)的交响乐团的情况下,可能存在几乎不可能解决的问题。为了在混合控制台上再现麦克风的所记录的源信号的空间布置(其类似于录音之后的真实性),迄今,已经用手画出麦克风的位置或者对它们的位置进行编号,以便之后能够通过设置所有各个通道条的音量,在耗时的过程中再现空间音频混合。然而,在将记录非常大量的麦克风信号的情况下,不仅仅是成功录音的后续混合,这是很大挑战。
而是,在将记录大量源信号的情况下,已经存在很难解决确保任一个和所有麦克风信号在没有干扰的情况下被传递到混合控制台和/或用于音频混合的软件的问题。迄今,这必须通过分别收听和/或检验所有通道条的混合控制台的录音师和/或操作人员验证,这是非常耗时的,并且如果出现不能立即定位起源的干扰信号,则会导致耗时的错误搜索。当收听和/或接通和/或切断各个通道和/或源信号时,必须小心进行,以确保附加录音无错误,其中,附加录音在录音期间使麦克风信号和麦克风信号的位置与混合控制台的通道相关联。这种检验仅在大录音的情况下可能花费数小时,由此一旦录音结束,之后很难或不再可能补偿复杂检验中出现的错误。
发明内容
因此,在使用至少两个麦克风记录声学场景时,需要提供有助于更有效地进行录音和/或混合录音并且具有更小易错率的思想。
该问题通过均包括本发明的特征的混合控制台、音频信号发生器和方法来解决。
本发明的某些实施方式特别是通过使用音频信号发生器便于实现,该音频信号发生器用于针对空间内的虚拟收听位置提供音频信号,其中,声学场景由空间内的第一已知位置处的至少第一麦克风记录为第一源信号,并且由空间内的第二已知位置处的至少第二麦克风记录为第二源信号。为了便于实现,音频信号发生器包括输入接口,以接收由第一麦克风和第二麦克风记录的第一源信号和第二源信号。音频信号发生器内的几何处理器被配置为基于第一位置和虚拟收听位置,确定包括第一已知位置与虚拟收听位置(202)之间的第一距离的第一条几何信息,并且基于第二位置和虚拟收听位置,确定包括第二已知位置与虚拟收听位置(202)之间的第二距离的第二条几何信息,使得第一条几何信息和第二条几何信息可以由用于提供音频信号的信号发生器考虑。为此目的,信号发生器被配置为根据组合规则来组合至少第一源信号和第二源信号,以得到音频信号。在这方面,根据本发明的实施方式,组合使用第一条几何信息和第二条几何信息发生。也就是说,根据本发明的实施方式,可以针对虚拟收听位置(在该虚拟收听位置处,没有真实麦克风需要被定位在将被混合和/或记录的声学场景中),用通过真实麦克风记录的两个源信号产生音频信号,该音频信号可以对应于或类似于在虚拟收听位置的地点处的空间感知。特别是,这可以例如通过直接使用几何信息来实现,该几何信息例如指示在针对虚拟收听位置提供和/或产生音频信号时的真实麦克风的位置与虚拟收听位置之间的相对位置。因此,这在没有任何耗时计算的情况下是可以的,使得音频信号的提供可以实时地发生或几乎实时地发生。
此外,用于针对虚拟收听位置产生音频信号的几何信息的直接使用能够进一步便于通过简单地移动和/或改变虚拟收听位置的位置和/或坐标创建音频混合,而不必须单独地和手动地调节可能的大量源信号。创建单个音频混合还可以例如在实际录音之前便于设置的有效检验,其中,例如,通过在声学场景内和/或声学空间内自由地移动虚拟收听位置,可以检验场景中的真实麦克风的录音质量和/或布置,使得录音师可以立即得到关于各个麦克风是否正确布线和/或各个麦克风是否适当地工作的自动声学反馈。例如,当虚拟收听位置被引导到接近真实麦克风之一的位置时,在不必须使所有其他麦克风渐弱的情况下验证每个单个麦克风的功能,使得其部分在所提供的音频信号中占主导地位。这再次便于由相关麦克风记录的源信号和/或音频信号的检验。
此外,即使在现场录音期间出现错误,本发明的实施方式也可以便于例如通过交换麦克风或电缆,通过快速地识别错误进行快速地干预并且修复错误,使得仍然可以无错误地记录音乐会的至少大部分。
根据本发明的实施方式,此外,可以不再要求独立于源信号记录和/或描绘用于记录声学场景的多个麦克风的位置,以当混合表示声学场景的信号时,随后再现录音麦克风的空间布置。相反,根据某些实施方式,记录源信号的麦克风在声学空间内的预定位置可以直接被认为是音频混合控制台中的各个通道条的控制参数和/或特征并且可以与源信号一起被保存和/或记录。
本发明的某些实施方式是一种混合控制台,该混合控制台用于处理至少第一源信号和第二源信号并且用于提供混合音频信号,该混合控制台包括音频信号发生器,音频信号发生器用于针对空间内的虚拟收听位置提供音频信号,其中,声学场景由所述空间内的第一已知位置处的至少第一麦克风记录为第一源信号,并且由所述空间内的第二已知位置处的至少第二麦克风记录为第二源信号,该音频信号发生器包括:输入接口,输入接口被配置为接收由第一麦克风记录的第一源信号和由第二麦克风记录的第二源信号;几何处理器,几何处理器被配置为基于第一位置和虚拟收听位置确定第一条几何信息,并且基于第二位置和虚拟收听位置确定第二条几何信息;以及信号发生器,所述信号发生器用于提供音频信号,其中,信号发生器被配置为使用第一条几何信息和第二条几何信息根据组合规则来组合至少第一源信号和第二源信号。这可以使得混合控制台的操作人员能够以简单有效的方式并且在没有高错误概率的情况下,在录音之前执行例如麦克风电缆敷设的检验。
根据某些实施方式,混合控制台还包括用户界面,该用户界面被配置为指示多个麦克风的位置以及一个或多个虚拟收听位置的图形表示。也就是说,混合控制台的某些实施方式还允许当记录声学场景时用图形表示几何比率的图像,这可以使得录音师能够以简单直观的方式创建空间混合和/或检验或者建立和/或调节用于记录复杂声学场景的麦克风设置。
根据一些其它实施方式,混合控制台另外包括输入装置,该输入装置被配置为特别是通过直接交互和/或影响虚拟收听位置的图形表示来输入和/或改变至少虚拟收听位置。这允许以特别直观的方式,通过例如用鼠标或通过手指或触敏屏幕(触摸屏)在声学场景内和/或声学空间内将虚拟收听位置移动至当前关注的位置,以执行各个收听位置和/或与这些位置相关联的麦克风的检验。
此外,混合控制台的一些其它实施方式允许经由输入接口将每个麦克风表征为属于许多不同麦克风类型中的特定一种。特别是,由于麦克风关于将被记录的声学场景的对象和/或声源的几何相对位置,导致麦克风类型可以对应于主要记录直接声音部分的麦克风。出于相同原因,第二麦克风类型可以主要表征记录散射声音部分的麦克风。将各个麦克风与不同类型关联的选择可以例如用于使用不同组合规则相互组合由不同类型记录的源信号,以得到针对虚拟收听位置的音频信号。
根据某些实施方式,这可以特别用于使用针对主要记录散射声音的麦克风和针对主要记录直接声音的这种麦克风的不同组合规则和/或叠加规则,以获得包括对于给定要求有利的特征的自然声音印象和/或信号。根据通过形成至少第一源信号和第二源信号的加权和生成音频信号的某些实施方式,例如,针对不同麦克风类型以不同方式确定权重。例如,在主要记录直接声音的麦克风中,可以经由适当选择的加权因子,随着离麦克风的距离增大以该方式实现对应于真实性的音量减小。根据某些实施方式,权重与麦克风到虚拟收听位置的距离的幂的倒数成比例。根据某些实施方式,权重与距离的倒数成比例,这对应于声音的理想化点状源的声音传播。根据某些实施方式,对于与第一麦克风类型(即,记录直接声音)相关联的麦克风,加权因子与麦克风到虚拟收听位置的距离的倒数和近场半径的乘积成比例。
这通过考虑近场半径的假设影响(假设源信号在近场半径内为恒定音量),可能得到音频信号的改进感知。
根据本发明的某些实施方式,通过计算加权和,还用针对麦克风记录的源信号x1和x2产生音频信号,源信号x1和x2与第二麦克风类型相关联,并且通过源信号x1和x2主要记录散射声音部分,其中,权重g1和g2取决于麦克风的相对位置并且同时满足附加边界条件。特别是,根据本发明的某些实施方式,权重和G=g1+g2或权重的平方和G2=g1 2+g2 2是恒定的,并且具体地是1。这可能得到源信号的组合,其中,针对麦克风之间的不同相对位置产生的音频信号的音量至少大致对应于每个源信号的音量,因为声学空间内的散射信号部分包括大致相等的音量,这可以再次得到所产生的音频信号的良好感知质量。
根据本发明的某些实施方式,最初通过利用不同权重的两个加权和,从源信号形成第一中间信号和第二中间信号。然后,基于第一中间信号和第二中间信号,通过又一加权和确定音频信号,其中,权重取决于第一源信号和第二源信号之间的相关系数。根据所记录的两个源信号的相似性,这可以允许相互组合组合规则和/或平移方法,这可以允许被加权,以使得过多音量增加(由于过多音量增加原则上可以根据所选择方法和将被组合的信号发生)可以进一步被减小。这样可以独立于组合的信号形状得到保持大致恒定的所产生的音频信号的总音量,使得很大程度上同样在没有关于源信号的任何先验知识的情况下,所给出的空间印象对应于期望的空间印象。
根据一些其它实施方式,使用通过区域(其中,虚拟收听位置通过均记录源信号的三个麦克风围绕)中的三个源信号形成音频信号(特别是,到涉及它们的散射声音部分的程度)。这里,提供音频信号包括产生所记录的三个源信号的加权和。与源信号相关联的麦克风形成三角形,其中,基于虚拟收听位置到三角形的高度(该高度穿过相关麦克风的位置)的垂直投影,确定针对源信号的权重。这里可以使用不同方法来确定权重。然而,即使组合的是三个源信号而不是仅两个源信号,音量也可以大致保持不变,这可能有助于虚拟收听位置处的声场在音调上的更理想再现。
根据本发明的某些实施方式,如果第一条几何信息和第二条几何信息的比较满足预定标准,特别是,如果两个距离相互偏离少于可操作的最小距离,则第一源信号或第二源信号在组合这两个源信号之前延迟一延迟时间。这可以允许在没有任何声染色的情况下产生音频信号,声染色可能通过以相互之间小空间距离记录的信号的叠加产生。根据某些实施方式,所使用的每个源信号特别是以有效方式被延迟,使得其传播时间和/或等待时间对应于从所涉及的所有麦克风的位置到虚拟收听位置的最大信号传播时间,使得可以通过强制相同信号传播时间来避免类似或相同信号的相消干扰。
根据一些其它实施方式,在源信号的叠加和/或加权求和的过程中进一步考虑方向依赖性,即,优选方向和关于优选方向指示的方向性可以与虚拟收听位置相关联。这可以允许当通过另外考虑已知方向性(诸如,真实麦克风或人类听觉的已知方向性)产生音频信号时,实现接近真实性的效果。
附图说明
下面将参照附图更详细地描述本发明的实施方式,其中:
图1:示出音频信号发生器的实施方式;
图2:示出用音频信号发生器的实施方式处理源信号的声学场景的图示;
图3:示出根据本发明的某些实施方式的用于产生音频信号的组合规则的示例;
图4:示出阐明可能组合规则的又一示例的图示;
图5:示出用于三个源信号使用的组合规则的图示;
图6:示出又一组合规则的图示;
图7:示出方向依赖组合规则的图示;
图8:示出混合控制台的实施方式的示意性表示;
图9:示出用于产生音频信号的方法的实施方式的示意性表示;以及
图10:示出用户界面的实施方式的示意性表示。
具体实施方式
现在,将参照附图更完整地描述各种实施方式,在附图中示出某些实施方式。在附图中,为了清晰起见,可以放大线、层和/或区域的厚度。
在仅示出一些示例性实施方式的附图的以下描述中,类似的参考标号可以表示类似或同等组件。此外,概述参考标号可用于在实施方式中或附图中多次出现的组件和对象,但是关于一个或多个特征联合描述。可以关于单个、多个或所有特征(诸如,它们的尺寸)以相同方式(然而,如果需要,还可以以不同方式实现)实现使用类似或者概述参考标号描述的组件或对象。
即使以多种方式更改和修改实施方式,附图中的实施方式也被表示为示例并且在此被详细地描述。然而,清楚的是,其不旨在将实施方式限于所公开的特定形式,而是相反地,实施方式应该覆盖落入本发明的范围内的任何和所有功能和/或结构修改、等同物和更改。贯穿附图的整体描述,类似的参考标号表示类似或相似的元件。
应该注意,当元件被称为“连接”或“联接”到另一个元件时,它可以直接连接或联接到其它元件或者可能存在中间元件。相比之下,当元件被称为“直接连接”或“直接联接”到另一个元件时,不存在中间元件。应该以类似方式理解用于描述元件之间的关系的其它词语(例如,“在…之间”对“直接在…之间”、“相邻”对“直接相邻”等)。
在此使用的术语仅用于描述特定实施方式的目的,而不旨在限制实施方式。如在此使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文另外明确指示。还要清楚的是,例如在此使用的“包括”和/或“包含”的术语指明所述特征、整数、步骤、操作、元件和/或组件的存在,但是不排除存在或添加一个或更多个其它特征、整数、步骤、操作、元件、组件和/或其组。
除非另外定义,否则在此使用的任何和所有术语(包括技术术语和科技术语)都具有与实施方式所属领域的普通技术人员通常理解的意思相同的含义。进一步清楚的是,除非在此明确定义,否则术语(例如,在通用字典中定义的那些术语)应该被解释为具有与它们在相关领域的背景下的含义一致的含义,而不应该解释为理想化的或者过于正式的意义。
在示意性表示中,图1示出音频信号发生器100的实施方式,音频信号发生器100包括输入接口102、几何处理器104和信号发生器106。音频信号发生器100用于针对空间200内的虚拟收听位置202提供音频信号,其仅在图1中示意性地指示。在空间200中,使用至少第一麦克风204和第二麦克风206来记录声学场景。声学场景的源208在此仅被示意性地示出为空间200内的区域,在该区域内布置和/或可以布置多个声源,在空间200内得到声场,声场被称为声学场景并且通过麦克风204和206记录。
输入接口102被配置为接收由第一麦克风204记录的第一源信号210和由第二麦克风206记录的第二源信号212。第一源信号210和第二源信号212在此可以是模拟信号和数字信号二者,模拟信号和数字信号二者可以由麦克风以编码形式和未编码形式二者发送。也就是说,根据某些实施方式,可能已经根据压缩方法(诸如高级音频编解码器(AAC)、MPEG1、Layer 3(MP3)等)对源信号210和212进行编码和/或压缩。
第一麦克风204和第二麦克风206被定位在空间200内的预定位置处,所述预定位置还被几何处理器104知晓。此外,几何处理器104知晓虚拟收听位置202的位置和/或坐标,并且被配置为根据第一麦克风204的第一位置和虚拟收听位置202确定第一条几何信息110。几何处理器104被进一步配置为根据第二位置和虚拟收听位置202确定第二条几何信息112。
虽然不声称是排他性的,但是这样的一条几何信息的示例是第一位置与虚拟收听位置202之间的距离或者是同虚拟收听位置202相关联的优选方向与麦克风204或206中的一个的位置之间的相对取向。当然,还可以在一维、二维或三维空间中,诸如通过笛卡尔坐标、球坐标或柱坐标以任何方式描述几何形状。换句话说,第一条几何信息可以包括第一已知位置与虚拟收听位置之间的第一距离,并且第二条几何信息可以包括第二已知位置与虚拟收听位置之间的第二距离。
信号发生器被配置为提供组合第一源信号210和第二源信号212的音频信号,其中,组合遵循组合规则,根据组合规则考虑和/或使用第一条几何信息110和第二条几何信息112二者。
因此,从第一源信号210和第二源信号212得到音频信号120,其中,在此使用第一条几何信息110和/或第二条几何信息112。也就是说,直接使用关于虚拟收听位置12与麦克风204和206的位置之间的几何特征和/或关系的信息来确定音频信号120。
从而,通过改变虚拟收听位置202,可以以简单直观的方式得到音频信号,这允许例如在乐团内的多个麦克风不必须单独经由分别与其相关联的混合控制台的通道被收听的情况下,检验接近虚拟收听位置202布置的麦克风的功能。
根据第一条几何信息和第二条几何信息至少包括虚拟收听位置202与第一位置之间的第一距离d1和虚拟收听位置202与第二位置之间的第二距离d2作为一条信息的实施方式,第一源信号210和第二源信号212(及其它)的加权和用于产生音频信号120。
虽然为了简单并且为了更好理解的原因,在图1中仅示出两个麦克风204和206,但不用说,根据本发明的其它实施方式,图1中示意性示出的种类的任何数量的麦克风可以由音频信号发生器100使用,以针对虚拟收听位置产生音频信号,如将使用以下实施方式在此解释的。
也就是说,根据某些实施方式,从第一源信号210(x1)和第二源信号(x1)的线性组合产生音频信号x,其中,第一源信号x1由第一权重g1加权并且第二源信号x2由第二权重g2加权,使得以下应用:
x=g1*x1+g2*x2。
根据某些实施方式,还可考虑已经提到的具有对应权重g3、…、gn的其它源信号x3、…、xn。当然,音频信号是时间依赖的,其中,在当前情况下,为了清晰的原因,部分地避免对时间依赖性作出明确参考,并且所提供的关于音频信号或源信号x的信息将被理解为与信息x(t)是同义的。
图2示意性地示出空间200,其中,在选择用于图2的图示中,假设空间200由矩形壁限制,这些矩形壁负责产生散射声场。此外,简单地假设即使一个或多个声源可以布置在图2中示出的源208中的封闭区域内,声源也可以(最初以简单形式)被认为是关于针对各个麦克风的效果的单个源。由这种声源发射的直接声音由限制空间200的壁多次反射,使得由已经衰减的信号的多次反射产生的散射声场从以不相关方式叠加的信号产生,并且至少大致在整个空间内以恒定音量为特征。直接声音部分被叠加在来自位于源208内的声源的、之前没有被反射的声音(即,直接到达可能的收听位置(特别是包括麦克风220和232)的这种声音)上。也就是说,声场可以按概念理想化含义被划分成空间200内的两个部分,即,从产生声音的地点直接到达对应收听位置的直接声音部分和源自直接多个发射和反射的信号的大致不相关叠加的散射声音部分。
在图2中示出的图示中,可以假设,由于麦克风220至224到源208的空间近程,导致它们主要记录直接声音,即,由这些麦克风记录的信号的音量和/或声压主要源自直接声音部分,声源布置在源208内。相比之下,例如可以假设,麦克风226至232记录主要源自散射声音部分的信号,这是因为源208与麦克风226至232之间的空间距离很大,使得这些位置处的直接声音的音量至少相当于或小于散射声场的音量。
为了说明针对虚拟收听位置202产生音频信号时音量随着距离增大而减小,根据本发明的某些实施方式,根据虚拟收听位置202与用于记录源信号的麦克风220至232之间的距离,选择针对各个源信号的权重gn。图3示出确定用于与源信号相乘的这种权重和/或这种因子的方式的示例,其中,在此选择麦克风222作为示例。如图3中示意性示出的,在某些实施方式中,权重gn被选择为与第一距离d1的幂的倒数成比例,即:
根据某些实施方式,选择n=1作为幂,即,权重和/或权重因子与距离d1成反比,该依赖性大致对应于均匀发射点状声源的自由场传播。也就是说,根据某些实施方式,假设音量与距离240成反比。根据一些其它实施方式,另外针对一些或所有麦克风220至232考虑所谓的近场半径242(r1)。近场半径242在此对应于直接在声源周围的区域,特别是对应于形成声波和/或音色库(sound front)的区域。在近场半径内,假设音频信号的声压水平和/或音量是恒定的。在这方面,可以在简单模型表示时假设,在音频信号的单个波长内在介质中没有产生明显衰减,使得至少在单个波长(对应于近场半径)内,声压是恒定的。这意味着,近场半径还可以是频率依赖的。
通过根据本发明的某些实施方式以模拟方式使用近场半径,如果虚拟收听位置202接近麦克风220至232的真实位置中的一个位置,则可以通过特别清楚地对用于检验各个麦克风的声学场景和/或配置和电缆敷设的相关量加权,在虚拟收听位置202处产生音频信号。即使根据本发明的某些实施方式假设针对近场半径r的频率依赖量,也可以根据一些其它实施方式实现近场半径的频率依赖性。从而,根据某些实施方式,为了产生音频信号,假设音量在近场半径r内的麦克风220至232中的一个周围是恒定的。为了简化信号的计算但是可能为了说明近场半径的影响,假设以下规则作为根据一些其它实施方式的通用计算规则:权重g1与所考虑的麦克风222的近场半径r1和虚拟收听位置202与麦克风222的距离d1的商成比例,使得以下应用:
对距离的这种参数化和/或依赖性可以说明关于近场的考虑和关于远场的考虑二者。如上所述,点状声源的近场与远场相邻,其中,在自由场传播的情况下,声压被减半,与声源的距离均加倍,即,在每种情况下,声压水平减小6dB。该特征也被已知为距离定理和/或1/r定理。即使根据本发明的某些实施方式,也可以记录源208,其声源方向性地发射,如果不关注虚拟收听位置202的地点处的声场的真实世界再现,则可以假设点状声源,但是相反可以以快速有效的方式检验和/或收听麦克风和/或复杂声学场景的录音质量。
如在图2中已经指示的,根据某些实施方式,可以以不同方式选择用于不同麦克风的近场半径。特别地,在此可以说明不同的麦克风类型。与各个麦克风的实际设置无关的、描述麦克风的特征或其使用(不同于也用于记录源208的又一麦克风的相同特征或使用)的一条信息在此应该被理解为麦克风类型。针对这种区别的示例是由于它们的几何定位导致主要记录直接声音部分的第一类型(图2中的类型“D”)的麦克风和由于关于源208的较大距离和/或另一个相对位置导致主要记录和/或登记散射声场(图2中的类型“D”)的麦克风之间的区别。特别是,在不同类型的麦克风中这样区分麦克风时,不同近场半径的使用可能是有用的。根据某些实施方式,类型A麦克风的近场半径在此被选择为大于针对类型D麦克风的近场半径,其可能使得:特别是当上述散射声场跨大区域大致同样大声时,如果在物理条件和/或声音印象不严重失真的情况下,虚拟收听位置202被放在各个麦克风附近,则可以简单地检验各个麦克风。
概括地,根据本发明的某些实施方式,如果记录相应源信号的麦克风与不同麦克风类型相关联,则音频信号发生器100使用用于组合源信号的不同组合规则。也就是说,如果待组合的两个麦克风与第一麦克风类型相关联,则使用第一组合规则,以及如果待组合的两个麦克风和/或由这些麦克风记录的源信号与第二麦克风类型相关联,则使用第二组合规则。
特别是,根据某些实施方式,每个不同类型的麦克风最初可以完全单独被处理并且可以均被组合到一个部分信号Xvirt,于是在最终步骤中,由所使用的音频信号发生器和/或混合控制台通过组合先前产生的部分信号产生最终信号。将这应用到图2中示出的声学场景,这意味着例如最初可以针对虚拟收听位置202确定部分信号XA,这仅考虑类型A麦克风226至232。与此同时或在此之前和/或在此之后,可以针对虚拟收听位置202确定第二部分信号XD,这仅考虑类型D麦克风(即,麦克风220至224),但是根据另一个组合规则将这些麦克风相互组合。在最终步骤中,然后可以通过组合这两个部分信号(特别是通过由第一类型(D)的麦克风得到的第一部分信号XD和由第二类型(A)的麦克风得到的第二部分信号XA的线性组合)针对虚拟收听位置202产生第一音频信号x,使得以下应用:
X=XA+XD。
图4示出与图2类似的声学场景、以及记录直接声音的麦克风220至224和多个A类型麦克风的位置的示意图,随后将特别考虑为类型A麦克风的麦克风250至256。在这方面,论述关于可以根据哪个组合规则针对虚拟收听位置202产生音频信号的一些选择,虚拟收听位置202被布置在图4和图5中示出的构造中的由麦克风250至254跨越的三角形表面内。
概括地,可以在考虑最接近麦克风的位置或者考虑所有麦克风的位置的情况下,进行音量的插值(interpolation)和/或针对虚拟收听位置202产生音频信号。例如,为了减少计算负荷及其它,仅使用最接近麦克风在虚拟收听位置202处产生音频信号可能是有利的。这可以例如通过德劳内三角化和/或通过用于搜索最接近邻居的任何其它算法发现。此后特别参照图5描述确定音量调节或(概括地)组合与麦克风250至254相关联的源信号的一些具体选择。
如果虚拟收听位置202不位于三角化三角形中的一个三角形内而是在三角形外(例如,在图4中如虚线绘制的又一虚拟收听位置260处),则仅相邻邻居的两个源信号可用于信号的插值和/或用于从麦克风的源信号组合音频信号。为了简单起见,此后还使用图5论述组合两个源信号的选择,其中,在用两个源信号进行插值时最初忽略麦克风250的源信号。
根据本发明的某些实施方式,根据第一交叉渐变规则(所谓的线性平移定理),产生针对虚拟收听位置202的音频信号。根据这种方法,使用以下计算规则确定音频信号xvirt1:
xvirt1=g1*x1+(1-g1)*x2,其中,g2=(1-g1)。
也就是说,待相加的各个源信号x1和x2的权重线性相加为1,通过两个信号x1和x2中的一个或者通过这两个信号x1和x2二者的线性组合形成音频信号xvirt1。由于该线性关系,以此方式产生的音频信号包括针对相同源信号中的g1的任何值的恒定音量,然而完全不同的(去相关的)源信号x1和x2导致包括-3dB的音量减小(即,对于值g1=0.5,减小为因子0.5)的音频信号。
第二交叉渐变规则(根据其可以产生音频信号xvirt2)是所谓的正弦和余弦定理:
xvirt2=cos(δ)*x1+sin(δ)*x2,其中,δ∈[0°;90°]。
确定各个权重g1和g2的参数δ从0°达到90°,并且根据虚拟收听位置202与麦克风252和254之间的距离来计算。因为对于δ的任何值来说权重的平方总计达1,所以如果源信号被去相关,则可以通过正弦和余弦定理针对任何参数δ产生具有恒定音量的音频信号。然而,在相同源信号中,针对参数δ=45°得到3dB的音量增大。
得到与第二交叉渐变规则类似的结果并且可以产生音频信号xvirt3的第三交叉渐变规则是所谓的正切定理:
xvirt3=g1*x1+g2*x2,其中,且θ∈[0°;90°]。
可用于产生音频信号xvirt4的第四交叉渐变规则是所谓的正弦定理:
xvirt4=g1*x1+g2*x2,其中,且θ∈[0°;90°]。
在这方面,同样地,对于参数θ的任何可能值,权重的平方合计达1。通过虚拟收听位置202与麦克风之间的距离再次确定参数θ;参数θ可以取从-45度到45度的任何值。
特别是,为了组合两个源信号(关于其仅存在有限的先验知识)(其可能例如是空间稍微变化的散射声场的情况),可以使用第四组合规则,可以根据第四组合规则,根据将要组合的源信号组合上述第一交叉渐变规则和上述第二交叉渐变规则。特别是,根据第四组合规则,使用两个中间信号xvirt1和xvirt2的线性组合,其中,中间信号xvirt1和xvirt2是最初根据第一交叉渐变规则和第二交叉渐变规则分别针对源信号x1和x2产生的。特别是,根据本发明的某些实施方式,使用源信号x1和x2之间的相关系数σx1x2作为用于线性组合的加权因子,并且被如下定义并且表示用于两个信号的相似性的量度:
其中,E是指期望值和/或线性平均值,并且σ指示相关质量和/或相关源信号的标准差,其中,针对较好逼近时的声学信号,应用线性平均值E{x}是零。
xvirt=σx1x2*xvirt1+(1-σx1x2)*xvirt2。
也就是说,根据本发明的某些实施方式,组合规则还包括用由用于第一源信号x1和第二源信号x2之间的相关性的相关系数σx1x2加权的中间信号xvirt1和xvirt2,形成加权和xvirt。
从而,通过使用第四组合规则,根据本发明的某些实施方式,在整个参数范围内可以实现具有大致恒定音量的组合。此外,这可以主要被实现,而与待组合的信号不同还是相同无关。
如果根据本发明的某些实施方式,音频信号应该到达位于由三个麦克风250至254限定的三角形内的虚拟收听位置202,则根据本发明的某些实施方式,可以以线性方式组合麦克风250至254的三个源信号,其中,基于虚拟收听位置202到三角形的高度的垂直投影获得与麦克风250至254相关联的源信号的各个信号部分,其中,三角形的高度与关于各个源信号的麦克风的位置相关联。
如果例如应该确定麦克风250的信号部分和/或与该源信号相关联的权重,则最初执行将虚拟收听位置202垂直投影到与麦克风250相关的高度262和/或麦克风250所在的三角形的角。这导致在高度262上的如图5中的虚线示出的投影位置264。这依次将高度262划分成面对麦克风250的第一高度部分226和背离麦克风250的高度部分268。这两个高度部分266和268的比率被用于根据以上交叉渐变规则中的一个来计算麦克风250的源信号的权重,其中,假设声源和/或麦克风被定位在与麦克风250相对的高度262的端部,并且不断地记录幅度为零的信号。
也就是说,根据本发明的实施方式,计算三角形的每条边的高度并且确定虚拟麦克风到三角形的每条边的距离。沿着对应高度,麦克风信号从三角形的角到三角形的对边以线性方式和/或根据所选择的交叉渐变规则减弱至零。对于图5中示出的实施方式,这意味着如果投影264被定位在麦克风250的位置,则使用具有权重1的麦克风250的源信号,如果投影264被定位在麦克风252和254的位置之间的连接直线上(即,在三角形的对边)上,则使用具有权重0的麦克风250的源信号。麦克风250的源信号在这两个极端位置之间渐强和/或渐弱。一般来讲,这意味着当用三个信号组合该信号时,考虑三个源信号x1至x3,其中,相关麦克风250至254跨越虚拟收听位置202所在的三角形表面。在这方面,基于虚拟收听位置202到三角形的高度(三角形的该高度与关于各个源信号的麦克风的位置相关联)和/或该高度穿过的位置的垂直投影,针对源信号x1至x3的线性组合确定权重g1至g3。
如果使用上述第四交叉渐变规则确定该信号,则通过最初确定各个相邻源信号(从其总计得到三个相关系数)之间的相关性,可以针对三个源信号x1至x3确定联合相关系数。用以此方式获得的三个相关系数,通过确定平均值计算联合相关系数,联合相关系数再次确定针对通过第一交叉渐变规则(线性平移)和第二交叉渐变规则(正弦和余弦定理)形成的部分信号的和的加权。也就是说,最初使用正弦和余弦定理确定第一部分信号,然后使用线性平移确定第二部分信号,并且通过用相关系数进行加权,以线性方式组合这两个部分信号。
图6示出虚拟收听位置202布置在其内的麦克风270至278的位置的其它可能构造的图示。特别是通过图6示出又一可能组合规则,该组合规则的特征可以使用上述组合选择以任何方式组合或者(甚至基于其自身考虑)可以是在此描述的组合规则。
根据本发明的某些实施方式,如果与源信号相关联的麦克风被定位在离虚拟收听位置202的预定可配置距离R内,则在针对虚拟收听位置202组合音频信号时,仅考虑图6中示意性示出的源信号。从而,根据某些实施方式,可以通过例如根据所选择的组合规则仅考虑信号贡献超过人类听觉阈值的那些麦克风来节省计算时间。
根据本发明的某些实施方式,如图7中示意性示出的,组合规则还考虑针对虚拟收听位置202的方向性。这意味着例如针对第一麦克风220的第一源信号x1的第一权重g1可以另外与方向因子rf1成比例,方向因子rf1由针对虚拟收听位置202的灵敏度函数和/或方向性、以及由虚拟收听位置202与麦克风220之间的相对位置得到。也就是说,根据这些实施方式,第一条几何信息还包括关于麦克风220与同虚拟收听位置202相关联的优选方向280之间的方向的第一条方向信息,其中,方向性282包括其最大灵敏度。
一般来说,根据某些实施方式,线性组合源信号x1和x2的加权因子g1和g2因此还取决于说明虚拟收听位置202处的方向性280的第一方向因子rf1和第二方向因子rf2。
换句话说,在先前段落中论述的组合规则可以总结如下。在以下段落中更详细地描述各个实现。所有变型例的共同点是,当将信号相加时可能出现梳状滤波器效应。如果可能是这种情况,则在此之前的信号可以相应地被延迟。因此,最初示出用于延迟的算法。
在相互之间的距离大于两米的麦克风中,将信号相加,而没有任何可察觉的梳状滤波器效应产生。还可以毫不犹豫地将来自麦克风的信号相加,其中,关于它们的位置距离,满足所谓的3:1规则。该规则表明,当使用两个麦克风记录声源时,为了不产生任何可察觉的梳状滤波器效应,声源与第二麦克风之间的距离应该至少是从声源到第一麦克风的距离的三倍。这样的前提是例如依照1/r定律,随着距离增大,麦克风具有相等的敏感度和减小的声压水平。
系统和/或音频信号发生器或其几何处理器最初识别是否满足这两个条件。如果不满足,则可以在根据虚拟麦克风的当前位置计算虚拟麦克风信号之前,延迟这些信号。为此目的,当需要时,确定所有麦克风到虚拟麦克风的距离,并且相对于离虚拟麦克风最远的麦克风在时间上延迟该信号。为此目的,计算最大距离并且计算到剩余距离的差。现在从各个距离di与声音速率c的比率和取样速率Fs的乘积得到样本中的延迟Δti。如果信号应该仅延迟整个样本,则所计算的值在数字实现时可以例如被四舍五入。N在此后是指录音麦克风的数量:
其中,i=1,…,N。
根据一些其它实施方式,所确定的最大等待时间被应用至所有源信号。
为了计算虚拟麦克风信号,可以实现以下变型例。在这方面,封闭麦克风(closemicrophone)和/或用于记录直接声音的麦克风此后被称为第一麦克风类型的麦克风,以及环境麦克风和/或用于记录散射声音部分的麦克风此后被称为第二麦克风类型的麦克风。此外,虚拟收听位置也被称为虚拟麦克风的位置。
根据第一变型例,封闭麦克风和/或第一麦克风类型的麦克风的信号和环境麦克风的信号根据距离定理减小。结果,每个麦克风在其位置处以特定主导方式都可听到。为了计算虚拟麦克风信号,最初可以由用户确定围绕封闭麦克风和环境麦克风的近场半径。在该半径内,信号的音量保持恒定。如果虚拟麦克风现在被布置在录音场景中,则计算从虚拟麦克风到每个单独真实麦克风的距离。为此目的,将麦克风信号的样本值xi[t]除以当前距离di并且乘以近场半径rnah[nah=近]。N指示录音麦克风的数量:
其中,i=1,...,N。
因此,获得由于空间距离di而被衰减的麦克风信号以此方式计算的所有信号被相加并且一起形成针对虚拟麦克风的信号:
根据第二变型例,将直接声音和散射声音分离。在整个空间中,散射声场应该具有大致相同的音量。为此目的,通过环境麦克风的布置,将空间划分成特定区域。根据这些区域,从一个、两个或三个麦克风信号计算散射声音部分。依照距离定理,附近麦克风的信号随着距离增大而降低。
图4示出空间分布的示例。这些点用符号表示环境麦克风。环境麦克风形成多边形。该多边形内的区域被划分成多个三角形。为此目的,应用德劳内三角化。使用该方法,三角形网格可以由点集形成。最基本的特征在于,三角形的外接圆不包括该点集之外的任何其它点。通过满足该所谓的外接圆条件,可能创建具有最大内角的三角形。在图4中,使用四个点示出该三角化。
使用德劳内三角化,将相互接近定位的麦克风分组,并且将每个麦克风映射到周围空间中。在每种情况下,用三个麦克风信号在多边形内计算针对虚拟麦克风的信号。在该多边形外部,针对两个角的每条连接线,确定经过角的两条垂直直线。因此,该多边形外部的特定区域也受到限制。因此,虚拟麦克风可以定位在两个麦克风之间,或者可以定位在接近麦克风的一个角处。
为了计算散射声音部分,最初应该确定虚拟麦克风是位于形成边缘的多边形的内部还是外部。根据位置,从一个、两个或三个麦克风信号来计算虚拟麦克风信号的散射部分。
如果虚拟麦克风位于该多边形外部,则在一个角处的多个区域之间并且在两个麦克风之间进行区分。如果虚拟麦克风位于在接近麦克风的区域中的多边形的一个角处,则仅该麦克风的信号xi用于计算散射声音部分:
xdiffus[t]=xi[t]。
在两个麦克风之间的区域中,虚拟麦克风信号由两个对应麦克风信号x1和x2组成。根据位置,使用各种交叉渐变规则和/或平移方法,发生这两个信号之间的交叉渐变。这在此后还被称为:线性平移定理(第一交叉渐变规则)、正弦和余弦定理(第二交叉渐变规则)、正切定理(第三交叉渐变规则)、以及线性平移定理与正弦和余弦定理的组合(第四交叉渐变规则)。
为了组合线性定理(xvirt1)与正弦和余弦定理(xvirt2)的两个平移方法,确定两个信号x1和x2的相关系数σx1x2:
根据系数的大小,将各个定理包括到加权和Xvirt的计算中:
xvirt=σx1x2*xvirt1+(1-σx1x2)*xvirt2,其中,
xvirt1=g1*x1+(1-g1)*x2,其中,g2=(1-g1);“线性平移”
xvirt2=cos(δ)*x1+sin(δ)*x2,其中,δ∈[0°;90°];“正弦和余弦定理”。
如果相关系数等于1,则其是指相同信号并且仅发生线性交叉渐变。如果相关系数是0,则仅应用正弦和余弦定理。
在一些实现中,相关系数可以不仅描述瞬时值,而且可以在特定时间段内被积分。在相关量角器中,该时间段可以是例如0.5秒。当本发明的实施方式和/或虚拟麦克风不一直需要是实时启用系统时,还可以在更长时间段(例如30秒)内确定相关系数。
在该多边形内的区域中,虚拟收听位置被定位在使用德劳内三角化确定角的三角形内,如使用图5示出的。在每个三角形中,虚拟麦克风信号的散射声音部分由位于这些角处的麦克风的三个源信号组成。为此目的,确定三角形的每条边的高度h,并且确定虚拟麦克风到三角形的每条边的距离dvirtMic。沿着对应高度,根据所设置的平移方法和/或根据所使用的交叉渐变规则,麦克风信号从三角形的一个角到对边渐弱到零。
原则上,上述平移方法可用于此,其还用于计算该多边形外部的信号。通过将距离dvirtMic除以高度h的值,将路径归一化成长度1,并且在平移曲线上设置对应位置。现在可以读取根据所设置的平移方法与三个信号中的每个信号相乘的Y轴上的值。
为了组合线性平移定理与正弦和余弦定理,在每种情况下最初都用两个源信号确定相关系数。结果,获得三个相关系数,随后用这三个相关系数计算平均值。
该平均值确定正弦和余弦的线性定理和平移定理的和的加权。以下也同样适用于此:如果值等于1,则交叉渐变仅使用线性平移定理发生。如果值等于0,则仅使用正弦和余弦定理。最后,当将所有三个信号相加时,产生声音的散射部分。
直接声音部分被叠加到散射声音上,其中,根据先前介绍的含义,记录类型“D”麦克风的直接声音部分和类型“A”麦克风的间接声音部分。最终,将散射声音部分和直接声音部分相加,因此产生针对虚拟麦克风的信号:
xvirtMic[t]=xdiffus[t]+xdirekt[t]。
此外,还可以扩展该变型例。根据需要,可以围绕麦克风设置任何尺寸的半径。在该区域内,仅能听到位于那里的麦克风。所有其它麦克风都被设置为零和/或被分配有权重0,使得虚拟麦克风的信号对应于所选择麦克风的信号:
xvirtMic[t]=xi,sel[t]。
根据第三变型例,在计算虚拟麦克风时,涉及位于围绕虚拟麦克风的特定环境内的麦克风。为此目的,最初确定所有麦克风到虚拟麦克风的距离,并且据此确定哪些麦克风在该圆内。该圆外部的麦克风的信号被设置为零和/或被分配权重0。
该圆内的麦克风的信号值xi(t)在相等部分中被相加,因此得到针对虚拟麦克风的信号。如果N指示该圆内的录音麦克风的数量,则以下应用:
为了避免麦克风在该圆内部或外部转换时音量突然出现跳跃,可以在该圆的边缘处以线性方式使信号另外渐强和/或渐弱。在该变型例中,不需要区分封闭麦克风和环境麦克风。
在所有变型例中,将附加方向性与虚拟麦克风相关联也可能是合理的。为此目的,虚拟麦克风可以设置有方向矢量r,该方向矢量r开始指向方向性的主方向(在极坐标图中)。当在某些实施方式中,麦克风的方向性仅对于直接声音有效时,方向性仅影响封闭麦克风的信号。环境麦克风的信号继续被包括到根据组合规则的计算中而不被改变。基于虚拟麦克风,针对所有封闭麦克风形成矢量。针对封闭麦克风中的每个,计算该矢量与虚拟麦克风的方向矢量之间的角在图7中,这被示出为针对麦克风220的示例。通过将该角插入到常规麦克风等式中,针对每个源信号获得因子s,因子s对应于方向性导致的附加声音衰减。在将所有源信号相加之前,将每个信号乘以对应因子。例如,有可能在全方向(a=1;b=0)、宽心形(a=0.71;b=29)、心形(a=0.5;b=0.5)、超心型(a=0.37;b=0.63)、过心形(a=0.25;b=0.75)和八字形(a=0;b=1)的方向性之间进行选择。虚拟麦克风可以例如旋转,准确度为1°或更小。
图8示意性地示出包括音频信号发生器100的混合控制台300,并且可以通过混合控制台300接收可用于记录声学场景208的麦克风290至295的信号。混合控制台用于处理至少两个麦克风290至295的源信号并且提供混合后的音频信号302,在图8中选择的表示中仅示意性地指示了混合后的音频信号302。
根据本发明的某些实施方式,混合控制台还包括用户界面306,用户界面306被配置为指示多个麦克风290至295的位置的图形表示,并且还指示布置在麦克风290至295所在的声学空间内的虚拟收听位置202的位置。
根据某些实施方式,用户界面还允许将麦克风类型与麦克风290至295中的每个相关联(诸如,标记用于记录直接声音的麦克风的第一类型(1)和指示用于记录散射声音部分的麦克风的第二类型(2))。
根据一些其它实施方式,用户界面还被配置为使混合控制台的用户能够以简单方式(诸如,通过移动图8中示意性示出的光标310和/或计算机鼠标)直观且简单地移动虚拟位置,以允许以简单方式检验整个声学场景和/或录音设备。
图9示意性地示出用于提供音频信号的方法的实施方式,该方法包括:在信号记录步骤500中,接收由第一麦克风记录的第一源信号x1和由第二麦克风记录的第二源信号x2。
在分析步骤502期间,基于第一位置和虚拟收听位置确定第一条几何信息,并且基于第二位置和虚拟收听位置确定第二条几何信息。在组合步骤505中,使用第一条几何信息和第二条几何信息,根据组合规则组合至少第一源信号x1和第二源信号x2。
图10再次示出用于本发明的实施方式的用户界面306的示意性表示,其与图8中所示的用户界面306稍微不同。在其中和/或在所谓的“互动画布(interaction canvas)”中,可以将麦克风的位置特别地指示为声源和/或各种类型的麦克风和/或麦克风类型(1、2、3、4)。为此目的,可以指示至少一个接收方和/或一个虚拟收听位置202的位置(带十字的圆)。每个声源都可以与混合控制台通道310至316中的一个相关联。
虽然使用先前实施方式主要论述了虚拟收听位置202处的单个音频信号的产生,但是不用说,根据本发明的其它实施方式,还可以针对其它虚拟收听位置产生多个(例如,2个、3个、4个、达到任何数量的)音频信号,其中,在每种情况下都使用上述组合规则。
在这方面,还可以根据其它实施方式,例如,通过使用多个空间上相邻的虚拟收听位置,产生(例如人类听觉的)不同收听模型。通过限定大致具有人类听觉和/或外耳的距离的两个虚拟收听位置,可以例如结合频率依赖方向性,针对每个虚拟收听位置产生信号,其模拟在这两个虚拟收听位置之间的位置处使用人类听众佩带的耳机等直接收听时的听觉印象。也就是说,在左耳道和/或左听筒的位置处,将产生第一虚拟收听位置,第一虚拟收听位置还包括频率依赖方向性,使得可以依据头部相关传递函数(HRTF),沿着耳道经由频率依赖方向性来模拟信号传播。如果对于右耳而言以相同方式针对第二虚拟收听位置进行处理,则根据本发明的某些实施方式,将获得两个单声道信号,在例如使用耳机直接收听时,这两个单声道信号对应于真实听众在虚拟收听位置具有的声音印象。
以类似方式,例如可以模拟传统立体声麦克风。
总而言之,根据本发明的某些实施方式,可以指示和/或自动捕捉混合控制台/录音软件中的声源(例如,麦克风)的位置。基于声源的位置,录音师可以使用至少三个新手段:
-监测当前正登记的空间声场。
-通过控制虚拟接收方,创建部分自动化音频混合。
-空间布置的视觉表示。
图10示意性地示出具有声源和一个或多个“虚拟接收方”的位置的可能用户界面。位置可以经由用户界面和/或经由互动画布与每个麦克风(编号1至4)相关联。每个麦克风都连接到混合控制台/录音软件的通道条。通过定位一个或多个接收方(带十字的圆),可以从声源计算音频信号,这些音频信号可以用于监测和/或找到信号错误或创建混合。为此目的,使各种功能类型与麦克风和/或声源(例如,封闭麦克风(“D”类型)或环境麦克风(“A”类型)或仅与其它麦克风一起被评价的麦克风阵列的一部分)相关联。根据功能调节所使用的计算规则。此外,给用户提供配置输出信号的计算的机会。此外,可以设置其它参数,例如,相邻麦克风之间的交叉渐变的类型。可变分量和/或计算过程可以是:
1.距离依赖音量
2.两个或更多个声源之间的音量插值
3.围绕各个声源的小区域,在该区域中,仅能听到该声源(可以配置距离值)。
可以例如通过以下步骤来改变接收方信号的这种计算规则:
1、指示围绕声源或接收方的接收方区域,
2、通过指示针对接收方的方向性
针对每个声源,可以选择类型(例如:直接声音麦克风、环境麦克风或散射声音麦克风)。通过选择类型来控制接收方处的信号的计算规则。
在具体应用中,这得到特别简单的操作。因此,使用大量麦克风进行录音的准备被大大简化。在实际录音之前的设置处理中,在此已经将混合控制台中的位置与每个麦克风相关联。不再需要经由在通道条处针对每个声源进行音量设置来发生音频混合,而是可以通过指示声源场景中的接收方的位置(例如,在场景中简单地点击鼠标)来发生音频混合。基于用于计算接收方的位置处的音量的可选模型,针对接收方的每个新定位计算新信号。因此,通过“开启”各个麦克风,可以非常快地识别干扰信号。以相同方式,如果接收方信号继续被用作输出扬声器信号,则还可以通过定位创建空间音频混合。这里,现在不再要求针对每个单独通道设置音量,通过针对所有声源同时选择接收方的位置来执行设置。另外,算法提供了创新的创造性手段。
图3中示出关于音频信号的距离依赖计算的示意性表示。根据半径RL,依据来计算音量g。根据声源的类型,可以假设变量x为各种值,例如,x=1;x=1/2。如果接收方位于具有半径r1的圆内,则应用固定(恒定)音量值。声源到接收方的距离越大,音频信号越安静。
图5中示出关于音量插值的示意图。这里,使用接收方在两个或更多个麦克风之间的位置计算到达接收方的音量。可以通过所谓的“最接近邻居”算法来确定活动声源的选择。通过两个或更多个声源信号之间的插值规则进行接收方的位置和/或虚拟收听位置处的可听信号的计算。这里,动态地调节各个音量,以允许得到对于听众来说一直舒适的音量。
除了同时激活所有声源之外,可以通过又一算法激活距离依赖音量计算声源。这里,限定具有半径R的围绕接收方的区域。R的值可以由用户改变。如果声源位于该区域内,则听众可听到该声源。图6中示出的该算法还可以与距离依赖音量计算相结合。因此,存在围绕接收方的具有半径R的区域。如果声源位于该半径内,则接收方可听到这些声源。如果声源位于外面,则它们的信号不包括在输出信号的计算中。
为了计算接收方和/或虚拟收听位置处的声源的音量,可以限定针对接收方的方向性。该方向性指示声源的音频信号根据方向在接收方处有多么强的影响。该方向性可以是频率依赖滤波器或者纯音量值。图7示出其示意性表示。可以给虚拟接收方提供可以由用户旋转的方向矢量。简单几何形状的选择可用于用户选择、以及流行麦克风类型的方向性的选择,并且人耳的一些示例能够创建虚拟听众。虚拟收听位置处的接收方和/或虚拟麦克风包括例如心形特征。根据该方向性,声源的信号对接收方具有不同影响。根据进入方向,信号不同地衰减。
以上说明书、随附权利要求和附图中公开的特征可以单独地和以任何组合方式具有重要意义并且被执行用于实现为各种配置的实施方式。
尽管结合音频信号发生器描述了一些方面,但是将理解,这些方面还表示相应方法的描述,使得音频信号发生器的块或装置还可以被理解为对应方法步骤或方法步骤的特征。类似地,结合方法步骤或作为方法步骤描述的多个方面还表示相应音频信号发生器的对应块或详情或特征的描述。
根据具体实现要求,本发明的实施方式可以用硬件或用软件来实现。可以使用数字存储介质(例如,软盘、CVD、蓝光盘、CD、ROM、PROM、EPROM、EEPROM或闪存、硬盘驱动器或其上存储有电可读控制信号的任何其它磁性或光学存储器)来执行该实现方式,电可读控制信号可以与可编程硬件组件交互,使得执行各个方法。
可以通过处理器、计算机处理器(CPU=中央处理单元)、图形处理器(GPU=图形处理单元)、计算机、计算机系统、专用集成电路(ASIC)、集成电路(IC)、片上系统(SOC)、可编程逻辑元件或具有微处理器的现场可编程门阵列(FPGA=现场可编程门阵列)来形成可编程硬件组件。
因此,数字存储介质可以是机器可读的或计算机可读的。某些实施方式还包括数据载体,数据载体包括电可读控制信号,电可读控制信号能够与可编程计算机系统或可编程硬件组件交互,使得执行在此描述的方法之一。
上述实施方式仅示出本发明的原理。应该理解,本领域技术人员将清楚在此描述的布置和详情的修改和变型例。因此,本发明旨在仅由随附专利权利要求的范围限制,而不由基于对实施方式的描述和说明存在的具体详情限制。
Claims (26)
1.一种混合控制台(300),所述混合控制台(300)用于处理至少第一源信号x1和第二源信号x2并且用于提供混合音频信号,其中,所述混合控制台包括音频信号发生器(100),所述音频信号发生器(100)用于针对空间(200)内的虚拟收听位置(202)提供音频信号(120),其中,所述空间(200)内的声学场景由所述空间(200)内的第一位置处的至少第一麦克风(204)记录为所述第一源信号x1(210)并且由所述空间(200)内的第二位置处的至少第二麦克风(206)记录为所述第二源信号x2(212),其中,所述音频信号发生器(100)包括:
输入接口(102),所述输入接口(102)被配置为接收由所述第一麦克风(204)记录的所述第一源信号x1(210)和由所述第二麦克风(206)记录的所述第二源信号x2(212);
几何处理器(104),所述几何处理器(104)被配置为基于所述第一位置和所述虚拟收听位置(202)确定第一条几何信息(110)并且基于所述第二位置和所述虚拟收听位置(202)确定第二条几何信息(112);以及
信号发生器(106),所述信号发生器(106)用于提供所述音频信号(120),所述信号发生器(106)被配置为使用所述第一条几何信息(110)和所述第二条几何信息(112)根据组合规则来组合至少所述第一源信号x1(210)和所述第二源信号x2(212)。
2.根据权利要求1所述的混合控制台(300),所述混合控制台(300)还包括用户界面(306),所述用户界面(306)被配置为指示多个麦克风的位置和所述虚拟收听位置的图形表示,所述多个麦克风包括至少所述第一麦克风和所述第二麦克风。
3.根据权利要求2所述的混合控制台(300),其中,所述用户界面(306)还包括输入装置,所述输入装置被配置为将包括至少第一麦克风类型和第二麦克风类型的组中的麦克风类型与每个所述麦克风相关联,其中,麦克风类型对应于使用所述麦克风记录的一种声场。
4.根据权利要求2所述的混合控制台(300),其中,所述用户界面(306)还包括输入装置,所述输入装置被配置为特别是通过影响所述虚拟收听位置的所述图形表示来输入或改变至少所述虚拟收听位置(202)。
5.根据权利要求3所述的混合控制台(300),其中,所述第一条几何信息(110)包括所述第一位置与所述虚拟收听位置之间的第一距离d1,并且所述第二条几何信息(112)包括所述第二位置与所述虚拟收听位置(202)之间的第二距离d2。
6.根据权利要求5所述的混合控制台(300),其中,所述组合规则包括形成所述第一源信号x1(210)和所述第二源信号x2(212)的加权和,其中,通过第一权重g1给所述第一源信号x1(210)加权并且通过第二权重g2给所述第二源信号x2(212)加权。
7.根据权利要求6所述的混合控制台(300),其中,针对所述第一源信号x1(210)的第一权重g1与所述第一距离d1的幂的倒数成比例,并且针对所述第二源信号x2(212)的第二权重g2与所述第二距离d2的幂的倒数成比例。
8.根据权利要求7所述的混合控制台(300),其中,针对所述第一源信号x1(210)的所述第一权重g1与所述第一距离d1的倒数和所述第一麦克风的近场半径r1的乘积成比例,并且针对所述第二源信号x2(212)的所述第二权重g2与所述第二距离d2的倒数和所述第二麦克风的近场半径r2的乘积成比例。
9.根据权利要求6所述的混合控制台(300),其中,如果所述第一距离d1大于预定收听半径R,则针对所述第一源信号x1(210)的所述第一权重g1是零,并且如果所述第二距离d2大于所述预定收听半径R,则针对所述第二源信号x2(212)的所述第二权重g2是零,否则所述第一权重g1和所述第二权重g2是1。
10.根据权利要求5所述的混合控制台(300),其中,所述信号发生器(106)被配置为如果所述第一麦克风和所述第二麦克风与所述第一麦克风类型相关联,则使用第一组合规则,并且如果所述第一麦克风(204)和所述第二麦克风(206)与所述第二麦克风类型相关联,则使用不同的第二组合规则。
11.根据权利要求10所述的混合控制台(300),其中,根据所述第一组合规则使用第一近场半径r1并且根据所述第二组合规则使用不同的第二近场半径r2。
12.根据权利要求10所述的混合控制台(300),其中,所述第一麦克风类型与用于记录所述声学场景的直接声音部分的麦克风相关联,其中,所述第二麦克风类型与用于记录所述声学场景的散射声音部分的麦克风相关联。
13.根据权利要求12所述的混合控制台(300),其中,所述第一组合规则包括形成所述第一源信号x1(210)和所述第二源信号x2(212)的加权和,第一权重g1针对所述第一源信号x1(210)以及第二权重g2针对所述第二源信号x2(212),其中,针对所述第一源信号x1(210)的所述第一权重g1与所述第一距离d1的幂的倒数成比例,并且针对所述第二源信号x2(212)的所述第二权重g2与所述第二距离d2的幂的倒数成比例。
14.根据权利要求13所述的混合控制台(300),其中,所述第二组合规则包括形成所述第一源信号x1(210)和所述第二源信号x2(212)的加权和,其中,所述权重g1和所述权重g2取决于所述第一条几何信息(110)和所述第二条几何信息(112),其中,所述权重g1和所述权重g2满足针对所有可能几何信息的边界条件,所述边界条件为权重和G=g1+g2或平方和G2=g1 2+g2 2是恒定的。
15.根据权利要求14所述的混合控制台(300),其中,所述权重和G=g1+g2或所述平方和G2=g1 2+g2 2是1。
16.根据权利要求14所述的混合控制台(300),其中,所述第二组合规则包括根据以下交叉渐变规则中的至少一个形成所述第一源信号x1(210)和所述第二源信号x2(212)的加权和xvirt:
交叉渐变规则1:xvirt1=g1*x1+(1-g1)*x2,其中,g2=(1-g1);
交叉渐变规则2:xvirt2=cos(δ)*x1+sin(δ)*x2,其中,δ∈[0°;90°];
交叉渐变规则3:xvirt3=g1*x1+g2*x2,其中,且θ∈[0°;90°];
交叉渐变规则4:xvirt4=g1*x1+g2*x2,其中,且θ∈[0°;90°]。
17.根据权利要求16所述的混合控制台(300),其中,所述组合规则还包括根据以下规则用所述xvirt1和xvirt23形成加权和xvirt,其中,所述xvirt1和xvirt23通过针对所述第一源信号x1(210)与所述第二源信号x1(212)之间的相关性的相关系数σx1x2被加权:
xvirt=σx1x2*xvirt1+(1-σx1x2)*xvirt23,
其中,xvirt23是xvirt2或xvirt3。
18.根据权利要求14所述的混合控制台(300),其中,在根据所述第二组合规则形成所述加权和时考虑具有第三权重g3的第三源信号x3,其中,与所述源信号x1、x2和x3相关联的所述麦克风(250、252、254)的位置跨越所述虚拟收听位置(202)所在的三角形表面,并且其中,基于所述虚拟收听位置(202)到所述三角形的高度(262)的垂直投影(264),在每种情况下针对所述源信号x1、x2和x3中的每个确定所述权重g1、g2和g3,所述三角形的所述高度(262)与关于各个源信号的所述麦克风(250)的位置相关联。
19.根据权利要求5所述的混合控制台(300),其中,根据所述组合规则,如果所述第一条几何信息和所述第二条几何信息的比较满足预定标准,则将所述第一源信号x1(210)或所述第二源信号x2(212)延迟一延迟时间。
20.根据权利要求19所述的混合控制台(300),其中,如果所述第一距离d1与所述第二距离d2之间的差大于可操作的最小距离,则满足所述预定标准。
21.根据权利要求1所述的混合控制台(300),其中,根据所述组合规则,所述第一源信号x1(210)和所述第二源信号x2(212)的组中的、包括从与所述信号相关联的麦克风到所述虚拟收听位置的较短信号传播时间的信号被延迟,使得延迟后的信号传播时间对应于从与所述组的其它信号相关联的麦克风到所述虚拟收听位置的信号传播时间。
22.根据权利要求6所述的混合控制台(300),其中,所述第一条几何信息(110)还包括关于与所述虚拟收听位置相关联的优选方向(280)与所述第一位置之间的方向的第一条方向信息、以及关于所述优选方向与所述第二位置之间的方向的第二条方向信息,其中,所述第一权重g1与第一方向因子成比例,并且其中,所述第二权重g2与第二方向因子成比例,其中,所述第一方向因子取决于所述第一条方向信息和与所述虚拟收听位置相关联的方向性,并且所述第二方向因子取决于所述第二条方向信息和所述方向性。
23.一种用于基于第一源信号x1和第二源信号x2针对虚拟收听位置提供音频信号的音频信号发生器(100),所述音频信号发生器(100)包括:
几何处理器(104),所述几何处理器(104)被配置为基于与所述第一源信号x1相关联的第一位置确定第一条几何信息(110),并且基于与所述第二源信号x2相关联的第二位置确定第二条几何信息(112);
信号发生器(106),所述信号发生器(106)用于提供所述音频信号(120),所述信号发生器(106)被配置为使用所述第一条几何信息(110)和所述第二条几何信息(112)根据组合规则组合至少所述第一源信号x1(210)和所述第二源信号x2(212),其中,根据所述组合规则,根据第一交叉渐变规则形成第一部分信号xvirt1,并且根据第二交叉渐变规则形成第二部分信号xvirt2,并且其中,提供所述音频信号还包括用所述信号xvirt1和xvirt2形成加权和xvirt,其中,所述信号xvirt1和xvirt2通过针对所述第一源信号x1(210)与所述第二源信号x2(212)之间的相关性的相关系数σx1x2被加权。
24.根据权利要求23所述的用于提供音频信号的音频信号发生器(100),其中,使用以下第一交叉渐变规则提供所述第一部分信号xvirt1:
xvirt1=g1*x1+(1-g1)*x2,其中,g2=(1-g1);以及
使用以下交叉渐变规则提供所述第二部分信号xvirt2:
xvirt2=cos(δ)*x1+sin(δ)*x2,其中,δ∈[0°;90°],并且其中,提供所述加权和包括以下计算:
xvirt=σx1x2*xvirt1+(1-σx1x2)*xvirt2。
25.一种音频信号发生器(100),所述音频信号发生器(100)用于针对空间(200)内的虚拟收听位置(202)提供音频信号(120),其中,所述空间(200)内的声学场景由所述空间(200)内的第一位置处的至少第一麦克风(204)记录为第一源信号(210)并且由所述空间(200)内的第二位置处的至少第二麦克风(206)记录为第二源信号(212),所述音频信号发生器(100)包括:
输入接口(102),所述输入接口(102)被配置为接收由所述第一麦克风记录的所述第一源信号(210)和由所述第二麦克风(206)记录的所述第二源信号(212);
几何处理器(104),所述几何处理器(104)被配置为基于所述第一位置和所述虚拟收听位置(202)确定第一条几何信息(110),并且基于所述第二位置和所述虚拟收听位置(202)确定第二条几何信息(112),所述第一条几何信息(110)包括所述第一位置与所述虚拟收听位置(202)之间的第一距离,所述第二条几何信息(112)包括所述第二位置与所述虚拟收听位置(202)之间的第二距离;以及
信号发生器(106),所述信号发生器(106)用于提供所述音频信号(120),所述信号发生器(106)被配置为使用所述第一条几何信息(110)和所述第二条几何信息(112)根据组合规则来组合至少所述第一源信号(210)和所述第二源信号(212)。
26.一种用于针对空间内的虚拟收听位置(202)提供音频信号的方法,其中,所述空间(200)内的声学场景由所述空间内的第一位置处的至少第一麦克风记录为第一源信号,并且由所述空间内的第二位置处的至少第二麦克风记录为第二源信号,所述方法包括:
接收(500)由所述第一麦克风记录的所述第一源信号和由所述第二麦克风记录的所述第二源信号;
基于所述第一位置和所述虚拟收听位置(202)确定(502)第一条几何信息,所述第一条几何信息包括所述第一位置与所述虚拟收听位置(202)之间的第一距离,并且基于所述第二位置和所述虚拟收听位置确定第二条几何信息(112),所述第二条几何信息(112)包括所述第二位置与所述虚拟收听位置(202)之间的第二距离;以及
使用所述第一条几何信息(110)和所述第二条几何信息(112)根据组合规则来组合(504)至少所述第一源信号和所述第二源信号。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013105375.0A DE102013105375A1 (de) | 2013-05-24 | 2013-05-24 | Tonsignalerzeuger, Verfahren und Computerprogramm zum Bereitstellen eines Tonsignals |
DE102013105375.0 | 2013-05-24 | ||
PCT/EP2014/060481 WO2014187877A2 (de) | 2013-05-24 | 2014-05-21 | Mischpult, tonsignalerzeuger, verfahren und computerprogramm zum bereitstellen eines tonsignals |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105264915A CN105264915A (zh) | 2016-01-20 |
CN105264915B true CN105264915B (zh) | 2017-10-24 |
Family
ID=50933143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480029942.0A Expired - Fee Related CN105264915B (zh) | 2013-05-24 | 2014-05-21 | 混合控制台、音频信号发生器、用于提供音频信号的方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10075800B2 (zh) |
EP (1) | EP3005737B1 (zh) |
JP (1) | JP6316407B2 (zh) |
KR (1) | KR101820224B1 (zh) |
CN (1) | CN105264915B (zh) |
DE (1) | DE102013105375A1 (zh) |
WO (1) | WO2014187877A2 (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3209034A1 (en) * | 2016-02-19 | 2017-08-23 | Nokia Technologies Oy | Controlling audio rendering |
EP3472832A4 (en) | 2016-06-17 | 2020-03-11 | DTS, Inc. | DISTANCE-BASED PANORAMIC USING NEAR / FAR FIELD RENDERING |
EP3264734B1 (en) * | 2016-06-30 | 2022-03-02 | Nokia Technologies Oy | Controlling audio signal parameters |
CN109716794B (zh) * | 2016-09-20 | 2021-07-13 | 索尼公司 | 信息处理装置、信息处理方法及计算机可读存储介质 |
US10187740B2 (en) * | 2016-09-23 | 2019-01-22 | Apple Inc. | Producing headphone driver signals in a digital audio signal processing binaural rendering environment |
EP3343348A1 (en) | 2016-12-30 | 2018-07-04 | Nokia Technologies Oy | An apparatus and associated methods |
IT201700040732A1 (it) * | 2017-04-12 | 2018-10-12 | Inst Rundfunktechnik Gmbh | Verfahren und vorrichtung zum mischen von n informationssignalen |
US10880649B2 (en) | 2017-09-29 | 2020-12-29 | Apple Inc. | System to move sound into and out of a listener's head using a virtual acoustic system |
CA3076703C (en) | 2017-10-04 | 2024-01-02 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding |
KR102622714B1 (ko) | 2018-04-08 | 2024-01-08 | 디티에스, 인코포레이티드 | 앰비소닉 깊이 추출 |
US20200304933A1 (en) * | 2019-03-19 | 2020-09-24 | Htc Corporation | Sound processing system of ambisonic format and sound processing method of ambisonic format |
US10904029B2 (en) | 2019-05-31 | 2021-01-26 | Apple Inc. | User interfaces for managing controllable external devices |
EP3879702A1 (en) * | 2020-03-09 | 2021-09-15 | Nokia Technologies Oy | Adjusting a volume level |
WO2022031280A1 (en) * | 2020-08-05 | 2022-02-10 | Hewlett-Packard Development Company, L.P. | Peripheral microphones |
EP3965434A1 (de) * | 2020-09-02 | 2022-03-09 | Continental Engineering Services GmbH | Verfahren zur verbesserten beschallung mehrerer beschallungsplätze |
CN112951199B (zh) * | 2021-01-22 | 2024-02-06 | 杭州网易云音乐科技有限公司 | 音频数据生成方法及装置、数据集构建方法、介质、设备 |
KR102559015B1 (ko) * | 2021-10-26 | 2023-07-24 | 주식회사 라온에이엔씨 | 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템 |
CN113889125B (zh) * | 2021-12-02 | 2022-03-04 | 腾讯科技(深圳)有限公司 | 音频生成方法、装置、计算机设备和存储介质 |
WO2023166109A1 (de) * | 2022-03-03 | 2023-09-07 | Kaetel Systems Gmbh | Vorrichtung und verfahren zum neuaufzeichnen eines existierenden tonstücks |
CN117854520A (zh) * | 2022-10-09 | 2024-04-09 | 华为技术有限公司 | 一种混音方法及相关装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101010987A (zh) * | 2004-09-03 | 2007-08-01 | 松下电器产业株式会社 | 音响处理装置 |
CN101426171A (zh) * | 2007-10-31 | 2009-05-06 | 株式会社东芝 | 声场控制方法以及系统 |
CN102104816A (zh) * | 2009-12-22 | 2011-06-22 | 哈曼贝克自动系统股份有限公司 | 基于群时延的低音管理 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5714997A (en) | 1995-01-06 | 1998-02-03 | Anderson; David P. | Virtual reality television system |
EP1685554A1 (en) * | 2003-10-09 | 2006-08-02 | TEAC America, Inc. | Method, apparatus, and system for synthesizing an audio performance using convolution at multiple sample rates |
JP4181511B2 (ja) * | 2004-02-09 | 2008-11-19 | 日本放送協会 | サラウンド音声ミキシング装置およびサラウンド音声ミキシングプログラム |
WO2008008417A2 (en) * | 2006-07-12 | 2008-01-17 | The Stone Family Trust Of 1992 | Microphone bleed simulator |
US20080253547A1 (en) * | 2007-04-14 | 2008-10-16 | Philipp Christian Berndt | Audio control for teleconferencing |
DE102007052154A1 (de) * | 2007-10-31 | 2009-05-07 | Robert Bosch Gmbh | Audiomodul zur akustischen Überwachung eines Überwachungsbereichs, Überwachungssystem für den Überwachungsbereich, Verfahren zur Erzeugung einer Klangumgebung sowie Computerprogramm |
DE102008004674A1 (de) * | 2007-12-17 | 2009-06-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signalaufnahme mit variabler Richtcharakteristik |
JP5992409B2 (ja) * | 2010-07-22 | 2016-09-14 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 音再生のためのシステム及び方法 |
JP5198530B2 (ja) * | 2010-09-28 | 2013-05-15 | 株式会社東芝 | 音声付き動画像呈示装置、方法およびプログラム |
ITTO20110890A1 (it) * | 2011-10-05 | 2013-04-06 | Inst Rundfunktechnik Gmbh | Interpolationsschaltung zum interpolieren eines ersten und zweiten mikrofonsignals. |
US9131305B2 (en) | 2012-01-17 | 2015-09-08 | LI Creative Technologies, Inc. | Configurable three-dimensional sound system |
US9258647B2 (en) * | 2013-02-27 | 2016-02-09 | Hewlett-Packard Development Company, L.P. | Obtaining a spatial audio signal based on microphone distances and time delays |
-
2013
- 2013-05-24 DE DE102013105375.0A patent/DE102013105375A1/de not_active Withdrawn
-
2014
- 2014-05-21 WO PCT/EP2014/060481 patent/WO2014187877A2/de active Application Filing
- 2014-05-21 KR KR1020157036333A patent/KR101820224B1/ko active IP Right Grant
- 2014-05-21 US US14/892,660 patent/US10075800B2/en not_active Expired - Fee Related
- 2014-05-21 JP JP2016514404A patent/JP6316407B2/ja not_active Expired - Fee Related
- 2014-05-21 EP EP14729613.1A patent/EP3005737B1/de not_active Not-in-force
- 2014-05-21 CN CN201480029942.0A patent/CN105264915B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101010987A (zh) * | 2004-09-03 | 2007-08-01 | 松下电器产业株式会社 | 音响处理装置 |
CN101426171A (zh) * | 2007-10-31 | 2009-05-06 | 株式会社东芝 | 声场控制方法以及系统 |
CN102104816A (zh) * | 2009-12-22 | 2011-06-22 | 哈曼贝克自动系统股份有限公司 | 基于群时延的低音管理 |
Non-Patent Citations (1)
Title |
---|
Binaural In-Ear Monitoring of acoustic instruments in live music performance;ELIAS ZEA;《15TH INTERNATIONAL CONFERENCE ON DIGITAL AUDIO EFFECTS》;20120101;第1-8页 * |
Also Published As
Publication number | Publication date |
---|---|
JP2016522640A (ja) | 2016-07-28 |
WO2014187877A3 (de) | 2015-02-19 |
EP3005737B1 (de) | 2017-01-11 |
US20160119734A1 (en) | 2016-04-28 |
CN105264915A (zh) | 2016-01-20 |
DE102013105375A1 (de) | 2014-11-27 |
WO2014187877A2 (de) | 2014-11-27 |
KR101820224B1 (ko) | 2018-02-28 |
KR20160012204A (ko) | 2016-02-02 |
EP3005737A2 (de) | 2016-04-13 |
US10075800B2 (en) | 2018-09-11 |
JP6316407B2 (ja) | 2018-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105264915B (zh) | 混合控制台、音频信号发生器、用于提供音频信号的方法 | |
JP5285626B2 (ja) | 音声空間化及び環境シミュレーション | |
CN104904240B (zh) | 用于生成多个参数化音频流的装置和方法以及用于生成多个扬声器信号的装置和方法 | |
KR20200047414A (ko) | 헤드셋을 통한 공간 오디오 렌더링을 위한 룸 특성 수정 시스템 및 방법 | |
EP2232484B1 (en) | Modelling wave propagation characteristics in an environment | |
CA2744429C (en) | Converter and method for converting an audio signal | |
WO2022228220A1 (zh) | 一种合唱音频的处理方法、设备及存储介质 | |
Chaitanya et al. | Directional sources and listeners in interactive sound propagation using reciprocal wave field coding | |
Pelzer et al. | Auralization of a virtual orchestra using directivities of measured symphonic instruments | |
Martellotta | Optimizing stepwise rotation of dodecahedron sound source to improve the accuracy of room acoustic measures | |
Farina et al. | Measuring spatial MIMO impulse responses in rooms employing spherical transducer arrays | |
Rindel et al. | Sound source representation for auralization | |
Wenmaekers et al. | Sensitivity of stage acoustic parameters to source and receiver directivity: Measurements on three stages and in two orchestra pits | |
Guthrie | Stage acoustics for musicians: A multidimensional approach using 3D ambisonic technology | |
Ackermann et al. | A ground truth on room acoustical analysis and perception (GRAP) | |
Frank et al. | What we already know about spatialization with compact spherical arrays as variable-directivity loudspeakers | |
Piquet et al. | TWO DATASETS OF ROOM IMPULSE RESPONSES FOR NAVIGATION IN SIX DEGREES-OF-FREEDOM: A SYMPHONIC CONCERT HALL AND A FORMER PLANETARIUM | |
Southern et al. | Boundary absorption approximation in the spatial high-frequency extrapolation method for parametric room impulse response synthesis | |
JP2002366162A (ja) | 音響シミュレーション装置および音響調整装置 | |
De Sena | Analysis, design and implementation of multichannel audio systems | |
JP2004509544A (ja) | 耳に近接配置されるスピーカ用の音声信号処理方法 | |
Agus et al. | Energy-Based Binaural Acoustic Modeling | |
US20240292177A1 (en) | Early reflection pattern generation concept for auralization | |
Clapp | Design and evaluation of a higher-order spherical microphone/ambisonic sound reproduction system for the acoustical assessment of concert halls | |
US20240357313A1 (en) | Early reflection concept for auralization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Munich, Germany Applicant after: Fraunhofer Ges Forschung Address before: Munich, Germany Applicant before: Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. |
|
COR | Change of bibliographic data | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171024 Termination date: 20190521 |
|
CF01 | Termination of patent right due to non-payment of annual fee |