CN111726732A - 高保真度环绕声格式的音效处理系统及音效处理方法 - Google Patents

高保真度环绕声格式的音效处理系统及音效处理方法 Download PDF

Info

Publication number
CN111726732A
CN111726732A CN201910334113.8A CN201910334113A CN111726732A CN 111726732 A CN111726732 A CN 111726732A CN 201910334113 A CN201910334113 A CN 201910334113A CN 111726732 A CN111726732 A CN 111726732A
Authority
CN
China
Prior art keywords
audio data
channel data
sound effect
specific object
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910334113.8A
Other languages
English (en)
Inventor
连于颖
曾恕宏
萧尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN111726732A publication Critical patent/CN111726732A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)

Abstract

一种高保真度环绕声格式的音效处理方法，包括：取得一特定物体对应至一第一位置的一第一音讯资料；于一特定物体移动至一第二位置时，依据第一位置与第二位置计算一特定物体的一移动资讯；从一空间转移资料库中搜寻出对应移动资讯的一空间转移函数；以及将空间转移函数套用至第一音讯资料，以使特定物体产生对应第二位置的一输出。

Description

高保真度环绕声格式的音效处理系统及音效处理方法
技术领域
本发明有关于处理系统，特别是有关于一种高保真度环绕声(Ambisonic)格式的音效处理系统及音效处理方法。
背景技术
目前现在虚拟现实中的音效体验，是以物件导向式音效(object based audio)的形式来达到六自由度的体验。其中六自由度，即沿x、y、z三个直角坐标轴方向的移动自由度和这三个坐标轴的转动自由度。此方式是将各声源配置于空间，并实时渲染，多用于电影以及游戏的后制，此类音效编制需有声源的元资料(metadata)，声源的位置、大小、速度等属性，以及所在环境资讯，如混响、回声、衰减等型态，需要大量的资讯及运算，并透过后制的方式调和。然而，一般使用者在实际环境录制影片时，是将环境与目标物等声音全部收录，无法独立环境中无上限的物件声源资讯，故物件导向式音效的方式难以执行。
因此，如何让一般使用者应用有限的资源录制实际环境录制影片，以制作虚拟现实的影片，并且可进一步在虚拟现实中的影片中，模拟行走时，接近或远离虚拟物件的声音来源，以更真实沉浸于录制者所收录的环境中，已成为本领域待解决的问题之一。
发明内容
本发明实施例提供一种音效处理系统及音效处理方法，让使用者除了可以转动头部来感受声音方位外，还可进一步在虚拟实境中的影片中，模拟行走时，接近或远离虚拟物件的声音来源，以更真实沉浸于录制者所收录的环境中。换言之，本发明实施例的音效处理系统及音效处理方法，达到在回放虚拟现实影片时，随着使用者移动，即可对应使用者移动以调整声音，让使用者在虚拟现实中自由行走并能听到自动伴随行走方向、距离及头部转动而调整的声音，且不须在录制虚拟现实影片时记录影片中每个物件的资讯，大幅降低一般使用者在实际环境录制虚拟影像影片的门槛。
本发明实施例系提供一种音效处理系统。音效处理系统包括一储存装置及一处理器。储存装置用以储存一空间转移资料库。处理器用以取得一特定物体对应至一第一位置的一第一音讯资料，并于一特定物体移动至一第二位置时，依据第一位置与第二位置计算特定物体的一移动资讯，从空间转移资料库中搜寻出对应移动资讯的一空间转移函数，并将空间转移函数套用至第一音讯资料，以使特定物体产生对应第二位置的一输出音效。
本发明实施例更提供一种高保真度环绕声格式的音效处理方法，包括：取得一特定物体对应至一第一位置的一第一音讯资料；于一特定物体移动至一第二位置时，依据第一位置与第二位置计算特定物体的一移动资讯；从一空间转移资料库中搜寻出对应移动资讯的一空间转移函数；以及将空间转移函数套用至第一音讯资料，以使特定物体产生对应第二位置的一输出音效。
附图说明
图1为根据本发明的一实施例绘示的一种音效处理系统的示意图。
图2为根据本发明的一实施例绘示的一种空间转移函数的产生方法的示意图。
图3为根据本发明的一实施例绘示的一种音效处理方法的流程图。
图4A～4B为根据本发明的一实施例绘示的一种音效处理方法的示意图。
具体实施方式
以下说明系为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
必须了解的是，使用于本说明书中的”包含”、”包括”等词，系用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。
于权利要求中使用如”第一”、"第二"、"第三"等词系用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。
请参照图1，图1为根据本发明的一实施例绘示的一种音效处理系统100的示意图。于一实施例中，音效处理系统100可以应用于一虚拟现实系统中的音效体验部分。在一实施例中，音效处理系统100包含一储存装置12、一麦克风阵列16及一处理器14。于一实施例中，储存装置12及处理器14包含于一电子装置10中。于一实施例中，麦克风阵列16可整合于电子装置中。电子装置10可以是一电脑、一手持装置、一伺服器或其它包含运算功能元件的装置。
于一实施例中，电子装置10与麦克风阵列16之间建立一通讯连结LK。麦克风阵列16可将其收音传送到电子装置10。
于一实施例中，储存装置12可由记忆体、硬盘、闪存卡等来实施。储存装置12用以储存一空间转移资料库DB。
于一实施例中，一般使用者所录制的环绕音效影片，可基于高保真度环绕声(Ambisonic)格式，此方式又称作高保真立体声像复制。此方式是在录制的当下，将环境声响渲染于预设好的球面上，包含了使用者上下、左右、前后的轴向上的能量分布。此方法已提前将声音资讯渲染至固定半径的球面上。透过此种方式，使用者可以体验到三自由度(x、y、z三个直角坐标轴方向的转动自由度)的变异，即转动头部所产生的声音方位改变。然而，此方式并未有距离变异的资讯，故无法令使用者感受到六自由度的变化。故本案以下提出可以解决此问题的方法且可应用于虚拟影片所使用的音效场景中。
于一实施例中，麦克风阵列16中包含多个用以收音的麦克风。于一实施例中，虚拟现实影片中所使用的声音较为主流的格式被称为高保真度环绕声(Ambisonic)格式，这种格式是一种球形全方向式的环绕声技术，大多是使用四向拾取的声场式麦克风(Soundfield microphone)，以至少4组独立的录音轨道来记录虚拟现实影片中的音讯，此4组独立的录音轨道分别记录X轴通道资料(通常以符号X代表)、Y轴通道资料(通常以符号Y代表)、Z轴通道资料(通常以符号Z代表)及全向性通道资料(通常以符号W代表)。于一实施例中，麦克风阵列16可用以于多个位置录制音讯资料，例如麦克风阵列16于一第一位置录制一第一音讯资料。
于一实施例中，处理器14用以执行各种运算，可由集成电路如微控制单元(microcontroller)、微处理器(microprocessor)、数字信号处理器(digital signalprocessor)、专用集成电路(application specific integrated circuit，ASIC)或一逻辑电路来实施。
于一实施例中，音效处理系统100可应用于一虚拟现实系统中。音效处理系统100可以对应使用者在每个时点的位置以输出音效；例如，当使用者于虚拟现实中慢慢接近一音源，则此音源随着使用者的接近而被调整得越来越大声，相反地，当使用者于虚拟现实中慢慢远离一音源，则此音源随着使用者的远离而被调整得越来越小声。
于一实施例中，虚拟现实系统可应用已知的技术定位使用者的位置，故此处不赘述。于一实施例中，使用者通常在观看虚拟现实影片时，会配戴的头戴式显示器，此头戴式显示器中可包含重力感测器(g-sensor)，用以侦测使用者头部在X轴、Y轴及Z轴的转动资讯，并将此些头戴式显示器所测得的资讯传给电子装置10。藉此，音效处理系统100的电子装置10中的处理器14可依据使用者的移动资讯(如应用已知的技术定位以得知移动距离)及/或头部转动资讯(如应用头戴式显示器中的重力感测器以取得资讯)对应输出音效，让使用者除了可以转动头部来感受声音方位外，还可进一步在虚拟现实影片中行走，接近或远离声音来源，更真实沉浸于录制者所收录的环境中。
于一实施例中，音效处理系统100的处理器14将距离声源远近所导致的声音讯号改变量视为一个滤波系统，包含移动时所导致的音量变化、相位变化以及频率变化等，处理器14透过量化这些因距离变化所导致的音讯差，并套用在听者原先虚拟现实影片的音讯档上，让听者可以实时的体验到接近/远离此声源的感受。以下更具体的叙述此些内容。
于一实施例中，处理器14取得对应一第一位置的第一音讯资料，例如特定物体(例如为一使用者)一开始位于第一位置，并于特定物体(例如为一使用者)移动至一第二位置时，计算第一位置与第二位置的一移动资讯(例如为第一位置到第二位置的距离)，并从空间转移资料库DB中搜寻出对应移动资讯的一空间转移函数，再将空间转移函数套用至第一音讯资料，以产生对应第二位置的一输出音效。
于一实施例中，多笔空间转移函数可以事先储存于空间转移资料库DB中，以供后续于音效处理方法300中直接取得并进行应用。以下说明空间转移函数的产生方式。
于一实施例中，在无响室(或称消音室、消声室)中，给定不同方位角下距离远近的脉冲响应，并利用麦克风阵列16收音，可得到高保真度环绕声格式下四通道的资料，将此资料经由傅立叶转换后得到各方位角不同距离下四通道的频域变化资讯，此频域变化资讯即为空间转移函数。于一实施例中，麦克风阵列16可以是具高保真度环绕声标准的麦克风阵列。以下佐以图式以更具体的描述空间转移函数的产生方式。
请参照图2，图2为根据本发明的一实施例绘示的一种空间转移函数的产生方法的示意图。于一实施例中，如图2所示，麦克风阵列16于位置A录制音讯资料(XA,YA,ZA,WA)后，移动至位置B录制音讯资料(XB,YB,ZB,WB)，处理器14计算音讯资料(XA,YA,ZA,WA)与音讯资料(XB,YB,ZB,WB)的各个参数值变化量，计算位置A与位置B的移动资讯(例如由位置A移动到位置B的距离为2公尺)，依据此些参数值变化量产生对应移动资讯的空间转移函数(ΔRXab,ΔRYab,ΔRZab,ΔRWab)，并将此空间转移函数(ΔRXab,ΔRYab,ΔRZab,ΔRWab)储存于空间转移资料库DB。
于一实施例中，音讯资料(XA,YA,ZA,WA)包含X轴通道资料XA、Y轴通道资料YA、Z轴通道资料ZA及全向性通道资料WA；音讯资料(XB,YB,ZB,WB)包含X轴通道资料XB、Y轴通道资料YB、Z轴通道资料ZB及全向性通道资料WB。
于一实施例中，此些参数值变化量包含X轴通道资料XA与X轴通道资料XB的差异变化量ΔRXab、Y轴通道资料YA与Y轴通道资料YB的差异变化量ΔRYab、Z轴通道资料ZA与Z轴通道资料ZB的差异变化量ΔRZab及全向性通道资料WA与全向性通道资料WB的差异变化量ΔRWab。
于一实施例中，对应图2所描述的取得空间转移函数的方法可重复且大量的进行，将麦克风阵列16于位置配置于一特定空间的各个位置，使处理器14取得各个相对位置的参数值变化量，以产生大量的空间转移函数，并将此些空间转移函数储存于空间转移资料库DB中，使得后续要应用空间转移资料库DB中的空间转移函数时，能取得更精准的资讯。
请参照图3、4A及4B，图3为根据本发明的一实施例绘示的一种音效处理方法300的流程图。图4A～4B为根据本发明的一实施例绘示的一种音效处理方法的示意图。
于步骤310中，处理器14取得一特定物体对应至一第一位置的一第一音讯资料。此处的第一位置是指特定物体(例如为一使用者)的位置。于一实施例中，使用者的位置可由虚拟现实技术领域已知的定位技术以取得。
于一实施例中，如图4A所示，处理器14判断一特定物体(例如为一使用者)的位置位于位置A后，处理器14由空间转移资料库DB读取出对应位置A的音讯资料(XA,YA,ZA,WA)。于一实施例中，使用者的位置可以使用已知的头部追踪(head tracking)方法以取得，故此处不赘述。于一实施例中，使用者可配戴头戴式显示器，虚拟现实系统可用已知的演算法判断头戴式显示器的位置，藉此追踪使用者的头部位置。
然而，本发明并不限于此，处理器14可判断特定区域(如图4B的特定区域410)中，任何特定物体(例如为其它电子装置及/或身体部位)移动的位置及其移动资讯，并进行后续步骤。
于步骤320中，处理器14于特定物体移动至一第二位置时，依据第一位置与第二位置计算特定物体的一移动资讯。例如，如图4A所示，于特定物体(例如为使用者)移动至位置C时，处理器14计算位置A与位置C的移动资讯(例如由位置A移动到位置C的距离为2公尺)。此处的第二位置是指一特定物体(例如为一使用者)的位置，第一位置与第二位置之间的关系对应到移动资讯的空间转移函数(ΔRXac,ΔRYac,ΔRZac,ΔRWac)。于一实施例中，使用者的位置可虚拟现实技术领域已知的定位技术以得知。
于图4A～4B所示的例子中，特定物体(例如为使用者)移动到位置A’(如图4B的特定空间410所示)，再往方向R作旋转到位置C(如图4B的特定空间420所示)。
于步骤330中，处理器14从一空间转移资料库DB中搜寻出对应移动资讯的一空间转移函数。例如，如图4B所示，于特定物体(例如为使用者)由位置A移动至位置A’时，处理器14计算位置A与位置A’的移动距离为2公尺，处理器14从一空间转移资料库DB中搜寻出对应移动资讯2公尺的空间转移函数为(ΔRXaa’,ΔRYaa’,ΔRZaa’,ΔRWaa’)，此空间转移函数的产生过程如同图2及其叙述方式，故此处不赘述。
于步骤340中，处理器14将空间转移函数(ΔRXaa’,ΔRYaa’,ΔRZaa’,ΔRWaa’)套用至音讯资料(XA,YA,ZA,WA)，以使特定物体产生对应位置A’的一输出音效。
于一实施例中，处理器14将空间转移函数(ΔRXaa’,ΔRYaa’,ΔRZaa’,ΔRWaa’)套用至音讯资料(XA,YA,ZA,WA)，以产生位置A’的空间转移函数(XA+ΔRXaa’,YA+ΔRYaa’,ZA+ΔRZaa’,WA+ΔRWaa’)，处理器14由空间转移资料库DB中搜寻出对应位置A’的空间转移函数(XA+ΔRXaa’,YA+ΔRYaa’,ZA+ΔRZaa’,WA+ΔRWaa’)的输出音效。
于一实施例中，处理器14将空间转移函数(ΔRXaa’,ΔRYaa’,ΔRZaa’,ΔRWaa’)套用至音讯资料(XA,YA,ZA,WA)后，调整第一音讯资料的一相位、一响度或一频率以产生特定物体的对应第二位置的输出音效。
于一实施例中，若由空间转移资料库DB中不存在对应移动资讯(例如从位置A移动到位置A’)的空间转移函数，处理器14可以选用接近此移动资讯的多个空间转移函数，并以内插法或其他已知演算法的方式算出近似对应此移动资讯的空间转移函数。
据此，当此音效处理方法300应用在虚拟现实系统时，特定物体(例如为使用者)在位置A所对应的输出音效与在位置A’所对应的输出音效并不相同，换言之，输出音效可以对应特定物体(例如为使用者)的位置，应用空间转移函数作频率、相位及/或音量的调整。
于一实施例中，如图4B的特定空间420所示，当特定物体(例如为使用者)移动到位置A’时，再往方向R旋转到位置C(如图4B的特定空间420所示)，处理器14可藉由特定物体(例如为使用者)所配戴的重力感测器(g-sensor)取得此旋转变量，并应用已知的演算法，例如四元素(Quaternion)、欧拉角(Euler Angle)、旋转矩阵(Rotation Matrix)或旋转向量(Rotation Vector,Euclidean Vector)等常见的三维空间的旋转方式…等等，套用到音讯资料(XC,YC,ZC,WC)产生输出音效，以得到位置C的听感。
于一实施例中，当处理器10将音效处理方法300应用于虚拟现实系统上后，在虚拟现实系统上拨放他人录制好的360度虚拟现实影片时，配戴头戴式显示器的使用者可在虚拟现实影片中移动，并体验到接近或远离声源的音效感。
于一实施例中，藉由应用音效处理方法300，当手持装置上播放他人预先录制好的虚拟现实影片时，可以针对感兴趣的目标方位增强或衰减输出音效。
综上所述，本发明实施例提供一种音效处理系统及音效处理方法，让使用者除了可以转动头部来感受声音方位外，还可进一步在虚拟现实中的影片中，模拟行走时，接近或远离虚拟物件的声音来源，以更真实沉浸于录制者所收录的环境中。换言之，本发明实施例的音效处理系统及音效处理方法，达到在回放虚拟现实影片时，随着使用者移动，即可对应使用者移动以调整声音，让使用者在虚拟现实中自由行走并能听到自动伴随行走方向、距离及头部转动而调整的声音，且不须在录制虚拟现实影片时记录影片中每个物件的资讯，大符降低一般使用者在实际环境录制虚拟影像影片的门槛。
本发明虽以较佳实施例揭露如上，然其并非用以限定本发明的范围，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视后附的申请专利范围所界定者为准。
【附图标记说明】
100：音效处理系统
16：麦克风阵列
LK：通讯连结
10：电子装置
12：储存装置
DB：空间转移资料库
14：处理器
A、B、A’、C：位置
(XA,YA,ZA,WA)、(XB,YB,ZB,WB)、(XC,YC,ZC,WC)：音讯资料
(ΔRXab,ΔRYab,ΔRZab,ΔRWab)、(ΔRXaa’,ΔRYaa’,ΔRZaa’,ΔRWaa’)、(ΔRXac,ΔRYac,ΔRZac,ΔRWac)：空间转移函数
300：音效处理方法
310～340：步骤
410、420：特定空间
420：群矩阵
R：方向

Claims (10)

1.一种高保真度环绕声格式的音效处理系统，包括：
一储存装置，用以储存一空间转移资料库；以及
一处理器，用以取得一特定物体对应至一第一位置的一第一音讯资料，并于该特定物体移动至一第二位置时，依据该第一位置与该第二位置计算该特定物体的一移动资讯，从该空间转移资料库中搜寻出对应该移动资讯的一空间转移函数，并将该空间转移函数套用至该第一音讯资料，以使该特定物体产生对应该第二位置的一输出音效。
2.如权利要求1所述的音效处理系统，还包括：
一麦克风阵列，用以于该第一位置录制该第一音讯资料；
其中，该第一音讯资料包含一第一X轴通道资料、一第一Y轴通道资料、一第一Z轴通道资料及一第一全向性通道资料，该移动资讯包含一移动距离或一座标位置。
3.如权利要求1所述的音效处理系统，其中该处理器将该空间转移函数套用至该第一音讯资料后，调整该第一音讯资料的一相位、一响度或一频率以产生该特定物体对应该第二位置的该输出音效。
4.如权利要求2所述的音效处理系统，其中该麦克风阵列于该第一位置录制该第一音讯资料后，移动至该第二位置录制一第二音讯资料，该处理器计算该第一音讯资料与该第二音讯资料的多个参数值变化量，计算该第一位置与该第二位置的该移动资讯，依据该些参数值变化量产生对应该移动资讯的该空间转移函数，并将该空间转移函数储存于该空间转移资料库。
5.如权利要求4所述的音效处理系统，其中该第二音讯资料包含一第二X轴通道资料、一第二Y轴通道资料、一第二Z轴通道资料及一第二全向性通道资料。
6.如权利要求5所述的音效处理系统，其中该些参数值变化量包含该第一X轴通道资料与该第二X轴通道资料的差异变化量、该第一Y轴通道资料与该第二Y轴通道资料的差异变化量、该第一Z轴通道资料与该第二Z轴通道资料的差异变化量及该第一全向性通道资料与该第二全向性通道资料的差异变化量。
7.一种高保真度环绕声格式的音效处理方法，包括：
取得一特定物体对应至一第一位置的一第一音讯资料；
于该特定物体移动至一第二位置时，依据该第一位置与该第二位置计算该特定物体的一移动资讯；
从一空间转移资料库中搜寻出对应该移动资讯的一空间转移函数；以及
将该空间转移函数套用至该第一音讯资料，以使该特定物体产生对应该第二位置的一输出音效。
8.如权利要求7所述的音效处理方法，还包括：
藉由一麦克风阵列以于该第一位置录制该第一音讯资料：
其中该第一音讯资料包含一第一X轴通道资料、一第一Y轴通道资料、一第一Z轴通道资料及一第一全向性通道资料，该移动资讯包含一移动距离或一座标位置。
9.如权利要求7所述的音效处理方法，还包括：
将该空间转移函数套用至该第一音讯资料后，调整该第一音讯资料的一相位、一响度或一频率以产生该特定物体对应该第二位置的该输出音效。
10.如权利要求7所述的音效处理方法，还包括：
计算该第一音讯资料与该第二音讯资料的多个参数值变化量；
计算该第一位置与该第二位置的该移动资讯；以及
依据该些参数值变化量产生对应该移动资讯的该空间转移函数，并将该空间转移函数储存于该空间转移资料库。
CN201910334113.8A 2019-03-19 2019-04-24 高保真度环绕声格式的音效处理系统及音效处理方法 Pending CN111726732A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/358,235 US20200304933A1 (en) 2019-03-19 2019-03-19 Sound processing system of ambisonic format and sound processing method of ambisonic format
US16/358,235 2019-03-19

Publications (1)

Publication Number Publication Date
CN111726732A true CN111726732A (zh) 2020-09-29

Family

ID=68289795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910334113.8A Pending CN111726732A (zh) 2019-03-19 2019-04-24 高保真度环绕声格式的音效处理系统及音效处理方法

Country Status (4)

Country Link
US (1) US20200304933A1 (zh)
EP (1) EP3713256A1 (zh)
CN (1) CN111726732A (zh)
TW (1) TWI731326B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4292295A1 (en) 2021-02-11 2023-12-20 Nuance Communications, Inc. Multi-channel speech compression system and method

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050147261A1 (en) * 2003-12-30 2005-07-07 Chiang Yeh Head relational transfer function virtualizer
CN105183421A (zh) * 2015-08-11 2015-12-23 中山大学 一种虚拟现实三维音效的实现方法及系统
CN107071605A (zh) * 2015-12-30 2017-08-18 杭州赛泫科技有限公司 智能3d耳机
CN107360494A (zh) * 2017-08-03 2017-11-17 北京微视酷科技有限责任公司 一种3d音效处理方法、装置、系统及音响系统
US9865274B1 (en) * 2016-12-22 2018-01-09 Getgo, Inc. Ambisonic audio signal processing for bidirectional real-time communication
US20180117409A1 (en) * 2016-11-03 2018-05-03 Ronald J. Meetin Information-Presentation Structure with Impact-Sensitive Color Change Dependent on Object Tracking
CN109074238A (zh) * 2016-04-08 2018-12-21 高通股份有限公司 基于预测位置数据的空间化音频输出
WO2019004524A1 (ko) * 2017-06-27 2019-01-03 엘지전자 주식회사 6자유도 환경에서 오디오 재생 방법 및 오디오 재생 장치
KR20190004501A (ko) * 2017-07-04 2019-01-14 정용철 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법
CN109564504A (zh) * 2016-08-10 2019-04-02 高通股份有限公司 用于基于移动处理空间化音频的多媒体装置
CN109891502A (zh) * 2016-06-17 2019-06-14 Dts公司 使用近/远场渲染的距离摇移

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4530400B2 (ja) * 2003-09-26 2010-08-25 日本電信電話株式会社 高臨場感音響受聴装置
PL2154677T3 (pl) * 2008-08-13 2013-12-31 Fraunhofer Ges Forschung Urządzenie do wyznaczania konwertowanego przestrzennego sygnału audio
NZ587483A (en) * 2010-08-20 2012-12-21 Ind Res Ltd Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions
US20140328505A1 (en) * 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
DE102013105375A1 (de) * 2013-05-24 2014-11-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Tonsignalerzeuger, Verfahren und Computerprogramm zum Bereitstellen eines Tonsignals
KR102204919B1 (ko) * 2014-06-14 2021-01-18 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
US10206040B2 (en) * 2015-10-30 2019-02-12 Essential Products, Inc. Microphone array for generating virtual sound field
US9648438B1 (en) * 2015-12-16 2017-05-09 Oculus Vr, Llc Head-related transfer function recording using positional tracking
CN106200945B (zh) * 2016-06-24 2021-10-19 广州大学 内容重放装置、具有该重放装置的处理系统及方法
CN106484099B (zh) * 2016-08-30 2022-03-08 广州大学 内容重放装置、具有该重放装置的处理系统及方法
US10003905B1 (en) * 2017-11-27 2018-06-19 Sony Corporation Personalized end user head-related transfer function (HRTV) finite impulse response (FIR) filter
KR102622714B1 (ko) * 2018-04-08 2024-01-08 디티에스, 인코포레이티드 앰비소닉 깊이 추출

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050147261A1 (en) * 2003-12-30 2005-07-07 Chiang Yeh Head relational transfer function virtualizer
CN105183421A (zh) * 2015-08-11 2015-12-23 中山大学 一种虚拟现实三维音效的实现方法及系统
CN107071605A (zh) * 2015-12-30 2017-08-18 杭州赛泫科技有限公司 智能3d耳机
CN109074238A (zh) * 2016-04-08 2018-12-21 高通股份有限公司 基于预测位置数据的空间化音频输出
CN109891502A (zh) * 2016-06-17 2019-06-14 Dts公司 使用近/远场渲染的距离摇移
CN109564504A (zh) * 2016-08-10 2019-04-02 高通股份有限公司 用于基于移动处理空间化音频的多媒体装置
US20180117409A1 (en) * 2016-11-03 2018-05-03 Ronald J. Meetin Information-Presentation Structure with Impact-Sensitive Color Change Dependent on Object Tracking
US9865274B1 (en) * 2016-12-22 2018-01-09 Getgo, Inc. Ambisonic audio signal processing for bidirectional real-time communication
WO2019004524A1 (ko) * 2017-06-27 2019-01-03 엘지전자 주식회사 6자유도 환경에서 오디오 재생 방법 및 오디오 재생 장치
KR20190004501A (ko) * 2017-07-04 2019-01-14 정용철 사용자의 시선 변화에 따른 가상현실 사운드 처리 장치 및 그 방법
CN107360494A (zh) * 2017-08-03 2017-11-17 北京微视酷科技有限责任公司 一种3d音效处理方法、装置、系统及音响系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
L. WANG AND T. KOMURO: "Three-dimensional VR interaction using the movement of a mobile display", 《2015 IEEE VIRTUAL REALITY (VR), ARLES》 *
陈天石等: "一种用于VR场景的声音渲染优化方法", 《光电工程》 *

Also Published As

Publication number Publication date
US20200304933A1 (en) 2020-09-24
EP3713256A1 (en) 2020-09-23
TWI731326B (zh) 2021-06-21
TW202036538A (zh) 2020-10-01

Similar Documents

Publication Publication Date Title
US10952010B2 (en) Spatial audio for interactive audio environments
KR102502647B1 (ko) 가상 현실(vr), 증강 현실(ar), 및 혼합 현실(mr) 시스템들을 위한 분산형 오디오 캡처링 기술들
WO2020255810A1 (ja) 信号処理装置および方法、並びにプログラム
GB2542112A (en) Capturing sound
US10757528B1 (en) Methods and systems for simulating spatially-varying acoustics of an extended reality world
US10542368B2 (en) Audio content modification for playback audio
US11122381B2 (en) Spatial audio signal processing
US10979846B2 (en) Audio signal rendering
CN116076091A (zh) 相对于移动外围设备的空间化音频
CN111050271A (zh) 用于处理音频信号的方法和装置
JP2021535648A (ja) バイノーラル録音を取得及び再生するための方法
CN112005556A (zh) 定位声源
CN114173256B (zh) 一种还原声场空间及姿态追踪的方法、装置和设备
CN116601514A (zh) 用于使用声信标来确定设备的位置和取向的方法和系统
CN111726732A (zh) 高保真度环绕声格式的音效处理系统及音效处理方法
US11696085B2 (en) Apparatus, method and computer program for providing notifications
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2023173285A1 (zh) 音频处理方法、装置、电子设备及计算机可读存储介质
CN116193196A (zh) 虚拟环绕声渲染方法、装置、设备及存储介质
Ludovico et al. Head in space: A head-tracking based binaural spatialization system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200929