CN104869524B - 三维虚拟场景中的声音处理方法及装置 - Google Patents

三维虚拟场景中的声音处理方法及装置 Download PDF

Info

Publication number
CN104869524B
CN104869524B CN201410067291.6A CN201410067291A CN104869524B CN 104869524 B CN104869524 B CN 104869524B CN 201410067291 A CN201410067291 A CN 201410067291A CN 104869524 B CN104869524 B CN 104869524B
Authority
CN
China
Prior art keywords
sound
point source
hrtf
virtual scene
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410067291.6A
Other languages
English (en)
Other versions
CN104869524A (zh
Inventor
巫峡雨
万荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201410067291.6A priority Critical patent/CN104869524B/zh
Priority to PCT/CN2015/073282 priority patent/WO2015127890A1/en
Priority to US15/033,013 priority patent/US9826331B2/en
Priority to EP15754824.9A priority patent/EP3111671A4/en
Publication of CN104869524A publication Critical patent/CN104869524A/zh
Application granted granted Critical
Publication of CN104869524B publication Critical patent/CN104869524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本发明公开了一种三维虚拟场景中的声音处理方法及装置。其中，该方法包括：三维程序引擎获取虚拟场景中的声源点的声音处理请求；根据虚拟场景中声源点与收音者之间的三维坐标位置关系，调用相应的HRTF函数；根据声源点所在的虚拟场景，对HRTF函数的参数值进行调校；运用调校后的HRTF函数对声源点的声音信号进行滤波和延迟处理。在本发明中，通过针对虚拟场景的音效需求进行灵活HRTF参数调校，解决了由于现有的硬件的HRTF函数数据库对某些虚拟场景下的声音定位效果不太理想的技术问题，达到优化三维定位音效的效果。

Description

三维虚拟场景中的声音处理方法及装置
技术领域
本发明涉及声音定位处理领域，具体而言，涉及一种三维虚拟场景中的声音处理方法及装置。
背景技术
头部相关变换函数（Head-Response Transfer Function简称HRTF）是一种声音定位的处理技术，通过测量人耳对不同方位声音变换数据，统计并计算得出的人耳感知模型。
人有两个耳朵，却能定位来自三维空间的声音，这得力于人耳对声音信号的分析系统。这个信号分析系统，透过人体本身对声波的滤波效应，得出声音定位的信息。理论上来说，通过测量人体的滤波和延迟等对声音的处理效应，然后使用回放系统（耳机或音箱）播放声音时模拟那些人体造成的效果，就能精确的模拟声音在真实三维世界里的人耳感知定位。
现在的测量，是通过制作人工头来完成的。使用对人体密度和材质高度仿真的假体，通过记录对固定方位的声波传达到人工头的假耳收音时的音频差值，统计出头部相关变换函数（HRTF）。
这些测量数据包括：两耳之间的听觉时间延迟（Inter Aural Time Delay，简称ITD）、两耳之间的听觉声波振幅差异（Inter Aural Amplitude Different，简称IAD）、两耳之间的听觉强度差（Inter Intensity Difference，简称IID）和光谱信号（SpectralCues）。
在现有的3D音效处理中，如果声卡硬件有HRTF运算芯片，三维引擎在将声源调制并播放给收音者时，会运用HRTF函数进行三维定位处理，以达到收音者听上去拟真的三维定位效果。
在现有3D音效处理中，虽然能够通过自带有HRTF函数的运算芯片进行HRTF运算，使用户从听觉上获得三维定位的体验，但是，由于这些硬件的HRTF函数数据库基本上都是来自对真实环境的测量的，因此，其并适合于某些虚拟场景的声音处理，例如，在游戏类项目的虚拟场景中，为了达到特定的视觉效果，通常会在构图时采用一些夸张的手法，使得物体的体积比例可能与真实世界的实际体积比例有所差别。再例如，在第一视角射击类游戏中，玩家需要非常夸张的脚步声定位，以达到判断其它玩家的位置，而现有的硬件支持的HRTF函数在该类虚拟场景下的声音定位效果在大多数时候并不太理想。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种三维虚拟场景中的声音处理方法及装置，以至少解决由于现有的硬件的HRTF函数数据库对某些虚拟场景下的声音定位效果不太理想的技术问题。
根据本发明实施例的一个方面，提供了一种三维虚拟场景中的声音处理方法，包括：三维程序引擎获取虚拟场景中的声源点的声音处理请求；根据虚拟场景中声源点与收音者之间的三维坐标位置关系，调用相应的HRTF函数；根据声源点所在的虚拟场景，对HRTF函数的参数值进行调校；运用调校后的HRTF函数对声源点的声音信号进行滤波和延迟处理。
根据本发明实施例的另一方面，还提供了一种三维虚拟场景中的声音处理装置，包括：获取模块，用于获取虚拟场景中的声源点的声音处理请求；调用模块，用于根据虚拟场景中声源点与收音者之间的三维坐标位置关系，调用相应的HRTF函数；调校模块，用于根据声源点所在的虚拟场景，对HRTF函数的参数值进行调校；处理模块，用于运用调校后的HRTF函数对声源点的声音信号进行滤波和延迟处理。
在本发明实施例中，在对声源点进行HRTF运算时，考虑了该声源点所在的虚拟场景的需求，并根据虚拟场景对HRTF函数的参数值进行调校，进而解决了由于现有的硬件的HRTF函数数据库对某些虚拟场景下的声音定位效果不太理想的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例1的三维虚拟场景中的声音处理方法流程图；
图2是根据本发明实施例2的三维虚拟场景中的声音处理方法流程图；
图3是根据本发明实施例3的声音回放系统示意图；
图4是根据本发明实施例4的三维虚拟场景中的声音处理装置模块结构示意图；以及
图5是根据本发明实施例5的三维虚拟场景中的声音处理装置模块结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种三维虚拟场景中的声音处理方法，本实施例中所涉及的虚拟场景可以是游戏类项目中的虚拟场景，包括网络游戏，手机游戏等。也可以是其它专业领域中的仿真训练类项目中的虚拟场景，包括航空、汽车等仿真训练项目。
如图1所示，该声音处理方法包括以下步骤：
步骤S102，三维程序引擎获取虚拟场景中的声源点的声音处理请求。
三维程序引擎是3D音效处理中的术语，该三维引擎在形式上可以是多样的，通常是指具有HRTF运算能力的软件或硬件或软硬件的结合均可，例如，在本实施例中可以是带有HRTF运算芯片的声卡硬件，该三维程序引擎在音效处理时，可得到声源点的声音处理请求。
步骤S104，根据虚拟场景中声源点与收音者之间的三维坐标位置关系，调用相应的HRTF函数。
当三维程序引擎得到声源点的触发播放请求时，可根据声源点与收音者的仰角值、方位角值、和距离值应用相应的HRTF函数，以便对声音进行前级处理，达到收音者听上去拟真的三维定位效果。
步骤S106，根据声源点所在的虚拟场景，对HRTF函数的参数值进行调校。
由于在本实施例中，是对虚拟场景中的声源点进行声音的三维定位处理，为了增强三维定位的体验，需要根据虚拟场景中的音效需求，对HRTF数据库进行优化调校。
例如，在第一视角射击类游戏中，玩家需要非常夸张的脚步声定位，以达到判断其它玩家的位置，而HRTF的原始函数无法达到该虚拟场景的音效需求，这就需要将HRTF函数进行重新调校，调整HRTF函数中表征的脚步声强度的参数值，以便使玩家获得更好的三维声音定位体验。
在本发明的另一优选实施例中，为了达到特定的视觉效果，在虚拟场景的构图时采用一些夸张的手法，例如，虚拟场景中的怪物与背景物体（例如，房屋，道路等）的比例关系与真实世界的实际比例关系有所差别，这也造成了声卡硬件HRTF函数介入计算的误差，因此，需要将HRTF函数进行重新调校，获得更好的三维声音定位效果。
步骤S108，运用调校后的HRTF函数对声源点的声音信号进行滤波和延迟处理。
在上述实施例中，通过三维程序引擎声音源点定位播放时运用HRTF运算，在前级输出时根据收音者的定位信息对声音进行信号的滤波和延迟等声音处理，并可以灵活根据虚拟场景的音效需求进行HRTF参数调校，达到优化三维定位音效的效果。
实施例2
本实施例对声源点的声音信号处理过程基本上与实施例1相同，在此不累述。本实施例与实施例1的区别在于，在本实施例2中，设置了几组不同运算强度的HRTF函数数据库，用户可以根据所使用的计算机性能，进行选择，既保证三维定位音效的使用流畅性，又可保证最优声音定位效果。
如图2所示，以三个不同的声源点为例，声源点A为重要声音，声源点B为一般声音，声源点C为可忽略的声音。在本实施例中，为声源点A和B分别设置了不同HRTF函数数据库，声源点A所运用的HRTF函数占资源较大，声源点B所运用的HRTF函数占资源较小，而声源点C因为重要性非常低，不进行HRTF函数计算。本实施例的分类设置，可以既节约资源，又根据声源所播放内容的不同，进行分别的优化调校，以达到提高三维声音定位体验的目的。需强调的是HRTF函数的设置可根据实际需要来进行，例如，也可以不采用设置几组不同运算强度的HRTF函数数据库的方式，而是对同一HRTF函数数据库的HRTF函数进行优先级分类，以优先级来分配所占资源的多少，或将上述两种方式进行结合。当然，还会有其它类似的HRTF函数资源配置方式。
实施例3
本实施例重点描述了通过声音回放系统将经过上述HRTF函数处理后的声音信号进行播放的过程。
在上述实施例中，是根据声源点与收音者三维坐标位置在三维程序引擎中计算，而HRTF函数的测量是从人工头双耳为基础进行测量的，所以环绕声多声道回放系统需要基于双声道进行换算播放。
在环绕声多声道的回放系统中，将双声道的HRTF处理信号分成左右两路，如果是多声道的回放系统，也可将镜像的多个两声道分别分组。
根据当前声源点位置判定的需要，将HRTF处理过的信号根据声源点播放时与收音者的方位角信息分别分配给对应的镜像两声道进行回放。
在本实施例中，以7.1环绕声回放系统为例，如图3所示：收音者映射至音箱组的正中央，以收音者方位角正前方为0度，映射中置音箱A；以收音者方位角正前方为0度，左前方45度映射前置左音箱；以收音者方位角正前方为0度，右前方45度映射前置右音箱；以收音者方位角正前方为0度，左方90度映射中环左音箱；以收音者方位角正前方为0度，右方90度映射中环右音箱；以收音者方位角正前方为0度，左后方45度映射后置左音箱；以收音者方位角正前方为0度，右后方45度映射后置右音箱。镜像的两声道为同一分组，即，中置音箱独立为一个分组A（中置音箱，可算做一个两声），前置左音箱和前置右音箱为分组B，中环左音箱和中环右音箱为分组C，后置左音箱和后置右音箱为分组D。
三维程序引擎将双声道的回放信号同时分配给上图A、B、C、D音箱组，根据声源点与收音者的方位角值，对不同的音箱组进行音量调制，相邻的两个音箱编组之间区域，音量线性的在0至-6DB之间进行交叉淡化调制，音量播放的最大差值为-6DB。
例如，以收音者方位角正前方为0度，左前方45度有声源点播放时，此时左前方45度声源点与收音者的方位角关系移动至左方90度，中环左音箱与中环右音箱线性增益到原始信号的0DB播放，前置左音箱与前置右音箱线性衰减到-6DB，后置左音箱与后置右音箱线性衰减到-6DB，中置音箱线性衰减到-12DB。
在本实施例中，相同的音箱编组，不需要进行音量调制，因为在三维程序引擎内部已经根据声源点的三维坐标对声音定位播放进行过处理。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
实施例4
根据本发明实施例，还提供了一种用于实施上述三维虚拟场景中的声音处理的声音处理装置，如图4所示，该装置包括获取模块10、调用模块20、调校模块30和处理模块40。获取模块10、调用模块20、调校模块30和处理模块40在功能上是耦合的。
其中，获取模块10用于获取虚拟场景中的声源点的声音处理请求；调用模块20用于根据虚拟场景中声源点与收音者之间的三维坐标位置关系，调用相应的HRTF函数；调校模块30用于根据声源点所在的虚拟场景，对HRTF函数的参数值进行调校；处理模块40用于运用调校后的HRTF函数对声源点的声音信号进行滤波和延迟处理。
本实施例中，获取模块10、调用模块20、调校模块30和处理模块40在功能上可以实现类似上述方法实施例中三维程序引擎的功能。
在上述实施例中，通过引入调校模块30灵活根据虚拟场景的音效需求进行灵活HRTF参数调校，达到优化声音的三维定位体验。
实施例5
图5示出了根据本发明实施例5的三维虚拟场景中的声音处理装置模块结构示意图，如图5所示，本实施例包括上述实施例4中的获取模块10、调用模块20、调校模块30和处理模块40，各功能模块实现的功能与上述实施例4类似，再此不累述。本实施例5与实施例4的声音处理装置区别仅在于，在本实施例5中，调校模块30还包括两个针对特定虚拟场景的HRTF函数调校的子模块，即，第一调校子模块31和第二调校子模块32。
其中，第一调校子模块31用于根据声源点在特定的虚拟场景下需呈现的声音效果，调整HRTF函数的参数值。第二调校子模块32，用于根据声源点所在的虚拟场景中的物体的大小比例关系与真实环境中的物体的实际大小比例关系的差异，调整HRTF函数的参数值。
在本实施例中，可通过第一调校子模块31或第二调校子模块32需要根据虚拟场景中的音效需求对HRTF数据库进行优化调校，以增强三维定位的体验。
例如，在第一视角射击类游戏中，玩家需要非常夸张的脚步声定位，以达到判断其它玩家的位置，而HRTF的原始函数无法达到该虚拟场景的音效需求，则可通过第一调校子模块31将HRTF函数进行重新调校，调整HRTF函数中表征的脚步声强度的参数值，以便使玩家获得更好的三维声音定位体验。
在本发明的另一优选实施例中，为了达到特定的视觉效果，在虚拟场景的构图时采用一些夸张的手法，例如，虚拟场景中的怪物与背景物体（例如，房屋，道路等）的比例关系与与真实世界的实际比例关系有所差别，这也造成了声卡硬件HRTF函数介入计算的误差，因此，可通过第二调校子模块32将HRTF函数进行重新调校，获得更好的三维声音定位效果。
在本发明的另一优选实施例中，声音处理装置还可包括一个将经过上述HRTF函数处理后的声音信号进行播放的回放系统（图中未示出）。该回放系统可以是双声道的，也可以是多声道的，例如，7.1环绕声回放系统。在该7.1环绕声回放系统中，中置音箱为一组，前置左音箱和前置右音箱为一组，中环左音箱和中环右音箱为一组，后置左音箱和后置右音箱为一组，相邻的两个音箱编组之间，音量播放的最大差值为-6DB。
因为，在本发明中是根据声源点与收音者三维坐标位置在三维程序引擎中计算，而HRTF函数的测量是从人工头双耳为基础进行测量的，所以在本实施例中，环绕声多声道回放系统需要基于双声道进行换算播放，以达到最佳的三维声音定位效果。
在本发明的上述各实施例所描述的技术方案中，通过三维程序引擎在声音源点定位播放时介入HRTF运算，在前级输出时根据收音者的定位信息对声音进行信号的滤波和延迟等声音处理，并可以灵活根据不同的声音定位进行灵活HRTF参数调校，达到优化声音的三维定位体验，并可以根据声音在虚拟场景中重要性的不同，增强或忽略HRTF计算，以达到资源的合理利用。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的声音处理装置，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种三维虚拟场景中的声音处理方法，其特征在于，包括：
三维程序引擎获取虚拟场景中的声源点的声音处理请求；
根据所述虚拟场景中声源点与收音者之间的三维坐标位置关系，调用相应的HRTF函数；
根据声源点所在的虚拟场景，对所述HRTF函数的参数值进行调校；
运用调校后的所述HRTF函数对所述声源点的声音信号进行滤波和延迟处理；
其中，根据声源点所在的虚拟场景，对所述HRTF函数的参数值进行调校，包括：根据声源点所在的虚拟场景中的物体的大小比例关系与真实环境中的物体的实际大小比例关系的差异，调整所述HRTF函数的参数值。
2.根据权利要求1所述的声音处理方法，其特征在于，根据声源点所在的虚拟场景，对所述HRTF函数的参数值进行调校，包括：
根据声源点在特定的虚拟场景下需呈现的声音效果，调整所述HRTF函数的参数值。
3.根据权利要求1或2所述的声音处理方法，其特征在于，调整所述HRTF函数的参数值，包括：
调整所述HRTF函数中表征声源点的声音强度的参数值。
4.根据权利要求1所述的声音处理方法，其特征在于，其中，所述三维坐标位置关系包括：声源点与收音者之间的仰角、方位角和距离。
5.根据权利要求1所述的声音处理方法，其特征在于，在根据所述虚拟场景中声源点与收音者之间的三维坐标位置关系，调用相应的HRTF函数之前，还包括：
预设多个不同运算强度的HRTF函数数据库，根据系统的运算能力调用对应HRTF函数数据库中的HRTF函数。
6.根据权利要求1所述的声音处理方法，其特征在于，在根据所述虚拟场景中声源点与收音者之间的三维坐标位置关系，调用相应的HRTF函数之前，还包括：
对所述声源点进行优先级分类，在运用所述HRTF函数对所述声源点的声音信号进行滤波和延迟处理时，根据优先级的大小分配相应的运算资源给所述HRTF函数。
7.根据权利要求1所述的声音处理方法，其特征在于，在运用调校后的所述HRTF函数对所述声源点的声音信号进行滤波和延迟处理之后，还包括：
通过声音回放系统将经过所述HRTF函数处理后的声音信号进行播放。
8.根据权利要求7所述的声音处理方法，其特征在于，通过声音回放系统将经过所述HRTF函数处理后的声音信号进行播放，包括：
将所述声音回放系统的音箱进行分组；
根据声源点与收音者之间的方位角值，对不同的音箱组进行音量调整。
9.根据权利要求8所述的声音处理方法，其特征在于，根据声源点与收音者之间的方位角值，对不同的音箱组进行音量调整，包括：
相邻的两个音箱编组之间，音量播放的最大差值为-6DB。
10.根据权利要求8所述的声音处理方法，其特征在于，所述声音回放系统为7.1环绕声回放系统，其中，中置音箱为一组、前置左音箱和前置右音箱为一组、中环左音箱和中环右音箱为一组、后置左音箱和后置右音箱为一组，相同的音箱编组之间不进行音量调整，相邻的两个音箱编组之间音量线性在0至-6DB之间进行交叉淡化调制。
11.一种三维虚拟场景中的声音处理装置，其特征在于，包括：
获取模块，用于获取虚拟场景中的声源点的声音处理请求；
调用模块，用于根据所述虚拟场景中声源点与收音者之间的三维坐标位置关系，调用相应的HRTF函数；
调校模块，用于根据声源点所在的虚拟场景，对所述HRTF函数的参数值进行调校；
处理模块，用于运用调校后的所述HRTF函数对所述声源点的声音信号进行滤波和延迟处理；
其中，所述调校模块包括：第二调校子模块，用于根据声源点所在的虚拟场景中的物体的大小比例关系与真实环境中的物体的实际大小比例关系的差异，调整所述HRTF函数的参数值。
12.根据权利要求11所述的声音处理装置，其特征在于，所述调校模块包括：
第一调校子模块，用于根据声源点在特定的虚拟场景下需呈现的声音效果，调整所述HRTF函数的参数值。
13.根据权利要求11或12所述的声音处理装置，其特征在于，其中，所述参数值为HRTF函数中表征声源点的声音强度的参数值。
14.根据权利要求11所述的声音处理装置，其特征在于，其中，所述三维坐标位置关系包括：声源点与收音者之间仰角、方位角和距离。
15.根据权利要求11所述的声音处理装置，其特征在于，还包括：
声音回放系统：用于将经过所述HRTF函数处理后的声音信号进行播放。
16.根据权利要求15所述的声音处理装置，其特征在于，所述声音回放系统为7.1环绕声回放系统，其中，中置音箱为一组、前置左音箱和前置右音箱为一组、中环左音箱和中环右音箱为一组、后置左音箱和后置右音箱为一组，相邻的两个音箱编组之间，音量播放的最大差值为-6DB。
CN201410067291.6A 2014-02-26 2014-02-26 三维虚拟场景中的声音处理方法及装置 Active CN104869524B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410067291.6A CN104869524B (zh) 2014-02-26 2014-02-26 三维虚拟场景中的声音处理方法及装置
PCT/CN2015/073282 WO2015127890A1 (en) 2014-02-26 2015-02-26 Method and apparatus for sound processing in three-dimensional virtual scene
US15/033,013 US9826331B2 (en) 2014-02-26 2015-02-26 Method and apparatus for sound processing in three-dimensional virtual scene
EP15754824.9A EP3111671A4 (en) 2014-02-26 2015-02-26 Method and apparatus for sound processing in three-dimensional virtual scene

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410067291.6A CN104869524B (zh) 2014-02-26 2014-02-26 三维虚拟场景中的声音处理方法及装置

Publications (2)

Publication Number Publication Date
CN104869524A CN104869524A (zh) 2015-08-26
CN104869524B true CN104869524B (zh) 2018-02-16

Family

ID=53914956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410067291.6A Active CN104869524B (zh) 2014-02-26 2014-02-26 三维虚拟场景中的声音处理方法及装置

Country Status (4)

Country Link
US (1) US9826331B2 (zh)
EP (1) EP3111671A4 (zh)
CN (1) CN104869524B (zh)
WO (1) WO2015127890A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108594988A (zh) * 2018-03-22 2018-09-28 美律电子(深圳)有限公司 用于音频成像的可穿戴式电子装置及其操作方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017063688A1 (en) * 2015-10-14 2017-04-20 Huawei Technologies Co., Ltd. Method and device for generating an elevated sound impression
FI20165211A (fi) 2016-03-15 2017-09-16 Ownsurround Ltd Järjestely HRTF-suodattimien valmistamiseksi
KR20170125660A (ko) * 2016-05-04 2017-11-15 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치
CN106154231A (zh) * 2016-08-03 2016-11-23 厦门傅里叶电子有限公司 虚拟现实中声场定位的方法
CN106303555B (zh) * 2016-08-05 2019-12-03 深圳市摩登世纪科技有限公司 一种基于混合现实的直播方法、装置和系统
CN106648528A (zh) * 2016-11-11 2017-05-10 宇龙计算机通信科技(深圳)有限公司 虚拟现实设备的声音调整方法、装置及虚拟现实设备
EP3566471B1 (en) * 2017-01-05 2022-09-28 Microsoft Technology Licensing, LLC Audio simulation in video games comprising indirect propagation paths
US10592199B2 (en) * 2017-01-24 2020-03-17 International Business Machines Corporation Perspective-based dynamic audio volume adjustment
CN107103801B (zh) * 2017-04-26 2020-09-18 北京大生在线科技有限公司 远程三维场景互动教学系统及控制方法
WO2018203579A1 (ko) * 2017-05-02 2018-11-08 하수호 입체음향 생성장치 및 그를 위한 컴퓨터 프로그램
CN107182003B (zh) * 2017-06-01 2019-09-27 西南电子技术研究所（中国电子科技集团公司第十研究所） 机载三维通话虚拟听觉处理方法
US20180367935A1 (en) * 2017-06-15 2018-12-20 Htc Corporation Audio signal processing method, audio positional system and non-transitory computer-readable medium
US10257633B1 (en) * 2017-09-15 2019-04-09 Htc Corporation Sound-reproducing method and sound-reproducing apparatus
FI20185300A1 (fi) 2018-03-29 2019-09-30 Ownsurround Ltd Järjestely päähän liittyvien siirtofunktiosuodattimien muodostamiseksi
US11617050B2 (en) 2018-04-04 2023-03-28 Bose Corporation Systems and methods for sound source virtualization
CN108810780B (zh) * 2018-06-11 2020-11-24 厦门新声科技有限公司 双耳助听器平衡调节的方法及装置
CN108939535B (zh) * 2018-06-25 2022-02-15 网易（杭州）网络有限公司 虚拟场景的音效控制方法及装置、存储介质、电子设备
US11026039B2 (en) 2018-08-13 2021-06-01 Ownsurround Oy Arrangement for distributing head related transfer function filters
CN109121069B (zh) * 2018-09-25 2021-02-02 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
CN108924705B (zh) * 2018-09-25 2021-07-02 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
CN113115175B (zh) * 2018-09-25 2022-05-10 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
CN109246580B (zh) * 2018-09-25 2022-02-11 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
CN109327794B (zh) * 2018-11-01 2020-09-29 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
WO2020102941A1 (zh) * 2018-11-19 2020-05-28 深圳市欢太科技有限公司 三维音效的实现方法、装置、存储介质及电子设备
CN114531640A (zh) 2018-12-29 2022-05-24 华为技术有限公司 一种音频信号处理方法及装置
JP7362320B2 (ja) * 2019-07-04 2023-10-17 フォルシアクラリオン・エレクトロニクス株式会社 オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
TWI731472B (zh) 2019-11-14 2021-06-21 宏碁股份有限公司 電子裝置與音量自動調整方法
CN113467603B (zh) * 2020-03-31 2024-03-08 抖音视界有限公司 音频处理方法、装置、可读介质及电子设备
US11356795B2 (en) 2020-06-17 2022-06-07 Bose Corporation Spatialized audio relative to a peripheral device
US11982738B2 (en) 2020-09-16 2024-05-14 Bose Corporation Methods and systems for determining position and orientation of a device using acoustic beacons
US11700497B2 (en) 2020-10-30 2023-07-11 Bose Corporation Systems and methods for providing augmented audio
US11696084B2 (en) 2020-10-30 2023-07-04 Bose Corporation Systems and methods for providing augmented audio
CN113365191A (zh) * 2021-06-04 2021-09-07 广州酷狗计算机科技有限公司 音乐播放的方法、装置、设备及存储介质
CN114390403A (zh) * 2021-12-27 2022-04-22 达闼机器人有限公司 音频播放效果的展示方法及装置
CN114220454B (zh) * 2022-01-25 2022-12-09 北京荣耀终端有限公司 一种音频降噪方法、介质和电子设备
CN117348721A (zh) * 2022-06-29 2024-01-05 中兴通讯股份有限公司 虚拟现实数据处理方法、控制器及虚拟现实设备
CN118042345A (zh) * 2022-11-04 2024-05-14 中兴通讯股份有限公司 基于自由视角的空间音效实现方法、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1440629A (zh) * 2000-03-09 2003-09-03 Be4有限公司 优化三维音响的系统和方法
JP2004147283A (ja) * 2002-08-27 2004-05-20 Yamaha Corp 音像定位装置、音像定位方法、サウンドデータ配信システム、サウンドデータ配信方法およびプログラム
CN101521843A (zh) * 2008-02-27 2009-09-02 索尼株式会社 头相关传输函数卷积方法和设备
CN102918466A (zh) * 2010-04-01 2013-02-06 视瑞尔技术公司 用于在全息系统中编码包含透明物体的三维场景的方法和装置
WO2013142668A1 (en) * 2012-03-23 2013-09-26 Dolby Laboratories Licensing Corporation Placement of talkers in 2d or 3d conference scene

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2351213B (en) * 1999-05-29 2003-08-27 Central Research Lab Ltd A method of modifying one or more original head related transfer functions
US7079658B2 (en) * 2001-06-14 2006-07-18 Ati Technologies, Inc. System and method for localization of sounds in three-dimensional space
EP1282335B1 (en) * 2001-07-30 2008-08-27 Matsushita Electric Industrial Co., Ltd. Sound reproduction device
KR100647338B1 (ko) * 2005-12-01 2006-11-23 삼성전자주식회사 최적 청취 영역 확장 방법 및 그 장치
WO2009001277A1 (en) * 2007-06-26 2008-12-31 Koninklijke Philips Electronics N.V. A binaural object-oriented audio decoder
FR2942096B1 (fr) 2009-02-11 2016-09-02 Arkamys Procede pour positionner un objet sonore dans un environnement sonore 3d, support audio mettant en oeuvre le procede, et plate-forme de test associe
US8160265B2 (en) 2009-05-18 2012-04-17 Sony Computer Entertainment Inc. Method and apparatus for enhancing the generation of three-dimensional sound in headphone devices
US9141433B2 (en) * 2009-12-18 2015-09-22 International Business Machines Corporation Automated cloud workload management in a map-reduce environment
US8767968B2 (en) 2010-10-13 2014-07-01 Microsoft Corporation System and method for high-precision 3-dimensional audio for augmented reality
US9118991B2 (en) 2011-06-09 2015-08-25 Sony Corporation Reducing head-related transfer function data volume
CN102665156B (zh) 2012-03-27 2014-07-02 中国科学院声学研究所 一种基于耳机的虚拟3d重放方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1440629A (zh) * 2000-03-09 2003-09-03 Be4有限公司 优化三维音响的系统和方法
JP2004147283A (ja) * 2002-08-27 2004-05-20 Yamaha Corp 音像定位装置、音像定位方法、サウンドデータ配信システム、サウンドデータ配信方法およびプログラム
CN101521843A (zh) * 2008-02-27 2009-09-02 索尼株式会社 头相关传输函数卷积方法和设备
CN102918466A (zh) * 2010-04-01 2013-02-06 视瑞尔技术公司 用于在全息系统中编码包含透明物体的三维场景的方法和装置
WO2013142668A1 (en) * 2012-03-23 2013-09-26 Dolby Laboratories Licensing Corporation Placement of talkers in 2d or 3d conference scene

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108594988A (zh) * 2018-03-22 2018-09-28 美律电子(深圳)有限公司 用于音频成像的可穿戴式电子装置及其操作方法

Also Published As

Publication number Publication date
CN104869524A (zh) 2015-08-26
US9826331B2 (en) 2017-11-21
EP3111671A4 (en) 2017-09-13
EP3111671A1 (en) 2017-01-04
WO2015127890A1 (en) 2015-09-03
US20160360334A1 (en) 2016-12-08

Similar Documents

Publication Publication Date Title
CN104869524B (zh) 三维虚拟场景中的声音处理方法及装置
US6766028B1 (en) Headtracked processing for headtracked playback of audio signals
US8612187B2 (en) Test platform implemented by a method for positioning a sound object in a 3D sound environment
US5438623A (en) Multi-channel spatialization system for audio signals
CN101175343B (zh) 声像定位装置
CN104581610B (zh) 一种虚拟立体声合成方法及装置
WO2019246164A1 (en) Spatial audio for interactive audio environments
US9769589B2 (en) Method of improving externalization of virtual surround sound
JP7038725B2 (ja) オーディオ信号処理方法及び装置
WO2003009639A1 (en) Recording a three dimensional auditory scene and reproducing it for the individual listener
CN106134223A (zh) 重现双耳信号的音频信号处理设备和方法
CN106664499A (zh) 音频信号处理装置
US10419871B2 (en) Method and device for generating an elevated sound impression
US11356795B2 (en) Spatialized audio relative to a peripheral device
CN105120418B (zh) 双声道3d音频生成装置及方法
US11221820B2 (en) System and method for processing audio between multiple audio spaces
KR20160061315A (ko) 사운드 신호 처리 방법
CN106373582B (zh) 多声道音频的处理方法和装置
Cheng et al. Moving sound source synthesis for binaural electroacoustic music using interpolated head-related transfer functions (HRTFs)
CN110892735B (zh) 一种音频处理方法以及音频处理设备
CN105075294B (zh) 音频信号处理装置
US10659903B2 (en) Apparatus and method for weighting stereo audio signals
CN104410939B (zh) 声像方位感处理方法和装置
CN106658345B (zh) 一种虚拟环绕声播放方法、装置和设备
WO2012104297A1 (en) Generation of user-adapted signal processing parameters

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant