CN106448687B - 音频制作及解码的方法和装置 - Google Patents

音频制作及解码的方法和装置 Download PDF

Info

Publication number
CN106448687B
CN106448687B CN201610832141.9A CN201610832141A CN106448687B CN 106448687 B CN106448687 B CN 106448687B CN 201610832141 A CN201610832141 A CN 201610832141A CN 106448687 B CN106448687 B CN 106448687B
Authority
CN
China
Prior art keywords
target voice
audio
sound
speaker
site environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610832141.9A
Other languages
English (en)
Other versions
CN106448687A (zh
Inventor
刘晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Wanying Beijing Technology Co ltd
Original Assignee
Zhongke Super Shadow (beijing) Media Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Super Shadow (beijing) Media Technology Co Ltd filed Critical Zhongke Super Shadow (beijing) Media Technology Co Ltd
Priority to CN201610832141.9A priority Critical patent/CN106448687B/zh
Publication of CN106448687A publication Critical patent/CN106448687A/zh
Application granted granted Critical
Publication of CN106448687B publication Critical patent/CN106448687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本发明公开了一种音频制作及解码的方法和装置，其中音频制作方法包括：制作声音对象，声音对象与音轨一一对应，每一声音对象代表一个发声源；获得声音对象的运动轨迹；制作音频文件，所述音频文件包括声音对象及声音对象的运动轨迹。音频播放方法包括：获得音频文件；获得需输出声音对象对应声音的现场环境中的一个或多个音箱所在位置；根据声音对象的运动轨迹及所述现场环境中的一个或多个音箱所在位置，对声音对象进行运算渲染，获得针对所述现场环境中的一个或多个音箱的音频；将所述音频分配至对应的现场环境中的音箱，以输出声音对象对应声音。本发明可以减少音频制作的工作量，降低制作发行成本，并实现一次制作多个场合播放。

Description

音频制作及解码的方法和装置
技术领域
本发明涉及音频技术领域，尤其涉及音频制作及解码的方法和装置。
背景技术
从电影的声音发展历程来看，经历了无声电影时期(1895～1926)，这一时期的电影只限于对现实生活的记录，只有画面而没有声音的状况显然在艺术表现力方面显出越来越大的缺憾，频频出现的字幕，会打断整个影片的结构。
从1927年开始了有声电影时期，1927年10月6日，纽约的观众在观看华纳兄弟公司出品的《爵士歌王》时，突然听到主角开口说了话：“等一下，等一下，你们还什么也没听到呢”这句话，标志着一个新时代的来临。
整个有声电影时期，经历了从单声道、立体声和多声道几个阶段。结合无声电影时期，可以把电影声音发展历程归纳为无声、点(单声道)、线(立体声)、面(环绕声)。
不管是单声道还是环绕声技术，都是基于声道技术，也就是说，在制作可回放的声音文件时，要分别基于不同布局的声场(音箱的摆放位置)，单独制作每支音箱的输出音频。当声音在不同的音箱间运动时，需要人工把声音分配到不同的音箱，生成针对每支音箱的输出音频。面对不同的音箱布局时，这样会大大增加制作的工作量与难度。从而造成如下问题：需要针对不同的音箱布局，提供不同的内容格式，工作量大，制作发行成本成倍上升；不能实现一次制作，多个场合播放。
发明内容
本发明实施例提供一种音频制作方法，用以减少音频制作的工作量，降低制作发行成本，并实现一次制作多个场合播放，该方法包括：
制作声音对象，声音对象与音轨一一对应，每一声音对象代表一个发声源，所述声音对象把声音独立出来作为与音箱或声道无关的元素；
获得声音对象的运动轨迹；
制作音频文件，所述音频文件包括声音对象及声音对象的运动轨迹。
本发明实施例还提供一种音频播放方法，用以减少音频制作的工作量，降低制作发行成本，并实现一次制作多个场合播放，该方法包括：
获得音频文件，所述音频文件包括声音对象及声音对象的运动轨迹，声音对象与音轨一一对应，每一声音对象代表一个发声源，所述声音对象把声音独立出来作为与音箱或声道无关的元素；
获得需输出声音对象对应声音的现场环境中的一个或多个音箱所在位置；
根据声音对象的运动轨迹及所述现场环境中的一个或多个音箱所在位置，对声音对象进行运算渲染，获得针对所述现场环境中的一个或多个音箱的音频；
将所述音频分配至对应的现场环境中的音箱，以输出声音对象对应声音。
本发明实施例提供一种音频制作装置，用以减少音频制作的工作量，降低制作发行成本，并实现一次制作多个场合播放，该装置包括：
对象制作模块，用于制作声音对象，声音对象与音轨一一对应，每一声音对象代表一个发声源，所述声音对象把声音独立出来作为与音箱或声道无关的元素；
轨迹获得模块，用于获得声音对象的运动轨迹；
音频制作模块，用于制作音频文件，所述音频文件包括声音对象及声音对象的运动轨迹。
本发明实施例还提供一种音频解码装置，用以减少音频制作的工作量，降低制作发行成本，并实现一次制作多个场合播放，该装置包括：
文件获得模块，用于获得音频文件，所述音频文件包括声音对象及声音对象的运动轨迹，声音对象与音轨一一对应，每一声音对象代表一个发声源，所述声音对象把声音独立出来作为与音箱或声道无关的元素；
位置获得模块，用于获得需输出声音对象对应声音的现场环境中的一个或多个音箱所在位置；
音频获得模块，用于根据声音对象的运动轨迹及所述现场环境中的一个或多个音箱所在位置，对声音对象进行运算渲染，获得针对所述现场环境中的一个或多个音箱的音频；
音频分配模块，用于将所述音频分配至对应的现场环境中的音箱，以输出声音对象对应声音。
本发明实施例在进行音频制作时，先制作声音对象，声音对象与音轨一一对应，每一声音对象代表一个发声源；获得声音对象的运动轨迹；再制作音频文件，所述音频文件包括声音对象及声音对象的运动轨迹，使音频制作与音箱布局无关，音频文件以统一的内容格式提供，而不必针对不同的音箱布局提供不同的内容格式，以减少音频制作的工作量，降低制作发行成本，并实现一次制作多个场合播放。
本发明实施例在进行音频解码时，获得音频文件及需输出声音对象对应声音的现场环境中的一个或多个音箱所在位置；根据声音对象的运动轨迹及所述现场环境中的一个或多个音箱所在位置，对声音对象进行运算渲染，获得针对所述现场环境中的一个或多个音箱的音频；将所述音频分配至对应的现场环境中的音箱，以输出声音对象对应声音，从而将统一内容格式的音频文件适配到不同的音箱布局中，减少音频制作的工作量，降低制作发行成本，并实现一次制作多个场合播放。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中音频制作方法的示意图；
图2为本发明实施例中音频解码方法的示意图；
图3为现有技术中典型的5.1影院的布局情况示意图；
图4为本发明实施例中声音运动的一示例图；
图5为本发明实施例中数字影院影厅音箱的布局坐标系统示意图；
图6为本发明实施例中数字影院影厅的典型音箱分布布局示意图；
图7为本发明实施例中虚拟现实环境音箱的布局坐标系统示意图；
图8为本发明实施例中音频制作装置的示意图；
图9为本发明实施例中音频解码装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
为了解决现有技术中的问题，在本发明实施例中提供一种音频制作方法，如图1所示，该音频制作方法可以包括：
步骤101、制作声音对象，声音对象与音轨一一对应，每一声音对象代表一个发声源；
步骤102、获得声音对象的运动轨迹；
步骤103、制作音频文件，所述音频文件包括声音对象及声音对象的运动轨迹。
由图1所示流程可以得知，本发明实施例与现有声道技术不同，采用了声音对象的技术。声音对象把一个声音独立出来作为一个与音箱或声道无关的元素。声音对象与音轨一一对应，每一声音对象代表一个发声源。实施时根据给定的声音对象运动轨迹，通过实时运算渲染，把运算渲染后获得的音频分配到对应的现场环境中的一个或多个音箱中，实现声音对象在三维空间中的运动。可以得知，现有的声音技术都是包含在平面以内的，无论是单声道的“点”，立体声的“线”，还是环绕声的“面”；而本发明实施例采用声音对象以后可以将声音拓展到“体”(立方体或者球体)。
具体实施时，获得声音对象的运动轨迹可以采用多种方式，例如可以通过在数字音频工作站运行插件的方式，获得声音对象的运动轨迹。为了能与现有的DAW(DigitalAudio Workstation，数字音频工作站)更好的结合，一种有效的方式是通过插件的方式(例如AAX，VST，…)，实现传统音频制作与3D音频制作的完美结合。通过插件，可以对每个声音对象进行Pan(移动制作)，把声音对象在三维空间的运动轨迹与时间线联系起来。声音对象的运动轨迹可以包括声音对象运动时的三维空间坐标位置，例如可以包含声音对象运动时的XYZ三轴坐标。实施例中通过OpenGL等方式可以完美实现通过2D的界面显示声音对象在球体或者立方体内的自由3D移动，并通过一般DAW都具有的Automation(自动化)机制实现运动轨迹的记录与回放。
在另外的实施例中，也可以根据摇杆或体感控制设备输入的控制指令，生成声音对象的运动轨迹。即可以通过各种外部工具制作声音对象的运动轨迹，例如摇杆，Leapmotion(体感控制设备)等实时制作声音对象在3维空间的运动轨迹。
如前所述，现有技术中的音频制作，需要针对不同的音箱布局，提供不同的内容格式，工作量大，制作发行成本成倍上升。目前影院使用的音箱布局主要有5.1，7.1，9.1，13.1几种，针对不同的布局有不同的发行版，不能混着用，因为在影片里，每一个音轨和音箱布局里的音箱是一一对应的。这样在制作发行时，不同的版本都需要重新制作一遍。其制作过程序就是在制作时把声音根据声音运动的需要分配到不同的音轨上面去，这样一个音轨里可以混合不同的声音。并且，现有技术中的音频制作不能实现一次制作，多个场合播放。
而由上述实施例可以得知，本发明实施例将声音对象及声音对象的运动轨迹携带于音频文件中，音频制作与音箱布局无关，音频文件以统一的内容格式提供。打破了原来音轨和音箱布局是一一对应的关系，改为音轨与声音对象是一一对应的，一条音轨对应着一个对象，对象代表一个发声源，如飞机的声音。然后单独对对象增加一个运动轨迹描述，描述对象在环境空间中所处的位置。这样制作发行时，只需制作一遍就可以，做出的发行版本里只有对象和运动轨迹描述，这样声音就与音箱布局无关了，从而不必针对不同的音箱布局提供不同的内容格式，以减少音频制作的工作量，降低制作发行成本，并实现一次制作多个场合播放。
图2为本发明实施例中音频解码方法的示意图。如图2所示，该音频解码方法可以包括：
步骤201、获得音频文件，所述音频文件包括声音对象及声音对象的运动轨迹，声音对象与音轨一一对应，每一声音对象代表一个发声源；
步骤202、获得需输出声音对象对应声音的现场环境中的一个或多个音箱所在位置；
步骤203、根据声音对象的运动轨迹及所述现场环境中的一个或多个音箱所在位置，对声音对象进行运算渲染，获得针对所述现场环境中的一个或多个音箱的音频；
步骤204、将所述音频分配至对应的现场环境中的音箱，以输出声音对象对应声音。
由图2所示流程可以得知，本发明实施例进行音频解码时，将统一内容格式的音频文件适配到不同的现场环境中的音箱布局中，减少音频制作的工作量，降低制作发行成本，并实现一次制作多个场合播放。在实现播放时，只需根据实际环境的音箱布局与声音对象的运动轨迹，实时运算分配，把声音输出到相应的音箱上。
具体实施时，获得包括声音对象及声音对象运动轨迹的音频文件后，还需获得需输出声音对象对应声音的现场环境中的一个或多个音箱所在位置。在具体的实施例中，声音对象的运动轨迹可以包括声音对象运动时的三维空间坐标位置；可以根据声音对象运动时的三维空间坐标位置，查找所述一个或多个音箱，其中所述现场环境中的一个或多个音箱的三维空间坐标位置与声音对象运动时的三维空间坐标位置之间的距离在设定范围内，该设定范围可以根据需要预设，例如在2米范围内等，以便为运动的声音对象找到与之距离较近的音箱。
图3为现有技术中典型的5.1影院的布局情况示意图。如图3所示，现有技术基于声道的音频技术，声音以AB，AC，AD，BC，BD几种轨迹运动时，跨越了很大一部分区域，在中间的域当中，没有音箱发声，只能靠远端的音箱仿真表达。可见现有技术不能连续的表达声音的运动轨迹，只能离散的表达，而由于音箱数量总是有限的，因此离散度很大。同时对于混音工程师的要求太高。
图4为本发明实施例中声音运动的一示例图，本例中，所查找的现场环境中的一个或多个音箱的三维空间坐标位置与声音对象运动时的三维空间坐标位置之间的距离较为接近，让声音可以在与其运动轨迹接近的音箱播放。声音运动时，在运动区域，可以连续的跨越多个音箱，听起来声音是连续运动的。这样对于混音工程师的要求也可以相对降低。
实施时音频处理方法可以应用于多种场景中，例如，应用于针对数字影院的全息声影院技术(HoloSound-Cinema)，或者应用于针对虚拟现实应用的全息声虚拟现实技术(HoloSound-VR)，又或者应用于针对个人消费性电子应用的全息声消费电子技术(HoloSound Consumer)，例如在家用、移动电子产品(如手机)等电子设备中应用。基于此，在实施例中，所述现场环境中的音箱可以为多个，分布于数字影院的影厅中；或，所述现场环境中的音箱可以为两个，应用于虚拟现实环境中；或所述现场环境中的音箱可以为两个，应用于电子设备中。
以所述现场环境中的音箱为多个且分布于数字影院的影厅中为例，如图5所示，建立音箱的布局坐标系统，以影厅后墙银幕左下角为坐标原点，宽为X轴，深为Y轴，高为Z轴。实施时可以把实际影厅中音箱的位置映射到该坐标系统中，给每支音箱一个独立的坐标位置。图6为典型的音箱分布布局图。当声音对象在空间运动时，声音对象的XYZ三轴坐标放入音箱的布局坐标系统中，根据声音对象运动时的三维空间坐标位置，查找与声音对象距离最近的1支或多支音箱，再根据相应音箱的三维空间坐标位置与声音对象的运动轨迹(运动时的三维空间坐标位置)，对声音对象进行运算渲染，把获得的音频送入对应的音箱，以使这些音箱输出对应的声音。
再以所述现场环境中的音箱为两个且应用于虚拟现实环境中为例，如图7所示，建立音箱的布局坐标系统，以VR显示屏左下角为坐标原点，宽为X轴，深为Y轴，高为Z轴。在音箱布局上，只有两只音箱。当声音对象在空间运动时，声音对象的XYZ三轴坐标放入音箱的布局坐标系统中，根据两支音箱的三维空间坐标位置与声音对象的运动轨迹(运动时的三维空间坐标位置)，对声音对象进行运算渲染，把获得的音频送入相应的左右音箱，输出相应的声音。
上述建立的音箱布局坐标系统仅为举例，实施时可以采用三维笛卡尔坐标系，或者也可以采用仿射坐标系，同时可以采用同心系统，或者也可以采用异心系统。
进一步的，若所述现场环境中的音箱为两个，应用于虚拟现实环境中，则可以在对所述声音对象进行运算渲染时，将所述声音对象与头传递函数相结合，获得针对所述现场环境中的两个音箱的音频，从而将声音对象技术与头传递函数结合在一起，完成音频处理。
基于同一发明构思，本发明实施例中还提供了一种音频制作装置和音频解码装置，如下面的实施例所述。由于这些装置解决问题的原理分别与上述音频制作方法和音频解码方法相似，因此这些装置的实施可以参见对应方法的实施，重复之处不再赘述。
图8为本发明实施例中音频制作装置的示意图。如图8所示，该音频制作装置可以包括：
对象制作模块801，用于制作声音对象，声音对象与音轨一一对应，每一声音对象代表一个发声源；
轨迹获得模块802，用于获得声音对象的运动轨迹；
音频制作模块803，用于制作音频文件，所述音频文件包括声音对象及声音对象的运动轨迹。
具体实施时，轨迹获得模块802可以进一步用于：获得声音对象运动时的三维空间坐标位置。
具体实施时，轨迹获得模块802可以进一步用于：通过在数字音频工作站运行插件的方式，获得声音对象的运动轨迹；或，根据摇杆或体感控制设备输入的控制指令，生成声音对象的运动轨迹。
图9为本发明实施例中音频解码装置的示意图。如图9所示，该音频解码装置可以包括：
文件获得模块901，用于获得音频文件，所述音频文件包括声音对象及声音对象的运动轨迹，声音对象与音轨一一对应，每一声音对象代表一个发声源；
位置获得模块902，用于获得需输出声音对象对应声音的现场环境中的一个或多个音箱所在位置；
音频获得模块903，用于根据声音对象的运动轨迹及所述现场环境中的一个或多个音箱所在位置，对声音对象进行运算渲染，获得针对所述现场环境中的一个或多个音箱的音频；
音频分配模块904，用于将所述音频分配至对应的现场环境中的音箱，以输出声音对象对应声音。
具体实施时，声音对象的运动轨迹可以包括声音对象运动时的三维空间坐标位置；
位置获得模块902可以进一步用于：
根据声音对象运动时的三维空间坐标位置，查找所述现场环境中的一个或多个音箱，所述现场环境中的一个或多个音箱的三维空间坐标位置与声音对象运动时的三维空间坐标位置之间的距离在设定范围内。
具体实施时，所述现场环境中的音箱可以为多个，分布于数字影院的影厅中；或，所述现场环境中的音箱可以为两个，应用于虚拟现实环境中；或所述现场环境中的音箱可以为两个，应用于电子设备中。
具体实施时，音频获得模块903可以进一步用于：
若所述现场环境中的音箱为两个，应用于虚拟现实环境中，则在对声音对象进行运算渲染时，将声音对象与头传递函数相结合，获得针对所述现场环境中的两个音箱的音频。
综上所述，本发明实施例在进行音频制作时，先制作声音对象，声音对象与音轨一一对应，每一声音对象代表一个发声源；获得声音对象的运动轨迹；再制作音频文件，所述音频文件包括声音对象及声音对象的运动轨迹，使音频制作与音箱布局无关，音频文件以统一的内容格式提供，而不必针对不同的音箱布局提供不同的内容格式，以减少音频制作的工作量，降低制作发行成本，并实现一次制作多个场合播放。
本发明实施例在进行音频解码时，获得音频文件及需输出声音对象对应声音的现场环境中的一个或多个音箱所在位置；根据声音对象的运动轨迹及所述现场环境中的一个或多个音箱所在位置，对声音对象进行运算渲染，获得针对所述现场环境中的一个或多个音箱的音频；将所述音频分配至对应的现场环境中的音箱，以输出声音对象对应声音，从而将统一内容格式的音频文件适配到不同的音箱布局中，减少音频制作的工作量，降低制作发行成本，并实现一次制作多个场合播放。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种音频制作方法，其特征在于，包括：
制作声音对象，声音对象与音轨一一对应，每一声音对象代表一个发声源，所述声音对象把声音独立出来作为与音箱或声道无关的元素；
获得声音对象的运动轨迹；
制作音频文件，所述音频文件包括声音对象及声音对象的运动轨迹。
2.如权利要求1所述的方法，其特征在于，声音对象的运动轨迹包括声音对象运动时的三维空间坐标位置。
3.如权利要求1或2所述的方法，其特征在于，获得声音对象的运动轨迹，包括：
通过在数字音频工作站运行插件的方式，获得声音对象的运动轨迹；
或，根据摇杆或体感控制设备输入的控制指令，生成声音对象的运动轨迹。
4.一种音频解码方法，其特征在于，包括：
获得音频文件，所述音频文件包括声音对象及声音对象的运动轨迹，声音对象与音轨一一对应，每一声音对象代表一个发声源，所述声音对象把声音独立出来作为与音箱或声道无关的元素；获得需输出声音对象对应声音的现场环境中的一个或多个音箱所在位置；
根据声音对象的运动轨迹及所述现场环境中的一个或多个音箱所在位置，对声音对象进行运算渲染，获得针对所述现场环境中的一个或多个音箱的音频；
将所述音频分配至对应的现场环境中的音箱，以输出声音对象对应声音。
5.如权利要求4所述的方法，其特征在于，声音对象的运动轨迹包括声音对象运动时的三维空间坐标位置；
获得需输出声音对象对应声音的现场环境中的一个或多个音箱所在位置，包括：
根据声音对象运动时的三维空间坐标位置，查找所述现场环境中的一个或多个音箱，所述现场环境中的一个或多个音箱的三维空间坐标位置与声音对象运动时的三维空间坐标位置之间的距离在设定范围内。
6.如权利要求4所述的方法，其特征在于，所述现场环境中的音箱为多个，分布于数字影院的影厅中；或，所述现场环境中的音箱为两个，应用于虚拟现实环境中；或所述现场环境中的音箱为两个，应用于电子设备中。
7.如权利要求6所述的方法，其特征在于，根据声音对象的运动轨迹及所述现场环境中的一个或多个音箱所在位置，对声音对象进行运算渲染，获得针对所述现场环境中的一个或多个音箱的音频，包括：
若所述现场环境中的音箱为两个，应用于虚拟现实环境中，则在对声音对象进行运算渲染时，将声音对象与头传递函数相结合，获得针对现场环境中的所述两个音箱的音频。
8.一种音频制作装置，其特征在于，包括：
对象制作模块，用于制作声音对象，声音对象与音轨一一对应，每一声音对象代表一个发声源，所述声音对象把声音独立出来作为与音箱或声道无关的元素；
轨迹获得模块，用于获得声音对象的运动轨迹；
音频制作模块，用于制作音频文件，所述音频文件包括声音对象及声音对象的运动轨迹。
9.如权利要求8所述的装置，其特征在于，所述轨迹获得模块进一步用于：
获得声音对象运动时的三维空间坐标位置。
10.如权利要求8或9所述的装置，其特征在于，所述轨迹获得模块进一步用于：
通过在数字音频工作站运行插件的方式，获得声音对象的运动轨迹；
或，根据摇杆或体感控制设备输入的控制指令，生成声音对象的运动轨迹。
11.一种音频解码装置，其特征在于，包括：
文件获得模块，用于获得音频文件，所述音频文件包括声音对象及声音对象的运动轨迹，声音对象与音轨一一对应，每一声音对象代表一个发声源，所述声音对象把声音独立出来作为与音箱或声道无关的元素；
位置获得模块，用于获得需输出声音对象对应声音的现场环境中的一个或多个音箱所在位置；
音频获得模块，用于根据声音对象的运动轨迹及所述现场环境中的一个或多个音箱所在位置，对声音对象进行运算渲染，获得针对所述现场环境中的一个或多个音箱的音频；
音频分配模块，用于将所述音频分配至对应的现场环境中的音箱，以输出声音对象对应声音。
12.如权利要求11所述的装置，其特征在于，声音对象的运动轨迹包括声音对象运动时的三维空间坐标位置；
所述位置获得模块进一步用于：
根据声音对象运动时的三维空间坐标位置，查找所述现场环境中的一个或多个音箱，所述现场环境中的一个或多个音箱的三维空间坐标位置与声音对象运动时的三维空间坐标位置之间的距离在设定范围内。
13.如权利要求11所述的装置，其特征在于，所述现场环境中的音箱为多个，分布于数字影院的影厅中；或，所述现场环境中的音箱为两个，应用于虚拟现实环境中；或所述现场环境中的音箱为两个，应用于电子设备中。
14.如权利要求13所述的装置，其特征在于，所述音频获得模块进一步用于：
若所述现场环境中的音箱为两个，应用于虚拟现实环境中，则在对声音对象进行运算渲染时，将声音对象与头传递函数相结合，获得针对所述现场环境中的两个音箱的音频。
CN201610832141.9A 2016-09-19 2016-09-19 音频制作及解码的方法和装置 Active CN106448687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610832141.9A CN106448687B (zh) 2016-09-19 2016-09-19 音频制作及解码的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610832141.9A CN106448687B (zh) 2016-09-19 2016-09-19 音频制作及解码的方法和装置

Publications (2)

Publication Number Publication Date
CN106448687A CN106448687A (zh) 2017-02-22
CN106448687B true CN106448687B (zh) 2019-10-18

Family

ID=58166528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610832141.9A Active CN106448687B (zh) 2016-09-19 2016-09-19 音频制作及解码的方法和装置

Country Status (1)

Country Link
CN (1) CN106448687B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112189183A (zh) * 2018-05-30 2021-01-05 苹果公司 用于呈现音频和合成现实体验的方法和设备
CN109246580B (zh) * 2018-09-25 2022-02-11 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
CN109286888B (zh) * 2018-10-29 2021-01-29 中国传媒大学 一种音视频在线检测与虚拟声像生成方法及装置
CN109634551A (zh) * 2018-11-21 2019-04-16 雷欧尼斯（北京）信息技术有限公司 音频对象生成方法及装置
CN115278350A (zh) * 2021-04-29 2022-11-01 华为技术有限公司 一种渲染方法及相关设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101438389B1 (ko) * 2007-11-15 2014-09-05 삼성전자주식회사 오디오 매트릭스 디코딩 방법 및 장치
CN101819776B (zh) * 2009-02-27 2012-04-18 北京中星微电子有限公司 嵌入和获取声源定向信息的方法及音频编解码方法和系统
JP6102123B2 (ja) * 2012-08-24 2017-03-29 ティアック株式会社 マルチトラックレコーダ
JP6167178B2 (ja) * 2012-08-31 2017-07-19 ドルビー ラボラトリーズ ライセンシング コーポレイション オブジェクトに基づくオーディオのための反射音レンダリング
RU2015146300A (ru) * 2013-04-05 2017-05-16 Томсон Лайсенсинг Способ для управления полем реверберации для иммерсивного аудио
WO2016014233A1 (en) * 2014-07-25 2016-01-28 mindHIVE Inc. Real-time immersive mediated reality experiences
CN104270700B (zh) * 2014-10-11 2017-09-22 武汉轻工大学 3d音频中移动音源的生成方法、装置及系统
CN105070304B (zh) * 2015-08-11 2018-09-04 小米科技有限责任公司 实现对象音频录音的方法及装置、电子设备
CN105635783A (zh) * 2015-12-31 2016-06-01 田雪松 多媒体文件制作方法
CN105898669B (zh) * 2016-03-18 2017-10-20 南京青衿信息科技有限公司 一种声音对象的编码方法

Also Published As

Publication number Publication date
CN106448687A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN106448687B (zh) 音频制作及解码的方法和装置
US11079912B2 (en) Method and apparatus for enhancing digital video effects (DVE)
US9888333B2 (en) Three-dimensional audio rendering techniques
US20210194942A1 (en) System, platform, device, and method for spatial audio production and virtual reality environment
KR101004249B1 (ko) 오디오 신호의 구성 설명 방법
WO2018195652A1 (en) System, method and apparatus for co-locating visual images and associated sound
US10721578B2 (en) Spatial audio warp compensator
KR102500694B1 (ko) 사용자 맞춤형 현장감 실현을 위한 오디오 콘텐츠를 제작하는 컴퓨터 시스템 및 그의 방법
Çamcı et al. INVISO: a cross-platform user interface for creating virtual sonic environments
Vaananen et al. Advanced AudioBIFS: Virtual acoustics modeling in MPEG-4 scene description
CN114630145A (zh) 一种多媒体数据合成方法、设备及存储介质
GB2592473A (en) System, platform, device and method for spatial audio production and virtual rality environment
CN113473318B (zh) 一种基于滑动轨道的移动音源3d音频系统
Wagner et al. Introducing the zirkonium MK2 system for spatial composition
CN109348390A (zh) 一种沉浸式全景声电子音乐扩散系统
Çakmak et al. Composing spatial music with Web audio and WebVR
Llewellyn et al. Towards 6DOF: 3D audio for virtual, augmented, and mixed realities
CN213426489U (zh) 一种空间指向性立体声音360度环形影院系统
CN215010693U (zh) 一种滑动音响播放装置
Settel et al. Volumetric approach to sound design and composition using SATIE: a high-density 3D audio scene rendering environment for large multi-channel loudspeaker configurations
Väänänen Parametrization, auralization, and authoring of room acoustics for virtual reality applications
CN113473354B (zh) 一种滑动音响的优化配置方法
Filimowicz An audiovisual colocation display system
Chabot Spatialized sound reproduction for telematic music performances in an immersive virtual environment
CN109634551A (zh) 音频对象生成方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230407

Address after: 102300 712, floor 7, building 3, yard 19, Jinsha West Street, Mentougou District, Beijing

Patentee after: Zhongke WANYING (Beijing) Technology Co.,Ltd.

Address before: 101-A075, 1st Floor, Building 29, Yard 5, Fengrun Middle Road, Haidian District, Beijing, 100094

Patentee before: ZHONGKE CHAOYING (BEIJING) MEDIA TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right