CN118042345A - 基于自由视角的空间音效实现方法、设备及存储介质 - Google Patents
基于自由视角的空间音效实现方法、设备及存储介质 Download PDFInfo
- Publication number
- CN118042345A CN118042345A CN202211378901.5A CN202211378901A CN118042345A CN 118042345 A CN118042345 A CN 118042345A CN 202211378901 A CN202211378901 A CN 202211378901A CN 118042345 A CN118042345 A CN 118042345A
- Authority
- CN
- China
- Prior art keywords
- audio
- machine position
- target
- azimuth information
- current machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000006243 chemical reaction Methods 0.000 claims abstract description 38
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
本申请提供一种基于自由视角的空间音效实现方法、设备及存储介质,属于音视频技术领域。本方法根据用户选择的当前机位对应的机位号,在存储单元中查找对应的目标方位信息,作为当前机位的声音方位信息;通过将音频流数据解码为音频帧,获得当前机位的音频数据;根据当前机位的目标方位信息,对音频帧进行对应空间方位的音效转换,获得当前机位对应的目标空间音频;通过不同方位的机位对应的方位信息,对音频帧进行相应的音效转换,以获得对应各机位方位信息的音频流,使得视频流和音频流可以实现空间同步效果,提高用户体验感。
Description
技术领域
本申请涉及音视频技术领域,尤其涉及一种基于自由视角的空间音效实现方法、设备及存储介质。
背景技术
随着5G时代的到来,更大的带宽能够为用户提供更好的观影体验,超清4k/8k为用户带来更清晰更细致的画质享受。目前,自由视角被广泛应用于运动赛事、教育培训、文娱演出等场景,配合VR/AR头盔、耳机等设备,能够为用户提供更佳的视听体验。
但目前的自由视角设备,并没有提供空间音效功能,当用户观看直播、体验游戏时,不管切换到哪个视角,都不能分辨声音的方位,造成用户体验感较差。因此,如何解决目前自由视角的音效播放体验感差成为了亟待解决的技术问题。
发明内容
本申请实施例提供了一种基于自由视角的空间音效实现方法、设备及存储介质,旨在解决目前自由视角的音效播放体验感差的技术问题。
第一方面,本申请实施例提供一种基于自由视角的空间音效实现方法,包括:
基于当前机位对应的机位号,在存储单元中匹配所述当前机位对应的目标方位信息;
获取音频流数据,并将所述音频流数据解码为目标音频帧;
基于所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的目标空间音频。
第二方面,本申请实施例还提供一种基于自由视角的空间音效实现设备,所述基于自由视角的空间音效实现设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,其中所述计算机程序被所述处理器执行时,实现如本申请说明书提供的任一项基于自由视角的空间音效实现方法。
第三方面,本申请实施例还提供一种存储介质,用于计算机可读存储,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如本申请说明书提供的任一项基于自由视角的空间音效实现方法。
本申请提供一种基于自由视角的空间音效实现方法、设备及存储介质,本方法根据用户选择的当前机位对应的机位号,在存储单元中查找对应的目标方位信息,作为当前机位的声音方位信息;通过对音频流数据的解析,将音频流数据解码为音频帧,作为当前机位的音频数据;根据当前机位的目标方位信息,对音频帧进行对应空间方位的音效转换,获得当前机位对应的目标空间音频;通过不同方位的机位对应的方位信息,对音频帧进行相应的音效转换,以获得对应各机位方位信息的音频流,使得视频流和音频流可以实现空间同步效果,提高用户体验感。由此,解决了目前自由视角的音效播放体验感差的技术问题。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于自由视角的空间音效实现方法的第一实施例流程示意图;
图2为本发明提供的一种基于自由视角的空间音效实现方法的第二实施例流程示意图;
图3为本发明实施例提供的基于自由视角的空间音效实现的环绕式播放模式示意图;
图4为本发明实施例提供的基于自由视角的空间音效实现的线性式播放模式示意图;
图5为本发明提供的一种基于自由视角的空间音效实现方法的第三实施例流程示意图;
图6为本发明实施例提供的一种基于自由视角的空间音效实现设备的结构示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本发明实施例提供一种基于自由视角的空间音效实现方法、设备及存储介质。其中,该基于自由视角的空间音效实现方法可应用于移动终端中,该移动终端可以手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。
下面结合附图,对本发明的一些实施例作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
以下,将结合图1中的场景对本发明的实施例提供的基于自由视角的空间音效实现方法进行详细介绍。需知,图1中的场景仅用于解释本发明实施例提供的基于自由视角的空间音效实现方法,但并不构成对本发明实施例提供的基于自由视角的空间音效实现方法应用场景的限定。
请参照图1,图1为本发明提供的一种基于自由视角的空间音效实现方法的第一实施例流程示意图。
如图1所示,该基于自由视角的空间音效实现方法包括步骤S101至步骤S103。
步骤S101、基于当前机位对应的机位号,在存储单元中匹配所述当前机位对应的目标方位信息;
本实施例中,客户端可以通过对索引文件或者是视频流的数据解析,获得每个机位的机位号、声音方位信息以及默认播放的机位号等媒体信息,并存储到客户端的存储单元中,获得各机位的机位号以及对应的声音方位信息。
在一实施例中,用户在客户端选择需要进行进行音频渲染的机位,每个机位都具备唯一对应的机位号,根据用户选择的机位对应的机位号,在存储单元中查询该机位号对应的声音方位信息,即为当前机位对应的目标方位信息。
步骤S102、获取音频流数据,并将所述音频流数据解码为目标音频帧;
本实施例中,客户端可以下载需要进行音效转换的音频流数据,并且将音频流数据解码为音频帧。
具体地,在进行音频信息分析时,通常包括对采样率、采样数和采样格式等方面的分析。其中,采样率是指每秒从连续信号中提取并组成离散信号的采样个数,它用赫兹(Hz)来表示。采样频率的倒数是采样周期或者叫作采样时间,它是采样之间的时间间隔。通俗的讲采样频率是指计算机每秒钟采集多少个信号样本。采样数是指一帧音频的大小。采样格式则是指音频的存储格式,比如8位无符号整数、16位有符号整数、32位有符号整数以及单精度浮点数等。
在一实施例中,在PCM音频数据中,音频帧有两种说法:一是一个音频帧通常指一个采样点大小,比如8通道/位深(B/s);二是一个音频帧用多长时间,比如以1s时间范围内的音频数据作为1帧。
可以理解地是,在其他非PCM数据中,音频帧有固定大小的,非固定大小的,还有一种固定时长的。针对非固定的大小和固定时长的音频帧类型,需要实时解析才可知道音频帧的实际大小。
步骤S103、基于所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的目标空间音频。
本实施例中,可以根据当前机位匹配到的目标方位信息,对目标音频帧进行HRTF运算,从而生成当前机位对应的具有空间音效的音频数据,客户端可以将转换完毕的空间音频数据渲染输出,得到目标空间音频。
具体地,HRTF(Head Related Transfer Function)是指头相关变换函数,是一种音效定位算法。HRTF是一个声学模型,是空间参数(相对于听者人头中心的球形坐标系)、声音频率(一般只包括20-20khz,因为人耳一般只能感受这个频率范围的声音)、人体学参数(会反射、衍射声波的头、躯干、耳廓等的尺寸)的函数。
在一实施例中,HRTF使用人耳和人脑的频率振动预知来合成3D音效,通过高速DSP计算,HRTF可实时处理虚拟世界的音源。当声音晶片计算包含3D声音的波形时,通过耳机,人脑可感知到真实的定位感受,比如从前方/后方,上方/下方或者是三维空间内任意方位传来的声音。
在一实施例中,若是得到某个人的全空间HRTF数据库,则可以完美的渲染(将某一空间位置时域HRIR与单声道声音卷积或者HRTF与单声道声音的傅里叶变换乘积)出任何位置听者想要听见的空间位置的声音。
本实施例提供了一种基于自由视角的空间音效实现方法,本方法根据用户选择的当前机位对应的机位号,在存储单元中查找对应的目标方位信息,作为当前机位的声音方位信息;通过对音频流数据的解析,将音频流数据解码为音频帧,作为当前机位的音频数据;根据当前机位的目标方位信息,对音频帧进行对应空间方位的音效转换,获得当前机位对应的目标空间音频;通过不同方位的机位对应的方位信息,对音频帧进行相应的音效转换,以获得对应各机位方位信息的音频流,使得视频流和音频流可以实现空间同步效果,提高用户体验感。由此,解决了目前自由视角的音效播放体验感差的技术问题。
请参照图2,图2为本发明提供的一种基于自由视角的空间音效实现方法的第二实施例流程示意图;
本实施例中,基于上述图1所示实施例,所述步骤S103之前,还包括:
步骤S201、基于当前设备分布方式,确定音频播放模式,所述音频播放模式包括环绕式播放模式和线性式播放模式。
本实施例中,可以根据应用现场的设备分布情况,确定对应的音频播放模式,以匹配当前设备分布的播放需求。
在一实施例中,音频播放模式可以是环绕式播放模式,或者是线性式播放模式。
在一实施例中,如图3所示,环绕式播放模式是指各机位与中心点的距离是一致的,不考虑距离对于声音产生的影响。
在一实施例中,在所述音频播放模式为环绕式播放模式的情况下,基于所述当前机位号对应的所述方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的所述目标空间音频。
在一实施例中,客户端可以根据用户当前选择的机位对应的机位号,从存储单元中匹配到该机位号对应的声音方位信息。然后根据该机位号对应的声音方位信息对该机位的音频帧进行HRTF运算,实现空间音效转换。
在一实施例中,在环绕式播放模式下,在完成当前机位的空间音效转换之后,用户可以进行视角切换操作,更换机位,重新对下一个机位进行空间音效转换。
在一实施例中,在所述音频播放模式为线性式播放模式的情况下,基于所述当前机位号对应的所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的第一空间音频;
基于所述当前设备分布方式,确定设备分布中心;
获取所述当前机位与所述设备分布中心的相对距离,并基于所述相对距离,对所述第一空间音频进行修正,获得第二空间音频,作为所述当前机位对应的目标空间音频。
在一实施例中,如图4所示,在线性式播放模式中,各机位与中心点的距离不一致,加入了距离衰减,可以达到声音随着距离的增加而衰减的效果,使得用户具有更好的视听体验。
在一实施例中,在用户选定待处理的机位之后,在存储单元中匹配对应的声音方位信息,然后根据该声音方位信息对音频帧进行HRTF运算,然后根据该机位与中心点的距离,在对音频帧转换时加入距离运算,转换为具有空间音效的音频数据,然后客户端重新对距离参数进行修正,生成修正位置的空间音频数据,在将转换后的空间音频数据进行渲染输出。
在一实施例中,距离运算方法可以是如Open AL等音效处理方法。OpenAL(OpenAudio Library)是自由软件界的跨平台音效API,由Loki Software,使用在Windows、Linux系统上,用在音效缓冲和收听中编码。OpenAL主要的功能是在来源物体、音效缓冲和收听者中编码。来源物体包含一个指向缓冲区的指标、声音的速度、位置和方向,以及声音强度。收听者物体包含收听者的速度、位置和方向,以及全部声音的整体增益。缓冲里包含8或16位元、单声道或立体声PCM格式的音效资料,表现引擎进行所有必要的计算,如距离衰减、多普勒效应等。
在一实施例中,在线性式播放模式下,在完成当前机位的空间音效转换之后,用户可以进行视角切换操作,更换机位,根据下一个机位与中心点的距离,重新对下一个机位进行空间音效转换。
可以理解地是,本领域人员应知,音频播放模式可以是但不限于上述两种模式,本申请仅以上述两种方式进行举例说明,本申请提供的基于自由视角的空间音效实现方法适用的其他音频播放模式也应在本申请保护范围内。
进一步地,基于上述图1所示实施例,所述步骤S103之前,具体还包括:
基于用户输入的微调参数,对所述目标方位信息进行重计算,生成修正方位信息,作为所述目标方位信息。
本实施例中,在匹配到当前机位对应的声音方位信息后,可以对该方位进行微调,包括方位、俯仰等数据,生成修正方位信息,然后根据修正方位信息,对当前机位的音频帧进行HRTF运算,实现空间音效转换。
请参照图5,图5为本发明提供的一种基于自由视角的空间音效实现方法的第三实施例流程示意图;
本实施例中,基于上述图1所示实施例,所述步骤S101之前,还包括:
步骤S301、获取索引文件;
步骤S302、基于对所述索引文件的解析,获取所述媒体信息,并将所述媒体信息存储于所述存储单元中;其中,所述媒体信息组包括至少一个机位的机位号、各机位号对应的声音方位信息以及默认机位号。
本实施例中,服务端可以将媒体信息写入索引文件中,索引文件存储在服务器中,在需要使用时,客户端向服务端请求下载,以获得该索引文件。
在一实施例中,客户端可以在下载索引文件之后,通过对索引文件的解析,获取每个机位的机位号、声音方位信息以及默认播放的机位号等媒体信息,并且将该媒体信息转存到客户端中的预设存储单元中。
在一实施例中,默认机位号是指用户未指定某一个机位号时,采用索引文件中默认机位号作为当前机位的机位号,并根据默认机位号对应的声音方位信息对当前机位的音频流进行空间音效转换。
进一步地,基于上述图1所示实施例,所述步骤S101之前,还包括:
获取至少一路视频流数据;
基于对所述视频流数据的数据头的解析,获得各路视频流数据对应的声音方位信息;
基于所述存储单元,存储各视频流数据的机位号以及各机位号对应的所述声音方位信息。
在一实施例中,服务端可以将所有机位的声音方位信息写入每一路视频流的数据头中,客户端解析所有视频流中数据头中的方位信息,并转存到客户端的存储单元中。
在一实施例中,可以以时间戳为同步标准,将视频流和音频流数据进行同步,在进行各机位的空间音效转换之后,可以实现具有空间转换效果的音画同步。
进一步地,基于上述图1所示实施例,所述步骤S103之后,具体还包括:
基于所述用户执行的视角切换指令,切换到下一个机位视角,作为所述当前机位。
在一实施例中,客户端在完成当前机位的音效转换之后,用户可以点击视角切换指令,可以根据机位号顺序在未处理机位中进行顺延切换,也可以直接点击想要进行处理的未处理机位对应的机位号,切换之后作为当前机位进行空间音效转换运算。
请参阅图6,图6为本发明实施例提供的一种基于自由视角的空间音效实现设备的结构示意性框图。
如图6所示,基于自由视角的空间音效实现设备300包括处理器301和存储器302,处理器301和存储器302通过总线303连接,该总线比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器301用于提供计算和控制能力,支撑整个基于自由视角的空间音效实现设备的运行。处理器301可以是中央处理单元(Central Processing Unit,CPU),该处理器301还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
具体地,存储器302可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本发明实施例方案相关的部分结构的框图,并不构成对本发明实施例方案所应用于其上的基于自由视角的空间音效实现设备的限定,具体的基于自由视角的空间音效实现设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器301用于运行存储在存储器302中的计算机程序,并在执行所述计算机程序时实现本发明实施例提供的任意一种所述的基于自由视角的空间音效实现方法。
在一实施例中,所述处理器301用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时实现如下步骤:
基于当前机位对应的机位号,在存储单元中匹配所述当前机位对应的目标方位信息;
获取音频流数据,并将所述音频流数据解码为目标音频帧;
基于所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的目标空间音频。
在一实施例中,所述处理器301在实现所述基于所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的目标空间音频之前,还用于实现:
基于当前设备分布方式,确定音频播放模式,所述音频播放模式包括环绕式播放模式和线性式播放模式。
在一实施例中,所述处理器301在实现所述基于所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的目标空间音频时,用于实现:
在所述音频播放模式为环绕式播放模式的情况下,基于所述当前机位号对应的所述方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的所述目标空间音频。
在一实施例中,所述处理器301在实现所述基于所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的目标空间音频时,用于实现:
在所述音频播放模式为线性式播放模式的情况下,基于所述当前机位号对应的所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的第一空间音频;
基于所述当前设备分布方式,确定设备分布中心;
获取所述当前机位与所述设备分布中心的相对距离,并基于所述相对距离,对所述第一空间音频进行修正,获得第二空间音频,作为所述当前机位对应的目标空间音频。
在一实施例中,所述处理器301在实现所述基于所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的目标空间音频之前,还用于实现:
基于用户输入的微调参数,对所述目标方位信息进行重计算,生成修正方位信息,作为所述目标方位信息。
在一实施例中,所述处理器301在实现所述基于当前机位对应的机位号,在存储单元中匹配所述当前机位对应的目标方位信息之前,还用于实现:
获取索引文件;
基于对所述索引文件的解析,获取所述媒体信息,并将所述媒体信息存储于所述存储单元中;其中,所述媒体信息组包括至少一个机位的机位号、各机位号对应的声音方位信息以及默认机位号。
在一实施例中,所述处理器301在实现所述基于当前机位对应的机位号,在存储单元中匹配所述当前机位对应的目标方位信息之前,还用于实现:
获取至少一路视频流数据;
基于对所述视频流数据的数据头的解析,获得各路视频流数据对应的声音方位信息;
基于所述存储单元,存储各视频流数据的机位号以及各机位号对应的所述声音方位信息。
在一实施例中,所述处理器301在实现所述基于所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的目标空间音频之后,还用于实现:
基于所述用户执行的视角切换指令,切换到下一个机位视角,作为所述当前机位。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的基于自由视角的空间音效实现设备的具体工作过程,可以参考前述基于自由视角的空间音效实现方法实施例中的对应过程,在此不再赘述。
本发明实施例还提供一种存储介质,用于计算机可读存储,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如本发明实施例说明书提供的任一项基于自由视角的空间音效实现方法。
其中,所述存储介质可以是前述实施例所述的基于自由视角的空间音效实现设备的内部存储单元,例如所述基于自由视角的空间音效实现设备的硬盘或内存。所述存储介质也可以是所述基于自由视角的空间音效实现设备的外部存储设备,例如所述基于自由视角的空间音效实现设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
应当理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。以上所述,仅为本发明的具体实施例,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于自由视角的空间音效实现方法,其特征在于,所述方法包括以下步骤:
基于当前机位对应的机位号,在存储单元中匹配所述当前机位对应的目标方位信息;
获取音频流数据,并将所述音频流数据解码为目标音频帧;
基于所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的目标空间音频。
2.根据权利要求1所述的基于自由视角的空间音效实现方法,其特征在于,所述基于所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的目标空间音频之前,还包括:
基于当前设备分布方式,确定音频播放模式,所述音频播放模式包括环绕式播放模式和线性式播放模式。
3.根据权利要求2所述的基于自由视角的空间音效实现方法,其特征在于,所述基于所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的目标空间音频,包括:
在所述音频播放模式为环绕式播放模式的情况下,基于所述当前机位号对应的所述方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的所述目标空间音频。
4.根据权利要求2所述的基于自由视角的空间音效实现方法,其特征在于,所述基于所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的目标空间音频,包括:
在所述音频播放模式为线性式播放模式的情况下,基于所述当前机位号对应的所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的第一空间音频;
基于所述当前设备分布方式,确定设备分布中心;
获取所述当前机位与所述设备分布中心的相对距离,并基于所述相对距离,对所述第一空间音频进行修正,获得第二空间音频,作为所述当前机位对应的目标空间音频。
5.根据权利要求1所述的基于自由视角的空间音效实现方法,其特征在于,所述基于所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的目标空间音频之前,还包括:
基于用户输入的微调参数,对所述目标方位信息进行重计算,生成修正方位信息,作为所述目标方位信息。
6.根据权利要求1所述的基于自由视角的空间音效实现方法,其特征在于,所述基于当前机位对应的机位号,在存储单元中匹配所述当前机位对应的目标方位信息之前,还包括:
获取索引文件;
基于对所述索引文件的解析,获取所述媒体信息,并将所述媒体信息存储于所述存储单元中;其中,所述媒体信息组包括至少一个机位的机位号、各机位号对应的声音方位信息以及默认机位号。
7.根据权利要求1所述的基于自由视角的空间音效实现方法,其特征在于,所述基于当前机位对应的机位号,在存储单元中匹配所述当前机位对应的目标方位信息之前,还包括:
获取至少一路视频流数据;
基于对所述视频流数据的数据头的解析,获得各路视频流数据对应的声音方位信息;
基于所述存储单元,存储各视频流数据的机位号以及各机位号对应的所述声音方位信息。
8.根据权利要求1-7中任一项所述的基于自由视角的空间音效实现方法,其特征在于,所述基于所述目标方位信息,对所述目标音频帧进行音效转换,获得所述当前机位对应的目标空间音频之后,还包括:
基于所述用户执行的视角切换指令,切换到下一个机位视角,作为所述当前机位。
9.一种基于自由视角的空间音效实现设备,其特征在于,所述基于自由视角的空间音效实现设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,其中所述计算机程序被所述处理器执行时,实现如权利要求1至8中任一项所述的基于自由视角的空间音效实现方法的步骤。
10.一种存储介质,用于计算机可读存储,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至8中任一项所述的基于自由视角的空间音效实现的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211378901.5A CN118042345A (zh) | 2022-11-04 | 2022-11-04 | 基于自由视角的空间音效实现方法、设备及存储介质 |
PCT/CN2023/129967 WO2024094214A1 (zh) | 2022-11-04 | 2023-11-06 | 基于自由视角的空间音效实现方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211378901.5A CN118042345A (zh) | 2022-11-04 | 2022-11-04 | 基于自由视角的空间音效实现方法、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118042345A true CN118042345A (zh) | 2024-05-14 |
Family
ID=90929784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211378901.5A Pending CN118042345A (zh) | 2022-11-04 | 2022-11-04 | 基于自由视角的空间音效实现方法、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN118042345A (zh) |
WO (1) | WO2024094214A1 (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104869524B (zh) * | 2014-02-26 | 2018-02-16 | 腾讯科技(深圳)有限公司 | 三维虚拟场景中的声音处理方法及装置 |
US10278001B2 (en) * | 2017-05-12 | 2019-04-30 | Microsoft Technology Licensing, Llc | Multiple listener cloud render with enhanced instant replay |
WO2019199379A1 (en) * | 2018-04-13 | 2019-10-17 | Futurewei Technologies, Inc. | Immersive media metrics for virtual reality content with multiple viewpoints |
CN111148013A (zh) * | 2019-12-26 | 2020-05-12 | 上海大学 | 一个动态跟随听觉视角的虚拟现实音频双耳再现系统与方法 |
CN111885414B (zh) * | 2020-07-24 | 2023-03-21 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备及可读存储介质 |
CN112492380B (zh) * | 2020-11-18 | 2023-06-30 | 腾讯科技(深圳)有限公司 | 音效调整方法、装置、设备及存储介质 |
CN114040318A (zh) * | 2021-11-02 | 2022-02-11 | 海信视像科技股份有限公司 | 一种空间音频的播放方法及设备 |
CN114630145A (zh) * | 2022-03-17 | 2022-06-14 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种多媒体数据合成方法、设备及存储介质 |
-
2022
- 2022-11-04 CN CN202211378901.5A patent/CN118042345A/zh active Pending
-
2023
- 2023-11-06 WO PCT/CN2023/129967 patent/WO2024094214A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024094214A1 (zh) | 2024-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10674262B2 (en) | Merging audio signals with spatial metadata | |
EP3343349B1 (en) | An apparatus and associated methods in the field of virtual reality | |
US11838742B2 (en) | Signal processing device and method, and program | |
KR20170106063A (ko) | 오디오 신호 처리 방법 및 장치 | |
US9838790B2 (en) | Acquisition of spatialized sound data | |
US20200260206A1 (en) | Recording and Rendering Spatial Audio Signals | |
JP7457525B2 (ja) | 受信装置、コンテンツ伝送システム、及びプログラム | |
CN114067810A (zh) | 音频信号渲染方法和装置 | |
US10595148B2 (en) | Sound processing apparatus and method, and program | |
KR20160039674A (ko) | 일정-파워 페어와이즈 패닝을 갖는 매트릭스 디코더 | |
KR102656969B1 (ko) | 불일치 오디오 비주얼 캡쳐 시스템 | |
CN107925838B (zh) | 信息处理装置、信息处理方法和程序 | |
KR102677399B1 (ko) | 신호 처리 장치 및 방법, 그리고 프로그램 | |
US11483669B2 (en) | Spatial audio parameters | |
EP4167600A2 (en) | A method and apparatus for low complexity low bitrate 6dof hoa rendering | |
US10871939B2 (en) | Method and system for immersive virtual reality (VR) streaming with reduced audio latency | |
CN118042345A (zh) | 基于自由视角的空间音效实现方法、设备及存储介质 | |
CN113691927B (zh) | 音频信号处理方法及装置 | |
CN110890100A (zh) | 语音增强、多媒体数据采集、播放方法、装置及监控系统 | |
CN115462097A (zh) | 用于使能渲染空间音频信号的装置、方法和计算机程序 | |
US20240259758A1 (en) | Apparatus, Methods and Computer Programs for Processing Audio Signals | |
AU2021357463A1 (en) | Information processing device, method, and program | |
CN115866326A (zh) | 全景视频的音频处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |