CN105979470A - 全景视频的音频处理方法、装置和播放系统 - Google Patents

全景视频的音频处理方法、装置和播放系统 Download PDF

Info

Publication number
CN105979470A
CN105979470A CN201610371367.3A CN201610371367A CN105979470A CN 105979470 A CN105979470 A CN 105979470A CN 201610371367 A CN201610371367 A CN 201610371367A CN 105979470 A CN105979470 A CN 105979470A
Authority
CN
China
Prior art keywords
relative position
audio frequency
position information
filter factor
panoramic video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610371367.3A
Other languages
English (en)
Other versions
CN105979470B (zh
Inventor
黄瑛
王涛
张彦刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201610371367.3A priority Critical patent/CN105979470B/zh
Publication of CN105979470A publication Critical patent/CN105979470A/zh
Application granted granted Critical
Publication of CN105979470B publication Critical patent/CN105979470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

本发明实施例提供了一种全景视频的音频处理方法和音频处理装置以及全景视频的播放系统,该方法包括:确定观看全景视频的用户和全景视频的音源之间的当前相对位置信息;根据当前相对位置信息和与当前相对位置信息相关的预设滤波系数,确定当前位置信息对应的目标滤波系数;根据目标滤波系数对当前输入音频进行滤波处理,生成3D音频。本发明可以基于观看全景视频的用户和全景视频的音源之间的相对位置信息来确定与该相对位置信息相匹配的滤波系数,从而对经过该相对位置信息所对应的路径的声波进行滤波处理,以生成与该相对位置信息相匹配的3D音频,使得观看全景视频的用户能够从不同的角度收听到与其实际观看场景相匹配的不同3D音效。

Description

全景视频的音频处理方法、装置和播放系统
技术领域
本发明涉及计算机技术领域,特别是涉及一种全景视频的音频处理方法和一种全景视频的音频处理装置以及一种全景视频的播放系统。
背景技术
随着计算技术的飞速发展,全景视频的引入,为人们的观影体验带来了更加震撼的感受。其中,全景视频是由许多连拍图片组合而成,并通过对镜头方向的实时调整,来为观众提供不同角度的视频观看,从而使得相对于镜头处于不同位置的观众都能观看到适应于本人所处角度的全景视频。
但是,在现有技术中的全景视频仅仅做到了随着观众观影方向的不同,调整视频画面,而在实际的应用环境下,全景视频的声音效果并不能够做到随着观众视角位置的不同而不同。
为了增加观众对视频的临场体验,3D音效成为重要组成部分,如果在全景视频中能够从不同的角度产生不同的音效,那么将会提高观众的视听效果。
因此,目前需要本领域技术人员迫切解决的一个技术问题就是:如何在全景视频中从不同的角度产生不同的音效。
发明内容
本发明实施例所要解决的技术问题是提供一种全景视频的音频处理方法和装置以及全景视频的播放系统,以解决在全景视频中无法从不同的角度产生不同的音效的问题。
为了解决上述问题,根据本发明的一个方面,本发明公开了一种全景视频的音频处理方法,包括:
确定观看全景视频的用户和全景视频的音源之间的当前相对位置信息;
根据当前相对位置信息和与当前相对位置信息相关的预设滤波系数,确定当前位置信息对应的目标滤波系数;
根据目标滤波系数对当前输入音频进行滤波处理,生成3D音频。
根据本发明的另一方面,本发明还公开了一种全景视频的音频处理装置,包括:
第一确定模块,用于确定观看全景视频的用户和全景视频的音源之间的当前相对位置信息;
第二确定模块,用于根据当前相对位置信息和与当前相对位置信息相关的预设滤波系数,确定当前位置信息对应的目标滤波系数;
滤波处理模块,用于根据目标滤波系数对当前输入音频进行滤波处理,生成3D音频。
根据本发明的又一方面,本发明还公开了一种全景视频的播放系统,包括:上述的全景视频的音频处理装置。
与现有技术相比,本发明实施例包括以下优点:
本发明可以基于观看全景视频的用户和全景视频的音源之间的相对位置信息来确定与该相对位置信息相匹配的滤波系数,从而对经过该相对位置信息所对应的路径的声波进行滤波处理,以生成与该相对位置信息相匹配的3D音频,使得观看全景视频的用户能够从不同的角度收听到与其实际观看场景相匹配的不同3D音效。
此外,本发明能够基于不同坐标系来确定用户和音频之间的当前相对位置信息,从而提高位置信息的准确度;此外,通过对与当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数来进行计算处理,来得到对应当前相对位置信息的滤波系数,能够对任何相对位置信息所对应的滤波系数进行计算,应用广泛;最后,在对输入音频进行滤波处理时,采用的是与该当前相对位置信息对应的滤波系数,从而使得对该音频的滤波效果与实际收听场景相匹配,提高用户视听感受。
附图说明
图1是本发明的一种全景视频的播放系统实施例的系统示意图;
图2是本发明的一种全景视频的音频处理方法实施例的步骤流程图;
图3是本发明的另一种全景视频的音频处理方法实施例的步骤流程图;
图4是本发明的另一种全景视频的音频处理方法实施例的第一坐标轴示意图;
图5是本发明的另一种全景视频的音频处理方法实施例的第二坐标轴示意图;
图6是本发明的另一种全景视频的音频处理方法实施例的3D音频生成流程;
图7是本发明的一种全景视频的音频处理装置实施例的结构框图;
图8是本发明的另一种全景视频的音频处理装置实施例的结构框图;
图9是本发明的另一种全景视频的播放系统实施例的系统示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
由于音源的声波到达用户两耳的强度、延时、频谱等差异,使得人耳能够分辨声音的方位。其中,到达人耳的声波可以看成是从音源经过了一个滤波器滤波处理后得到的;而左右耳不同的滤波系数将会产生两耳所接收的声波差异,从而产生方位感。其中,用户位置不变,左右耳的滤波系数不同;此外,用户同一个耳朵处在不同的位置,其所接收的声波所经过的滤波系数也不同。
那么为了使用户在观看全景视频时,使处于不同位置的用户都能感受到3D音效,同时,在用户所处方位、角度发生细微变化时,所接收的声波仍为3D音效,参照图1,示出了本发明的一种全景视频的播放系统实施例的系统示意图,系统的具体执行流程如下:
首先,将音频输入流输入至全景播放器;
然后,判断是否开启了3D音效,如果未开启,则直接将音频输出;
如果开启了3D音效,则将音频输入流、3D滤波数据和音源相对位置信息(用户和音频之间的相对位置信息)输入至3D音效生成模块,3D音效生成模块借助于3D滤波数据和音源相对位置信息对音频输入流进行处理,生成3D音频并输出,从而实现全景视频的3D音效播放。
通过上述3D音效生成模块对输入音频的处理,能够使输出的3D音频与音源相对位置信息直接关联,使得用户在观看全景视频时能够在不同的角度接收到不同的音效,提高用户的视听效果。
那么具体到3D音效生成模块如何将输入音频处理为3D音频,图2则做出了详细介绍。参照图2,示出了本发明的一种全景视频的音频处理方法实施例的步骤流程图,具体可以包括如下步骤:
步骤201,确定观看全景视频的用户和全景视频的音源之间的当前相对位置信息;
其中,可以确定观看当前全景视频的观众和该全景视频的音源之间的当前相对位置信息(例如可以包括高度、角度、距离等信息)。
步骤203,根据当前相对位置信息和与当前相对位置信息相关的预设滤波系数,确定当前位置信息对应的目标滤波系数;
其中,可以基于该当前相对位置信息和与该当前相对位置信息相关的预设滤波系数,来确定当前相对位置对应的目标滤波系数,即,音频在全景视频的音源和该用户之间滤波时的滤波系数。
步骤205,根据目标滤波系数对当前输入音频进行滤波处理,生成3D音频。
最后,就可以根据确定的目标滤波系数对全景视频的当前输入音频进行滤波处理,来生成3D音频。
借助于本发明上述实施例的技术方案,本发明可以基于观看全景视频的用户和全景视频的音源之间的相对位置信息来确定与该相对位置信息相匹配的滤波系数,从而对经过该相对位置信息所对应的路径的声波进行滤波处理,以生成与该相对位置信息相匹配的3D音频,使得观看全景视频的用户能够从不同的角度收听到与其实际观看场景相匹配的不同3D音效。
参照如图3,示出了本发明的另一种全景视频的音频处理方法实施例的步骤流程图,具体可以包括如下步骤:
步骤301,基于笛卡尔坐标系或球面坐标系确定当前相对位置信息。
其中,可以基于笛卡尔坐标系的坐标(x,y,z)或者球面坐标系的坐标来确定观看全景视频的用户和该全景视频的音源之间的当前相对位置信息。
步骤303,按照预定的内插方式,对与当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数进行内插拟合,得到当前位置信息对应的目标滤波系数;
其中,预设滤波系数具体可以是在预设音效库中查找到的与当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数;
其中,由于音源的位置可以来自无数个方位,从而造成音源和观看全景视频的用户之间的相对位置也是无数个。因此,为了节省资源存储空间,在上述预设音效库中可以存储多个具有代表性的相对位置信息所分别对应的滤波系数。而在确定目标滤波系数时,就可以借助于与当前相对位置信息相关的不同位置信息所分别对应的预设滤波系数(一个或多个)来确定。
以一个具体实例为例,假如当前相对位置的球面坐标系的坐标M为(30.3度,20.3度,10),而预设音效库中并不存在对应于该坐标的预设滤波系数,那么就可以查找与当前坐标M相近的两个坐标在预设音效库中所分别对应的预设滤波系数,例如与坐标M(30.3度,20.3度,10)相近且在预设音效库中有存储的坐标A(30度,20度,10)和坐标B(30.5度,20.5,10),那么就可以根据该坐标A对应的预设滤波系数与坐标B对应的预设滤波系数来确定对应于M的滤波系数。
其中,在本例中由于当前坐标M在预设音效库中未存储有对应的预设滤波系数,因此,需要查找两个与坐标M相近的两个坐标来确定坐标M的滤波系数;而如果该坐标M在预设音效库中存储有对应的预设滤波系数,那么就可以直接将该对应预设滤波系数确定为目标滤波系数。
步骤305,根据目标滤波系数对当前输入音频进行滤波处理,生成3D音频;
其中,在确定了该当前相对位置信息所对应的声波传递路径的目标滤波系数后就可以对当前输入音频进行滤波处理,以生成3D音频。
步骤307,将3D音频直接输出到播放设备进行播放,或者以文件流的方式输出到文件保存。
其中,可以将该3D音频直接输出到播放设备,以达到实时输出的效果;可选的,该3D音频也可以以文件流的方式输出到文件保存,即,可以预先生成一定方位的3D音频文件。
借助于本发明实施例的上述技术方案,本发明能够基于不同坐标系来确定用户和音频之间的当前相对位置信息,从而提高位置信息的准确度;此外,通过对与当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数来进行计算处理,来得到对应当前相对位置信息的滤波系数,能够对任何相对位置信息所对应的滤波系数进行计算,应用广泛;最后,在对输入音频进行滤波处理时,采用的是与该当前相对位置信息对应的滤波系数,从而使得对该音频的滤波效果与实际收听场景相匹配,提高用户视听感受。
可选的,在一个实施例中,根据本发明实施例的处理方法还包括:在当前相对位置信息更新的情况下(即,用户与音源的相对位置关系发生改变的情况,例如,用户扭头、转身、走动等),就可根据更新的当前相对位置信息和与更新的当前相对位置信息相关的预设滤波系数,重新确定目标滤波系数;再根据重新确定的目标滤波系数对当前输入音频进行滤波处理,生成3D音频。
借助于本发明实施例的上述技术方案,能够基于用户和音源之间的相对位置变化,实时生成与该变化后的相对位置关系相适应的3D音频,从而能够为处于不同角度和位置的用户实时提供全景视频的3D音频,提高视听感受。
可选的,在一个实施例中,根据本发明实施例的处理方法还包括:
在当前相对位置信息未更新的情况下(即,观看全景视频的用户和该全景视频的音源之间的相对位置信息未发生任何变化),就可获取用户和音源之间的当前距离信息;在根据当前距离信息和对应当前距离信息的第一预设衰减系数,对当前输入音频的音量进行衰减处理。
其中,在当前相对位置信息不改变的情况下,即在同一方位下,音量的大小能够在一定程度上反应距离信息,因此,为了提高3D音频的视听感受,还可以根据该当前距离信息对该当前输入音频进行音量的衰减处理,从而使得用户听到的3D音频的音量也与其和音源的实际距离相匹配。
其中,在当前距离信息更新的情况下(例如,用户和音源之间的相对位置信息不改变,而二者之间的距离发生变化),那么在根据当前距离信息和对应当前距离信息的预设衰减系数,对当前输入音频的音量进行衰减处理时,就可根据更新后的当前距离信息和对应更新后的当前距离信息的第二预设衰减系数,对当前输入音频的音量进行衰减处理。
借助于本发明上述实施例的技术方案,本发明能够对输入的音频进行音量的调整,使得调整后的音量与该用户和音源之间的距离相匹配,提高用户对观看的全景视频的3D视听感受。
为了更好的理解本发明的上述技术方案,下面结合一具体实施例来对本发明的上述技术方案进行详细阐述。
由于同一音源的声波到达观众的两个耳朵的滤波系数不同,因此,可以对左、右耳建立传递函数模型(可以理解为对应两个耳朵的不同滤波系数的滤波器);
在利用传递函数模型计算两耳的滤波系数时,可以通过笛卡尔坐标系的坐标(x,y,z)或是球面坐标系的坐标来确定观看全景视频的用户和该全景视频的音源的当前相对位置信息(方位信息)。这里以球面坐标系的坐标为例,其中,图4示出了θ为音源位置41相对于头部42在Y轴的夹角,图5示出了为音源位置41在Z轴上与XY平面的夹角,r为音源位置41与用户头部42之间的直线距离。
那么为了计算左、右耳至音源在当前时间t的滤波系数Hl(t)和Hr(t),就可以分别基于上述当前相对位置信息和预设音效数据库中的与该当前相对位置信息相关的滤波系数进行内插拟合,来得到左耳的对应的滤波系数Hl(t),右耳的对应的滤波系数Hr(t)。
然后,本发明实施例的处理方法就可以利用左右耳传递函数模型计算当前时间左右耳的3D音频Y1(t)、Yr(t),具体如下:
Y r ( t ) = exp ( - α * r ) * H r ( t ) ⊗ X ( t ) ;
Y l ( t ) = exp ( - α * r ) * H l ( t ) ⊗ X ( t ) ;
其中,当前时间t输入的音频为X(t),α为对应距离r的衰减系数。
这样就得到了分别对应于左耳和右耳的3D音频。
其中,在本实施例中,在全景视频播放中引入了3D音效,在观众改变观看视角时,声音的方位信息也会随之改变,本发明以方位信息来改变音效;针对距离,引入了对数距离衰减,可以根据衰减系数来设置随距离的衰减程度α,在方位不变,距离改变时能够产生音量随距离变化的动态效果。
那么在用户和音源之间的当前方位发生改变的情况下,可以参照如图6所示的3D音频生成流程,具体如下:
在用户发生转头、侧身等引起方位改变的情况时,可以参照上述方法重新确定方位信息,即,更新相对位置;然后,读取预设音效数据库中的与该更新相对位置相关的3D滤波系数,从而重新计算滤波系数;
然后,将计算的滤波系数时域信号经过FFT进行频域信号的转换;
以及,将输入音频数据时域信号经过FFT进行频域信号的转换;
最后,再将转换后的滤波系数和音频数据作滤波运算,并将运算结果经过IFFT进行频域信号到时域信号的转换,最后将转换后的3D音频输出。
其中,上述实施例中采用时域到频域的转换可以提高系统的计算速度,节省运算时间,降低音频输出延迟;同时针对听者建立左右耳的传递函数模型,利用坐标信息确定头部与音源的相对位置,那么在听者观看位置改变的过程中,就可以通过上述更新机制,根据两者更新的相对位置调整传递函数模型的参数,从而在不同的位置产生不同的听觉效果。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图7,示出了本发明一种全景视频的音频处理装置实施例的结构框图,具体可以包括如下模块:
第一确定模块71,用于确定观看全景视频的用户和全景视频的音源之间的当前相对位置信息;
第二确定模块72,用于根据当前相对位置信息和与当前相对位置信息相关的预设滤波系数,确定当前位置信息对应的目标滤波系数;
滤波处理模块73,用于根据目标滤波系数对当前输入音频进行滤波处理,生成3D音频。
借助于本发明上述实施例的技术方案,本发明可以基于观看全景视频的用户和全景视频的音源之间的相对位置信息来确定与该相对位置信息相匹配的滤波系数,从而对经过该相对位置信息所对应的路径的声波进行滤波处理,以生成与该相对位置信息相匹配的3D音频,使得观看全景视频的用户能够从不同的角度收听到与其实际观看场景相匹配的不同3D音效。
参照图8,示出了本发明另一种全景视频的音频处理装置实施例的结构框图,具体如下:
第一确定模块71,用于基于笛卡尔坐标系或球面坐标系确定当前相对位置信息;
查找模块74,用于在预设音效库中查找与当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数;
第二确定模块72可包括:
内插处理子模块721,用于按照预定的内插方式,对与当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数进行内插拟合,得到当前位置信息对应的目标滤波系数;
其中,滤波处理模块73的作用如上所述,在此不再赘述;
获取模块75,用于在当前相对位置信息未更新的情况下,获取用户和音源之间的当前距离信息;
衰减处理模块76,用于根据当前距离信息和对应当前距离信息的第一预设衰减系数,对当前输入音频的音量进行衰减处理;
输出模块77,用于将滤波处理模块处理生成的3D音频直接输出到播放设备进行播放,或者以文件流的方式输出到文件保存。
借助于本发明实施例的上述技术方案,本发明能够基于不同坐标系来确定用户和音频之间的当前相对位置信息,从而提高位置信息的准确度;此外,通过对与当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数来进行计算处理,来得到对应当前相对位置信息的滤波系数,能够对任何相对位置信息所对应的滤波系数进行计算,应用广泛;最后,在对输入音频进行滤波处理时,采用的是与该当前相对位置信息对应的滤波系数,从而使得对该音频的滤波效果与实际收听场景相匹配,提高用户视听感受。
可选的,根据本发明实施例的第二确定模块72,还用于在当前相对位置信息更新的情况下,根据更新的当前相对位置信息和与更新的当前相对位置信息相关的预设滤波系数,重新确定目标滤波系数;
滤波处理模块73,还用于根据重新确定的目标滤波系数对当前输入音频进行滤波处理,生成3D音频。
可选的,根据本发明实施例的衰减处理模块77,还用于在当前距离信息更新的情况下,根据更新后的当前距离信息和对应更新后的当前距离信息的第二预设衰减系数,对当前输入音频的音量进行衰减处理。
参照图9,示出了本发明另一种全景视频的播放系统实施例的系统示意图,包括:上文所述的全景视频的音频处理装置91和全景播放器92。
在全景播放器92播放全景视频时,可以选择是否开启3D音效,如果开启3D音效,则启动音频处理装置91,输入的音频就会经过该音频处理装置91并处理为3D音频后输出。
借助于本发明上述实施例的技术方案,本发明能够在进行全景视频的播放过程中实现3D音频的实时输出。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种全景视频的音频处理方法和一种全景视频的音频处理装置以及一种全景视频的播放系统,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (17)

1.一种全景视频的音频处理方法,其特征在于,包括:
确定观看所述全景视频的用户和所述全景视频的音源之间的当前相对位置信息;
根据所述当前相对位置信息和与所述当前相对位置信息相关的预设滤波系数,确定所述当前位置信息对应的目标滤波系数;
根据所述目标滤波系数对当前输入音频进行滤波处理,生成3D音频。
2.根据权利要求1所述的方法,其特征在于,所述确定观看所述全景视频的用户和所述全景视频的音源之间的当前相对位置信息的步骤包括:
基于笛卡尔坐标系或球面坐标系确定所述当前相对位置信息。
3.根据权利要求1所述的方法,其特征在于,所述预设滤波系数具体是在预设音效库中查找到的与所述当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数。
4.根据权利要求3所述的方法,其特征在于,所述根据所述当前相对位置信息和与所述当前相对位置信息相关的预设滤波系数,确定所述当前位置信息对应的目标滤波系数的步骤包括:
按照预定的内插方式,对与所述当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数进行内插拟合,得到所述当前位置信息对应的目标滤波系数。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述当前相对位置信息更新的情况下,根据更新的当前相对位置信息和与所述更新的当前相对位置信息相关的预设滤波系数,重新确定所述目标滤波系数;
根据重新确定的所述目标滤波系数对当前输入音频进行滤波处理,生成3D音频。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述当前相对位置信息未更新的情况下,获取所述用户和所述音源之间的当前距离信息;
根据所述当前距离信息和对应所述当前距离信息的第一预设衰减系数,对所述当前输入音频的音量进行衰减处理。
7.根据权利要求6所述的方法,其特征在于,在所述当前距离信息更新的情况下,所述根据所述当前距离信息和对应所述当前距离信息的预设衰减系数,对所述当前输入音频的音量进行衰减处理的步骤包括:
根据更新后的所述当前距离信息和对应所述更新后的当前距离信息的第二预设衰减系数,对所述当前输入音频的音量进行衰减处理。
8.根据权利要求1所述的方法,其特征在于,在根据所述目标滤波系数对当前输入音频进行滤波处理,生成3D音频的步骤之后,所述方法还包括:
将所述3D音频直接输出到播放设备进行播放,或者以文件流的方式输出到文件保存。
9.一种全景视频的音频处理装置,其特征在于,包括:
第一确定模块,用于确定观看所述全景视频的用户和所述全景视频的音源之间的当前相对位置信息;
第二确定模块,用于根据所述当前相对位置信息和与所述当前相对位置信息相关的预设滤波系数,确定所述当前位置信息对应的目标滤波系数;
滤波处理模块,用于根据所述目标滤波系数对当前输入音频进行滤波处理,生成3D音频。
10.根据权利要求9所述的装置,其特征在于,所述第一确定模块用于基于笛卡尔坐标系或球面坐标系确定所述当前相对位置信息。
11.根据权利要求9所述的装置,其特征在于,所述装置还包括:
查找模块,用于在预设音效库中查找与所述当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数。
12.根据权利要求11所述的装置,其特征在于,所述第二确定模块包括:
内插处理子模块,用于按照预定的内插方式,对与所述当前相对位置信息相关的不同相对位置信息所分别对应的预设滤波系数进行内插拟合,得到所述当前位置信息对应的目标滤波系数。
13.根据权利要求9所述的装置,其特征在于,所述第二确定模块,还用于在所述当前相对位置信息更新的情况下,根据更新的当前相对位置信息和与所述更新的当前相对位置信息相关的预设滤波系数,重新确定所述目标滤波系数;
所述滤波处理模块,还用于根据重新确定的所述目标滤波系数对当前输入音频进行滤波处理,生成3D音频。
14.根据权利要求9所述的装置,其特征在于,所述装置还包括:
获取模块,用于在所述当前相对位置信息未更新的情况下,获取所述用户和所述音源之间的当前距离信息;
衰减处理模块,用于根据所述当前距离信息和对应所述当前距离信息的第一预设衰减系数,对所述当前输入音频的音量进行衰减处理。
15.根据权利要求14所述的装置,其特征在于,所述衰减处理模块,还用于在所述当前距离信息更新的情况下,根据更新后的所述当前距离信息和对应所述更新后的当前距离信息的第二预设衰减系数,对所述当前输入音频的音量进行衰减处理。
16.根据权利要求9所述的装置,其特征在于,所述装置还包括:
输出模块,用于将所述滤波处理模块处理生成的3D音频直接输出到播放设备进行播放,或者以文件流的方式输出到文件保存。
17.一种全景视频的播放系统,其特征在于,包括根据权利要求9-16任意一项所述的全景视频的音频处理装置。
CN201610371367.3A 2016-05-30 2016-05-30 全景视频的音频处理方法、装置和播放系统 Active CN105979470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610371367.3A CN105979470B (zh) 2016-05-30 2016-05-30 全景视频的音频处理方法、装置和播放系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610371367.3A CN105979470B (zh) 2016-05-30 2016-05-30 全景视频的音频处理方法、装置和播放系统

Publications (2)

Publication Number Publication Date
CN105979470A true CN105979470A (zh) 2016-09-28
CN105979470B CN105979470B (zh) 2019-04-16

Family

ID=57009820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610371367.3A Active CN105979470B (zh) 2016-05-30 2016-05-30 全景视频的音频处理方法、装置和播放系统

Country Status (1)

Country Link
CN (1) CN105979470B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708259A (zh) * 2016-12-01 2017-05-24 福建网龙计算机网络信息技术有限公司 一种vr视频的定位方法及系统
CN106993249A (zh) * 2017-04-26 2017-07-28 深圳创维-Rgb电子有限公司 一种声场的音频数据的处理方法及装置
CN107861707A (zh) * 2017-12-08 2018-03-30 北京酷我科技有限公司 一种全景音效的数据同步提供方法
CN107885484A (zh) * 2017-12-08 2018-04-06 北京酷我科技有限公司 一种全景音效的缓存设定方法
CN108156499A (zh) * 2017-12-28 2018-06-12 武汉华星光电半导体显示技术有限公司 一种语音图像采集编码方法及装置
CN108810567A (zh) * 2017-04-27 2018-11-13 华为技术有限公司 一种音频与视频视角匹配的方法、客户端和服务器
CN109327794A (zh) * 2018-11-01 2019-02-12 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
WO2020048034A1 (zh) * 2018-09-07 2020-03-12 深圳创维-Rgb电子有限公司 实现声音与图像同位的方法、装置、设备及存储介质
CN111142838A (zh) * 2019-12-30 2020-05-12 广州酷狗计算机科技有限公司 音频播放方法、装置、计算机设备及存储介质
CN112420005A (zh) * 2020-10-23 2021-02-26 深圳市伟博思技术有限公司 全景音效网络协同系统
CN113411684A (zh) * 2021-06-24 2021-09-17 广州酷狗计算机科技有限公司 视频播放方法和装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030031334A1 (en) * 2000-01-28 2003-02-13 Lake Technology Limited Sonic landscape system
EP1551205A1 (en) * 2003-12-30 2005-07-06 Alcatel Head relational transfer function virtualizer
CN101483797A (zh) * 2008-01-07 2009-07-15 昊迪移通(北京)技术有限公司 一种针对耳机音响系统的人脑音频变换函数(hrtf)的生成方法和设备
US20140375531A1 (en) * 2013-06-24 2014-12-25 Ray Latypov Method of roviding to the user an image from the screen of the smartphome or tablet at a wide angle of view, and a method of providing to the user 3d sound in virtual reality
CN105353868A (zh) * 2015-09-24 2016-02-24 联想(北京)有限公司 一种信息处理方法及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030031334A1 (en) * 2000-01-28 2003-02-13 Lake Technology Limited Sonic landscape system
EP1551205A1 (en) * 2003-12-30 2005-07-06 Alcatel Head relational transfer function virtualizer
CN101483797A (zh) * 2008-01-07 2009-07-15 昊迪移通(北京)技术有限公司 一种针对耳机音响系统的人脑音频变换函数(hrtf)的生成方法和设备
US20140375531A1 (en) * 2013-06-24 2014-12-25 Ray Latypov Method of roviding to the user an image from the screen of the smartphome or tablet at a wide angle of view, and a method of providing to the user 3d sound in virtual reality
CN105353868A (zh) * 2015-09-24 2016-02-24 联想(北京)有限公司 一种信息处理方法及电子设备

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708259A (zh) * 2016-12-01 2017-05-24 福建网龙计算机网络信息技术有限公司 一种vr视频的定位方法及系统
CN106708259B (zh) * 2016-12-01 2019-06-25 福建网龙计算机网络信息技术有限公司 一种vr视频的定位方法及系统
CN106993249B (zh) * 2017-04-26 2020-04-14 深圳创维-Rgb电子有限公司 一种声场的音频数据的处理方法及装置
CN106993249A (zh) * 2017-04-26 2017-07-28 深圳创维-Rgb电子有限公司 一种声场的音频数据的处理方法及装置
CN108810567A (zh) * 2017-04-27 2018-11-13 华为技术有限公司 一种音频与视频视角匹配的方法、客户端和服务器
CN108810567B (zh) * 2017-04-27 2020-10-16 华为技术有限公司 一种音频与视频视角匹配的方法、客户端和服务器
CN107861707A (zh) * 2017-12-08 2018-03-30 北京酷我科技有限公司 一种全景音效的数据同步提供方法
CN107885484A (zh) * 2017-12-08 2018-04-06 北京酷我科技有限公司 一种全景音效的缓存设定方法
CN107861707B (zh) * 2017-12-08 2021-07-20 北京酷我科技有限公司 一种全景音效的数据同步提供方法
CN108156499A (zh) * 2017-12-28 2018-06-12 武汉华星光电半导体显示技术有限公司 一种语音图像采集编码方法及装置
WO2020048034A1 (zh) * 2018-09-07 2020-03-12 深圳创维-Rgb电子有限公司 实现声音与图像同位的方法、装置、设备及存储介质
CN109327794B (zh) * 2018-11-01 2020-09-29 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
CN109327794A (zh) * 2018-11-01 2019-02-12 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
CN111142838A (zh) * 2019-12-30 2020-05-12 广州酷狗计算机科技有限公司 音频播放方法、装置、计算机设备及存储介质
CN111142838B (zh) * 2019-12-30 2023-08-11 广州酷狗计算机科技有限公司 音频播放方法、装置、计算机设备及存储介质
CN112420005A (zh) * 2020-10-23 2021-02-26 深圳市伟博思技术有限公司 全景音效网络协同系统
CN113411684A (zh) * 2021-06-24 2021-09-17 广州酷狗计算机科技有限公司 视频播放方法和装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN105979470B (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN105979470A (zh) 全景视频的音频处理方法、装置和播放系统
EP3197182B1 (en) Method and device for generating and playing back audio signal
TWI684978B (zh) 用於生成增強聲場描述的裝置及方法與其計算機程式及記錄媒體、和生成修改聲場描述的裝置及方法與其計算機程式
WO2022105519A1 (zh) 音效调整方法、装置、设备、存储介质及计算机程序产品
CN105979441B (zh) 一种用于3d音效耳机重放的个性化优化方法
US11122384B2 (en) Devices and methods for binaural spatial processing and projection of audio signals
KR102430769B1 (ko) 몰입형 오디오 재생을 위한 신호의 합성
CN105611481A (zh) 一种基于空间声的人机交互方法和系统
JP7210602B2 (ja) オーディオ信号の処理用の方法及び装置
US12008982B2 (en) Reverberation gain normalization
US11696087B2 (en) Emphasis for audio spatialization
CN113316077A (zh) 语音声源空间音效三维逼真生成系统
CN113439447A (zh) 使用深度学习图像分析的房间声学仿真
CN114049871A (zh) 基于虚拟空间的音频处理方法、装置和计算机设备
CN109036456A (zh) 用于立体声的源分量环境分量提取方法
Iwaya et al. Distributed signal processing architecture for real-time convolution of 3d audio rendering for mobile applications
US11665498B2 (en) Object-based audio spatializer
US11924623B2 (en) Object-based audio spatializer
US11598962B1 (en) Estimation of acoustic parameters for audio system based on stored information about acoustic model
Urbanietz Advances in binaural technology for dynamic virtual environments
CN114630240A (zh) 方向滤波器的生成方法、音频处理方法、装置及存储介质
WO2023250171A1 (en) Systems and methods for orientation-responsive audio enhancement
CN116684777A (zh) 音频处理、模型训练方法、装置、设备及存储介质
CN116132905A (zh) 音频播放方法和头戴式显示设备
CN117221807A (zh) 音频的处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant