CN109002275A - Ar背景音频处理方法、装置、ar设备和可读存储介质 - Google Patents
Ar背景音频处理方法、装置、ar设备和可读存储介质 Download PDFInfo
- Publication number
- CN109002275A CN109002275A CN201810717680.7A CN201810717680A CN109002275A CN 109002275 A CN109002275 A CN 109002275A CN 201810717680 A CN201810717680 A CN 201810717680A CN 109002275 A CN109002275 A CN 109002275A
- Authority
- CN
- China
- Prior art keywords
- audio
- background
- target
- feature
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stereophonic System (AREA)
Abstract
本发明提供一种AR背景音频处理方法、装置、AR设备和可读存储介质，所述方法包括获取目标音频特征，所述目标音频特征为增强现实AR设备所处场景的真实音频的特征；根据所述目标音频特征，获取增强现实AR背景互动音频，所述AR背景互动音频为具有所述目标音频特征的音频；向AR用户播放所述AR背景互动音频，本发明不受限于场地，具有较高的灵活性，且AR背景互动音频具有以周围环境声音相同的目标音频特征，使AR用户视听统一，提高了用户的AR体验。
Description
技术领域
本发明涉及信号处理技术，尤其涉及一种AR背景音频处理方法、装置、AR设备和可读存储介质。
背景技术
增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。在AR场景中，虚拟的信息被应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间中向用户显示。然而，用户在佩戴AR头盔或耳机处于沉浸式AR场景中时，虽然可以看到周围的真实场景，听到的却是AR的背景音频，如果AR的背景音频节奏与周围真实环境冲突，则用户会产生视觉和听觉的冲突感，降低体验。例如佩戴AR设备的用户在球场看球时，虽然可以在AR设备中与其他用户进行AR互动，但在胜利现场响起激进乐曲时或者观众欢呼加油时，由于耳机隔离难以感受到现场的气氛和节奏，更是无法与其他人同一节奏地整齐加油，缺少与真实环境的配合。
现有技术的一些音频系统中，可以向AR设备发送场地音乐，例如球场的控制中心将播放的庆祝乐曲同步到各个接入控制中心的AR设备，以使得AR用户听到的背景音频能够与现实环境的背景音频一致。
然而，对于观众发出的有节奏的加油呼喊声，或者其他没有音频同步系统支持的环境声音都无法同步给AR设备，AR用户与周围环境声音的配合很大程度上就依赖于特定场地的音频同步系统。现有的AR背景音频处理方法受限于场地设备，灵活性不高。
发明内容
本发明提供一种AR背景音频处理方法、装置、AR设备和可读存储介质，根据周围真实环境中真实音频的目标音频特征，向用户播放AR背景互动音频，本发明不受限于场地，具有较高的灵活性，且AR背景互动音频具有以周围环境声音相同的目标音频特征，使AR用户视听统一，提高了用户的AR体验。
根据本发明的第一方面，提供一种AR背景音频处理方法，包括：
根据周围真实环境声音的真实音频，获取目标音频特征；
根据所述目标音频特征，获取增强现实AR背景互动音频，所述AR背景互动音频为具有所述目标音频特征的音频；
向AR用户播放所述AR背景互动音频。
可选地，所述根据所述目标音频特征，获取AR背景互动音频，包括：
根据所述目标音频特征，在第一音频集合中获取目标音频，所述目标音频的音频特征与所述目标音频特征相对应；
根据所述目标音频和AR背景原音频，确定AR背景互动音频。
可选地，所述根据所述目标音频和AR背景原始音频，确定AR背景互动音频，包括：
判断所述目标音频与AR背景原音频是否一致；
若确定所述目标音频与AR背景原音频一致，则将所述AR背景原始音频，确定为AR背景互动音频，且相应地，所述向AR用户播放所述AR背景互动音频，包括：向AR用户继续播放所述AR背景原始音频；
若确定所述目标音频与AR背景原音频不一致，则将所述目标音频，确定为AR背景互动音频。
可选地，所述将所述目标音频，确定为AR背景互动音频，包括：
判断所述AR背景原音频的来源是否为预设的应用集合；
若是，则将所述目标音频与所述AR背景原音频的合成音频，确定为AR背景互动音频；
若否，则将所述目标音频，确定为AR背景互动音频。
可选地，在所述根据所述目标音频特征，在第一音频集合中获取目标音频之前，还包括：
根据当前位置，在第二音频集合中获取第一音频集合，所述第一音频集合中音频的位置属性与所述当前位置相对应。
可选地，在所述根据当前位置，在第二音频集合中获取第一音频集合之前，还包括：
根据当前时间，在音频库中获取第二音频集合，所述第二音频集合中音频的时间属性与所述当前时间相对应。
可选地，所述根据周围真实环境声音的真实音频，获取目标音频特征，包括：
在每个预设周期时间内，获取周围真实环境声音的真实音频；
获取所述真实音频的节拍周期；
在确定所述节拍周期小于或低于周期阈值时，根据周围真实环境声音的真实音频，获取目标音频特征。
根据本发明的第二方面，提供一种AR背景音频处理装置，包括：
目标音频特征获取模块，用于根据周围真实环境声音的真实音频，获取目标音频特征；
AR背景互动音频获取模块，用于根据所述目标音频特征，获取增强现实AR背景互动音频，所述AR背景互动音频为具有所述目标音频特征的音频；
播放模块，用于向AR用户播放所述AR背景互动音频。
可选地，所述AR背景互动音频获取模块用于：根据所述目标音频特征，在第一音频集合中获取目标音频，所述目标音频的音频特征与所述目标音频特征相对应；根据所述目标音频和AR背景原音频，确定AR背景互动音频。
可选地，所述AR背景互动音频获取模块用于：根据所述目标音频特征，在第一音频集合中获取目标音频，所述目标音频的音频特征与所述目标音频特征相对应；判断所述目标音频与AR背景原音频是否一致；若确定所述目标音频与AR背景原音频一致，则将所述AR背景原始音频，确定为AR背景互动音频，且相应地，所述向AR用户播放所述AR背景互动音频，包括：向AR用户继续播放所述AR背景原始音频；若确定所述目标音频与AR背景原音频不一致，则将所述目标音频，确定为AR背景互动音频。
可选地，所述AR背景互动音频获取模块用于：根据所述目标音频特征，在第一音频集合中获取目标音频，所述目标音频的音频特征与所述目标音频特征相对应；判断所述目标音频与AR背景原音频是否一致；若确定所述目标音频与AR背景原音频一致，则将所述AR背景原始音频，确定为AR背景互动音频，且相应地，所述向AR用户播放所述AR背景互动音频，包括：向AR用户继续播放所述AR背景原始音频；若确定所述目标音频与AR背景原音频不一致，则判断所述AR背景原音频的来源是否为预设的应用集合；若是，则将所述目标音频与所述AR背景原音频的合成音频，确定为AR背景互动音频；若否，则将所述目标音频，确定为AR背景互动音频。
可选地，所述AR背景互动音频获取模块还用于：在所述根据所述目标音频特征，在第一音频集合中获取目标音频之前，根据当前位置，在第二音频集合中获取第一音频集合，所述第一音频集合中音频的位置属性与所述当前位置相对应。
可选地，所述AR背景互动音频获取模块还用于：在所述根据当前位置，在第二音频集合中获取第一音频集合之前，根据当前时间，在音频库中获取第二音频集合，所述第二音频集合中音频的时间属性与所述当前时间相对应。
可选地，所述目标音频特征获取模块用于：在每个预设周期时间内，获取周围真实环境声音的真实音频；获取所述真实音频的节拍周期；在确定所述节拍周期小于或低于周期阈值时，根据周围真实环境声音的真实音频，获取目标音频特征。
根据本发明的第三方面，提供一种AR设备，其特征在于，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行本发明第一方面及第一方面各种可能设计的所述AR背景音频处理方法。
根据本发明的第四方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时用于实现本发明第一方面及第一方面各种可能设计的所述AR背景音频处理方法。
本发明提供的一种AR背景音频处理方法、装置、AR设备和可读存储介质，所述方法根据周围真实环境声音的真实音频，获取目标音频特征；根据所述目标音频特征，获取增强现实AR背景互动音频，所述AR背景互动音频为具有所述目标音频特征的音频；向AR用户播放所述AR背景互动音频，本发明不受限于场地，具有较高的灵活性，且AR背景互动音频具有以周围环境声音相同的目标音频特征，使AR用户视听统一，提高了用户的AR体验。
附图说明
图1是本发明实施例提供的一种应用场景示意图；
图2是本发明实施例提供的一种AR背景音频处理方法示意图；
图3是本发明实施例提供的一种AR背景音频处理装置结构示意图；
图4是本发明实施例提供的一种AR设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
应当理解，在本申请中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
应当理解，在本申请中，“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。
取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
参见图1，是本发明实施例提供的一种应用场景示意图。AR设备可以是如图1所示用户戴的AR眼镜1，AR眼镜1上设置有声音采集器和耳机，声音采集器对周围环境声音进行采集，以使得耳机向用户发出的背景音频根据周围环境声音而改变。在一种应用场景中，用户可以在例如运动赛场通过AR眼镜观看比赛的同时进行AR游戏或享受其他AR业务。在比赛进入激烈环节时，观众席上观众自发地节奏型地为运动员呼喊加油，此时运动场中的呼喊声形成了一定节拍，则AR眼镜启动音频结合功能，将背景音频换成韵律与现场节拍一致的互动音频，使用户看到的其他人的加油动作与听到的节拍合拍实现视听统一，或者用户能够与周围人以同样的节奏呐喊助威。
参见图2，是本发明实施例提供的一种AR背景音频处理方法示意图，图2所示方法的执行主体可以是软件装置，也可以是硬件装置，或者是软件与硬件结合的装置，其中软件装置例如可以是图1所示AR眼镜内的软件模块，硬件装置例如可以是图1所示的AR眼镜。包括步骤S101至步骤S103，具体如下：
S101，获取目标音频特征，所述目标音频特征为增强现实AR设备所处场景的真实音频的特征。
具体地，可以是实时地获取AR设备所处场景的真实音频，并根据真实音频获取目标音频特征。也可以是在每个预设周期时间内，获取AR设备所处场景的真实音频，并获取所述真实音频的节拍周期；然后在确定所述节拍周期小于或低于周期阈值时，才获取目标音频特征，所述目标音频特征为AR设备所处场景的真实音频的特征，从而减少持续获取目标音频特征的能耗。
真实音频，可以理解为是录制的音频，也可以理解为是对录制的音频进行初步处理后的音频。初步处理可以理解为滤波、放大、降噪等音频处理过程。
目标音频特征，可以理解为是从真实音频中提取出来的频率、振幅等声音特征，或者是节拍、音色等声乐特征，还可以是根据真实音频的声音特征和/或真实音频的声乐特征得到的音频属性特征，例如具体的乐曲名、乐曲种类、声音种类、声音对应的乐器属性等。
S102，根据所述目标音频特征，获取增强现实AR背景互动音频，所述AR背景互动音频为具有所述目标音频特征的音频。
S103，向AR用户播放所述AR背景互动音频。
在一种实现方式中，可以是根据获取到的目标音频特征生成AR背景互动音频，例如以预设的音频生成算法来对目标音频特征进行音频生成处理，得到的新音频作为AR背景互动音频，使得AR背景互动音频具有了与周围环境声音相同的目标音频特征。
在另一种实现方式中，可以是根据获取到的目标音频特征，在第一音频集合中选取目标音频，然后根据目标音频和AR背景原音频，确定AR背景互动音频。其中，第一音频集合可以理解为本地存储的音频库，或者是网络上的音频库，或者是用于预设的偏好音频库，还可以是已经经过一些自动筛选得到的音频集合。目标音频可以理解为是一个具有目标音频特征的音频。例如目标音频特征是周围观众的欢呼节奏，则目标音频是与周围观众的欢呼节奏相同或相近节奏的音频，以使用户在AR场景中能在看到周围观众的欢呼节奏的同时听到同节奏的背景音乐。或者是在海边场景得到目标音频特征为海浪声，则向用户播放具有海浪声的背景音频，以使用户听到的声音能够与看到的海浪相符合，视听一致。
AR背景原音频具体是指当前向用户播放的音频，即在根据新得到目标音频特征，获取增强现实AR背景互动音频之前，用户正在听到的背景音频，例如用户正在玩游戏，则背景原音频应当是来自于游戏应用的音频，或者用户正在观看AR节目，则背景原音频应当是来自AR视频播放应用的音频。所述根据所述目标音频和AR背景原始音频，确定AR背景互动音频，具体可以是：判断所述目标音频与AR背景原音频是否一致；若确定所述目标音频与AR背景原音频一致，表示AR背景原音频本身就具有与周围环境声音一致或相近的目标音频特征，或者AR背景原音频就是前一个处理周期获得的AR背景互动音频，因此将所述AR背景原始音频，继续确定为AR背景互动音频。由于背景音频不需要改变，因此为了不打断当前播放内容而降低用户体验，不需要重新播放新的音频文件，继续播放AR背景原始音频。相应地，所述向AR用户播放所述AR背景互动音频，包括：向AR用户继续播放所述AR背景原始音频。若确定所述目标音频与AR背景原音频不一致，则将所述目标音频，确定为AR背景互动音频，即用新得到的目标音频替换与周围环境声音不同音频特征的AR背景原音频。
本实施例提供的AR背景音频处理方法，获取目标音频特征，所述目标音频特征为增强现实AR设备所处场景的真实音频的特征；根据所述目标音频特征，获取增强现实AR背景互动音频，所述AR背景互动音频为具有所述目标音频特征的音频；向AR用户播放所述AR背景互动音频，本发明不受限于场地，具有较高的灵活性，且AR背景互动音频具有以周围环境声音相同的目标音频特征，使AR用户视听统一，提高了用户的AR体验。
在上述实施例的基础上，还可以根据AR背景原音频的播放来源，确定用户是否愿意背景音频完全被替换。例如，AR用户正处于游戏应用时，如果将背景音频完全替换为与游戏毫不相关的其他音频，虽然能实现与周围环境声音的特征统一，但却完全失去了游戏本身的沉浸感。因此，在AR背景原音频来源于例如游戏应用、电影播放应用等用户预设应用时，为了兼顾AR沉浸感和周围环境声音特征，下面提供了一种音频合成的实施例。
具体地，所述将所述目标音频，确定为AR背景互动音频，具体可以是：先判断所述AR背景原音频的来源是否为预设的应用集合；若是，则将所述目标音频与所述AR背景原音频的合成音频，确定为AR背景互动音频；若否，则将所述目标音频，确定为AR背景互动音频。
其中，预设的应用集合可以理解为默认的或用户预设的至少一个应用，例如上述游戏应用、电影播放应用等，用户需要保留AR背景原音频的应用。判断AR背景原音频的来源的方式，可以理解为每个AR背景原音频都对应有来源属性信息，获取AR背景原音频的来源属性信息即可得到其来源的应用。本实施例中的目标音频可以是具体的一段乐曲，也可以是例如鼓点、节拍等节奏型声音文件。目标音频与AR背景原音频的音频合成中，可以是以目标音频权重小于AR背景原音频权重的方式进行合成，以使得最后得到的合成音频中以AR背景原音频为主。通过音频合成的方式将具有目标音频特征的目标音频与AR背景原音频相结合，即能使AR用户感受到周围环境的声音特征，又能保留AR体验中原有的背景音频，进一步提高了用户体验效果。
在上述实施例的基础上，在所述根据所述目标音频特征，在第一音频集合中获取目标音频之前，还可以包括先获取第一音频集合的过程，具体为：根据当前位置，在第二音频集合中获取第一音频集合，所述第一音频集合中音频的位置属性与所述当前位置相对应。例如获取到当前位置为运动场或花园酒店，则获取到与运动场对应的第一音频集合，或获取到与花园酒店对应的第一音频集合。第二音频集合可以理解为是本地音频库或网络上的音频库，也可以是下面与时间相关的音频集合。
在上述实施例的基础上，进一步地，在所述根据当前位置，在第二音频集合中获取第一音频集合之前，还可以包括先获取第二音频集合的过程，具体地，可以根据当前时间，在音频库中获取第二音频集合，所述第二音频集合中音频的时间属性与所述当前时间相对应。例如当前时间是国庆节期间或者是运动会期间，则获取到与庆典相关的音频为第二音频集合，或者是当前时间是深夜，则获取到节奏缓慢或主题也夜晚的音频为第二音频集合。
参见图3，是本发明实施例提供的一种AR背景音频处理装置结构示意图，主要包括：
目标音频特征获取模块31，用于获取目标音频特征，所述目标音频特征为增强现实AR设备所处场景的真实音频的特征；
AR背景互动音频获取模块32，用于根据所述目标音频特征，获取增强现实AR背景互动音频，所述AR背景互动音频为具有所述目标音频特征的音频；
播放模块33，用于向AR用户播放所述AR背景互动音频。
图3所示实施例的AR背景音频处理装置对应地可用于执行图2所示方法实施例中的步骤，其实现原理和技术效果类似，此处不再赘述。
在上述实施例的基础上，所述AR背景互动音频获取模块32用于：根据所述目标音频特征，在第一音频集合中获取目标音频，所述目标音频的音频特征与所述目标音频特征相对应；根据所述目标音频和AR背景原音频，确定AR背景互动音频。
在上述实施例的基础上，所述AR背景互动音频获取模块32用于：根据所述目标音频特征，在第一音频集合中获取目标音频，所述目标音频的音频特征与所述目标音频特征相对应；判断所述目标音频与AR背景原音频是否一致；若确定所述目标音频与AR背景原音频一致，则将所述AR背景原始音频，确定为AR背景互动音频，且相应地，所述向AR用户播放所述AR背景互动音频，包括：向AR用户继续播放所述AR背景原始音频；若确定所述目标音频与AR背景原音频不一致，则将所述目标音频，确定为AR背景互动音频。
在上述实施例的基础上，所述AR背景互动音频获取模块32用于：根据所述目标音频特征，在第一音频集合中获取目标音频，所述目标音频的音频特征与所述目标音频特征相对应；判断所述目标音频与AR背景原音频是否一致；若确定所述目标音频与AR背景原音频一致，则将所述AR背景原始音频，确定为AR背景互动音频，且相应地，所述向AR用户播放所述AR背景互动音频，包括：向AR用户继续播放所述AR背景原始音频；若确定所述目标音频与AR背景原音频不一致，则判断所述AR背景原音频的来源是否为预设的应用集合；若是，则将所述目标音频与所述AR背景原音频的合成音频，确定为AR背景互动音频；若否，则将所述目标音频，确定为AR背景互动音频。
在上述实施例的基础上，所述AR背景互动音频获取模块32还用于：在所述根据所述目标音频特征，在第一音频集合中获取目标音频之前，根据当前位置，在第二音频集合中获取第一音频集合，所述第一音频集合中音频的位置属性与所述当前位置相对应。
在上述实施例的基础上，所述AR背景互动音频获取模块32还用于：在所述根据当前位置，在第二音频集合中获取第一音频集合之前，根据当前时间，在音频库中获取第二音频集合，所述第二音频集合中音频的时间属性与所述当前时间相对应。
在上述实施例的基础上，所述目标音频特征获取模块31用于：在每个预设周期时间内，获取AR设备所处场景的真实音频；获取所述真实音频的节拍周期；在确定所述节拍周期小于或低于周期阈值时，获取目标音频特征，所述目标音频特征为AR设备所处场景的真实音频的特征。
参见图4，是本发明实施例提供的一种AR设备结构示意图，该AR设备包括：处理器91、存储器92和计算机程序；其中
存储器92，用于存储所述计算机程序，该存储器还可以是闪存(flash)。所述计算机程序例如是实现上述方法的应用程序、功能模块等。
处理器91，用于执行所述存储器存储的计算机程序，以实现上述方法中AR设备执行的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地，存储器92既可以是独立的，也可以跟处理器91集成在一起。
当所述存储器92是独立于处理器91之外的器件时，所述AR设备还可以包括：
总线93，用于连接所述存储器92和处理器91。
本发明还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时用于实现上述的各种实施方式提供的方法。
其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits，简称：ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
在上述AR设备的实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (16)
1.一种AR背景音频处理方法，其特征在于，包括：
获取目标音频特征，所述目标音频特征为增强现实AR设备所处场景的真实音频的特征；
根据所述目标音频特征，获取AR背景互动音频，所述AR背景互动音频为具有所述目标音频特征的音频；
向AR用户播放所述AR背景互动音频。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标音频特征，获取AR背景互动音频，包括：
根据所述目标音频特征，在第一音频集合中获取目标音频，所述目标音频的音频特征与所述目标音频特征相对应；
根据所述目标音频和AR背景原音频，确定AR背景互动音频。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标音频和AR背景原始音频，确定AR背景互动音频，包括：
判断所述目标音频与AR背景原音频是否一致；
若确定所述目标音频与AR背景原音频一致，则将所述AR背景原始音频，确定为AR背景互动音频，且相应地，所述向AR用户播放所述AR背景互动音频，包括：向AR用户继续播放所述AR背景原始音频；
若确定所述目标音频与AR背景原音频不一致，则将所述目标音频，确定为AR背景互动音频。
4.根据权利要求3所述的方法，其特征在于，所述将所述目标音频，确定为AR背景互动音频，包括：
判断所述AR背景原音频的来源是否为预设的应用集合；
若是，则将所述目标音频与所述AR背景原音频的合成音频，确定为AR背景互动音频；
若否，则将所述目标音频，确定为AR背景互动音频。
5.根据权利要求2所述的方法，其特征在于，在所述根据所述目标音频特征，在第一音频集合中获取目标音频之前，还包括：
根据当前位置，在第二音频集合中获取第一音频集合，所述第一音频集合中音频的位置属性与所述当前位置相对应。
6.根据权利要求5所述的方法，其特征在于，在所述根据当前位置，在第二音频集合中获取第一音频集合之前，还包括：
根据当前时间，在音频库中获取第二音频集合，所述第二音频集合中音频的时间属性与所述当前时间相对应。
7.根据权利要求1至6任一所述的方法，其特征在于，所述获取目标音频特征，所述目标音频特征为增强现实AR设备所处场景的真实音频的特征，包括：
在每个预设周期时间内，获取AR设备所处场景的真实音频；
获取所述真实音频的节拍周期；
在确定所述节拍周期小于或低于周期阈值时，获取目标音频特征，所述目标音频特征为AR设备所处场景的真实音频的特征。
8.一种AR背景音频处理装置，其特征在于，包括：
目标音频特征获取模块，用于获取目标音频特征，所述目标音频特征为增强现实AR设备所处场景的真实音频的特征；
AR背景互动音频获取模块，用于根据所述目标音频特征，获取增强现实AR背景互动音频，所述AR背景互动音频为具有所述目标音频特征的音频；
播放模块，用于向AR用户播放所述AR背景互动音频。
9.根据权利要求8所述的装置，其特征在于，所述AR背景互动音频获取模块用于：根据所述目标音频特征，在第一音频集合中获取目标音频，所述目标音频的音频特征与所述目标音频特征相对应；根据所述目标音频和AR背景原音频，确定AR背景互动音频。
10.根据权利要求9所述的装置，其特征在于，所述AR背景互动音频获取模块用于：根据所述目标音频特征，在第一音频集合中获取目标音频，所述目标音频的音频特征与所述目标音频特征相对应；判断所述目标音频与AR背景原音频是否一致；若确定所述目标音频与AR背景原音频一致，则将所述AR背景原始音频，确定为AR背景互动音频，且相应地，所述向AR用户播放所述AR背景互动音频，包括：向AR用户继续播放所述AR背景原始音频；若确定所述目标音频与AR背景原音频不一致，则将所述目标音频，确定为AR背景互动音频。
11.根据权利要求10所述的装置，其特征在于，所述AR背景互动音频获取模块用于：根据所述目标音频特征，在第一音频集合中获取目标音频，所述目标音频的音频特征与所述目标音频特征相对应；判断所述目标音频与AR背景原音频是否一致；若确定所述目标音频与AR背景原音频一致，则将所述AR背景原始音频，确定为AR背景互动音频，且相应地，所述向AR用户播放所述AR背景互动音频，包括：向AR用户继续播放所述AR背景原始音频；若确定所述目标音频与AR背景原音频不一致，则判断所述AR背景原音频的来源是否为预设的应用集合；若是，则将所述目标音频与所述AR背景原音频的合成音频，确定为AR背景互动音频；若否，则将所述目标音频，确定为AR背景互动音频。
12.根据权利要求9所述的装置，其特征在于，所述AR背景互动音频获取模块还用于：在所述根据所述目标音频特征，在第一音频集合中获取目标音频之前，根据当前位置，在第二音频集合中获取第一音频集合，所述第一音频集合中音频的位置属性与所述当前位置相对应。
13.根据权利要求12所述的装置，其特征在于，所述AR背景互动音频获取模块还用于：在所述根据当前位置，在第二音频集合中获取第一音频集合之前，根据当前时间，在音频库中获取第二音频集合，所述第二音频集合中音频的时间属性与所述当前时间相对应。
14.根据权利要求8至13任一所述的装置，其特征在于，所述目标音频特征获取模块用于：在每个预设周期时间内，获取AR设备所处场景的真实音频；获取所述真实音频的节拍周期；在确定所述节拍周期小于或低于周期阈值时，获取目标音频特征，所述目标音频特征为AR设备所处场景的真实音频的特征。
15.一种AR设备，其特征在于，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行权利要求1～7任一所述的AR背景音频处理方法。
16.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时用于实现权利要求1～7任一所述的AR背景音频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810717680.7A CN109002275B (zh) | 2018-07-03 | 2018-07-03 | Ar背景音频处理方法、装置、ar设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810717680.7A CN109002275B (zh) | 2018-07-03 | 2018-07-03 | Ar背景音频处理方法、装置、ar设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109002275A true CN109002275A (zh) | 2018-12-14 |
| CN109002275B CN109002275B (zh) | 2021-12-07 |
Family
ID=64599687
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810717680.7A Active CN109002275B (zh) | 2018-07-03 | 2018-07-03 | Ar背景音频处理方法、装置、ar设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109002275B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111888765A (zh) * | 2020-07-24 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 多媒体文件的处理方法、装置、设备及介质 |
| CN112233662A (zh) * | 2019-06-28 | 2021-01-15 | 百度在线网络技术（北京）有限公司 | 音频分析方法、装置、计算设备和存储介质 |
| CN112992186A (zh) * | 2021-02-04 | 2021-06-18 | 咪咕音乐有限公司 | 音频处理方法、装置、电子设备及存储介质 |
| CN112233662B (zh) * | 2019-06-28 | 2024-06-07 | 百度在线网络技术（北京）有限公司 | 音频分析方法、装置、计算设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103167125A (zh) * | 2012-07-24 | 2013-06-19 | 深圳市金立通信设备有限公司 | 一种盲人使用的手机音乐播放系统及方法 |
| CN104410748A (zh) * | 2014-10-17 | 2015-03-11 | 广东小天才科技有限公司 | 一种根据移动终端位置添加背景音效的方法及移动终端 |
| CN104781875A (zh) * | 2012-11-14 | 2015-07-15 | 高通股份有限公司 | 音频环境分类的系统和方法 |
| CN105280188A (zh) * | 2014-06-30 | 2016-01-27 | 美的集团股份有限公司 | 基于终端运行环境的音频信号编码方法和系统 |
| CN106060643A (zh) * | 2016-06-28 | 2016-10-26 | 乐视控股（北京）有限公司 | 多媒体文件的播放方法、装置及耳机 |
| CN106792253A (zh) * | 2016-11-30 | 2017-05-31 | 广州视源电子科技股份有限公司 | 音效处理方法和系统 |
| CN206517592U (zh) * | 2017-02-24 | 2017-09-22 | 武汉轻工大学 | 一种交互式3d音频系统 |
| CN107566887A (zh) * | 2017-08-24 | 2018-01-09 | 天脉聚源(北京)传媒科技有限公司 | 一种生成多媒体数据、播放多媒体数据的方法及装置 |
| US20180176639A1 (en) * | 2016-12-19 | 2018-06-21 | Centurylink Intellectual Property Llc | Method and System for Implementing Advanced Audio Shifting |
-
2018
- 2018-07-03 CN CN201810717680.7A patent/CN109002275B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103167125A (zh) * | 2012-07-24 | 2013-06-19 | 深圳市金立通信设备有限公司 | 一种盲人使用的手机音乐播放系统及方法 |
| CN104781875A (zh) * | 2012-11-14 | 2015-07-15 | 高通股份有限公司 | 音频环境分类的系统和方法 |
| CN105280188A (zh) * | 2014-06-30 | 2016-01-27 | 美的集团股份有限公司 | 基于终端运行环境的音频信号编码方法和系统 |
| CN104410748A (zh) * | 2014-10-17 | 2015-03-11 | 广东小天才科技有限公司 | 一种根据移动终端位置添加背景音效的方法及移动终端 |
| CN106060643A (zh) * | 2016-06-28 | 2016-10-26 | 乐视控股（北京）有限公司 | 多媒体文件的播放方法、装置及耳机 |
| CN106792253A (zh) * | 2016-11-30 | 2017-05-31 | 广州视源电子科技股份有限公司 | 音效处理方法和系统 |
| US20180176639A1 (en) * | 2016-12-19 | 2018-06-21 | Centurylink Intellectual Property Llc | Method and System for Implementing Advanced Audio Shifting |
| CN206517592U (zh) * | 2017-02-24 | 2017-09-22 | 武汉轻工大学 | 一种交互式3d音频系统 |
| CN107566887A (zh) * | 2017-08-24 | 2018-01-09 | 天脉聚源(北京)传媒科技有限公司 | 一种生成多媒体数据、播放多媒体数据的方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| BEHNAZ GHORAANI; SRIDHAR KRISHNAN: ""Time–Frequency Matrix Feature Extraction and Classification of Environmental Audio Signals"", 《IEEE TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING ( VOLUME: 19, ISSUE: 7, SEPT. 2011)》 * |
| 李玲俐，陈晓明: ""类独立特征提取法在环境声音识别中的应用"", 《计算机工程与应用》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112233662A (zh) * | 2019-06-28 | 2021-01-15 | 百度在线网络技术（北京）有限公司 | 音频分析方法、装置、计算设备和存储介质 |
| CN112233662B (zh) * | 2019-06-28 | 2024-06-07 | 百度在线网络技术（北京）有限公司 | 音频分析方法、装置、计算设备和存储介质 |
| CN111888765A (zh) * | 2020-07-24 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 多媒体文件的处理方法、装置、设备及介质 |
| CN111888765B (zh) * | 2020-07-24 | 2021-12-03 | 腾讯科技（深圳）有限公司 | 多媒体文件的处理方法、装置、设备及介质 |
| CN112992186A (zh) * | 2021-02-04 | 2021-06-18 | 咪咕音乐有限公司 | 音频处理方法、装置、电子设备及存储介质 |
| CN112992186B (zh) * | 2021-02-04 | 2022-07-01 | 咪咕音乐有限公司 | 音频处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109002275B (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108737845B (zh) | 直播处理方法、装置、设备以及存储介质 | |
| CN103210360B (zh) | 用于增强现实演出的方法、设备和系统 | |
| US9609383B1 (en) | Directional audio for virtual environments | |
| US20190262705A1 (en) | Scaled vr engagement and views in an e-sports event | |
| WO2019167632A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| US8151315B2 (en) | Hybrid audio/video entertainment system | |
| CN106028167A (zh) | 一种弹幕展现的方法和装置 | |
| WO2018139117A1 (ja) | 情報処理装置、情報処理方法およびそのプログラム | |
| CN109002275A (zh) | Ar背景音频处理方法、装置、ar设备和可读存储介质 | |
| CN109120990B (zh) | 直播方法、装置和存储介质 | |
| CN109600559A (zh) | 一种视频特效添加方法、装置、终端设备及存储介质 | |
| CN112714305A (zh) | 展示方法、装置、设备和计算机可读存储介质 | |
| CN103733249A (zh) | 信息系统、信息再现装置、信息生成方法及记录介质 | |
| US10820133B2 (en) | Methods and systems for extracting location-diffused sound | |
| CN109873905A (zh) | 音频播放方法、音频合成方法、装置及存储介质 | |
| JP2015525502A (ja) | スーパーリアリティ・エンターテイメントのための管理 | |
| CN107820709A (zh) | 一种播放界面调整方法及装置 | |
| Farkaš | Binaural and ambisonic sound as the future standard of digital games | |
| CN115657862A (zh) | 虚拟ktv场景画面自动切换的方法、装置、存储介质及设备 | |
| JP2003009145A (ja) | パーソナライズ化される動作撮像システム | |
| Smith | Information technology and the myth of abundance | |
| Benelli | Hollywood and the Travelogue | |
| Benelli | Hollywood and the Attractions of the Travelogue | |
| WO2019116244A1 (ru) | Взаимодействие пользователей в коммуникационной системе с использованием эффектов дополненной реальности | |
| CN107566887A (zh) | 一种生成多媒体数据、播放多媒体数据的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20181214 Assignee: Beijing Intellectual Property Management Co.,Ltd. Assignor: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. Contract record no.: X2023110000094 Denomination of invention: AR background audio processing method, device, AR device, and readable storage medium Granted publication date: 20211207 License type: Common License Record date: 20230818 |