CN114978356B - 基于音频进行多频道数据传输方法、设备及存储介质 - Google Patents

基于音频进行多频道数据传输方法、设备及存储介质 Download PDF

Info

Publication number
CN114978356B
CN114978356B CN202210468527.1A CN202210468527A CN114978356B CN 114978356 B CN114978356 B CN 114978356B CN 202210468527 A CN202210468527 A CN 202210468527A CN 114978356 B CN114978356 B CN 114978356B
Authority
CN
China
Prior art keywords
audio
audio data
data
channel data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210468527.1A
Other languages
English (en)
Other versions
CN114978356A (zh
Inventor
尚家乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN202210468527.1A priority Critical patent/CN114978356B/zh
Priority to PCT/CN2022/102347 priority patent/WO2023206795A1/zh
Publication of CN114978356A publication Critical patent/CN114978356A/zh
Application granted granted Critical
Publication of CN114978356B publication Critical patent/CN114978356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B11/00Transmission systems employing sonic, ultrasonic or infrasonic waves
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Stereophonic System (AREA)

Abstract

本申请公开了一种基于音频进行多频道数据传输方法、设备及存储介质,所述基于音频进行多频道数据传输方法包括:获取目标场景下的多频道数据,基于预先设置的音频播放策略,对所述多频道数据进行处理,得到目标音频数据,播放所述目标音频数据,以供第二设备接收所述目标音频数据,并对所述目标音频数据进行解析,得到所述多频道数据。本申请解决了当当前环境下的网络信号较差时,导致数据传输的效率较低的技术问题。

Description

基于音频进行多频道数据传输方法、设备及存储介质
技术领域
本申请涉及数据交互技术领域,尤其涉及一种基于音频进行多频道数据传输方法、设备及存储介质。
背景技术
目前在VR/AR多人应用场景中,用户间的数据交互方式单一,大多需依赖统一规格的网络环境和产品设备来进行数据交互,在传输过程中需要通过网络进行数据传递,然而,当当前环境下的网络信号较差时,导致数据传输的效率较低。
发明内容
本申请的主要目的在于提供一种基于音频进行多频道数据传输方法、设备及存储介质,旨在解决现有技术中的当当前环境下的网络信号较差时,导致数据传输的效率较低的技术问题。
为实现上述目的,本申请提供一种基于音频进行多频道数据传输方法,所述方法应用于第一设备,所述第一设备至少包括一播放端,所述基于音频进行多频道数据传输方法包括:
获取目标场景下的多频道数据;
基于预先设置的音频播放策略,对所述多频道数据进行处理,得到目标音频数据;
播放所述目标音频数据,以供第二设备接收所述目标音频数据,并对所述目标音频数据进行解析,得到所述多频道数据。
为了实现上述目的,本申请还提供一种基于音频进行多频道数据传输方法,所述方法应用于第二设备,所述第二设备至少包括一接收端,所述基于音频进行多频道数据传输方法包括:
接收第一设备中播放端播放的目标音频数据;
基于预先设置的解析策略,将所述目标音频数据进行解析,得到多频道数据。
本申请还提供一种基于音频进行多频道数据传输装置,所述基于音频进行多频道数据传输装置为虚拟装置,所述基于音频进行多频道数据传输装置应用于第一设备,包括:
获取模块,用于获取目标场景下的多频道数据;
处理模块,用于基于预先设置的音频播放策略,对所述多频道数据进行处理,得到目标音频数据;
播放模块,用于播放所述目标音频数据,以供第二设备接收所述目标音频数据,并对所述目标音频数据进行解析,得到所述多频道数据。
本申请还提供一种基于音频进行多频道数据传输装置,所述基于音频进行多频道数据传输装置为虚拟装置,所述基于音频进行多频道数据传输装置应用于第二设备,包括:
接收模块,用于接收第一设备中播放端播放的目标音频数据;
解析模块,用于基于预先设置的解析策略,将所述目标音频数据进行解析,得到多频道数据。
本申请还提供一种基于音频进行多频道数据传输设备,所述基于音频进行多频道数据传输设备为实体设备,所述基于音频进行多频道数据传输设备包括:存储器、处理器以及存储在所述存储器上的基于音频进行多频道数据传输程序,所述基于音频进行多频道数据传输程序被所述处理器执行实现如上述的基于音频进行多频道数据传输方法的步骤。
本申请还提供一种存储介质,所述存储介质为计算机可读存储介质,所述计算机可读存储介质上存储基于音频进行多频道数据传输程序,所述基于音频进行多频道数据传输程序被处理器执行实现如上述的基于音频进行多频道数据传输方法的步骤。
本申请提供了一种基于音频进行多频道数据传输方法、设备及存储介质,本申请首先获取目标场景下的多频道数据,进而基于预先设置的音频播放策略,对所述多频道数据进行处理,得到目标音频数据,进一步地,播放所述目标音频数据,以供第二设备接收所述目标音频数据,并对所述目标音频数据进行解析,得到所述多频道数据,实现了将数据处理成音频数据的形式进行数据传输,从而无需使用网络,即使网络信号较差时,也能够完成数据的传输,并且能够将多个不同类型的数据同时以音频的形式进行传输,从而大大提高数据的效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域默认技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请基于音频进行多频道数据传输方法第一实施例的流程示意图;
图2为本申请实施例中的设备硬件模块架构示意图;
图3为本申请基于音频进行多频道数据传输方法第二实施例的流程示意图;
图4为将不同类型的数据组建为双通道的音频数据的原理图;
图5为本申请实施例中生成第一反向噪音水平的原理图;
图6为本申请基于音频进行多频道数据传输方法第三实施例的流程示意图;
图7为本申请基于音频进行多频道数据传输方法第四实施例的流程示意图;
图8为本申请基于音频进行多频道数据传输方法第五实施例的流程示意图;
图9为本申请基于音频进行多频道数据传输方法完整流程示意图;
图10为本申请实施例方案涉及的硬件运行环境的基于音频进行多频道数据传输设备结构示意图;
图11为本申请应用于第一设备的基于音频进行多频道数据传输装置的功能模块示意图;
图12是本申请应用于第二设备的基于音频进行多频道数据传输装置的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本申请实施例提供一种基于音频进行多频道数据传输方法,所述方法应用于第一设备,在本申请基于音频进行多频道数据传输方法的第一实施例中,参照图1,所述基于音频进行多频道数据传输方法包括:
步骤S10,获取目标场景下的多频道数据;
在本实施例中,需要说明的是,参照图2,图2为本申请实施例中的设备硬件模块架构示意图,其中,第一设备包括VR设备、AR设备等,具体地,第一设备包括一封闭式耳塞、预设数量的mic麦克风以及播放模块,所述封闭式耳塞用来隔绝周围环境的声音,所述麦克风包括前馈麦克风、前馈麦克风以及主要麦克风,所述前馈mic用于收录外部环境音频,所述后馈mic应用执行音频passthrough输出和降噪,所述播放模块包括包括内置喇叭和外置喇叭,所述内置喇叭用于执行常规的音频播放,例如,常规音乐播放等,所述外置喇叭用于播放本申请中预先设置的参考音频数据以及将多频道数据处理后的音频数据。
进一步需要说明的是,所述多频道数据为通过不同传感器采集得到的不同类型的数据,所述不同传感器包括当不限于MIC音频传感器、Voice ACC音频传感器、IMU惯性传感器、IR红外线传感器、视觉传感器以及重力传感器等传感器。
获取目标场景下的多频道数据,具体地,通过多个传感器采集当前场景下不同类型的数据,获得所述多频道数据,从而将不同类型的数据进行数据传输交互。
其中,所述获取目标场景下的多频道数据的步骤之前,还包括:
步骤a1,在目标场景下播放预先设置的参考音频数据,以供所述第一设备中的接收端接收所述参考音频数据;
步骤a2,基于播放的参考音频数据以及接收的参考音频数据之间的差异,计算并保存所述参考音频数据的噪音水平和距离衰减灵敏度。
在本实施例中,需要说明的是,所述噪音水平是指利用声级计测得的反映噪声强弱的声压级、声强级和声功率级(单位为dB),以及反映人在心理和生理上对噪声感受程度的A声级和等效A声级,单位为dB(A)。所述距离衰减灵敏度与传输距离有关,是指在音频传播过程中不同传输距离对应的音频衰减灵敏度。
在本实施例中,具体地,通过第一设备的外置喇叭(播放端)播放所述参考音频数据,进而通过第一设备中的前馈mic(接收端)来接收所述参考音频数据,从而通过设备中的播放端和接收端实现音频的自发自收,进而计算所述参考音频数据在所述目标场景下的噪音水平和距离衰减灵敏度,其中,噪音水平和距离衰减灵敏度计算方法属于现有技术,在此不再赘述。
步骤S20,基于预先设置的音频播放策略,对所述多频道数据进行处理,得到目标音频数据;
在本实施例中,需要说明的是,所述音频播放策略为将多频道数据进行音频转换和/或加密后进行播放的策略。
作为一种可实施方式,首先分别将所述多频道数据进行音频数据的转换,得到目标转换音频数据,进而为了提高数据传输的安全性,对所述目标转换音频数据进行加密,具体地,基于目标场景下参考音频数据的噪音水平,直接对所述目标转换音频数据进行叠加加密,在另一种实施方式中,为了有效地提高数据交互的安全性,基于所述参考音频数据的噪音水平以及时域水平线,生成所述参考音频数据的第一反向噪音水平,进而将所述第一反向噪音水平和所述目标转换音频数据进行融合加密,并且为了能够识别多频道数据以及常规的音频数据(例如,音乐),为所述目标转换音频数据添加上识别标签,从而得到所述目标音频数据。
作为另一种可实施方式,为了提高多频道数据传输的效率,通过预设数据转换组建方式,同时将所述多频道数据进行音频数据的转换以及组建,从而得到组建音频数据,具体地,按照预先设置的多通道音频转换组建规则,同时将所述多频道数据进行划分组建,得到多通道组建形成的组建音频数据,例如,通过MIC音频传感器、Voice ACC音频传感器、IMU惯性传感器、IR红外线传感器、视觉传感器以及重力传感器进行采集数据,进而将不同传感器采集的数据进行双通道音频数据的划分,比如将MIC音频传感器、Voice ACC音频传感器、IMU惯性传感器采集的数据划分为右通道数据,以及将IR红外线传感器、视觉传感器以及重力传感器采集的数据划分为左通道数据,从而组建形成双通道音频数据,从而实现采用音频的形式来传递多通道多类型数据,提高数据传输的效率,进一步地,对所述组建音频数据进行加密,组建音频数据的加密过程与上述加密过程相同,在此不做赘述,从而得到所述目标音频数据。
步骤S30,播放所述目标音频数据,以供第二设备接收所述目标音频数据,并对所述目标音频数据进行解析,得到所述多频道数据。
在本实施例中,具体地,通过第一设备中的外置喇叭播放所述目标音频数据,从而通过第二设备的接收端,也即,第二设备的前馈mic接收所述目标音频数据,进而判断所述目标音频数据是否存在预先设置的识别标签,若不存在,则直接通过第二设备的前置喇叭播放所述目标音频数据,若存在,则证明所述目标音频数据为基于多频道数据组建形成的数据,进而依据第二设备预先存储参考音频数据的噪音水平,生成对应的第二反向噪音水平,将所述第二反向噪音水平作为所述目标音频数据解密的私钥,从而对所述目标音频数据进行解密处理,得到解密后的目标音频数据,从而当接收端用户和播放端用户处在同一环境场景下,计算得出的第二反向噪音水平与加密时的第一反向噪音水平在一定容忍偏差下相同,才能够正确对目标音频数据进行解密,提高数据传输的安全性,进一步地,基于上述步骤S20中的多通道音频转换组建规则,对解密后的目标音频数据进行解析,得到不同类型的数据,也即,得到所述多频道数据,实现了借助音频进行多通道的不同类型数据的传输。另外地,当所述多频道数据为通过MIC音频传感器、Voice ACC音频传感器、IMU惯性传感器、IR红外线传感器、视觉传感器以及重力传感器等传感器采集的数据,可基于IR红外线传感器、视觉传感器等定位类型的传感器所采集的数据,确定第一设备对应的定位信息,从而实现了用户之间可通过声音进行空间辅助定位,将真实世界的空间关系映射到虚拟场景中,虚实融合提升用户体验。
本申请实施例提供了一种基于音频进行多频道数据传输方法,本申请实施例首先获取目标场景下的多频道数据,进而基于预先设置的音频播放策略,对所述多频道数据进行处理,得到目标音频数据,进一步地,播放所述目标音频数据,以供第二设备接收所述目标音频数据,并对所述目标音频数据进行解析,得到所述多频道数据,实现了将数据处理成音频数据的形式进行数据传输,从而无需使用网络,即使网络信号较差时,也能够完成数据的传输,并且能够将多个不同类型的数据同时以音频的形式进行传输,从而大大提高数据的效率。
进一步地,参照图3,基于本申请中第一实施例,在本申请的另一实施例中,所述基于预先设置的音频播放策略,对所述多频道数据进行处理,得到目标音频数据的步骤包括:
步骤S21,基于预先设置的多叉树规则,对所述多频道数据进行音频数据转换以及组建,得到组建音频数据;
在本实施例中,需要说明的是,所述预先设置的多叉树规则为基于将多频道数据转换组建成预设通道数的音频数据,其中,将多频道数据作为子节点,并为所述多频道数据配置有对应的父节点,优选地,本实施例采用的是48kHz/16bit双通道的音频设计,因此,可以支持以音频方式同时进行6种16kHz/16bit传感器的数据进行转换和组建,可参照图4,图4为将不同类型的数据组建为双通道的音频数据的原理图,具体地,在获取多频道数据后,同时不同类型的数据进行划分,从而组建形成左右双通道音频数据,并将所述左右双通道音频数据作为所述组建音频数据。
步骤S22,获取预先保存的参考音频数据的噪音水平;
步骤S23,基于所述噪音水平,对所述组建音频数据进行加密,得到所述目标音频数据。
在本实施例中,需要说明的是,由于在同一环境场景下,环境噪音水平在预设偏差下可视为相同,因此,为了实现当两个用户处于同一环境场景下才能进行数据的接收,以提高数据传输的安全性,本实施例是基于参考音频数据的噪音水平,对所述组建音频数据进行加密,具体地,获取所述参考音频数据对应的噪音水平,并且确定所述参考音频数据的时域水平线,其中,依据参考音频数据在传播过程中音量的变化确定时域水平线,进而基于所述时域水平线以及所述噪音水平,生成第一反向噪音水平,可参照图5,图5为本申请实施例中生成第一反向噪音水平的原理图,进而将所述第一反向噪音水平和所述组建音频数据进行融合加密,此外,为了能够识别多频道数据以及常规的音频数据(例如,音乐),为所述目标转换音频数据添加上识别标签,从而得到所述目标音频数据。
本申请实施例通过上述方案,也即,基于预先设置的多叉树规则,对所述多频道数据进行音频数据转换以及组建,得到组建音频数据,进而获取预先保存的参考音频数据的噪音水平,进一步地,基于所述噪音水平,对所述组建音频数据进行加密,得到所述目标音频数据,实现了对所述多频道数据进行音频数据转换,实现采用音频形式来进行数据传输,并且将所述多频道数据进行组建,从而提高多频道数据的传输效率,另外地,将所述对所述组建音频数据进行加密,有效提高数据传输的安全性。
本申请实施例提供一种基于音频进行多频道数据传输方法,所述方法应用于第二设备,在本申请基于音频进行多频道数据传输方法的第三实施例中,参照图6,所述基于音频进行多频道数据传输方法包括:
步骤A10,接收第一设备中播放端播放的目标音频数据;
步骤A20,基于预先设置的解析策略,将所述目标音频数据进行解析,得到多频道数据。
在本实施例中,所述第二设备的硬件模块架构和第一设备的硬件模块架构一致,所述预先设置的解析策略包括对目标音频数据进行解密和/或数据类型解析等策略,且需要说明的是,预先通过第二设备的外置喇叭(播放端)播放参考音频数据,其中,所述参考音频数据可与上述第一设备播放的参考音频数相同,进而通过第二设备中的前馈mic(接收端)来接收所述参考音频数据,从而通过设备中的播放端和接收端实现音频的自发自收,进而计算并保存所述参考音频数据在所述目标场景下的噪音水平和距离衰减灵敏度,具体地,当接收到第一设备中播放端播放的目标音频数据后,首先,根据预设识别标签,判断所述目标音频数据是否属于多音频数据组建形成的音频数据,若否,则直接通过第二设备的前置喇叭播放所述目标音频数据,若是,则会进入到解密以及数据类型解析阶段,也即,获取预先保存的参考音频数据的噪音水平,进而基于所述参考音频数据的时域水平线,生成所述参考音频数据的反向噪音水平,将所述反向噪音水平作为所述目标音频数据的解密私钥,从而对所述目标音频数据进行解密处理,得到解密后的目标音频数据,另外地,为了避免反向噪音水平对正常音频数据的干扰,在本实施例中,通过ANC(Active NoiseCancellation,主动降噪)降噪模式播放所述反向噪音水平,进一步地,由于目标音频数据是通过预先设置的多叉树规则将多频道数据转换组建后进行加密形成的,解密后的目标音频数据为左右双通道音频数据对应的组建音频数据,为了得到多频道数据,还需基于多叉树规则,将组建音频数据进行解析,从而得到不同类型的数据,也即得到所述多频道数据,从而实现第一设备和第二设备的数据交互,由于所述多频道数据为基于MIC音频传感器、Voice ACC音频传感器、IMU惯性传感器、IR红外线传感器、视觉传感器以及重力传感器等传感器采集到的数据,因此可基于所述多频道数据,提取得到第一设备交互的音频信息、惯性信息以及定位信息等信息,实现基于反向噪音水平作为解密的私钥,从而使得当接收端用户和播放端用户处在同一环境场景下,才能够对接收到的目标音频数据进行正确解密,提高数据传输的安全性,以及基于多频道数据确定定位信息,实现将真实世界的空间关系映射到虚拟场景中,提升用户体验。
进一步地,参照图7,基于本申请中第三实施例,在本申请的另一实施例中,所述基于预先设置的解析策略,将所述目标音频数据进行解析,得到多频道数据的步骤包括:
步骤A21,若判定所述目标音频数据存在预设识别标签,则获取预先保存的参考音频的噪音水平;
步骤A22,基于所述噪音水平,对所述目标音频数据进行解密;
步骤A23,基于预先设置的多叉树规则,对解密后的目标音频数据进行数据类型的解析回归,得到所述多频道数据。
在本实施例中,需要说明的是,由于在第一设备在加密过程中,会为所述目标音频数据添加上所述预设识别标签,从而可基于预设识别标签,判断接收到的目标音频数据是否是多频道数据形成的音频数据,具体地,检测所述目标音频数据是否存在预设识别标签,若不存在,则直接通过第二设备的前置喇叭播放所述目标音频数据,若存在,则证明需要对所述目标音频数据进行解密处理,具体地,获取预先保存的参考音频数据的噪音水平,基于所述噪音水平以及参考音频数据的时域水平线,生成第二反向噪音水平,由于当接收端用户和播放端用户处在同一环境场景下,计算得出的第二反向噪音水平与加密时的第一反向噪音水平才在一定容忍偏差下相同,才能够正确对目标音频数据进行解密,也即当接收端用户和播放端用户处在同一环境场景下才能够对目标音频数据进行解密,从而提高数据传输的安全性,进而将所述第二反向噪音水平作为目标音频数据的解密密钥,从而对所述目标音频数据进行解密,得到解密后的目标音频数据,更进一步地,基于预先设置的多叉树规则,对解密后的目标音频数据进行数据类型回归,得到所述多频道数据。
本申请实施例通过上述方案,也即,若判定所述目标音频数据存在预设识别标签,则获取预先保存的参考音频数据的噪音水平,进而基于所述噪音水平,对所述目标音频数据进行解密,进一步地,基于预先设置的多叉树规则,对解密后的目标音频数据进行数据类型的解析回归,得到所述多频道数据,实现了当接收端用户和播放端用户处在同一环境场景下,才能够对接收到的目标音频数据进行正确解密,从而提高数据传输的安全性,
进一步地,参照图8,基于本申请中第三实施例,在本申请的另一实施例中,在所述基于预先设置的解析策略,将所述目标音频数据进行解析,得到多频道数据的步骤之后,还包括:
步骤B10,基于所述多频道数据,确定所述第一设备的定位信息;
步骤B20,获取预先保存的参考音频数据对应的距离衰减灵敏度;
步骤B30,基于所述距离衰减灵敏度,对所述定位信息进行校准,得到目标定位信息。
需要说明的是,在现有技术中,在虚拟场景中用户彼此间的感知完全和真实场景中的空间位置关系脱离,而在本实施例中,具体地,在所述多频道数据中提取可用来表征定位位置的定位数据,例如,提取通过IR红外线传感器以及视觉传感器采集的数据,进而基于定位数据,确定所述第一设备的定位信息,也即,可确定使用第一设备的用户的位置信息,由于数据传输过程中距离信息会存在衰减的情况,为了提高定位的精确度,本实施例通过参考音频数据对应的距离衰减灵敏度,可确定距离信息在传输距离的衰减情况,进而基于所述距离衰减灵敏度,对所述定位信息进行校准,得到所述目标定位信息,校准方法为其中,p表示目标定位信息,/>代表校准定位的函数,α代表从第一设备的目标音频数据中提取出的定位信息,β代表基于距离衰减灵敏度所得出的距离信息,从而实现将真实世界的空间关系映射到虚拟场景中。
本申请实施例通过上述方案,也即,基于所述多频道数据,确定所述第一设备的定位信息,进而获取预先保存的参考音频数据对应的距离衰减灵敏度,进一步地,基于所述距离衰减灵敏度,对所述定位信息进行校准,得到目标定位信息,实现了基于第一设备传输的多频道数据,确定其定位信息,并且基于距离衰减灵敏度,对定位信息进行校准,从而降低了在传输过程中数据衰减的影响,提高定位的精确度,可以将真实世界的空间关系映射到虚拟场景中,从而有效提升用户体验。
进一步地,可参照图9,图9为本申请基于音频进行多频道数据传输方法整体流程示意图,具体地,首先通过设备的外置喇叭(播放端)播出预先设置的参考音频数据,进而通过设备自身的前馈mic(接收端)接收参考音频数据,从而计算出参考当前目标场景下的噪音水平以及音频数据对应的距离衰减灵敏度。进一步地,通过第一设备中不同类型的传感器进行采集数据,得到多频道数据,进而基于多叉树规则将所述多频道数据进行音频数据的转换以及将多频道数据组建形成预设通道的音频数据,例如,将MIC音频传感器、VoiceACC音频传感器、IMU惯性传感器采集的数据划分为右通道数据,以及将IR红外线传感器、视觉传感器以及重力传感器采集的数据划分为左通道数据,从而得到双通道的组建音频数据,进而确定参考音频数据的时域水平线,基于所述时域水平线和预先计算得到的噪音水平,生成第一反向噪音水平,进一步地,将所述第一反向噪音水平和所述组建音频数据进行叠加加密,并且为组建音频数据添加上识别标签,得到目标音频数据,进而播出所述目标音频数据,进一步地,通过第二设备的前馈mic(接收端)接收所述目标音频数据,判断所述目标音频数据是否存在添加的识别标签,若不存在,则证明目标音频数据是常规的音频数据(例如,音乐),若存在,则证明目标音频数据是多频道数据形成的音频数据,进而需要对所述目标音频数据进行解密处理,具体地,基于参考音频数据的噪音水平,生成对应的第二反向噪音水平,当接收端用户和播放端用户处在同一环境场景下,第二反向噪音水平与第一反向噪音水平才在一定容忍偏差下相同,从而将第二反向噪音水平作为对所述目标音频数据进行解密的私钥,提高数据传输的安全性,进一步地,由于第一设备通过多叉树规则对多频道数据进行转换与组建,因此,还需根据多叉树规则,对解密后的目标音频数据进行解析,得到第一设备交互的多频道数据,从而无需网络传输,借助音频行书实现不同频道或不同类型的数据传输,进而基于所述多频道数据,可确定不同类型的交互信息,例如,提取MIC音频传感器以及Voice ACC音频传感器采集的数据,可得到音频信息,提取IMU惯性传感器采集的数据,得到惯性信息,提取通过IR红外线传感器以及视觉传感器采集的数据,可确定第一设备的定位信息,更进一步地,基于所述距离衰减灵敏度,对所述定位信息进行校准,得到校准后的定位信息,提高定位的精确度,通过将真实世界的空间关系映射到虚拟场景中,提升用户体验。
参照图10,图10是本申请实施例方案涉及的硬件运行环境的基于音频进行多频道数据传输设备结构示意图。
如图10所示,该基于音频进行多频道数据传输设备可以包括:处理器1001,例如CPU,存储器1005,通信总线1002。其中,通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地,该基于音频进行多频道数据传输设备还可以包括矩形用户接口、网络接口、相机、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard),可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可包括标准的有线接口、无线接口(如WIFI接口)。
本领域技术人员可以理解,图10中示出的基于音频进行多频道数据传输设备结构并不构成对基于音频进行多频道数据传输设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图10所示,作为一种计算机存储介质的存储器1005中可以包括操作网络通信模块以及基于音频进行多频道数据传输程序。操作装置是管理和控制基于音频进行多频道数据传输硬件和软件资源的程序,支持基于音频进行多频道数据传输程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信,以及与基于音频进行多频道数据传输装置中其它硬件和软件之间通信。
在图10所示的基于音频进行多频道数据传输设备中,处理器1001用于执行存储器1005中存储的基于音频进行多频道数据传输程序,实现上述任一项所述的基于音频进行多频道数据传输方法的步骤。
本申请基于音频进行多频道数据传输设备具体实施方式与上述基于音频进行多频道数据传输方法各实施例基本相同,在此不再赘述。
此外,请参照图11,图11是本申请应用于第一设备的基于音频进行多频道数据传输装置的功能模块示意图,本申请还提供一种基于音频进行多频道数据传输装置,所述基于音频进行多频道数据传输装置应用于第一设备,包括:
获取模块,用于获取目标场景下的多频道数据;
处理模块,用于基于预先设置的音频播放策略,对所述多频道数据进行处理,得到目标音频数据;
播放模块,用于播放所述目标音频数据,以供第二设备接收所述目标音频数据,并对所述目标音频数据进行解析,得到所述多频道数据。
可选地,所述处理模块还用于:
基于预先设置的多叉树规则,对所述多频道数据进行音频数据转换以及组建,得到组建音频数据;
获取预先保存的参考音频数据的噪音水平;
基于所述噪音水平,对所述组建音频数据进行加密,得到所述目标音频数据。
可选地,所述处理模块还用于:
确定所述参考音频数据的时域水平线;
基于所述时域水平线以及所述噪音水平,生成所述参考音频数据的第一反向噪音水平;
将所述第一反向噪音水平和所述组建音频数据进行叠加加密,以及对所述组建音频数据添加预设识别标签,得到所述目标音频数据。
可选地,所述基于音频进行多频道数据传输装置还用于:
在目标场景下播放预先设置的参考音频数据,以供所述第一设备中的接收端接收所述参考音频数据;
基于播放的参考音频数据以及接收的参考音频数据,计算并保存所述参考音频数据的噪音水平和距离衰减灵敏度。
参照图12,图12是本申请应用于第二设备的基于音频进行多频道数据传输装置的功能模块示意图,本申请还提供一种基于音频进行多频道数据传输装置,所述基于音频进行多频道数据传输装置应用于第二设备,包括:
接收模块,用于接收第一设备中播放端播放的目标音频数据;
解析模块,用于基于预先设置的解析策略,将所述目标音频数据进行解析,得到多频道数据。
可选地,所述基于音频进行多频道数据传输装置还用于:
基于所述多频道数据,确定所述第一设备的定位信息;
获取预先保存的参考音频数据对应的距离衰减灵敏度;
基于所述距离衰减灵敏度,对所述定位信息进行校准,得到目标定位信息。
可选地,所述解析模块还用于:
若判定所述目标音频数据存在预设识别标签,则获取预先保存的参考音频数据的噪音水平;
基于所述噪音水平,对所述目标音频数据进行解密;
基于预先设置的多叉树规则,对解密后的目标音频数据进行数据类型的解析回归,得到所述多频道数据。
可选地,所述解析模块还用于:
基于所述噪音水平,生成第二反向噪音水平;
基于所述第二反向噪音水平,对所述目标音频数据进行解密。
本申请基于音频进行多频道数据传输装置的具体实施方式与上述基于音频进行多频道数据传输方法各实施例基本相同,在此不再赘述。
本申请实施例提供了一种存储介质,所述存储介质为计算机可读存储介质,且所述计算机可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的基于音频进行多频道数据传输方法的步骤。
本申请计算机可读存储介质具体实施方式与上述基于音频进行多频道数据传输方法各实施例基本相同,在此不再赘述。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利处理范围内。

Claims (8)

1.一种基于音频进行多频道数据传输方法,其特征在于,所述方法应用于第一设备,所述第一设备至少包括一播放端,所述基于音频进行多频道数据传输方法包括:
获取目标场景下的多频道数据;
基于预先设置的音频播放策略,对所述多频道数据进行处理,得到目标音频数据;
播放所述目标音频数据,以供第二设备接收所述目标音频数据,并对所述目标音频数据进行解析,得到所述多频道数据;
所述基于预先设置的音频播放策略,对所述多频道数据进行处理,得到目标音频数据的步骤包括:
基于预先设置的多叉树规则,对所述多频道数据进行音频数据转换以及组建,得到组建音频数据;
获取预先保存的参考音频数据的噪音水平;
基于所述噪音水平,对所述组建音频数据进行加密,得到所述目标音频数据。
2.如权利要求1所述的基于音频进行多频道数据传输方法,其特征在于,所述基于所述噪音水平,对所述组建音频数据进行融合加密,得到所述目标音频数据的步骤包括:
确定所述参考音频数据的时域水平线;
基于所述时域水平线以及所述噪音水平,生成所述参考音频数据的第一反向噪音水平;
将所述第一反向噪音水平和所述组建音频数据进行叠加加密,以及对所述组建音频数据添加预设识别标签,得到所述目标音频数据。
3.如权利要求1所述的基于音频进行多频道数据传输方法,其特征在于,所述第一设备还至少包括一接收端,所述获取目标场景下的多频道数据的步骤之前,还包括:
在目标场景下播放预先设置的参考音频数据,以供所述第一设备中的接收端接收所述参考音频数据;
基于播放的参考音频数据以及接收的参考音频数据,计算并保存所述参考音频数据的噪音水平和距离衰减灵敏度。
4.一种基于音频进行多频道数据传输方法,其特征在于,所述方法应用于第二设备,所述第二设备至少包括一接收端,所述基于音频进行多频道数据传输方法包括:
接收第一设备中播放端播放的目标音频数据;
基于预先设置的解析策略,将所述目标音频数据进行解析,得到多频道数据;
所述基于预先设置的解析策略,将所述目标音频数据进行解析,得到多频道数据的步骤包括:
获取预先保存的参考音频数据的噪音水平;
基于所述噪音水平,对所述目标音频数据进行解密;
基于预先设置的多叉树规则,对解密后的目标音频数据进行数据类型的解析回归,得到所述多频道数据。
5.如权利要求4所述的基于音频进行多频道数据传输方法,其特征在于,在所述基于预先设置的解析策略,将所述目标音频数据进行解析,得到多频道数据的步骤之后,还包括:
基于所述多频道数据,确定所述第一设备的定位信息;
获取预先保存的参考音频数据对应的距离衰减灵敏度;
基于所述距离衰减灵敏度,对所述定位信息进行校准,得到目标定位信息。
6.如权利要求4所述的基于音频进行多频道数据传输方法,其特征在于,所述基于所述噪音水平,对所述目标音频数据进行解密的步骤包括:
基于所述噪音水平,生成第二反向噪音水平;
基于所述第二反向噪音水平,对所述目标音频数据进行解密。
7.一种基于音频进行多频道数据传输设备,其特征在于,所述基于音频进行多频道数据传输设备包括:存储器、处理器以及存储在存储器上的基于音频进行多频道数据传输程序,
所述基于音频进行多频道数据传输程序被所述处理器执行实现如权利要求1至3或者4至6中任一项所述基于音频进行多频道数据传输方法的步骤。
8.一种存储介质,所述存储介质为计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有基于音频进行多频道数据传输程序,所述基于音频进行多频道数据传输程序被处理器执行实现如权利要求1至3或者4至6中任一项所述基于音频进行多频道数据传输方法的步骤。
CN202210468527.1A 2022-04-29 2022-04-29 基于音频进行多频道数据传输方法、设备及存储介质 Active CN114978356B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210468527.1A CN114978356B (zh) 2022-04-29 2022-04-29 基于音频进行多频道数据传输方法、设备及存储介质
PCT/CN2022/102347 WO2023206795A1 (zh) 2022-04-29 2022-06-29 基于音频进行多频道数据传输方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210468527.1A CN114978356B (zh) 2022-04-29 2022-04-29 基于音频进行多频道数据传输方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114978356A CN114978356A (zh) 2022-08-30
CN114978356B true CN114978356B (zh) 2023-08-29

Family

ID=82980063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210468527.1A Active CN114978356B (zh) 2022-04-29 2022-04-29 基于音频进行多频道数据传输方法、设备及存储介质

Country Status (2)

Country Link
CN (1) CN114978356B (zh)
WO (1) WO2023206795A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078683A (zh) * 2012-12-28 2013-05-01 腾讯科技(深圳)有限公司 一种文件传输方法及系统
CN103973375A (zh) * 2013-02-04 2014-08-06 深圳市凯立德科技股份有限公司 一种信息传输方法及其设备
CN108012263A (zh) * 2016-10-28 2018-05-08 努比亚技术有限公司 一种传输数据的方法及终端
CN111259414A (zh) * 2020-01-10 2020-06-09 苏州浪潮智能科技有限公司 一种文件存储为音频实现加密的方法、装置和设备
CN112272319A (zh) * 2020-09-21 2021-01-26 宇龙计算机通信科技(深圳)有限公司 音视频数据的传输方法、装置、存储介质与电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103138807B (zh) * 2011-11-28 2014-11-26 财付通支付科技有限公司 一种近距离通信实现方法和系统
CN102867525B (zh) * 2012-09-07 2016-01-13 Tcl集团股份有限公司 一种多路音频处理方法、音频播放终端及音频接收装置
US20180098151A1 (en) * 2016-10-03 2018-04-05 Blackfire Research Corporation Enhanced multichannel audio interception and redirection for multimedia devices
KR102277438B1 (ko) * 2016-10-21 2021-07-14 삼성전자주식회사 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치
CN109524004B (zh) * 2018-12-29 2022-03-08 思必驰科技股份有限公司 一种实现多路音频和数据的并行传输的方法、外接式的语音交互装置和系统
CN110972012A (zh) * 2019-11-28 2020-04-07 歌尔股份有限公司 耳机的控制方法以及耳机
CN113924609A (zh) * 2020-04-16 2022-01-11 深圳市大疆创新科技有限公司 音频处理方法及系统、可移动平台、电子设备
CN113641327A (zh) * 2020-05-11 2021-11-12 北京密境和风科技有限公司 音频播放方法、设备、存储介质及装置
CN112399302B (zh) * 2020-11-25 2022-11-18 维沃移动通信有限公司 一种穿戴式音频播放设备的音频播放方法、装置
EP4283891A4 (en) * 2021-01-30 2024-03-06 Huawei Tech Co Ltd DATA TRANSMISSION METHOD AND APPARATUS, ELECTRONIC DEVICE AND STORAGE MEDIUM
CN113596661A (zh) * 2021-07-28 2021-11-02 维沃移动通信有限公司 耳机、反馈降噪方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103078683A (zh) * 2012-12-28 2013-05-01 腾讯科技(深圳)有限公司 一种文件传输方法及系统
CN103973375A (zh) * 2013-02-04 2014-08-06 深圳市凯立德科技股份有限公司 一种信息传输方法及其设备
CN108012263A (zh) * 2016-10-28 2018-05-08 努比亚技术有限公司 一种传输数据的方法及终端
CN111259414A (zh) * 2020-01-10 2020-06-09 苏州浪潮智能科技有限公司 一种文件存储为音频实现加密的方法、装置和设备
CN112272319A (zh) * 2020-09-21 2021-01-26 宇龙计算机通信科技(深圳)有限公司 音视频数据的传输方法、装置、存储介质与电子设备

Also Published As

Publication number Publication date
CN114978356A (zh) 2022-08-30
WO2023206795A1 (zh) 2023-11-02

Similar Documents

Publication Publication Date Title
US10924877B2 (en) Audio signal processing method, terminal and storage medium thereof
US9966084B2 (en) Method and device for achieving object audio recording and electronic apparatus
US20160189728A1 (en) Voice Signal Processing Method and Apparatus
KR20180004950A (ko) 영상처리장치, 영상처리장치의 구동방법 및 컴퓨터 판독가능 기록매체
US9955277B1 (en) Spatial sound characterization apparatuses, methods and systems
US20170147281A1 (en) Privacy protection in collective feedforward
JP2001117587A (ja) マイクロホンアレイを有するボイス制御システム
US20220156036A1 (en) Method for playing audio data, electronic device, and storage medium
Pausch et al. An extended binaural real-time auralization system with an interface to research hearing aids for experiments on subjects with hearing loss
US20210076130A1 (en) An Apparatus, Method and Computer Program for Audio Signal Processing
CN105723459B (zh) 用于改进声频信号的感知的设备和方法
CN114727212B (zh) 音频的处理方法及电子设备
WO2021115006A1 (zh) 保护用户听力的方法、装置和电子设备
EP2941770B1 (en) Method for determining a stereo signal
CN115604628A (zh) 一种基于耳机喇叭频响的滤波器校准方法及装置
Fernandez et al. Enhancing binaural rendering of head-worn microphone arrays through the use of adaptive spatial covariance matching
CN110890100B (zh) 语音增强、多媒体数据采集、播放方法、装置及监控系统
CN114978356B (zh) 基于音频进行多频道数据传输方法、设备及存储介质
Cornelis et al. Reduced-bandwidth multi-channel Wiener filter based binaural noise reduction and localization cue preservation in binaural hearing aids
KR102284811B1 (ko) 인코히어런트 멱등 앰비소닉스 렌더링
CN113766385B (zh) 耳机降噪方法及装置
CN108574905B (zh) 发声装置、音讯传输系统及其音讯分析的方法
US11445324B2 (en) Audio rendering method and apparatus
Fernandez et al. A spatial enhancement approach for binaural rendering of head-worn microphone arrays
US20230352039A1 (en) Audio signal processing method, electronic device and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant