CN115460508A - 一种虚拟场景中音频保真方法、装置及存储介质 - Google Patents

一种虚拟场景中音频保真方法、装置及存储介质 Download PDF

Info

Publication number
CN115460508A
CN115460508A CN202211069923.3A CN202211069923A CN115460508A CN 115460508 A CN115460508 A CN 115460508A CN 202211069923 A CN202211069923 A CN 202211069923A CN 115460508 A CN115460508 A CN 115460508A
Authority
CN
China
Prior art keywords
data
audio data
virtual
virtual agent
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211069923.3A
Other languages
English (en)
Inventor
马士超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LEONIS (BEIJING) INFORMATION TECHNOLOGY CO LTD
Original Assignee
LEONIS (BEIJING) INFORMATION TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LEONIS (BEIJING) INFORMATION TECHNOLOGY CO LTD filed Critical LEONIS (BEIJING) INFORMATION TECHNOLOGY CO LTD
Priority to CN202211069923.3A priority Critical patent/CN115460508A/zh
Publication of CN115460508A publication Critical patent/CN115460508A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Mathematical Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Stereophonic System (AREA)

Abstract

本文涉及音频处理技术领域，尤其是一种虚拟场景中音频保真方法、装置及存储介质，包括：采样虚拟代理当前姿态的头部位置数据以及姿态数据；接收虚拟代理所处虚拟场景中具有方向特征的环境音频数据；将环境音频数据、头部位置数据和姿态数据导入至头部传递公式，生成方向音频数据并发送至真实用户，其中，虚拟代理的姿态根据真实用户的姿态控制指令确定，实现了生成具有表征虚拟代理一系列动作的方向音频数据并发送至真实用户，进而令真实用户的感受与虚拟代理的感受一致，提升了真实用户的体验感。

Description

一种虚拟场景中音频保真方法、装置及存储介质
技术领域
本发明涉及音频处理技术领域，尤其是一种虚拟场景中音频保真方法、装置及存储介质。
背景技术
在当前，头部追踪耳机为一体式，在用户进行使用时，头部追踪耳机通过地磁或陀螺仪检测真实用户的头部运动信息，根据头部运动信息调整音频的输出声压或相位，进而输出具有位置感知的音频。
然而，该头部追踪耳机因需要实际的物理参数检测真实用户的头部运动信息，而虚拟现实中的虚拟代理无法通过物理参数检测头部运动信息，因此不适用于虚拟现实中。
此外，该头部追踪耳机采集到真实用户的头部运动信息只有方位角与俯仰角，无法确定真实用户的高度信息，在虚拟现实的虚拟环境中，由于真实用户的虚拟行为会通过虚拟代理体现，例如弹跳、潜泳、射击或对打，因此现有的头部追踪耳机无法还原虚拟代理的一系列动作，导致虚拟代理与真实用户的感受被割裂，影响真实用户的体验感。
发明内容
针对现有技术的上述问题，本文的目的在于，提供一种虚拟场景中音频保真方法、装置及存储介质，以解决现有技术中头部追踪耳机无法还原虚拟代理的一系列动作，导致虚拟代理与真实用户的感受被割裂，影响真实用户的体验感的问题。
为了解决上述技术问题，本文的具体技术方案如下：
一方面，本文提供一种虚拟场景中音频保真方法，包括：
采样虚拟代理当前姿态的头部位置数据以及姿态数据；
接收所述虚拟代理所处虚拟场景中具有方向特征的环境音频数据；
将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式，生成方向音频数据并发送至真实用户，其中，所述虚拟代理的姿态根据所述真实用户的姿态控制指令确定。
作为本文的一个实施例，所述将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式，生成方向音频数据并发送至真实用户，进一步包括：
分别确定所述环境音频数据中每一帧数据对应的音频初始坐标、头部位置数据对应的方向角和俯仰角以及姿态数据对应的空间坐标；
将所述音频初始坐标、所述方向角、所述俯仰角和所述空间坐标导入所述头部传递公式，生成所述方向音频数据并发送至真实用户。
作为本文的一个实施例，所述空间坐标包括左空间坐标和右空间坐标；
所述将所述音频初始坐标、所述方向角、所述俯仰角和所述空间坐标导入所述头部传递公式，生成所述环境音频数据并发送至真实用户，进一步包括：
将所述音频初始坐标、所述方向角、所述俯仰角和所述左空间坐标导入至所述头部传递公式，生成左声道数据；
将所述左声道数据通过左声道发送至所述真实用户；
将所述音频初始坐标、所述方向角、所述俯仰角和所述右空间坐标导入至所述头部传递公式，生成右声道数据；
将所述右声道数据通过右声道发送至所述真实用户。
作为本文的一个实施例，所述头部传递公式根据约束条件以及声压函数确定，包括：
Figure BDA0003829462170000021
其中，
Figure BDA0003829462170000022
为所述约束条件，D为约束边界，V为约束边界内，P(r，k)为声压函数，k为波数，
Figure BDA0003829462170000023
为边界法向的方向导数，r0为音频初始坐标，r包括所述方向角和所述俯仰角，r′为所述空间坐标；i为空气介质的密度，ω为角频率，ρ为单位时间内变化的相角弧度值；
G为格林函数，定义为G(r1,r2,k)＝-exp(ik|r1-r2|)/4π|r1-r2|；其中r1和r2为任一点坐标，r1和r2∈r，r0，r′。
作为本文的一个实施例，在所述将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式，生成方向音频数据并发送至真实用户之前，包括：
将初始环境音频数据转换到频域，得到频域的初始环境音频数据；
将所述频域的初始环境音频数据进行低通滤波；
将低通滤波后的所述频域的初始环境音频数据转换到时域，得到所述环境音频数据。
作为本文的一个实施例，还包括：
当第一虚拟代理与第二虚拟代理发生交互时；
获取初始交互音频数据、所述第一虚拟代理的第一方向角和第一俯仰角和所述第二虚拟代理的第二方向角和第二俯仰角，其中所述初始交互音频数据具有交互位置坐标；
将所述初始交互音频数据、所述第一虚拟代理的第一方向角和第一俯仰角以及所述第一虚拟代理的姿态数据导入至所述头部传递公式，生成第一交互音频数据并发送至第一虚拟代理对应的第一真实用户，其中所述第一虚拟代理的姿态与所述第一真实用户的姿态对应；
将所述初始交互音频数据、所述第二虚拟代理的第二方向角和第二俯仰角以及所述第二虚拟代理的姿态数据导入至所述头部传递公式，生成第二交互音频数据并发送至第二虚拟代理对应的第二真实用户，其中所述第二虚拟代理的姿态与所述第二真实用户的姿态对应。
作为本文的一个实施例，所述姿态数据对应的空间坐标的确定方法包括：
获取所述姿态数据中所述虚拟代理所处虚拟场景的坐标方向，以及确定所述虚拟代理在所述虚拟场景中的体积参数和虚拟坐标；
根据所述坐标方向、所述体积参数和所述虚拟坐标确定所述虚拟代理的所述空间坐标。
作为本文的一个实施例，所述根据所述坐标方向、所述体积参数和所述虚拟坐标确定所述虚拟代理的所述空间坐标，进一步包括：
根据公式
Figure BDA0003829462170000031
其中，X、Y和Z为所述坐标方向，L、W和H为所述体积参数，X1、Y1和Z1为所述虚拟坐标，Xr、Yr和Zr为所述虚拟代理的所述空间坐标。
另一方面，本文还提供一种虚拟场景中音频保真装置，包括：
采样单元，用于采样虚拟代理当前姿态的头部位置数据以及姿态数据；
接收单元，用于接收所述虚拟代理所处虚拟场景中具有方向特征的环境音频数据；
合成单元，用于将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式，生成方向音频数据并发送至真实用户，其中，所述虚拟代理的姿态根据所述真实用户的姿态控制指令确定。
另一方面，本文还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现任一项所述的虚拟场景中音频保真方法。
采用上述技术方案，本文通过采样虚拟代理当前姿态的头部位置数据以及姿态数据，实现了获取虚拟代理当前的运动姿态，以及表征运动姿态的头部位置数据以及姿态数据；通过接收所述虚拟代理所处虚拟场景中具有方向特征的环境音频数据，实现了虚拟代理所处虚拟场景具有更强的氛围感；通过将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式，生成方向音频数据并发送至真实用户，其中，所述虚拟代理的姿态根据所述真实用户的姿态控制指令确定，实现了生成具有表征虚拟代理一系列动作的方向音频数据并发送至真实用户，进而令真实用户的感受与虚拟代理的感受一致，提升了真实用户的体验感。
为让本文的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本文实施例一种虚拟场景中音频保真方法的整体系统图；
图2示出了本文实施例控制终端控制示意图；
图3示出了本文实施例虚拟场景与环境声音示意图；
图4示出了本文实施例虚拟场景与环境声音示意图；
图5示出了本文实施例一种虚拟场景中音频保真方法的步骤示意图；
图6示出了本文实施例虚拟代理之间的交互示意图；
图7示出了本文实施例空间坐标示意图；
图8示出了本文实施例一种虚拟场景中音频保真装置示意图；
图9示出了本文实施例计算机设备示意图。
附图符号说明：
101、控制终端；
102、VR眼镜；
103、游戏机；
104、双声道耳机；
1031、虚拟空间；
1032、虚拟代理；
1032A、第一虚拟代理；
1032B、第二虚拟代理；
1033、环境声音；
1034、交互音频；
801、采样单元；
802、接收单元；
803、合成单元；
902、计算机设备；
904、处理器；
906、存储器；
908、驱动机构；
910、输入/输出模块；
912、输入设备；
914、输出设备；
916、呈现设备；
918、图形用户接口；
920、网络接口；
922、通信链路；
924、通信总线。
具体实施方式
下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。
需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
如图1所示一种虚拟场景中音频保真方法的整体系统图，包括：控制终端101、VR眼镜102、游戏机103和双声道耳机104。
如图2所示控制终端控制示意图，控制终端101，用于向游戏机103发送姿态控制指令，该姿态控制指令可以控制在游戏机103的虚拟空间1031中的虚拟代理1032进行跑、走、跳跃、射击或者打斗等动作。在本文中控制终端101可以为背夹手柄、线性游戏手柄或游戏机手柄等。
VR眼镜102，用于接收游戏机103的数据包，该数据包包括虚拟代理1032当前的姿态数据以及虚拟代理1032所处的虚拟场景的场景数据，VR眼镜102解码数据包以展示虚拟代理1032的姿态图像以及与虚拟场景交互的图像。用户可以通过佩戴VR眼镜102的方式观看姿态图像和虚拟代理1032与虚拟场景交互的图像。
如图3和图4所示虚拟场景与环境声音示意图，游戏机103，用于运行虚拟场景，并在接收到控制终端101发送的姿态控制指令时，运行虚拟代理1032，并通过虚拟代理1032与虚拟场景的交互产生环境音频数据。游戏机103采样每帧图像中虚拟代理1032的头部位置数据和姿态数据。在本文中环境音频数据包括环境声音1033，例如流水声音、撞击声音或摩擦声音等。如图3所示，该环境声音1033具有固定方向，例如固定在虚拟场景的左上角、右上角或者右下角等。如图4所示，当游戏进行到下一帧时，即使虚拟代理1032在虚拟场景中进行前移、后退、上升或下降等，环境声音1033也固定于预设的位置，不会随着虚拟代理1032进行移动。
游戏机103，将每一帧图像对应的环境音频数据，以及当前帧的虚拟代理1032的头部位置数据和姿态数据进行保真计算，得到方向音频数据并发送至双声道耳机104。
具体的，由于虚拟代理1032的体型存在差异，因此游戏机103需要预先确定虚拟代理1032的姿态数据，例如虚拟代理1032的左耳和右耳的距离，通过姿态数据计算每一帧图像中，虚拟代理1032的左耳的左空间坐标和右耳的右空间坐标，以便通过左空间坐标计算得出左声道数据，以及通过右空间坐标计算得出右声道数据。
在本文中，具体的保真计算过程在下述文字部分的音频保真方法中说明。
双声道耳机104，用于接收方向音频数据，本文中的方向音频数据包括左声道数据和右声道数据。双声道耳机104的左声道佩戴于真实用户的左耳，双声道耳机104的右声道佩戴于真实用户的右耳。左声道传递左声道数据至真实用户的左耳，右声道传递右声道数据至真实用户的右耳。
在虚拟现实的虚拟环境中，由于真实用户的虚拟行为会通过姿态控制指令控制虚拟代理体现，例如弹跳、潜泳、射击或对打，因此真实用户与虚拟代理的行为不是一致的，所以现有的头部追踪耳机无法还原虚拟代理的一系列动作，导致虚拟代理与真实用户的感受被割裂，影响真实用户的体验感。
为了解决上述问题，本文实施例提供了一种虚拟场景中音频保真方法，能够解决头部追踪耳机无法还原虚拟代理的一系列动作，导致虚拟代理与真实用户的感受被割裂，影响真实用户的体验感的问题，图5是本文实施例提供的一种虚拟场景中音频保真方法的步骤示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或装置产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。具体的如图5所示，所述方法可以包括：
步骤501、采样虚拟代理当前姿态的头部位置数据以及姿态数据。
步骤502、接收所述虚拟代理所处虚拟场景中具有方向特征的环境音频数据。
步骤503、将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式，生成方向音频数据并发送至真实用户，其中，所述虚拟代理的姿态根据所述真实用户的姿态控制指令确定。
采用上述方式，通过采样虚拟代理当前姿态的头部位置数据以及姿态数据，实现了获取虚拟代理当前的运动姿态，以及表征运动姿态的头部位置数据以及姿态数据；通过接收所述虚拟代理所处虚拟场景中具有方向特征的环境音频数据，实现了虚拟代理所处虚拟场景具有更强的氛围感；通过将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式，生成方向音频数据并发送至真实用户，其中，所述虚拟代理的姿态根据所述真实用户的姿态控制指令确定，实现了生成具有表征虚拟代理一系列动作的方向音频数据并发送至真实用户，进而令真实用户的感受与虚拟代理的感受一致，提升了真实用户的体验感。
作为本文的一个实施例，所述将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式，生成方向音频数据并发送至真实用户，进一步包括：
分别确定所述环境音频数据中每一帧数据对应的音频初始坐标、头部位置数据对应的方向角和俯仰角以及姿态数据对应的空间坐标；
将所述音频初始坐标、所述方向角、所述俯仰角和所述空间坐标导入所述头部传递公式，生成所述方向音频数据并发送至真实用户。
在本文中，根据时序对音频数据进行分片处理，在本文中每一帧数据可以为33-48毫秒。
在本文中，环境音频数据为预先处理完成的音频数据，其每一帧数据都标注了其在虚拟环境中的播放位置，如图3和图4所示的两帧数据中，该环境音频数据的播放位置均为虚拟空间中的左上角。
在本文中，倾角和方向角是根据虚拟代理的人头的纵向和横向的两个条轴线确定，由于人头的倾角和方向角的概念较为易于理解，因此本文在此不再赘述。
在本文中，空间坐标是相对坐标，在确定空间坐标时，首先需要在当前数据帧的虚拟空间中建立坐标系，通过临时建立的坐标系确定虚拟代理的坐标，并记作相对坐标。在本文中，连续的两个坐标的坐标系可以是统一的，例如连续的两个数据帧的坐标系皆为笛卡尔坐标系或者球坐标系。本文对此不做限定。
在本文中方向音频数据具有左右两个声道的音频数据，该方向音频数据具有不同的声压、相位和幅值，真实用户通过方向音频数据可以体验到虚拟代理所处环境的声音。当然，方向音频数据为数字信号，当方向音频数据发送至真实用户所佩戴的双声道耳机后，双声道耳机将数字信号转换为模拟信号并传递给真实用户。
为了较好的说明真实用户如何通过双声道耳机体验到模拟用户所处的立体声场，本文给出详细的介绍。
作为本文的一个实施例，所述空间坐标包括左空间坐标和右空间坐标；
所述将所述音频初始坐标、所述方向角、所述俯仰角和所述空间坐标导入所述头部传递公式，生成所述环境音频数据并发送至真实用户，进一步包括：
将所述音频初始坐标、所述方向角、所述俯仰角和所述左空间坐标导入至所述头部传递公式，生成左声道数据；
将所述左声道数据通过左声道发送至所述真实用户；
将所述音频初始坐标、所述方向角、所述俯仰角和所述右空间坐标导入至所述头部传递公式，生成右声道数据；
将所述右声道数据通过右声道发送至所述真实用户。
在本步骤中，为了模拟虚拟代理在虚拟环境中所听到的声音，需要根据双耳效应确定虚拟代理的左右耳的距离。例如在虚拟环境中，虚拟代理的两个直线距离为20cm，当环境音频由虚拟代理的正右边播放时，可以令真实用户的右耳先听到声音，然后再令真实用户的左耳听到声音，右耳和左耳之间接收声音的间隔根据20cm计算。
当然，上述举例仅通过声音传递间隔即可计算得到，当环境音频的传播位置为左上、右下或者正上时，需要改变传入真实用户左右耳的方向音频的相位或和幅值，篇幅所限本文不再举例说明。
将所述音频初始坐标、所述方向角、所述俯仰角和所述左空间坐标导入至所述头部传递公式后，即可得到左声道数据。将所述音频初始坐标、所述方向角、所述俯仰角和所述右空间坐标导入至所述头部传递公式后，即可得到右声道数据。
本文中的左声道数据和右声道数据均与环境音频数据相似，但左声道数据和右声道数据之间的声压、相位和幅值至少存在一个不同。
作为本文的一个实施例，所述头部传递公式根据约束条件以及声压函数确定，包括：
Figure BDA0003829462170000101
其中，
Figure BDA0003829462170000102
为所述约束条件，D为约束边界，V为约束边界内，P(r，k)为声压函数，k为波数，
Figure BDA0003829462170000103
为边界法向的方向导数，r0为音频初始坐标，r包括所述方向角和所述俯仰角，r′为所述空间坐标；i为空气介质的密度，ω为角频率，ρ为单位时间内变化的相角弧度值；
G为格林函数，定义为G(r1,r2,k)＝-exp(ik|r1-r2|)/4π|r1-r2|；其中r1和r2∈r，r0，r′。
将所述音频初始坐标r0、所述方向角、所述俯仰角r和所述左空间坐标r′导入上述的头部传递公式C(r)P(r,k)，即可得到左声道数据。
将所述音频初始坐标r0、所述方向角、所述俯仰角r和所述左空间坐标r′导入上述的头部传递公式C(r)P(r,k)，即可得到右声道数据。
作为本文的一个实施例，在所述将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递函数，生成方向音频数据并发送至真实用户之前，包括：
将初始环境音频数据转换到频域；
将频域的所述初始环境音频数据进行低通滤波；
将低通滤波后的所述初始环境音频数据转换到时域，得到所述环境音频数据。
在本步骤中，由于低频数据没有方向性，为了降低计算量，本文先通过低通滤波器进行信号采样。
首先，本文的游戏机获取的是初始环境音频，其中包括低频部分和高频部分，在本文中，低频部分为音频低于80hz以下的部分。将初始环境音频数据通过奈奎斯特采样定理进行离散处理，将离散的初始环境音频数据进行傅里叶变换，得到频域中的离散的初始环境音频数据，选择切比雪夫一阶滤波器或切比雪夫二阶滤波器进行滤波处理，将80hz以下的音频去除，然后再进行傅里叶反变换以及根据奈奎斯特采样定理将离散信号变为连续信号，即得到本文中的环境音频数据。
为了保证真实用户的游戏体验感，本文还可以模拟虚拟代理间进行交互的声音，例如两个模拟虚拟代理之间进行打斗的声音、跑步的声音或对话的声音等。为了方便说明，本文将两个虚拟代理作为第一虚拟代理和第二虚拟代理。
作为本文的一个实施例，当第一虚拟代理与第二虚拟代理发生交互时；
获取初始交互音频数据、所述第一虚拟代理的第一方向角和第一俯仰角和所述第二虚拟代理的第二方向角和第二俯仰角，其中所述初始交互音频数据具有交互位置坐标；
将所述初始交互音频数据、所述第一虚拟代理的第一方向角和第一俯仰角以及所述第一虚拟代理的姿态数据导入至所述头部传递函数，生成第一交互音频数据并发送至第一虚拟代理对应的第一真实用户，其中所述第一虚拟代理的姿态与所述第一真实用户的姿态对应；
将所述初始交互音频数据、所述第二虚拟代理的第二方向角和第二俯仰角以及所述第二虚拟代理的姿态数据导入至所述头部传递函数，生成第二交互音频数据并发送至第二虚拟代理对应的第二真实用户，其中所述第二虚拟代理的姿态与所述第二真实用户的姿态对应。
如图6所示虚拟代理之间的交互示意图，在图6为一帧画面，在图6中第一虚拟代理1032A与第二虚拟代理1032B之间产生了交互音频1034，此时游戏机获取交互音频1034对应的初始交互音频数据、第一虚拟代理1032A的第一方向角和第一俯仰角以及所述第一虚拟代理的姿态数据导入至所述头部传递函数，计算得到第一虚拟代理1032A所处位置应该听到的第一交互音频数据。此外，游戏机还获取交互音频1034对应的初始交互音频数据、所述第二虚拟代理1032B的第二方向角和第二俯仰角以及所述第二虚拟代理1032B的姿态数据导入至所述头部传递函数，计算得到第二虚拟代理1032B所处位置应该听到的第二交互音频数据。
然后游戏机同上述双声道处理过程将第一交互音频数据发送至第一虚拟代理1032A对应的真实用户，并同时将第二交互音频数据发送至第二虚拟代理1032B对应的真实用户。
作为本文的一个实施例，所述姿态数据对应的空间坐标的确定方法包括：
获取所述姿态数据中所述虚拟代理所处虚拟场景的坐标方向，以及确定所述虚拟代理在所述虚拟场景中的体积参数和虚拟坐标；
根据所述坐标方向、所述体积参数和所述虚拟坐标确定所述虚拟代理的所述空间坐标。
在本步骤中，由于游戏需要保证帧数以提升真实用户的体验感，因此无法持续跟踪获取虚拟代理的空间坐标，为了提升计算机的运算速度，本文中的虚拟代理的空间坐标可以是采用截图当前图像，并根据虚拟代理与整张图像的比例进行计算。
如图7所示空间坐标示意图，在图7中，将每一帧包括虚拟环境以及虚拟代理的图像导入至坐标系中。首先确定虚拟代理的L、W和H体积参数，然后确定在图像中根据坐标系确定图像的边界，根据边界划定比例，即每一单位长度的虚拟代理对应坐标系的单位长度，得到虚拟代理与坐标系的空间比例，若游戏机中坐标系的边界为(100,100,100)，则可以通过比例和边界确定虚拟代理的空间坐标。
具体的，所述根据所述坐标方向、所述体积参数和所述虚拟坐标确定所述虚拟代理的所述空间坐标，进一步包括：
根据公式
Figure BDA0003829462170000121
其中，X、Y和Z为所述坐标方向，L、W和H为所述体积参数，X1、Y1和Z1为所述虚拟坐标，Xr、Yr和Zr为所述虚拟代理的所述空间坐标。
如图8所示一种虚拟场景中音频保真装置示意图，包括：
采样单元801，用于采样虚拟代理当前姿态的头部位置数据以及姿态数据；
接收单元802，用于接收所述虚拟代理所处虚拟场景中具有方向特征的环境音频数据；
合成单元803，用于将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递函数，生成方向音频数据并发送至真实用户，其中，所述虚拟代理的姿态根据所述真实用户的姿态控制指令确定。
采用上述技术方案，通过采样单元，实现了获取虚拟代理当前的运动姿态，以及表征运动姿态的头部位置数据以及姿态数据；通过接收单元，实现了虚拟代理所处虚拟场景具有更强的氛围感；通过合成单元，实现了生成具有表征虚拟代理一系列动作的方向音频数据并发送至真实用户，进而令真实用户的感受与虚拟代理的感受一致，提升了真实用户的体验感。
如图9所示，为本文实施例提供的一种计算机设备，所述计算机设备运行本文的虚拟场景中音频保真方法，所述计算机设备902可以包括一个或多个处理器904，诸如一个或多个中央处理单元(CPU)，每个处理单元可以实现一个或多个硬件线程。计算机设备902还可以包括任何存储器906，其用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的，比如，存储器906可以包括以下任一项或多种组合：任何类型的RAM，任何类型的ROM，闪存设备，硬盘，光盘等。更一般地，任何存储器都可以使用任何技术来存储信息。进一步地，任何存储器可以提供信息的易失性或非易失性保留。进一步地，任何存储器可以表示计算机设备902的固定或可移除部件。在一种情况下，当处理器904执行被存储在任何存储器或存储器的组合中的相关联的指令时，计算机设备902可以执行相关联指令的任一操作。计算机设备902还包括用于与任何存储器交互的一个或多个驱动机构908，诸如硬盘驱动机构、光盘驱动机构等。
计算机设备902还可以包括输入/输出模块910(I/O)，其用于接收各种输入(经由输入设备912)和用于提供各种输出(经由输出设备914)。一个具体输出机构可以包括呈现设备916和相关联的图形用户接口(GUI)918。在其他实施例中，还可以不包括输入/输出模块910(I/O)、输入设备912以及输出设备914，仅作为网络中的一台计算机设备。计算机设备902还可以包括一个或多个网络接口920，其用于经由一个或多个通信链路922与其他设备交换数据。一个或多个通信总线924将上文所描述的部件耦合在一起。
通信链路922可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信链路922可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。
对应于图5中的方法，本文实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
本文实施例还提供一种计算机可读指令，其中当处理器执行所述指令时，其中的程序使得处理器执行如图5所示的方法。
应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。
还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本文中应用了具体实施例对本文的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本文的方法及其核心思想；同时，对于本领域的一般技术人员，依据本文的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本文的限制。

Claims (10)

1.一种虚拟场景中音频保真方法，其特征在于，包括：
采样虚拟代理当前姿态的头部位置数据以及姿态数据；
接收所述虚拟代理所处虚拟场景中具有方向特征的环境音频数据；
将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式，生成方向音频数据并发送至真实用户，其中，所述虚拟代理的姿态根据所述真实用户的姿态控制指令确定。
2.根据权利要求1所述的虚拟场景中音频保真方法，其特征在于，所述将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式，生成方向音频数据并发送至真实用户，进一步包括：
分别确定所述环境音频数据中每一帧数据对应的音频初始坐标、头部位置数据对应的方向角和俯仰角以及姿态数据对应的空间坐标；
将所述音频初始坐标、所述方向角、所述俯仰角和所述空间坐标导入所述头部传递公式，生成所述方向音频数据并发送至真实用户。
3.根据权利要求2所述的虚拟场景中音频保真方法，其特征在于，所述空间坐标包括左空间坐标和右空间坐标；
所述将所述音频初始坐标、所述方向角、所述俯仰角和所述空间坐标导入所述头部传递公式，生成所述环境音频数据并发送至真实用户，进一步包括：
将所述音频初始坐标、所述方向角、所述俯仰角和所述左空间坐标导入至所述头部传递公式，生成左声道数据；
将所述左声道数据通过左声道发送至所述真实用户；
将所述音频初始坐标、所述方向角、所述俯仰角和所述右空间坐标导入至所述头部传递公式，生成右声道数据；
将所述右声道数据通过右声道发送至所述真实用户。
4.根据权利要求2所述的虚拟场景中音频保真方法，其特征在于，所述头部传递公式根据约束条件以及声压函数确定，包括：
Figure FDA0003829462160000021
其中，
Figure FDA0003829462160000022
为所述约束条件，D为约束边界，V为约束边界内，P(r，k)为声压函数，k为波数，
Figure FDA0003829462160000023
为边界法向的方向导数，r0为音频初始坐标，r包括所述方向角和所述俯仰角，r′为所述空间坐标；i为空气介质的密度，ω为角频率，ρ为单位时间内变化的相角弧度值；
G为格林函数，定义为G(r1,r2,k)＝-exp(ik|r1-r2|)/4π|r1-r2|；其中r1和r2为任一点坐标，r1和r2∈r，r0，r′。
5.根据权利要求1所述的虚拟场景中音频保真方法，其特征在于，在所述将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式，生成方向音频数据并发送至真实用户之前，包括：
将初始环境音频数据转换到频域，得到频域的初始环境音频数据；
将所述频域的初始环境音频数据进行低通滤波；
将低通滤波后的所述频域的初始环境音频数据转换到时域，得到所述环境音频数据。
6.根据权利要求1所述的虚拟场景中音频保真方法，其特征在于，还包括：
当第一虚拟代理与第二虚拟代理发生交互时；
获取初始交互音频数据、所述第一虚拟代理的第一方向角和第一俯仰角和所述第二虚拟代理的第二方向角和第二俯仰角，其中所述初始交互音频数据具有交互位置坐标；
将所述初始交互音频数据、所述第一虚拟代理的第一方向角和第一俯仰角以及所述第一虚拟代理的姿态数据导入至所述头部传递公式，生成第一交互音频数据并发送至第一虚拟代理对应的第一真实用户，其中所述第一虚拟代理的姿态与所述第一真实用户的姿态对应；
将所述初始交互音频数据、所述第二虚拟代理的第二方向角和第二俯仰角以及所述第二虚拟代理的姿态数据导入至所述头部传递公式，生成第二交互音频数据并发送至第二虚拟代理对应的第二真实用户，其中所述第二虚拟代理的姿态与所述第二真实用户的姿态对应。
7.根据权利要求1所述的虚拟场景中音频保真方法，其特征在于，所述姿态数据对应的空间坐标的确定方法包括：
获取所述姿态数据中所述虚拟代理所处虚拟场景的坐标方向，以及确定所述虚拟代理在所述虚拟场景中的体积参数和虚拟坐标；
根据所述坐标方向、所述体积参数和所述虚拟坐标确定所述虚拟代理的所述空间坐标。
8.根据权利要求7所述的虚拟场景中音频保真方法，其特征在于，所述根据所述坐标方向、所述体积参数和所述虚拟坐标确定所述虚拟代理的所述空间坐标，进一步包括：
根据公式
Figure FDA0003829462160000031
其中，X、Y和Z为所述坐标方向，L、W和H为所述体积参数，X1、Y1和Z1为所述虚拟坐标，Xr、Yr和Zr为所述虚拟代理的所述空间坐标。
9.一种虚拟场景中音频保真装置，其特征在于，包括：
采样单元，用于采样虚拟代理当前姿态的头部位置数据以及姿态数据；
接收单元，用于接收所述虚拟代理所处虚拟场景中具有方向特征的环境音频数据；
合成单元，用于将所述环境音频数据、所述头部位置数据和所述姿态数据导入至头部传递公式，生成方向音频数据并发送至真实用户，其中，所述虚拟代理的姿态根据所述真实用户的姿态控制指令确定。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的虚拟场景中音频保真方法。
CN202211069923.3A 2022-09-02 2022-09-02 一种虚拟场景中音频保真方法、装置及存储介质 Pending CN115460508A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211069923.3A CN115460508A (zh) 2022-09-02 2022-09-02 一种虚拟场景中音频保真方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211069923.3A CN115460508A (zh) 2022-09-02 2022-09-02 一种虚拟场景中音频保真方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115460508A true CN115460508A (zh) 2022-12-09

Family

ID=84301883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211069923.3A Pending CN115460508A (zh) 2022-09-02 2022-09-02 一种虚拟场景中音频保真方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115460508A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116610282A (zh) * 2023-07-18 2023-08-18 北京万物镜像数据服务有限公司 一种数据处理方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116610282A (zh) * 2023-07-18 2023-08-18 北京万物镜像数据服务有限公司 一种数据处理方法、装置及电子设备
CN116610282B (zh) * 2023-07-18 2023-11-03 北京万物镜像数据服务有限公司 一种数据处理方法、装置及电子设备

Similar Documents

Publication Publication Date Title
WO2018196469A1 (zh) 声场的音频数据的处理方法及装置
CN107735152B (zh) 用于虚拟现实(vr)观看的扩展视野重新渲染
CN107103801B (zh) 远程三维场景互动教学系统及控制方法
US10726625B2 (en) Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
US20200382747A1 (en) Enhanced Audiovisual Multiuser Communication
US20160225188A1 (en) Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment
US20210112361A1 (en) Methods and Systems for Simulating Acoustics of an Extended Reality World
JP7210602B2 (ja) オーディオ信号の処理用の方法及び装置
JP2022538714A (ja) 人工現実環境のためのオーディオシステム
JP3623415B2 (ja) 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体
TW201640921A (zh) 虛擬實境音訊系統與其中播放器、以及虛擬實境音訊的產生方法
CN115460508A (zh) 一种虚拟场景中音频保真方法、装置及存储介质
CN108269460B (zh) 一种电子屏幕的阅读方法、系统及终端设备
JP2024069464A (ja) 反響利得正規化
EP2961503B1 (en) Method for reproducing an item of audiovisual content having haptic actuator control parameters and device implementing the method
WO2019116689A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR101963244B1 (ko) 현실 음향을 반영한 증강 현실 3차원 음향 구현 시스템 및 프로그램
JP5860629B2 (ja) 音源定位制御プログラムおよび音源定位制御装置
JP7402185B2 (ja) 低周波数チャネル間コヒーレンス制御
JP6651231B2 (ja) 携帯情報端末、情報処理装置、及びプログラム
JP2007050267A (ja) 音像定位技術を利用したゲーム装置び音像定位プログラムの記録された記録媒体
JP2018152834A (ja) 仮想聴覚環境において音声信号出力を制御する方法及び装置
EP3506661A1 (en) An apparatus, method and computer program for providing notifications
JP6499805B2 (ja) 映像表示装置および映像表示方法
WO2023173285A1 (zh) 音频处理方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination