CN109753847B - 一种数据的处理方法以及ar设备 - Google Patents

Abstract

本申请实施例公开了一种数据的处理方法以及AR设备，用于通过声学方法获取AR设备所处环境的布局结构信息。本申请实施例方法包括：将预存的第一数字信号经数模变换后得到测试模拟信号，并控制AR设备上的扬声器播放该测试模拟信号对应的声波；之后通过AR设备上的麦克风获取声波经传播后的反馈声波对应的反馈模拟信号，并将反馈模拟信号经模数变换得到第二数字信号；最后根据第一数字信号以及第二数字信号确定声波的传播距离，并进一步根据传播距离确定AR设备所处环境的布局结构信息。在本申请实施例中，AR设备仅利用AR设备上的扬声器和麦克风得到布局结构信息，不依赖室内光线的强弱和视觉的大小，使用场景广泛。

Description

一种数据的处理方法以及AR设备

技术领域

本申请涉及增强现实(英文缩写：AR，英文全称：Augmented Reality)领域，尤其涉及一种数据的处理方法以及AR设备。

背景技术

当前关于AR领域的研究非常广泛。AR设备除了要接收现实世界的信息，还需要模拟AR的音视频体验。例如图1的远程会议应用场景，从佩戴AR设备的用户I角度看(用户I位于人物E的正对面，图1中未示出)，只有人物A是真实与会者，其余人物B至H均为远程虚拟与会者。此外，用户I不仅可以通过佩戴的AR设备看到远程虚拟与会者B至H，当B至H中的任意一人发言时，AR设备还可以模拟发言者的声音从对应方位传播过来并经过会议室的桌面、墙面等AR设备所处环境的实体反射后的效果，之后通过逼真的音频渲染技术对现实或虚拟环境的混响效果进行渲染，以使佩戴AR设备的用户I进一步增加真实感。

AR设备模拟虚拟场景的声音传播就需要知道AR设备所处环境的布局结构信息，之后才能根据获取到的布局结构信息进行房间建模，得到房间几何结构后才能通过音频渲染技术对虚拟音频进行渲染。目前AR设备获取这些布局结构信息需要与视觉传感器配合，通过使用视觉传感器(例如深度摄像机、多摄像机)对房间进行扫描得到。

AR设备通过使用视觉传感器进行扫描会受限于室内光线条件和传感器的视角宽度。例如，在光线较暗的环境下无法获得准确的环境的布局结构信息；且由于视觉传感器的视角有限，导致获取的环境的布局结构信息也不全面。例如，对角落或头顶等视觉死角无法获取足够的视觉数据进行房间建模，从而遗漏天花板，地板、角落等。

发明内容

本申请实施例提供了一种数据的处理方法以及AR设备，用于通过声学方法获取AR设备所处环境的布局结构信息。

有鉴于此，本申请实施例第一方面提供一种数据的处理方法，该方法应用于AR设备，该AR设备包括扬声器以及麦克风，该方法可以包括：

将预存的第一数字信号经数模变换后得到测试模拟信号，该第一数字信号可以是一个声学测试信号，AR设备将预存的第一数字信号经过数模变换后，得到测试模拟信号，该测试模拟信号可以是音频信号，之后AR设备控制扬声器播放该测试模拟信号对应的声波。AR设备通过扬声器播放的声波在AR设备所处的环境内(如家里、会议室等)进行传播，最终达到位于AR设备上的麦克风，并通过该麦克风获取到声波经传播后的反馈声波对应的反馈模拟信号，AR设备通过麦克风获取到反馈模拟信号之后，将该反馈模拟信号进行模数变换，即得到第二数字信号，并进一步根据第一数字信号以及第二数字信号确定扬声器播放的声波的传播距离，最后根据传播距离确定AR设备所处环境的布局结构信息。

在本申请实施例中，通过AR设备上的扬声器以及麦克风获取到数字信号，并进一步对获取的数字信号进行相应的运算，通过声学的方法确定AR设备所处环境的布局结构信息，不依赖室内光线的强弱和视觉的大小，使用场景广泛。

结合本申请实施例第一方面，在本申请实施例第一方面的第一种实施方式中，根据第一数字信号以及第二数字信号确定该声波的传播距离可以包括：

根据第一数字信号以及第二数字信号确定扬声器所播放的声波的传播时长，再根据声音的在空气中的传播公式进行计算得到声波的传播距离。

在本申请实施例中，提供了一种获取声波的传播距离的方式，丰富了AR设备获取声波传播距离的方式。

结合本申请实施例第一方面的第一种实施方式，在本申请实施例第一方面的第二种实施方式中，根据第一数字信号以及第二数字信号确定扬声器所播放的声波的传播时长可以包括：

先对第一数字信号以及第二数字信号进行逆卷积运算，得到AR设备上每一对扬声器和麦克风组合对应的房间冲击响应，该房间冲击响应表示的是AR设备所处环境内混响信息的时域波形，不同环境内、不同扬声器与麦克风的组合的房间冲击响应也不同；之后，对得到的房间冲击响应进行截取，得到第一预设时间区间内的早期冲击响应，并对所截取的早期冲击响应进行自相关运算，得到对应的自相关函数；当自相关函数自变量取某值时，该自相关函数的值大于或者等于预设值，那么该自变量取的某值就作为该传播时长。

在本申请实施例中，通过对获取的第一数字信号以及第二数字信号进行逆卷积运算、截取处理以及自相关运算之后，得到使得自相关函数的值不小于预设值的自相关函数的自变量，并将该自变量作为AR设备播放的声波的传播时长，使得获取声波的传播时长的方式更加灵活。

结合本申请实施例第一方面的第二种实施方式，在本申请实施例第一方面的第三种实施方式中，对早期冲击响应进行自相关运算，得到自相关函数可以包括：

对房间冲击响应进行截取得到的早期冲击响应之后，若该早期冲击响应的采样频率小于预设频率时，则对该早期冲击响应进行上采样，从而得到采样频率大于或者等于上述预设频率的采样后的冲击响应；之后，对该采样后的冲击响应进行自相关运算，得到自相关函数。

在本申请实施例中，当早期冲击响应的采样频率具有极限值(如预设频率)时，则可以通过对该早期冲击响应进行上采样的方式使得采样频率达到该预设频率，具备灵活性，此外，通过设置预设频率也是为了提高后续计算AR设备所处环境的布局结构信息的精度，在一定频率范围内，采样频率越高，则最后计算得到布局结构信息的精度就越高。

结合本申请实施例第一方面的第二种实施方式以及本申请实施例第一方面的第三种实施方式，在本申请实施例第一方面的第四种实施方式中，AR设备所处环境的布局信息可以包括该环境的声音反射面位置信息，并且AR设备上的麦克风数量为n(n≥4)，那么根据模拟传播距离确定AR设备所处环境的布局结构信息可以包括：

通过求解预设方程组确定与扬声器的位置坐标(x，y，z)对应的虚拟声源的位置坐标(x′，y′，z′)，该虚拟声源是扬声器以AR设备所处环境的声音反射面为参照的镜像，若AR设备上的扬声器有多个，那么对应的虚拟声源也就有多个，该预设方程组可以包括：

其中，i为正整数，1≤i≤n，i为麦克风的序号，S_i为序号为i的麦克风与扬声器对应的自相关函数的值大于或者等于预设值的自相关函数的自变量，(x_i，y_i，z_i)为序号为i的麦克风的位置坐标，d_i(S_i)为以S_i作为声波的传播时长计算得到的声波的传播距离。

由于麦克风和扬声器是设置在AR设备上的，因此AR设备上各个麦克风和扬声器的位置坐标是已知的，据此就可以确定虚拟声源的位置坐标，而由于虚拟声源的位置坐标(x′，y′，z′)为未知，且具有三个未知数，因此要求AR设备上至少需要4个麦克风(即n≥4)来同时获取反馈模拟信号；在确定虚拟声源的位置坐标(x′，y′，z′)之后，再确定(x，y，z)与(x′，y′，z′)连线的中垂面信息为AR设备所处环境的声音反射面位置信息。

在本申请实施例中，通过确定虚拟声源的位置坐标(x′，y′，z′)，并进一步确定虚拟声源的位置坐标(x′，y′，z′)与呈镜像对称关系的扬声器(x，y，z)连线的中垂面信息为AR设备所处环境的声音反射面位置信息，增加了获取AR设备所处环境的声音反射面位置信息的方式。

结合本申请实施例第一方面的第四种实施方式，在本申请实施例第一方面的第五种实施方式中，该方法还可以包括：

确定序号为i的麦克风与扬声器对应的自相关函数的值大于或者等于预设值的自相关函数的自变量S_i之后，则以S_i为区域中心，确定出一个区域范围[S_i-T，S_i+T]，并将该区域范围内的早期冲击响应从时域变换到频域之后进行频谱分析，以得到AR设备所处环境的声音反射面的声学反射参数。

在本申请实施例中，通过对序号为i的麦克风对应的早期冲击响应中区域范围为[S_i-T，S_i+T]的冲击响应进行频谱分析，得到AR设备所处环境的声音反射面的声学反射参数，能真实反映所处环境的声音反射面的声学特性。视觉传感器无法区分该声音反射面是真实材料时的声学反射参数与该声音反射面是与真实材料纹理相同的图案时的声学反射参数的不同，而本申请实施例可以弥补视觉传感器错误的估计AR设备所处环境的声音反射面的声学反射参数的缺陷，不会被声音反射面的表面纹理所干扰。

结合本申请实施例中第一方面、本申请实施例第一方面的第一种实施方式至本申请实施例第一方面的第五种实施方式，在本申请实施例第一方面的第六种实施方式中，AR设备所处环境的布局结构信息可以包括：AR设备所处环境内的实体平面和/或实体曲面的位置信息。

在本申请实施例中，将AR设备所处环境的布局结构信息进一步具体为AR设备所处环境的实体平面和/或实体曲面的位置信息，更具有针对性。

本申请实施例第二方面提供一种数据的处理方法，该方法应用于AR设备，该AR设备包括扬声器以及麦克风，该方法可以包括：

获取该AR设备所处环境的布局结构信息，AR设备所处环境的布局结构信息由视觉传感器获取到，可以是在AR设备的校准阶段或AR设备建立应用程序的初始化阶段，利用深度摄像头和/或多视角摄像头对所处环境进行扫描，识别出所处环境的布局结构信息，具体此处不做限定；之后，将预存的第一数字信号经数模变换后得到测试模拟信号，并控制扬声器播放测试模拟信号对应的声波；该声波在空气中进行传播被AR设备上的麦克风获取，得到声波经传播后的反馈声波对应的反馈模拟信号，之后将得到的反馈模拟信号进行模数变换，即得到第二数字信号；最后对该第一数字信号、第二数字信号以及一开始获取到的布局结构信息进行运算，得到AR设备所处环境的布局结构材料的声学反射参数。

在本申请实施例中，AR设备已经从由视觉传感器处获取到该AR设备所处环境的布局结构信息，而仅利用该AR设备的扬声器以及麦克风来获取该AR设备所处环境的布局结构材料的声学反射参数，获取方式具有多样性。

结合本申请实施例第二方面，在本申请实施例第二方面的第一种实施方式中，AR设备所处环境的布局结构信息可以包括：

AR设备所处环境内的实体平面和/或实体曲面的位置信息。

在本申请实施例中，将AR设备所处环境的布局结构信息进一步具体为AR设备所处环境的实体平面和/或实体曲面的位置信息，更具有针对性。

将AR设备所处环境的布局结构信息进一步具体为AR设备所处环境内的实体平面和/或实体曲面的位置信息，更具有针对性。

结合本申请实施例第二方面以及本申请实施例第二方面的第一种实施方式，在本申请实施例第二方面的第二种实施方式中，根据第一数字信号、第二数字信号以及布局结构信息确定AR设备所处环境的布局结构材料的声学反射参数可以包括：

根据已经获取到的布局结构信息确定声波的传播时长τ，并对第一数字信号以及第二数字信号进行逆卷积运算，得到每一对扬声器与麦克风组合对应的房间冲击响应，之后对获取到的房间冲击响应进行截取，得到第一预设时间区间内的早期冲击响应；最后以该声波的传播时长τ为区域中心，确定出一个区域范围[τ-T′，τ+T′]，并将该区域范围内的早期冲击响应从时域变换到频域之后进行频谱分析，以得到AR设备所处环境的布局结构材料的声学反射参数。

在本申请实施例中，首先利用视觉传感器采集到AR设备所处环境的布局结构信息，并根据布局结构信息确定声波的传播时长τ，再通过将声波的传播时长τ对应的早期冲击响应中区域范围为[τ-T′，τ+T′]的冲击响应进行频谱分析，得到AR设备所处环境的布局结构材料的声学反射参数，能真实反映所处环境的布局结构材料的声学特性，弥补了视觉传感器无法区分真实的材料和与材料纹理相同的图案而错误估计布局结构材料的声学反射参数的缺陷，不会被布局结构材料的表面纹理所干扰。

本申请实施例第三方面提供一种AR设备，该AR设备包括扬声器以及麦克风，该AR设备具体实现对应于上述数据的处理方法中由该AR设备实现的功能，该功能可以通过硬件实现，也可以通过硬件执行相应的软件程序实现。硬件和软件包括一个或多个与上述功能相对应的单元(包括子单元)和/或模块，该单元和/或模块可以是软件和/或硬件。

本申请实施例第四方面提供一种AR设备，该AR设备包括：

处理器，存储器，总线和输入输出接口，该处理器、存储器和输入输出接口通过该总线连接；该存储器中存储有程序代码，该程序代码用于存储操作指令；该处理器用于调用该存储器中的程序代码时执行本申请实施例中任一项数据的处理方法中的步骤。

本申请实施例第五方面提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得该计算机执行本申请实施例中任一项数据的处理方法中的步骤。

本申请实施例第六方面还提供一种计算机可读存储介质，需要说明的是，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，用于储存为上述相关装置所用的计算机软件指令，当该指令在计算机上运行时，使得计算机执行本申请实施例中任一项数据的处理方法中的步骤。

该存储介质可以是U盘、移动硬盘、只读存储器(英文缩写：ROM，英文全称：Read-Only Memory)、随机存取存储器(英文缩写：RAM，英文全称：Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，具体此处不做限定。

从以上技术方案可以看出，本申请实施例具有以下优点：

将预存的第一数字信号经数模变换后得到测试模拟信号，并控制AR设备上的扬声器播放该测试模拟信号对应的声波；之后通过AR设备上的麦克风获取声波经传播后的反馈声波对应的反馈模拟信号，并将反馈模拟信号经模数变换得到第二数字信号；最后根据第一数字信号以及第二数字信号确定声波的传播距离，并进一步根据传播距离确定AR设备所处环境的布局结构信息。在本申请实施例中，AR设备仅利用AR设备上的扬声器和麦克风获取到的数字信号计算得到AR设备所处环境的布局结构信息，不依赖室内光线的强弱和视觉的大小，使用场景更广泛。

附图说明

图1为本申请实施例中使用AR技术进行远程会议示意图；

图2为本申请实施例中的一种AR设备；

图3为本申请实施例中AR设备获取相关信息的信号链路图；

图4为本申请实施例中数据的处理方法的一个实施例示意图；

图5为本申请实施例中采样频率为48KHz的一个TSP信号示意图；

图6为本申请实施例中一对扬声器和麦克风组合的房间冲击响应的测试图；

图7为本申请实施例中对房间冲击响应进行截取得到的早期冲击响应的测试图；

图8为本申请实施例中对早期冲击响应进行自相关运算确定传播时长的示意图；

图9为本申请实施例中镜面反射对等模型示意图；

图10为本申请实施例中一种AR设备；

图11为本申请实施例中刚球模型示意图；

图12为本申请实施例中数据的处理方法另一实施例示意图；

图13为本申请实施例中AR设备一个实施例示意图；

图14为本申请实施例中AR设备另一实施例示意图；

图15为本申请实施例中AR设备另一实施例示意图；

图16为本申请实施例中AR设备另一实施例示意图；

图17为本申请实施例中AR设备另一实施例示意图；

图18为本申请实施例中AR设备的一个实施例示意图。

具体实施方式

本申请实施例提供了一种数据的处理方法以及AR设备，用于通过声学方法获取AR设备所处环境的布局结构信息。

AR是通过电脑技术将虚拟的信息应用到真实世界，即将图像、声音或其他感官增强功能实时添加到真实世界的环境中，它不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种类型的信息相互补充、叠加，从而提高用户的真实体验。

用户要想“沉浸”在上述虚实结合的环境并想与该环境直接进行自然交互，就必须要通过使用某种特定的装置，这种特定的装置就是AR设备。

在渲染虚拟临场感的各个感官因素中，音频占据着非常重要的比重。业界普遍认为，逼真的音频渲染技术在用户体验中占到50％的重要性。在虚拟音频技术中，除了要对3D空间中的方位进行准确模拟外，还需要对现实或虚拟环境的混响效果进行渲染以进一步增加真实感。模拟虚拟场景的声音传播需要知道AR设备所处环境的布局结构信息以及各反射表面的声学反射参数，如大理石地板和铺了地毯的地板的声学反射参数截然不同，也就会导致声音在其中传播产生的混响效果也截然不同。

基于此，本申请实施例利用现有AR设备的扬声器以及麦克风等声学器件，通过配合扬声器以及麦克风进行信号的采集与处理来获取AR设备所处环境的布局结构信息和/或所处环境的布局结构材料的声学反射参数。如图2所示，该AR设备包括扬声器201和麦克风202，麦克风和扬声器分别可以是多个，此处不做限定。

为便于理解，首先对本申请实施例中AR设备获取该AR设备所处环境的结构信息和/或所处环境的布局结构材料的声学反射参数的信号链路进行描述，具体请参阅图3：

AR设备预存第一数字信号，并通过第一单元303输出该第一数字信号，该第一数字信号经过转换单元304进行数模变换后得到测试模拟信号，该测试模拟信号可以是一个音频信号，该测试模拟信号再在第一单元303的控制下经由AR设备上的扬声器阵列301(扬声器阵列301包括序号分别为1，2…，m的扬声器)播放该测试模拟信号对应的声波。扬声器阵列301播放的声波经过传播，被AR设备的麦克风阵列302(麦克风阵列302包括序号分别为1，2，…，n的麦克风)获取，从而得到与该声波经传播后的反馈声波对应的反馈模拟信号，并进一步通过转换单元304将得到的反馈模拟信号经过模数变换得到第二数字信号，并将该第二数字信号存储在AR设备的第二单元305。第二单元305根据获取到的第二数字信号、第一数字信号(由第二单元305向第一单元303获取到)以及可选的“通过视觉传感器获取环境的布局结构信息”进行运算来获取该AR设备所处环境的布局结构信息和所处环境的布局结构材料的声学反射参数。AR设备所处环境的布局结构信息和所处环境的布局结构材料的声学反射参数传递给环境声学渲染模块306进行音效模拟，输出模拟了该AR设备所处环境音效的模拟音频信号，播放给佩戴该AR设备的用户。需要注意的是，这里的第一单元303具体可以是扬声器控制单元，第二单元具体可以是麦克风处理单元，也可以是AR设备中的其他可实现第一单元303以及第二单元304功能的其他单元/模块，具体此处不做限定。

需要指出的是，在本申请实施例中，如何得到可选的“通过视觉传感器获取环境的布局结构信息”不在本申请实施例所讨论的范围内。在本申请实施例中，在满足条件的情况下，可以通过第三方的技术方案得到“通过视觉传感器获取环境的布局结构信息”。还需要注意的是，环境声学渲染模块306、输入信号(如图3中的指示声源位置的指示信息、声源音频信号)以及输出信号也不在本发明讨论的范围内，该技术方案也可由第三方提供，标记在此处是为了描述一个完整的信号流程以及一个完整的应用场景。

还需要说明的是，第一单元303控制扬声器阵列301播放测试模拟信号对应的声波，可以是按照扬声器的序号依次播放该声波，也可以是随机让每个扬声器播放一次该声波，具体此处不做限定。

还需要说明的是，本申请实施例中的AR设备所处环境的布局结构信息可以包括该所处环境内的实体平面和/或实体曲面的位置信息，也可以是该所处环境内的实体的几何结构信息，具体此处不做限定。

下面具体对AR设备如何利用AR设备自带的扬声器以及麦克风计算得到AR设备所处环境的布局结构信息和/或所处环境的布局结构材料的声学反射参数进行详细说明：

一、AR设备仅利用自带的扬声器以及麦克风得到AR设备所处环境的布局结构信息。

具体请参阅图4，应用于AR设备的数据的处理方法的一个实施例包括：

401、将预存的第一数字信号经数模变换后得到测试模拟信号；

AR设备预先存储第一数字信号，该第一数字信号是一个声学测试信号，可以是TSP信号，TSP信号是一种公知的响应测量信号的信号，如图5所示，是一种采样频率为48KHz的TSP信号；该第一数字信号除了可以是TSP信号之外，也可以是最大长度序列信号(英文缩写：MLS，英文全称：Maximum length sequence)，还可以是正弦扫频信号，具体此处不做限定。

AR设备将预存的第一数字信号经过数模变换后，得到测试模拟信号，该测试模拟信号可以是音频信号。该第一数字信号可以用wav等格式存储于AR设备的存储模块，该存储模块可以是AR设备上的扬声器控制单元，也可以其他存储单元，还可以是AR设备通过接口接入的存储设备，具体此处不做限定。

402、控制扬声器播放测试模拟信号对应的声波；

在AR设备的校准阶段(如：AR设备在进入房间时会对房间进行扫描)或AR设备建立应用程序的初始化阶段(如：佩戴AR设备进行远程会议的建立阶段)，AR设备控制扬声器播放该测试模拟信号对应的声波。AR设备控制扬声器播放该测试模拟信号对应的声波具体可以是：AR设备按照一定的顺序控制扬声器阵列中序号为1，2，…，m的扬声器播放该测试模拟信号对应的声波，这样做的目的是为了在后续对数据的处理过程中，AR设备可以区分出测试模拟信号对应的声波分别是由哪个扬声器发出的。

需要注意的是，在AR设备控制扬声器播放声波之前，还可以包括如下步骤：对AR设备的CPU先上电，上电后加载触摸屏的驱动等等，这些步骤由于不涉及本申请实施例的阐述的技术方案，因此具体此处不做详细说明。

403、通过麦克风获取反馈模拟信号；

AR设备通过扬声器播放的测试模拟信号对应的声波，在AR设备所处的环境内(如家里、会议室等)进行传播，经过所处环境内的不同的实体(如墙面、桌面等)反射后，最终达到位于AR设备上不同位置的序号为1，2，…，n的麦克风，这些被麦克风获取到的信号可称为声波经传播后的反馈声波对应的反馈模拟信号。该反馈模拟信号即包括未经实体反射过的直接被麦克风采集到的模拟信号(可称为直达声)，也包括了经过不同实体、一次或多次反射后被麦克风采集到的模拟信号(可称为反射声)。

404、将反馈模拟信号经模数变换得到第二数字信号；

AR设备通过麦克风获取到反馈模拟信号之后，将该反馈模拟信号进行模数变换，即得到第二数字信号。

405、根据第一数字信号以及第二数字信号确定声波的传播距离；

AR设备对第一数字信号以及第二数字信号进行运算，从而确定扬声器播放的声波的传播距离。

需要说明的是，AR设备确定扬声器播放的声波的传播距离可以先根据第一数字信号以及第二数字信号确定声波的传播时长，再根据声波在空气中的传播公式d＝c·τ计算得到声波的传播距离d，其中，τ为声波的传播时长，c为声波在空气中的传播速度，声波在空气中的传播速度为公知常识，约为340米/秒。AR设备根据该传播速度以及已获得的声波的传播时长进行计算，以得到声波的传播距离。

还需要说明的是，AR设备根据第一数字信号以及第二数字信号确定声波的传播时长可以通过如下第一方式得到：

通过对第一数字信号以及第二数字信号进行逆卷积运算，得到AR设备上每一对扬声器和麦克风组合所对应的房间冲击响应，该逆卷积运算为公知常识，该房间冲击响应表示的是AR设备所处环境内混响信息的时域波形，不同环境内、不同扬声器与麦克风的组合对应的房间冲击响应均不同。在本申请实施例中，AR设备通过上述逆卷积运算，得到每一对扬声器和麦克风组合的房间冲击响应RIR_mn(t)，其中，m为扬声器阵列中目标扬声器的序号，n为麦克风阵列中目标麦克风的序号，t为房间冲击响应的采样点。如图6所示，为一对扬声器和麦克风组合的房间冲击响应RIR_mn(t)：横坐标为样点，纵坐标为样点值(图6中未示出横、纵坐标)，样点表示该房间冲击响应RIR_mn(t)的采样点，以48KHz采样为例，样点间间隔就为1/48000秒，即1秒中有48000个样点。

通过逆卷积运算得到房间冲击响应RIR_mn(t)后，将通过对该房间冲击响应RIR_mn(t)进行截取，得到第一预设时间区间内的早期冲击响应RIR_mn(t)(也可称为早期反射声RIR_mn(t))，其中，t₀＜t＜t₁，t₀与t₁为预设时间点。需要注意的是，AR设备对早期冲击响应RIR_mn(t)如何进行截取可以自行设置，即第一预设时间区间可以自行设置，具体此处不做限定。该第一预设时间区间的一个区间点可以为t₀＝0，如图6中虚线框内的部分即为截取的其中一个区间点为t₀＝0的一对扬声器和麦克风组合冲击响应RIR_mn(t)的早期冲击响应RIR_mn(t)，当将图6中虚线框截取部分进行放大，即为图7所示的早期冲击响应RIR_mn(t)，横坐标为样点，纵坐标为样点值。早期冲击响应RIR_mn(t)是后续对AR设备所处环境进行布局结构分析所需要用到的信号部分。该第一预设时间区间的一个区间点也可以是房间冲击响应RIR_mn(t)自变量t中的任意一个时间点，具体此处不做限定。一般来说，房间冲击响应RIR_mn(t)的样点值在早期时间段具有较高的取值，便于后续的计算，因此第一预设时间区间的一个区间点一般取为t₀＝0。另外，由于通常建筑声学中考虑的早期冲击响应发生在直达声到达麦克风后的50ms至80ms内(由于直达声是直接由AR设备上的扬声器不经过任何反射直接被AR设备上的麦克风获取，传播距离非常短，传播时间也非常短，因此可近似认为直达声的传播时间为0)，考虑到AR设备的应用场景大多发生在日常常见的环境内，如家庭房间、办公室、会议室等，而很少会应用于大型体育场等较大的极端建筑中，因此，可以将该AR设备所处环境进行布局结构分析所需要用到的信号部分设置在直达声到达麦克风后的80ms范围内，即预设时间点t₁可以设置为80ms，也就是截取0至80ms范围内的房间冲击响应RIR_mn(t)作为早期冲击响应RIR_mn(t)，即可以覆盖大多数的应用需求。

AR设备获取到早期冲击响应RIR_mn(t)后，将根据自相关算法对RIR_mn(t)进行自相关运算，得到自相关函数

该自相关算法为：

其中τ≥0；当自相关函数的值的绝对值大于或者等于预设值时，则确定与该自相关函数的值对应的自变量τ_p作为声波的传播时长，据此，本申请实施例就通过上述第一方式获取到声波的传播时长。其中p为正整数，表示满足自相关函数的值的绝对值不小于预设值的自相关函数的自变量的数量，p≥1。例如，若该预设值设为χ，那么若自相关函数

的值中存在

则认为找到了p个对应的自相关函数，每个对应的自相关函数的自变量(即时延，也可称为传播时长)分别为τ₁，τ₂，…，τ_p。需要注意的是，每个满足

的自相关函数的自变量可以是按逆时间顺序依次找到的，此时自变量之间的关系为τ_p＜…＜τ₂＜τ₁；也可以是按自相关函数值的绝对值的大小依次从大到小找到的；还可以是每个满足

的自相关函数的自变量按顺时间顺序依次找到的，此时自变量之间的关系为τ₁＜τ₂＜…＜τ_p，具体此处对如何确定自变量之间的大小关系不做限定。之后，将确定的与该自相关函数的值对应的自变量τ_p代入RIR_mn(t)后，即可以认为代入后得到的早期冲击响应是通过自相关运算得到的对应的目标冲击响应(目标冲击响应也可以称为目标反射声)。

为便于后续的计算，在本申请实施例中，以满足自相关函数的值的绝对值不小于预设值的自相关函数的自变量按顺时间顺序依次找到为例，如图8所示，即为与图7对应的一对扬声器与麦克风组合通过上述第一方式找到的7个目的冲击响应以及对应的7个τ，依次分别为τ₁，τ₂，τ₃，τ₄，τ₅，τ₆，τ₇。需要注意的是，R(τ₁)是与直达声对应，这是因为直达声未经过任何实体反射直接由扬声器传播至麦克风，声波的传播距离最短，因此对应的时延也最短，即与τ₁对应；还需要说明的是，预设值可以根据需要自行设置，例如，当环境噪声较大时，则可以将预设值设置的高一些，当需要获取更多个满足自相关函数的值的绝对值不小于预设值的自相关函数的自变量以便后续计算时得到更精确的测量结果时，则可以将预设值设置的低一些，具体此处不做限定。

还需要说明的是，每一对扬声器与麦克风组合都会得到一组对应的满足自相关函数的值的绝对值不小于预设值的自相关函数的自变量，就可以用S_i表示序号为i的麦克风与扬声器对应的自相关函数的值大于或者等于预设值的自相关函数的自变量，以图7为例，若该麦克风序号为1，根据上述方式确定的自变量就可以分别记为τ_1，1，τ_1，2，τ_1，3，τ_1，4，τ_1，5，τ_1，6，τ_1，7，那么S₁就为上述自变量τ_1，1，τ_1，2，τ_1，3，τ_1，4，τ_1，5，τ_1，6，τ_1，7的取值；若该麦克风序号为i(1≤i≤n)，根据上述方式确定的自变量就可以分别记为τ_i，1，τ_i，2，τ_i，3，τ_i，4，τ_i，5，τ_i，6，τ_i，7，那么S₁就为上述自变量τ_i，1，τ_i，2，τ_i，3，τ_i，4，τ_i，5，τ_i，6，τ_i，7的取值，以此类推，具体此处不再赘述。

可选地，当早期冲击响应RIR_mn(t)的采样频率小于预设频率时，则对该早期冲击响应RIR_mn(t)进行上采样直至采样频率不小于预设频率，可以是预设倍数为k的上采样，具体此处不做限定。经过上采样后得到采样后的冲击响应

例如，AR设备获取的早期冲击响应的采样频率为48KHz，若预设倍数k为8，则通过该上采样后，采样频率就为384KHz。该上采样过程是公知常识，具体此处不做详细说明。需要注意的是，

中的k不是幂的含义，而只是区别RIR_mn(t)的标识。之后，再根据自相关算法

τ≥0对

进行运算，得到自相关函数

需要说明的是，通过设置预设频率，以使得采样频率达到该预设频率，是为了提高后续计算AR设备所处环境的布局结构信息的精度。在一定频率范围内，采样频率越高，则计算得到布局结构信息的精度就越高，但若在该一定频率范围内一味提高采样频率，则会使得计算量过大而出现时延，因此本申请实施例通过设置预设频率来协调精度与计算量过大之间的关系。

还需要说明的是，AR设备确定传播时长除了可以通过上述第一方式得到之外，还可以有由他方式得到，具体此处不做限定。

406、根据传播距离确定AR设备所处环境的布局结构信息。

获取到声波的传播距离之后，AR设备将根据传播距离确定AR设备所处环境的布局结构信息。

需要说明的是，AR设备根据传播距离确定AR设备所处环境的布局结构信息可以通过如下第二方式得到：

为便于说明，以AR设备所处环境为会议室进行说明，如图9所示，假设AR设备是通过上述第一方式测得的一对扬声器和麦克风组合的目标冲击响应RIR_mn(τ_p)中按顺时间顺序确定的第二个目标冲击响应RIR_mn(τ₂)是从扬声器(即声源)，经过墙面反射后，被麦克风接收。根据墙面反射的镜面反射模型，可将扬声器发出的声波经过某个墙面反射的传播路径转换为与声音反射面对称的虚拟声源的虚拟声波直接传播到麦克风的传播路径。

可以根据AR设备的朝向建立一个直角坐标系，由于麦克风和扬声器是设置在AR设备上的，因此麦克风和扬声器的位置坐标是已知的。根据图9中的镜面反射对等模型可知，只要能找到某个目标冲击响应对应的虚拟声源的位置，根据扬声器与虚拟声源连线的中垂面(图9右侧的虚线)，即可找到对应的反射面的位置，根据该反射面的位置即可确定该会议室的一个声音反射面(如：墙面、桌面等)位置信息。下面阐述如何找到目标冲击响应对应的虚拟声源的位置坐标(x′，.y′，z′)。

记序号为1的麦克风的位置坐标为(x₁，y₁，z₁)，序号为2的麦克风的位置坐标为(x₂，y₂，z₂)，序号为i的麦克风的位置坐标为(x_i，y_i，z_i)，序号为n的麦克风的位置坐标为(x_n，y_n，z_n)。其中，下标i为正整数，1≤i≤n，i为麦克风的序号。扬声器的位置坐标为(x，y，z)，且(x，y，z)以声音反射面为参考的镜像为虚拟声源的位置坐标(x′，y′，z′)。同时假设与该虚拟声源对应的目标冲击响应RIR_mn(τ_p)中的自变量τ_p已通过上述自相关运算得到，可用S_i来表示序号为i的麦克风与扬声器对应的自相关函数的值大于或者等于预设值的自相关函数的自变量τ_i，1，τ_i，2，…，τ_i，p中的取值。以S_i作为声波的传播时长，再根据声音的传播公式即可计算得到声波的传播距离

这里，除了(x′，y′，z′)为需要求解的未知量外，其余都是根据现有系统得到、或通过上述步骤观测到的已知量。根据几何关系可得到如下预设方程组：

对该预设方程组进行整理，可得：

其中：

其中，A和

均为已知。通过解超定方程，可解得

由于

有三个未知数，至少需要四个方程。因此要求AR设备上至少需要有4个麦克风获取声波对应的反馈声波的反馈模拟信号，需要注意的是，本申请实施例对AR设备上的这多个麦克风的摆放位置不做要求，但一般来说是在AR设备上围绕人头水平一周均匀摆放，如图10所示的麦克风1，麦克风2，…，麦克风6，均匀摆放的目的是为了使各麦克风采集到差异性大的反馈模拟信号，之后再通过逆卷积计算得到的各麦克风与扬声器组合所对应的房间冲击响应也就具有较大的差异性，使得后续计算AR设备所处环境的布局结构信息更精确。还需要注意的是，若AR设备上的扬声器也具有多个，那么本申请实施例这多个扬声器的摆放位置也不做要求，但一般也是在AR设备上围绕人头水平一周均匀摆放，如图10所示的扬声器1，扬声器2，就可以分别放置在AR设备上的靠近人头左右耳附近的位置。

确定虚拟声源的位置坐标(x′，y′，z′)之后，再根据图9所示的镜面反射对等模型，即可以确定扬声器的位置坐标(x，y，z)与虚拟声源的位置坐标(x′，y′，z′)连线的中垂面为该会议室的一个声音反射面。当序号为i的麦克风与扬声器对应的自相关函数的值大于或者等于预设值的自相关函数的自变量具有多个时，对应的S_i也就可以有多个取值，相应的

也有多个取值，当

取不同值时，上述预设方程组中等式的右边就会有不同的组合

对所有组合

进行上述预设方程组的计算，就可以计算出AR设备所处会议室的所有声音反射面的位置信息，即得到了AR设备所处会议室的布局结构信息。据此，本申请实施例就通过上述第二方式获取到AR设备所处环境的声音反射面位置信息。

需要说明的是，对每组

求解上述超定方程时，

可能无法完全相等，只能求解最小二乘解，因此当求解误差值小于阈值ε时(即

与

的均方差小于阈值ε)，则可以认为成功找到一组

也即成功确定了一个虚拟声源的位置坐标(x′，y′，z′)。据此，本申请实施例就通过上述第二方式获取到AR设备所处环境的声音反射面位置信息。一般来说，在

使用“米”作为计算单位时，实测中一般设置ε＝0.1。

还需要说明的是，AR设备根据传播距离确定AR设备所处环境的布局结构信息除了可以通过上述第二方式得到之外，还可以由其他方式得到，具体此处不做限定。

在本申请实施例中，将预存的第一数字信号经数模变换后得到测试模拟信号，并控制AR设备上的扬声器播放该测试模拟信号对应的声波；之后通过AR设备上的麦克风获取声波经传播后的反馈声波对应的反馈模拟信号，并将反馈模拟信号经模数变换得到第二数字信号；最后根据第一数字信号以及第二数字信号确定声波的传播距离，并进一步根据传播距离确定AR设备所处环境的布局结构信息。在本申请实施例中，AR设备仅利用AR设备上的扬声器和麦克风获取到的数字信号计算得到AR设备所处环境的布局结构信息，不依赖室内光线的强弱和视觉的大小，使用场景更广泛。

需要说明的是，在本申请的一些实施例中，AR设备仅利用自带的扬声器以及麦克风得到AR设备所处环境的布局结构信息之后，还可以进一步获取AR设备所处环境的布局结构材料的声学反射参数，若在本申请的一些实施例中，AR设备获取到的是AR设备所处环境的声音反射面位置信息，那就可以进一步获取AR设备所处环境的声音反射面的声学反射参数，具体如下：

AR设备根据上述第一方式获取到的传播时长之后，当早期冲击响应RIR_mn(t)的自变量t取值为传播时长时，就可得到目标冲击响应，并以传播时长为中心的某一预设的区域范围对早期冲击响应RIR_mn(t)进行时域到频域的变换，并对变换后的频域进行频谱分析，就可以得到AR设备所处环境的声音反射面的声学反射参数。

可选的，AR设备确定区域范围可以通过如下第三方式得到：

在上述第二方式中，AR设备已经根据预设方程组确定了一组

以及对应的一组S₁，S₂，S₃，…，S_n。之后，从这组S₁，S₂，S₃，…，S_n中确定一个S_i(1≤i≤n)，确定的方式可以是任意选取S₁，S₂，S₃，…，S_n中的一个，也可以是选取S₁，S₂，S₃，…，S_n中取值最大的一个，具体此处不做限定。

之后，再对序号为i的麦克风对应的早期冲击响应RIR_mn(t)中区域范围为[S_i-T，S_i+T]进行频谱分析，以得到AR设备所处环境的声音反射面的声学反射参数，具体可以通过如下第四方式得到：

首先需要说明的是，区域范围[S_i-T，S_i+T]属于上述第一预设时间区间。需要注意的是，T可以根据需要自行设置，T不同，上述区域范围也就不同，那么以S_i为中心位置相邻的样点数量也就不同：若T太大，上述区域范围也就增大，就会使得上述区域范围内不仅有一个

的目标冲击响应，还可能包括有其他的满足

的目标冲击响应；若T太小，以S_i为中心位置相邻的样点数量也就小，不具备统计意义，会导致后续的计算误差较大。因此，T需要综合考虑以上两方面进行自行设置，此处不做限定。之后，对上述区域范围内的早期冲击响应RIR_mn(t)进行快速傅里叶变换(英文缩写：FFT，英文全称：Fast FourierTransfer)，得到对应该区域范围的频谱能量F_s(f)。可选的，在本申请的一些实施例中，可以通过声波衰减规律求解AR设备所处环境的布局结构材料的声学反射参数，声波衰减规律如下：

其中，F_SPK(f)为扬声器播放的声波能量，扬声器播放的声波能量与使用环境等无关，因此可以在AR设备设计阶段在实验室测量得出；F₀(f)为与

对应的RIR_mn(t)在区域范围[τ_i，1-T，τ_i，1+T]内经时域变换后得到的频谱能量，F_s(f)为与R(S_i)对应的RIR_mn(t)在[S_i-T，S_i+T]内经时域变换后得到的频谱能量(此时，S_i的取值不包括τ_i，1)；D_i-0为扬声器与序号为i的麦克风的距离，可在AR设备设计阶段就能通过测量得出，D_i-s为与S_i对应的

可通过上述传播公式计算得到；α₀(f)和α_s(f)为佩戴该AR设备的人头对RIR_mn(τ_i，1)方向和RIR_mn(S_i)方向的遮挡系数，RIR_mn(τ_i，1)方向为目标冲击响应RIR_mn(τ_i，1)的来源方向，RIR_mn(S_i)方向为目标冲击响应RIR_mn(S_i)的来源方向。由于τ_i，1与直达声对应，因此RIR_mn(τ_i，1)方向也就是直达声方向。

需要说明的是，对RIR_mn(τ_i，1)方向和RIR_mn(S_i)方向的遮挡系数α₀(f)、α_s(f)可以在AR设备设计阶段就预先在实验室测量得到或模拟计算得到，并将得到的各不同方向的遮挡系数α₀(f)、α_s(f)存储在AR设备中以备使用。

可选的，一种通过模拟计算得到遮挡系数α₀(f)、α_s(f)的方法如下：

将人头近似为理想球体，仅考虑目标声源(即直达声或目标冲击响应)在水平面的情况，使用刚球模型计算直达声或目标冲击响应到序号为i的麦克风(即麦克风i)的频域响应如下：

其中，Γ(ρ，μ，θ)为采用的刚球模型，如图11所示，以佩戴AR设备的用户面朝前，背朝后为例：ρ是归一化的刚球模型的球心到目标声源的距离，θ是球心到目标声源的来源方向(即RIR_mn(τ_i，1)方向或RIR_mn(S_i)方向)的连线与球心到麦克风i连线的夹角，当要计算球心到RIR_mn(τ_i，1)方向的连线与球心到麦克风i连线的夹角时，该夹角可记为θ₀，当要计算球心到RIR_mn(S_i)方向的连线与球心到麦克风i连线的夹角时，该夹角可记为θ_s，μ是归一化的角频率。

可通过如下公式计算得到ρ：

r为刚球模型的球心到目标声源的距离，由于此处要计算的α₀(f)、α_s(f)为不同方向的遮挡系数，与距离无关，因此，在计算时可设置r为1，a为刚球模型的球体半径，即人头的近似半径。

进一步可通过如下公式计算得到μ：

f即为频域信号的频率，c是声波在空气中的传播速度。

综上，即可分别求得对RIR_mn(τ_i，1)方向和RIR_mn(S_i)方向的遮挡系数α₀(f)、α_s(f)：

最后，将求得的α₀(f)、α_s(f)代入上述声波衰减规律的公式，就可以求得AR设备所处环境的声音反射面的声学反射参数：

该求得的AR设备所处环境的声音反射面的声学反射参数即为后续图3中环境声学渲染模块306需要用到的环境的布局结构材料的声学反射参数。

在本申请实施例中，通过将时域信号转化为频域信号后对频谱能量进行分析，并结合声波衰减规律实时获取到AR设备所处环境的声音反射面的声学反射参数，能真实反映所处环境的声音反射面的声学特性，视觉传感器无法区分该声音反射面是真实的材料时的声学反射参数与该声音反射面是与真实材料纹理相同的图案时的声学反射参数的不同，而本申请实施例可以弥补视觉传感器错误的估计AR设备所处环境的声音反射面的声学反射参数的缺陷，不会被声音反射面的表面纹理所干扰。

二、AR设备已经获取由视觉传感器采集到的该AR设备所处环境的布局结构信息，而仅利用该AR设备的扬声器以及麦克风来获取该AR设备所处环境的各布局结构材料的声学反射参数。

具体请参阅图12，应用于AR设备的数据的处理方法的另一实施例包括：

1201、获取AR设备所处环境的布局结构信息；

在本申请实施例中，AR设备所处环境的布局结构信息由视觉传感器获取到。可以是在AR设备的校准阶段或AR设备建立应用程序的初始化阶段，利用深度摄像头和/或多视角摄像头对所处环境进行扫描，识别出所处环境的布局结构信息(如墙面、弧形桌面等实体平面和/或实体曲面的位置信息)以建立所处环境的布局结构初始模型。需要说明的是，本申请实施例中利用深度摄像头和/或多视角摄像头识别布局结构信息的准确性和覆盖完整性，由视觉传感器及视觉识别模块算法决定，不属于本专利覆盖的范围，但为了后续声学估计的准确性，建议应用层指导用户带着AR设备自旋转一周，以尽可能全面的捕捉和覆盖到室内所有的墙面、桌面等布局结构信息，之后，将识别出的布局结构信息传递给图3所示的第二单元305进行后续的处理。还需要说明的是，如何利用深度摄像头和/或多视角摄像头等视觉手段进行AR设备所处环境的扫描可以通过第三方的传感器和算法方案进行，不是本发明讨论和保护的对象，因此本申请实施例不做详细阐述。

1202、将预存的第一数字信号经数模变换后得到测试模拟信号；

1203、控制扬声器播放测试模拟信号对应的声波；

1204、通过麦克风获取反馈模拟信号；

1205、将反馈模拟信号经模数变换得到第二数字信号；

在本申请实施例中，步骤1202至步骤1205与前述图4所示实施例中的步骤401至步骤404类似，具体此处不再赘述。

1206、根据第一数字信号、第二数字信号以及布局结构信息确定AR设备所处环境的布局结构材料的声学反射参数。

AR设备获取到第一数字信号、第二数字信号以及AR设备所处环境的布局结构信息之后，就可以据此确定AR设备所处环境的布局结构材料的声学反射参数。

可选的，在本申请的一些实施方式中，AR设备通过视觉传感器获取到AR设备所处环境的布局结构信息(如墙面、弧形桌面等实体平面和/或实体曲面的位置信息)之后，也就可以获取到AR设备所处环境的实体平面和/或实体曲面等与扬声器之间的距离d，根据声波的传播公式d＝c·τ，就可以确定声波的传播时长τ。

在本申请实施例中，可以根据图4对应的实施例中步骤405中类似的方式对该第一数字信号以及第二数字信号进行逆卷积运算，得到扬声器与麦克风对应的房间冲击响应，并进一步对该房间冲击响应进行截取，得到第一预设时间区间内的早期冲击响应，具体此处不再赘述。

最后，对传播时长τ对应的早期冲击响应中区域范围为[τ-T′，τ+T′]的冲击响应进行频谱分析，以得到AR设备所处环境的布局结构材料的声学反射参数。这里需要注意的是，T′可以根据需要自行设置，与图4对应的实施例中的T类似，具体此处不再赘述，且T′也可以与T相等。

需要说明的是，在本申请的一些实施方式中，也可以通过声波衰减规律求解AR设备所处环境的布局结构材料的声学反射参数，具体与图4对应的实施例类似，此处不再赘述。

在本申请实施例中，首先利用视觉传感器采集到AR设备所处环境的布局结构信息，并根据布局结构信息确定声波的传播时长τ，再通过将声波的传播时长τ对应的早期冲击响应中区域范围为[τ-T′，τ+T′]的冲击响应进行频谱分析，得到AR设备所处环境的布局结构材料的声学反射参数，能真实反映所处环境的布局结构材料的声学特性，弥补了视觉传感器无法区分真实的材料和与材料纹理相同的图案而错误估计布局结构材料的声学反射参数的缺陷，不会被布局结构材料的表面纹理所干扰。

上述对本申请实施例中的数据的处理方法进行了具体说明，下面对本申请实施例中的AR设备进行具体说明，该AR设备包括扬声器以及麦克风，请参阅图13，本申请实施例中AR设备的一个实施例包括：

第一变换单元1301，用于将预存的第一数字信号经数模变换后得到测试模拟信号；

控制单元1302，用于控制该扬声器播放测试模拟信号对应的声波；

获取单元1303，用于通过该麦克风获取该声波经传播后的反馈声波对应的反馈模拟信号；

第二变换单元1304，用于将该反馈模拟信号经模数变换得到第二数字信号；

第一确定单元1305，用于根据该第一数字信号以及该第二数字信号确定该声波的传播距离；

第二确定单元1306，用于根据该传播距离确定该AR设备所处环境的布局结构信息。

在本申请实施例中，第一变换单元1301将预存的第一数字信号经数模变换后得到测试模拟信号，并通过控制单元1302控制AR设备上的扬声器播放该测试模拟信号对应的声波；之后通过获取单元1303获取到声波经传播后的反馈声波对应的反馈模拟信号，并在第二变换单元1304中将反馈模拟信号经模数变换得到第二数字信号，使第一确定单元1305根据第一数字信号以及第二数字信号确定声波的传播距离；最后在第二确定单元1306中根据传播距离确定AR设备所处环境的布局结构信息。在本申请实施例中，AR设备仅利用AR设备上的扬声器和麦克风获取到的数字信号计算得到AR设备所处环境的布局结构信息，不依赖室内光线的强弱和视觉的大小，使用场景更广泛。

在本申请的一些实施方式中，图13对应的实施例该第一确定单元1305具体还可以包括更多的子单元，以实现更为具体的功能，具体请参阅图14，本申请实施例中AR设备的一个实施例包括：

第一变换单元1401、控制单元1402、获取单元1403、第二变换单元1404、第一确定单元1405、第二确定单元1406；本申请实施例中的第一变换单元1401、控制单元1402、获取单元1403、第二变换单元1404、第一确定单元1405、第二确定单元1406与图13对应的实施例中的第一变换单元1301、控制单元1302、获取单元1303、第二变换单元1304、第一确定单元1305、第二确定单元1306功能类似，此处不再赘述。

其中，第一确定单元1405具体可以包括：

第一确定子单元14051，用于根据该第一数字信号以及该第二数字信号确定声波的传播时长；

第二确定子单元14052，用于根据该传播时长确定传播距离。

在本申请的一些实施方式中，图14对应的实施例中的第一确定子单元14051具体还可以包括更多的模块，以实现更为具体的功能，具体请参阅图15，本申请实施例中AR设备的一个实施例包括：

第一变换单元1501、控制单元1502、获取单元1503、第二变换单元1504、第一确定子单元15051、第二确定子单元15052、第二确定单元1506；本申请实施例中的第一变换单元1501、控制单元1502、获取单元1503、第二变换单元1504、第一确定子单元15051、第二确定子单元15052、第二确定单元1506与图14对应的实施例中的第一变换单元1401、控制单元1402、获取单元1403、第二变换单元1404、第一确定子单元14051、第二确定子单元14052、第二确定单元1406功能类似，此处不做赘述。

其中，第一确定子单元15051具体可以包括：

第一运算模块150511，用于对该第一数字信号以及该第二数字信号进行逆卷积运算，得到该扬声器和该麦克风对应的房间冲击响应；

截取模块150512，用于对该房间冲击响应进行截取，得到第一预设时间区间内的早期冲击响应；

第二运算模块150513，用于对该早期冲击响应进行自相关运算，得到自相关函数；

确定模块150514，用于将使得该自相关函数的值的绝对值大于或者等于预设值的该自相关函数的自变量作为该传播时长。

需要说明的是，在本申请的一些实施方式中，第二运算模块150513具体还可以用于：

对该早期冲击响应进行上采样，从而得到采样频率大于或者等于预设频率的采样后的冲击响应；

对该采样后的冲击响应进行自相关运算，得到该自相关函数。

还需要注意的是，在本申请的一些实施方式中，第二确定单元1506具体还可以用于：

通过求解预设方程组确定与该扬声器的位置坐标(x，y，z)对应的虚拟声源的位置坐标(x′，y′，z′)，该虚拟声源为该扬声器以该环境的声音反射面为参照的镜像，该预设方程组包括：

其中，i为正整数，1≤i≤n，i为麦克风的序号，n≥4，S_i为序号为i的麦克风与该扬声器对应的自相关函数的值大于或者等于预设值的自相关函数的自变量，(x_i，y_i，z_i)为序号为i的麦克风的位置坐标，

为以S_i作为传播时长后计算得到的该传播距离；

确定该(x，y，z)与该(x′，y′，z′)连线的中垂面信息为该AR设备所处环境的声音反射面位置信息，该环境的声音反射面位置信息属于该环境的布局结构信息。

为了实现额外的功能，图15所对应的实施例还可以包括更多单元，如分析单元1507：

分析单元1507，对序号为i的麦克风对应的早期冲击响应中区域范围为[S_i-T，S_i+T]的冲击响应进行频谱分析，以得到该环境的声音反射面的声学反射参数。

图13至图15对应的实施例中的AR设备具体的功能以及结构用于实现前述图4所示实施例中由AR设备进行处理的步骤，具体此处不再赘述。

本申请实施例还提供另一种AR设备，具体请参阅图16，本申请实施例中AR设备的一个实施例包括：

第一获取单元1601，用于获取该AR设备所处环境的布局结构信息，该布局结构信息由视觉传感器获取到；

第一变换单元1602，用于将预存的第一数字信号经数模变换后得到测试模拟信号；

控制单元1603，用于控制该扬声器播放该测试模拟信号对应的声波；

第二获取单元1604，用于通过该麦克风获取该声波经传播后的反馈声波对应的反馈模拟信号；

第二变换单元1605，用于将该反馈模拟信号经模数变换得到第二数字信号；

确定单元1606，用于根据该第一数字信号、该第二数字信号以及该布局结构信息确定该环境的布局结构材料的声学反射参数。

在本申请实施例中，首先利用视觉传感器采集到AR设备所处环境的布局结构信息并发送至第一获取单元1601，第一变换单元1602再将预存的第一数字信号经数模变换后得到测试模拟信号，并使得控制单元1603再制AR设备上的扬声器播放该测试模拟信号对应的声波；由第二获取单元1604通过麦克风获取该声波经传播后的反馈声波对应的反馈模拟信号，之后第二变换单元1605将反馈模拟信号经模数变换得到第二数字信号，最后通过确定单元1606根据第一数字信号、该第二数字信号以及该布局结构信息确定该环境的布局结构材料的声学反射参数。在本申请实施例中，AR设备已经获取由视觉传感器采集到的该AR设备所处环境的布局结构信息，并仅利用该AR设备的扬声器以及麦克风来获取该AR设备所处环境的各布局结构材料的声学反射参数，弥补了视觉传感器无法区分真实的材料和与材料纹理相同的图案而错误估计布局结构材料的声学反射参数的缺陷，不会被布局结构材料的表面纹理所干扰。

在本申请的一些实施方式中，图16对应的实施例中的确定子单元1606具体还可以包括更多的子单元，以实现更为具体的功能，具体请参阅图17，本申请实施例中AR设备的一个实施例包括：

第一控制单元1701、第一变换单元1702、控制单元1703、第二获取单元1704、第二变换单元1705、确定单元1706；本申请实施例中的第一控制单元1701、第一变换单元1702、控制单元1703、第二获取单元1704、第二变换单元1705、确定单元1706与图16对应的实施例中的第一控制单元1601、第一变换单元1602、控制单元1603、第二获取单元1604、第二变换单元1605、确定单元1606功能类似，此处不再赘述。

其中，确定单元1706具体可以包括：

确定子单元17061，用于根据该布局结构信息确定该声波的传播时长τ；

运算子单元17062，用于对该第一数字信号以及该第二数字信号进行逆卷积运算，得到该扬声器和该麦克风对应的房间冲击响应；

截取子单元17063，用于对该房间冲击响应进行截取，得到第一预设时间区间内的早期冲击响应；

分析子单元17064，用于对该传播时长τ对应的早期冲击响应中区域范围为[τ-T′，τ+T′]的冲击响应进行频谱分析，以得到该AR设备所处环境的布局结构材料的声学反射参数。

图16至图17对应的实施例中的AR设备具体的功能以及结构用于实现前述图12所示实施例中的步骤，具体此处不再赘述。

图13至图17从模块化功能实体的角度对本申请实施例中的AR设备进行了描述，下面从硬件处理的角度对本申请实施例中的AR设备进行描述，如图18所示，为本申请实施例中AR设备的一个实施例示意图，具体包括：

该AR设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(英文缩写：CPU，英文全称：Central Processing Units)1822(例如，一个或一个以上处理器)和存储器1832，一个或一个以上存储应用程序1842或数据1844的存储介质1830(例如一个或一个以上海量存储设备)。其中，存储器1832和存储介质1830可以是短暂存储或持久存储。存储在存储介质1830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对AR设备中的一系列指令操作。更进一步地，中央处理器1822可以设置为与存储介质1830通信，在AR设备上执行存储介质1830中的一系列指令操作。

该AR设备还可以包括一个或一个以上电源1826，一个或一个以上有线或无线网络接口1850，一个或一个以上输入输出接口1858，和/或，一个或一个以上操作系统1841，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等。

上述图4以及图12所描述的数据的处理方法中的步骤由AR设备基于该图18所示的结构实现。

Claims (21)

1.一种数据的处理方法，应用于增强现实AR设备，所述AR设备包括扬声器以及麦克风，其特征在于，包括：

将预存的第一数字信号经数模变换后得到测试模拟信号；

控制所述扬声器播放所述测试模拟信号对应的声波；

通过所述麦克风获取所述声波经传播后的反馈声波对应的反馈模拟信号；

将所述反馈模拟信号经模数变换得到第二数字信号；

根据所述第一数字信号以及所述第二数字信号确定所述声波的传播距离；

根据所述传播距离确定所述AR设备所处环境的布局结构信息，所述AR设备所处环境的布局结构信息用于音效模拟，并得到所述AR设备所处环境音效的模拟音频信号，以播放给佩戴所述AR设备的用户。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一数字信号以及所述第二数字信号确定所述声波的传播距离包括：

根据所述第一数字信号以及所述第二数字信号确定所述声波的传播时长；

根据所述传播时长确定所述传播距离。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一数字信号以及所述第二数字信号确定所述声波的传播时长包括：

对所述第一数字信号以及所述第二数字信号进行逆卷积运算，得到所述扬声器和所述麦克风对应的房间冲击响应；

对所述房间冲击响应进行截取，得到第一预设时间区间内的早期冲击响应；

对所述早期冲击响应进行自相关运算，得到自相关函数；

将使得所述自相关函数的值的绝对值大于或者等于预设值的所述自相关函数的自变量作为所述传播时长。

4.根据权利要求3所述的方法，其特征在于，所述对所述早期冲击响应进行自相关运算，得到自相关函数包括：

对所述早期冲击响应进行上采样，从而得到采样频率大于或者等于预设频率的采样后的冲击响应；

对所述采样后的冲击响应进行自相关运算，得到所述自相关函数。

5.根据权利要求3至4中任一项所述的方法，其特征在于，所述环境的布局结构信息包括所述环境的声音反射面位置信息，所述麦克风数量为n，所述根据所述传播距离确定所述AR设备所处环境的布局结构信息包括：

通过求解预设方程组确定与所述扬声器的位置坐标(x,y,z)对应的虚拟声源的位置坐标(x′,y′,z′)，所述虚拟声源为所述扬声器以所述环境的声音反射面为参照的镜像，所述预设方程组包括：

其中，i为正整数，1≤i≤n，i为麦克风的序号，n≥4，S_i为序号为i的麦克风与所述扬声器对应的自相关函数的值大于或者等于预设值的自相关函数的自变量，(x_i,y_i,z_i)为序号为i的麦克风的位置坐标，

为以S_i作为传播时长计算得到的传播距离；

确定所述(x,y,z)与所述(x′,y′,z′)连线的中垂面信息为所述AR设备所处环境的声音反射面位置信息。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

对序号为i的麦克风对应的早期冲击响应中区域范围为[S_i-T，S_i+T]的冲击响应进行频谱分析，以得到所述环境的声音反射面的声学反射参数。

7.根据权利要求1至4中任一项所述的方法，其特征在于，所述环境的布局结构信息包括：

所述环境内的实体平面和/或实体曲面的位置信息。

8.一种数据的处理方法，应用于增强现实AR设备，所述AR设备包括扬声器以及麦克风，其特征在于，包括：

获取所述AR设备所处环境的布局结构信息，所述布局结构信息由视觉传感器获取到；

将预存的第一数字信号经数模变换后得到测试模拟信号；

控制所述扬声器播放所述测试模拟信号对应的声波；

通过所述麦克风获取所述声波经传播后的反馈声波对应的反馈模拟信号；

将所述反馈模拟信号经模数变换得到第二数字信号；

根据所述第一数字信号、所述第二数字信号以及所述布局结构信息确定所述环境的布局结构材料的声学反射参数。

9.根据权利要求8所述的方法，其特征在于，所述布局结构信息包括：

所述环境内的实体平面和/或实体曲面的位置信息。

10.根据权利要求8至9中任一项所述的方法，其特征在于，所述根据所述第一数字信号、所述第二数字信号以及所述布局结构信息确定所述环境的布局结构材料的声学反射参数包括：

根据所述布局结构信息确定所述声波的传播时长τ；

对所述第一数字信号以及所述第二数字信号进行逆卷积运算，得到所述扬声器和所述麦克风对应的房间冲击响应；

对所述房间冲击响应进行截取，得到第一预设时间区间内的早期冲击响应；

对所述传播时长τ对应的早期冲击响应中区域范围为[τ-T′，τ+T′]的冲击响应进行频谱分析，以得到所述AR设备所处环境的布局结构材料的声学反射参数。

11.一种增强现实AR设备，所述AR设备包括扬声器以及麦克风，其特征在于，包括：

第一变换单元，用于将预存的第一数字信号经数模变换后得到测试模拟信号；

控制单元，用于控制所述扬声器播放所述测试模拟信号对应的声波；

获取单元，用于通过所述麦克风获取所述声波经传播后的反馈声波对应的反馈模拟信号；

第二变换单元，用于将所述反馈模拟信号经模数变换得到第二数字信号；

第一确定单元，用于根据所述第一数字信号以及所述第二数字信号确定所述声波的传播距离；

第二确定单元，用于根据所述传播距离确定所述AR设备所处环境的布局结构信息，所述AR设备所处环境的布局结构信息用于音效模拟，并得到所述AR设备所处环境音效的模拟音频信号，以播放给佩戴所述AR设备的用户。

12.根据权利要求11所述的AR设备，其特征在于，所述第一确定单元包括：

第一确定子单元，用于根据所述第一数字信号以及所述第二数字信号确定所述声波的传播时长；

第二确定子单元，用于根据所述传播时长确定所述传播距离。

13.根据权利要求12所述的AR设备，其特征在于，所述第一确定子单元包括：

第一运算模块，用于对所述第一数字信号以及所述第二数字信号进行逆卷积运算，得到所述扬声器和所述麦克风对应的房间冲击响应；

截取模块，用于对所述房间冲击响应进行截取，得到第一预设时间区间内的早期冲击响应；

第二运算模块，用于对所述早期冲击响应进行自相关运算，得到自相关函数；

确定模块，用于将使得所述自相关函数的值的绝对值大于或者等于预设值的所述自相关函数的自变量作为所述传播时长。

14.根据权利要求13所述的AR设备，其特征在于，所述第二运算模块具体还用于：

对所述早期冲击响应进行上采样，从而得到采样频率大于或者等于预设频率的采样后的冲击响应；

对所述采样后的冲击响应进行自相关运算，得到所述自相关函数。

15.根据权利要求13至14中任一项所述的AR设备，所述AR设备上的麦克风数量为n，其特征在于，所述第二确定单元具体还用于：

通过求解预设方程组确定与所述扬声器的位置坐标(x,y,z)对应的虚拟声源的位置坐标(x′,y′,z′)，所述虚拟声源为所述扬声器以所述环境的声音反射面为参照的镜像，所述预设方程组包括：

其中，i为正整数，1≤i≤n，i为麦克风的序号，n≥4，S_i为序号为i的麦克风与所述扬声器对应的自相关函数的值大于或者等于预设值的自相关函数的自变量，(x_i,y_i,z_i)为序号为i的麦克风的位置坐标，

为以S_i作为传播时长后计算得到的所述传播距离；

确定所述(x,y,z)与所述(x′,y′,z′)连线的中垂面信息为所述AR设备所处环境的声音反射面位置信息，所述环境的声音反射面位置信息属于所述环境的布局结构信息。

16.根据权利要求15所述的AR设备，其特征在于，所述AR设备还包括：

分析单元，对序号为i的麦克风对应的早期冲击响应中区域范围为[S_i-T，S_i+T]的冲击响应进行频谱分析，以得到所述环境的声音反射面的声学反射参数。

17.一种增强现实AR设备，所述AR设备包括扬声器以及麦克风，其特征在于，包括：

第一获取单元，用于获取所述AR设备所处环境的布局结构信息，所述布局结构信息由视觉传感器获取到；

第一变换单元，用于将预存的第一数字信号经数模变换后得到测试模拟信号；

控制单元，用于控制所述扬声器播放所述测试模拟信号对应的声波；

第二获取单元，用于通过所述麦克风获取所述声波经传播后的反馈声波对应的反馈模拟信号；

第二变换单元，用于将所述反馈模拟信号经模数变换得到第二数字信号；

确定单元，用于根据所述第一数字信号、所述第二数字信号以及所述布局结构信息确定所述环境的布局结构材料的声学反射参数。

18.根据权利要求17所述的AR设备，其特征在于，所述确定单元包括：

确定子单元，用于根据所述布局结构信息确定所述声波的传播时长τ；

运算子单元，用于对所述第一数字信号以及所述第二数字信号进行逆卷积运算，得到所述扬声器和所述麦克风对应的房间冲击响应；

截取子单元，用于对所述房间冲击响应进行截取，得到第一预设时间区间内的早期冲击响应；

分析子单元，用于对所述传播时长τ对应的早期冲击响应中区域范围为[τ-T′，τ+T′]的冲击响应进行频谱分析，以得到所述AR设备所处环境的布局结构材料的声学反射参数。

19.一种增强现实AR设备，其特征在于，包括：

处理器、存储器、总线以及输入输出接口；

所述存储器中存储有程序代码；

所述处理器调用所述存储器中的程序代码时执行权利要求1至10中任一项所述的方法。

20.一种包含指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行如权利要求1至10任一项所述的方法。

21.一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1至10中任一项所述的方法。

Images