CN114745656A - 多人交流的空间音效的构建方法、系统及计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种多人交流的空间音效的构建方法，包括如下步骤：构建虚拟三维空间，在所述虚拟三维空间内为多个交流对象分配三维空间坐标；所述交流对象之间通过各自的所述三维空间坐标获取所述交流对象之间的坐标变量；获取所述坐标变量所对应的空间参数；为交流语音内容配置所述空间参数，以将所述交流语音内容转换为空间语音；所述交流对象的交流语音内容接收方接收所述空间语音，实现所述交流对象之间的交流。本发明通过构建虚拟三维空间，对交流对象进行空间信息的建立和分配，让每一位交流对象的语音内容都具备相对于每一个收听者的不同的空间信息，从而使得每一个收听者都有身临其境的现场参与感。

Description

多人交流的空间音效的构建方法、系统及计算机可读存储 介质

技术领域

本发明涉及空间音效技术领域，尤其涉及一种多人交流的空间音效的构建方法、系统及计算机可读存储介质。

背景技术

目前空间音频刚刚发展起来，空间音频注重的是身临其境的方位感和真实感，而传统的通话模式，只有画面和语音内容，不管是双人通话还是多人(三人及以上)通话，用户听到的都是单纯的语音。而现有的手机、耳机、VR、AR等通话方式，都只是注重人声的质量，而没有现场的参与感。

随着空间音频的发展，越来越多的人开始关注空间音频的真实感、沉浸感，但是大多都是播放系统给用户带来的空间音效体验。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种让通话变得更真实，更立体的多人交流的空间音效的构建方法、系统及计算机可读存储介质。

本发明公开了一种多人交流的空间音效的构建方法，包括如下步骤：构建虚拟三维空间，并获取所述虚拟三维空间内的所有位置点的三维坐标(x,y,z)；在所述虚拟三维空间内为n个交流对象分配三维空间坐标(x₁,y₁,z₁)、...(x_n,y_n,z_n)；所述交流对象之间通过各自的所述三维空间坐标获取所述交流对象之间的坐标变量Δ(x,y,z)；获取所述坐标变量Δ(x,y,z)所对应的空间参数；为所述交流对象之中的交流语音内容发出方所发出的交流语音内容配置所述空间参数，以将所述交流语音内容转换为空间语音；所述交流对象的交流语音内容接收方接收所述空间语音，实现所述交流对象之间的交流。

优选的，所述多人交流包括至少两个所述交流语音内容接收方；至少两个所述交流语音内容接收方分别获取与所述交流语音内容发出方之间的坐标变量Δ(x,y,z)；并分别获取所述坐标变量Δ(x,y,z)所对应的空间参数；分别为所述交流语音内容发出方所发出的交流语音内容分别配置每个所述交流语音内容接收方的所述空间参数，以与每个所述交流语音内容接收方相对应的空间语音；所述交流语音内容接收方分别接收各自对应的所述空间语音，实现所述交流对象之间的交流。

优选的，所述交流对象之间通过各自的所述三维空间坐标获取所述交流对象之间的坐标变量Δ(x,y,z)包括：所述交流语音内容发出方的所述三维空间坐标为(x_i,y_i,z_i)，所述交流语音内容接收方的所述三维空间坐标为(x_j,y_j,z_j)，所述交流语音内容发出方与所述交流语音内容接收方之间的坐标变量为Δ(x_i-j,y_i-j,z_i-j)。

优选的，所述在所述虚拟三维空间内为n个交流对象分配三维空间坐标包括：获取所述n个交流对象在现实空间中的定位；并获取各个所述交流对象之间的相对位置；将所述相对位置导入所述虚拟三维空间，以获取所述n个交流对象在所述虚拟三维空间内的所述三维空间坐标。

优选的，所述将所述相对位置导入所述虚拟三维空间，以获取所述n个交流对象在所述虚拟三维空间内的所述三维空间坐标包括：在所述n个交流对象中选定导入点，在所述虚拟三维空间内选定接入点；设定所述导入点与所述接入点之间的位置关系，从而获取所述导入点在所述虚拟三维空间内的所述三维坐标；根据所述导入点与其他所述交流对象之间的相对位置、和所述导入点在所述虚拟三维空间内的所述三维坐标，获取其他所述交流对象在所述虚拟三维空间内的所述三维空间坐标。

优选的，所述设定所述导入点与所述接入点之间的位置关系包括：所述导入点与所述接入点的三维位置重合。

优选的，所述在所述虚拟三维空间内为n个交流对象分配三维空间坐标包括：所述n个交流对象在所述虚拟三维空间内任意选定所述三维空间坐标。

优选的，所述多人交流的过程中，任意时间更改一次或多次更改所述三维空间坐标。

本发明还提供了一种多人交流的空间音效的构建系统，包括虚拟空间构建模块、参数提取模块和语音转换模块；通过所述虚拟空间构建模块构建虚拟三维空间，并获取所述虚拟三维空间内的所有位置点的三维坐标(x,y,z)；在所述虚拟三维空间内为n个交流对象分配三维空间坐标(x₁,y₁,z₁)、...(x_n,y_n,z_n)；所述交流对象之间通过各自的所述三维空间坐标获取所述交流对象之间的坐标变量Δ(x,y,z)；通过所述参数提取模块获取所述坐标变量Δ(x,y,z)所对应的空间参数；通过所述语音转换模块为所述交流对象之中的交流语音内容发出方所发出的交流语音内容配置所述空间参数，以将所述交流语音内容转换为空间语音；所述交流对象之中的交流语音内容接收方接收所述空间语音，实现所述交流对象之间的交流。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的多人交流的空间音效的构建方法的步骤。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1、本发明通过构建虚拟三维空间，将交流对象置入虚拟三维空间内，对交流对象进行空间信息的建立和分配，让每一位交流对象的语音内容都具备相对于每一个收听者的不同的空间信息，从而使得每一个收听者都有身临其境的现场参与感。

附图说明

图1为本发明提供的多人交流的空间音效的构建方法的流程图。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

参见附图1，本发明公开了一种多人交流的空间音效的构建方法，包括如下步骤：

S100、构建虚拟三维空间，并获取虚拟三维空间内的所有位置点的三维坐标(x,y,z)；

S200、在虚拟三维空间内为n个交流对象分配三维空间坐标(x₁,y₁,z₁)、...(x_n,y_n,z_n)；

S300、交流对象之间通过各自的三维空间坐标获取交流对象之间的坐标变量Δ(x,y,z)；

S400、获取坐标变量Δ(x,y,z)所对应的空间参数；

S500、为交流对象之中的交流语音内容发出方所发出的交流语音内容配置空间参数，以将交流语音内容转换为空间语音；

S600、交流对象的交流语音内容接收方接收空间语音，实现交流对象之间的交流。

本发明所述的多人交流场景通常是线上多人通话场景，适用于线上会议或是日常沟通。本发明在多人通话时，建立一个虚拟的3D空间，每个人说话时，都会将每个人的语音进行空间信息的建立和分配，让这个3D空间的用户听到其他人说话时，都有具有空间感和真实感。

可以理解为，本发明首先对每一个交流对象分配有一个虚拟三维空间的位置，这样该虚拟三维空间内则存在多个可以相互进行语音沟通的交流对象。

当收听者(即交流语音内容接收方)需要接收发音者(即交流语音内容发出方)的语音内容时，首先分析其于发音者之间的空间位置关系，及步骤S300的坐标变量Δ(x,y,z)，再对该坐标变量Δ(x,y,z)进行空间参数的提取，该空间参数可以是单纯的距离数值，还可以根据不同的交流场景对该距离值进行参数重配置。

最后在将得到的空间参数于语音内容进行结合处理，使得单纯的语音内容具备发音者于收听者之间的空间位置的特征，从而使得该收听者所收听到的语音内容更加具备真实感。

由于每一个收听者于同一位发音者之间的空间位置关系是不同的，故其之间的坐标变量Δ(x,y,z)也不同，从而所提取到的空间参数也不同，故每一个收听者所听到的语音内容的空间音效都是不同的，从而实现了沉浸式空间音效多人交流。

较佳的，多人交流包括至少两个交流语音内容接收方，至少两个交流语音内容接收方分别获取与交流语音内容发出方之间的坐标变量Δ(x,y,z)，并分别获取坐标变量Δ(x,y,z)所对应的空间参数。分别为交流语音内容发出方所发出的交流语音内容分别配置每个交流语音内容接收方的空间参数，以与每个交流语音内容接收方相对应的空间语音。该空间语音由于每位交流语音内容接收方的位置不同而不同。交流语音内容接收方分别接收各自对应的空间语音，实现交流对象之间的交流。

较佳的，交流对象之间通过各自的三维空间坐标获取交流对象之间的坐标变量Δ(x,y,z)可以通过以下方式实现：交流语音内容发出方的三维空间坐标为(x_i,y_i,z_i)，交流语音内容接收方的三维空间坐标为(x_j,y_j,z_j)，则交流语音内容发出方与交流语音内容接收方之间的坐标变量为Δ(x_i-j,y_i-j,z_i-j)。

一种具体实施例，应用于云会议系统。

S100、在多人通话交流时，云会议系统的云端服务器针对这些通话参与人，提前构建一个虚拟的3D空间，并定义这个3D空间的不同位置，比如用(x，y，z)定义虚拟空间中不同的位置。

S200、云端服务器给n个通话参与人分配一个空间对象，代表每一个人的空间位置，((x₁,y₁,z₁)，(x₂,y₂,z₂)…(x_n,y_n,z_n)。云端服务器对每一个通话参与人的说话内容进行空间参数的创建和分配，让每一位参与人的说话内容都带有空间信息。比如n个人所说的话，都经过空间参数的创建和分配后，得到的空间语音信号分别是f(x₁,y₁,z₁)，f(x₂,y₂,z₂)…f(x_n,y_n,z_n)。

S300、由于每一通话参与人，相对虚拟世界中的空间位置不同，因此每一个通话参与人相对其他n-1个人的语音空间信息是不同的，需要对通话参与者之间的空间信息进行处理，得到空间方位上的变量Δ(x，y，z)。基于空间方位上的变量Δ(x，y，z)，虚拟世界的通话参与人与周围的每一个人都建立了空间方位上的变量。则1号参与人空间位置为(x₁,y₁,z₁)，他相对于2号(x₂,y₂,z₂)、3号(x₃,y₃,z₃)…n-1号(x_(n-1),y_(n-1),z_(n-1))参与人的空间方位变量分别为Δ{(x₁-x₂),(y₁-y₂),(z₁-z₂)}，Δ{(x₁-x₃),(y₁-y₃),(z₁-z₃)}…Δ{(x₁-x_n),(y₁-y_n),(z₁-z_n)}。

S400、每一个通话参与人之间都建立了空间方位的变量，那么不同的人，听到其他参与人的语音信息加上空间方位的信息，就构成了空间语音信号。

2号、3号…n号参与人听见1号参与人的空间语音信号为：

F{(1-2),Δ{(x₁-x₂),(y₁-y₂),(z₁-z₂)},1号语音}；(2号参与人听见1号的空间语音)；

F{(1-3),Δ{(x₁-x₃),(y₁-y₃),(z₁-z₃)},1号语音}；(3号参与人听见1号的空间语音)；

…

F{(1-n),Δ{(x₁-x_n),(y₁-y_n),(z₁-z_n)},1号语音}；(n号参与人听见1号的空间语音)。

1号、3号…n号参与人听见2号参与人的空间语音信号为：

F{(2-1),Δ{(x₂-x₁),(y₂-y₁),(z₂-z₁)},2号语音}；(1号参与人听见2号的空间语音)；

F{(2-3),Δ{(x₂-x₃),(y₂-y₃),(z₂-z₃)},2号语音}；(3号参与人听见2号的空间语音)；

…

F{(2-n),Δ{(x₂-x_n),(y₂-y_n),(z₂-z_n)},2号语音}；(n号参与人听见2号的空间语音)。

1号、3号…n-1号参与人听见n号参与人的空间语音信为：

F{(n-1),Δ{(x_n-x1),(y_n-y₁),(z_n-z₁)},n号语音}；(1号参与人听见n号的空间语音)；

F{(n-2),Δ{(x_n-x₂),(y_n-y₂),(z_n-z₂)},n号语音}；(2号参与人听见n号的空间语音)；

…

F{(n-(n-1)),Δ{(x_n-x_(n-1)),(y_n-y_(n-1)),(z_n-z_(n-1))},n号语音}；((n-1)号参与人听见n号的空间语音)。

S400、将对应的空间语音信号，传递到不同的参与人(即收听人)，就能实现空间语音通话。

较佳的，一种优选实施例中，在虚拟三维空间内为n个交流对象分配三维空间坐标可以通过以下方式实现。

获取n个交流对象在现实空间中的定位，通常采取通过电子设备来获取定位。直接通过在现实空间中的定位来获取各个交流对象之间的相对位置。将相对位置导入虚拟三维空间，从而获取n个交流对象在虚拟三维空间内的三维空间坐标。

具体的，将相对位置导入虚拟三维空间，以获取n个交流对象在虚拟三维空间内的三维空间坐标包括：在n个交流对象中选定导入点，在虚拟三维空间内选定接入点；设定导入点与接入点之间的位置关系，从而获取导入点在虚拟三维空间内的三维坐标；根据导入点与其他交流对象之间的相对位置、和导入点在虚拟三维空间内的三维坐标，获取其他交流对象在虚拟三维空间内的三维空间坐标。

一种优选的，设定导入点与接入点之间的位置关系可以重合，即认为导入点为原点，根据导入点于其他交流对象之间的位置关系即可得到其他交流对象的三维坐标。

另一种优选实施例中，在虚拟三维空间内为n个交流对象分配三维空间坐标还可以通过以下方式实现。

n个交流对象在虚拟三维空间内任意选定三维空间坐标。即交流对象本身可以根据自己的喜好或体验需求来自选位置。且在多人交流的过程中，可以任意时间更改一次或任意时间多次更改三维空间坐标。

本发明还提供了一种多人交流的空间音效的构建系统，包括虚拟空间构建模块、参数提取模块和语音转换模块。

通过虚拟空间构建模块构建虚拟三维空间，并获取虚拟三维空间内的所有位置点的三维坐标(x,y,z)；在虚拟三维空间内为n个交流对象分配三维空间坐标(x₁,y₁,z₁)、...(x_n,y_n,z_n)；交流对象之间通过各自的三维空间坐标获取交流对象之间的坐标变量Δ(x,y,z)。

通过参数提取模块获取坐标变量Δ(x,y,z)所对应的空间参数。

通过语音转换模块为交流对象之中的交流语音内容发出方所发出的交流语音内容配置空间参数，以将交流语音内容转换为空间语音；交流对象之中的交流语音内容接收方接收空间语音，实现交流对象之间的交流。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现的多人交流的空间音效的构建方法的步骤。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种多人交流的空间音效的构建方法，其特征在于，包括如下步骤：

构建虚拟三维空间，并获取所述虚拟三维空间内的所有位置点的三维坐标(x,y,z)；

在所述虚拟三维空间内为n个交流对象分配三维空间坐标(x₁,y₁,z₁)、...(x_n,y_n,z_n)；

所述交流对象之间通过各自的所述三维空间坐标获取所述交流对象之间的坐标变量Δ(x,y,z)；

获取所述坐标变量Δ(x,y,z)所对应的空间参数；

为所述交流对象之中的交流语音内容发出方所发出的交流语音内容配置所述空间参数，以将所述交流语音内容转换为空间语音；

所述交流对象的交流语音内容接收方接收所述空间语音，实现所述交流对象之间的交流。

2.根据权利要求1所述的多人交流的空间音效的构建方法，其特征在于，所述多人交流包括至少两个所述交流语音内容接收方；

至少两个所述交流语音内容接收方分别获取与所述交流语音内容发出方之间的坐标变量Δ(x,y,z)；并分别获取所述坐标变量Δ(x,y,z)所对应的空间参数；

分别为所述交流语音内容发出方所发出的交流语音内容分别配置每个所述交流语音内容接收方的所述空间参数，以与每个所述交流语音内容接收方相对应的空间语音；

所述交流语音内容接收方分别接收各自对应的所述空间语音，实现所述交流对象之间的交流。

3.根据权利要求2所述的多人交流的空间音效的构建方法，其特征在于，所述交流对象之间通过各自的所述三维空间坐标获取所述交流对象之间的坐标变量Δ(x,y,z)包括：

所述交流语音内容发出方的所述三维空间坐标为(x_i,y_i,z_i)，所述交流语音内容接收方的所述三维空间坐标为(x_j,y_j,z_j)，所述交流语音内容发出方与所述交流语音内容接收方之间的坐标变量为Δ(x_i-j,y_i-j,z_i-j)。

4.根据权利要求1所述的多人交流的空间音效的构建方法，其特征在于，所述在所述虚拟三维空间内为n个交流对象分配三维空间坐标包括：

获取所述n个交流对象在现实空间中的定位；

并获取各个所述交流对象之间的相对位置；

将所述相对位置导入所述虚拟三维空间，以获取所述n个交流对象在所述虚拟三维空间内的所述三维空间坐标。

5.根据权利要求4所述的多人交流的空间音效的构建方法，其特征在于，所述将所述相对位置导入所述虚拟三维空间，以获取所述n个交流对象在所述虚拟三维空间内的所述三维空间坐标包括：

在所述n个交流对象中选定导入点，在所述虚拟三维空间内选定接入点；设定所述导入点与所述接入点之间的位置关系，从而获取所述导入点在所述虚拟三维空间内的所述三维坐标；

根据所述导入点与其他所述交流对象之间的相对位置、和所述导入点在所述虚拟三维空间内的所述三维坐标，获取其他所述交流对象在所述虚拟三维空间内的所述三维空间坐标。

6.根据权利要求5所述的多人交流的空间音效的构建方法，其特征在于，所述设定所述导入点与所述接入点之间的位置关系包括：

所述导入点与所述接入点的三维位置重合。

7.根据权利要求1所述的多人交流的空间音效的构建方法，其特征在于，所述在所述虚拟三维空间内为n个交流对象分配三维空间坐标包括：

所述n个交流对象在所述虚拟三维空间内任意选定所述三维空间坐标。

8.根据权利要求7所述的多人交流的空间音效的构建方法，其特征在于，所述多人交流的过程中，任意时间更改一次或多次更改所述三维空间坐标。

9.一种多人交流的空间音效的构建系统，其特征在于，包括虚拟空间构建模块、参数提取模块和语音转换模块；

通过所述虚拟空间构建模块构建虚拟三维空间，并获取所述虚拟三维空间内的所有位置点的三维坐标(x,y,z)；在所述虚拟三维空间内为n个交流对象分配三维空间坐标(x₁,y₁,z₁)、...(x_n,y_n,z_n)；所述交流对象之间通过各自的所述三维空间坐标获取所述交流对象之间的坐标变量Δ(x,y,z)；

通过所述参数提取模块获取所述坐标变量Δ(x,y,z)所对应的空间参数；

通过所述语音转换模块为所述交流对象之中的交流语音内容发出方所发出的交流语音内容配置所述空间参数，以将所述交流语音内容转换为空间语音；

所述交流对象之中的交流语音内容接收方接收所述空间语音，实现所述交流对象之间的交流。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一所述的多人交流的空间音效的构建方法的步骤。

Images