CN112788274A - 一种基于增强现实的通信方法及装置 - Google Patents

Abstract

本申请公开一种基于增强现实的通信方法及装置，提供一种AR融入语音视频通话的实现方式，进而提升用户体验。在通信系统中部署AR媒体服务器，AR媒体服务器与通话两侧的终端设备所属的SBC之间打通媒体流通道，使得通话两侧的终端设备之间传输的媒体流在从SBC发出后到达AR媒体服务器，进而AR媒体服务器执行媒体增强处理，实现了在视频通话过程中融入AR处理。

Description

一种基于增强现实的通信方法及装置

技术领域

本申请实施例涉及通信技术领域，尤其涉及一种基于增强现实的通信方法及装置。

背景技术

长期演进语音承载(voice over long term evolution，VoLTE)是架构在第四代(the 4th generation，4G)网络上全IP条件下的端到端语音方案。VoLTE使得用户之间通信时，接通等待时间更短，并且语音视频通话质量更高。增强现实(Augmented Reality，AR)是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。增强现实技术不仅能够有效体现出真实世界的内容，也能够促使虚拟的信息内容显示出来。如何将AR融入语音视频通话中，目前并没有一种有效的实现方式。

发明内容

本申请实施例提供一种基于增强现实的通信方法及装置，提供一种AR融入语音视频通话的实现方式，进而提升用户体验。

第一方面，本申请实施例提供一种基于增强现实的通信方法，该方法包括：AR媒体服务器接收应用服务器发送第一会话创建请求，该第一会话创建请求用于请求创建与第一终端设备对应的第一会话边界控制器(session border controller，SBC)之间的第一媒体会话；一终端设备对应的第一SBC，换句话说，第一终端设备所属的第一SBC。然后，AR媒体服务器向应用服务器发送第一会话创建响应，该第一会话创建响应用于指示第一媒体会话创建成功；进一步地，AR媒体服务器接收应用服务器发送的第二会话创建请求，该第二会话创建请求用于请求创建与第二终端设备对应的第二SBC之间的第二媒体会话；再然后，AR媒体服务器向应用服务器发送第二会话创建响应，第二会话创建响应用于指示第二媒体会话创建成功。通过上述两次交互，打通了第一SBC与AR媒体服务器以及，AR媒体服务器与第二SBC之间的媒体流通道。进而，本端终端设备通过其所属的SBC向对端终端设备发送媒体流过程中，经过AR媒体服务器执行媒体增强处理，实现了在视频通话过程中融入AR处理，提升用户体验。

在一种可能的设计中，第一会话创建响应中携带AR媒体服务器的第一媒体描述协议(session description protocol，SDP)信息，第一SDP信息包括用于第一SBC与AR媒体服务器之间创建第一媒体会话的媒体流通道的参数。AR媒体服务器在第一会话创建响应中携带AR媒体服务器的第一SDP信息，用于与第一SBC之间协商媒体流通道，进而实现建立第一SBC与AR媒体服务器之间的媒体流通道。

在一种可能的设计中，第二会话创建响应中携带AR媒体服务器的第二SDP信息，第二SDP信息包括用于第二SBC与AR媒体服务器之间创建第二媒体会话的媒体流通道的参数。AR媒体服务器在第二会话创建响应中携带AR媒体服务器的第二SDP信息，用于与第二SBC之间协商媒体流通道，进而实现建立第二SBC与AR媒体服务器之间的媒体流通道。

在一种可能的设计中，应用服务器在向AR媒体服务器发送的第二会话创建请求中携带服务指示；从而AR媒体服务器接收到第二会话创建请求后，可以根据服务指示对第一终端设备与第二终端设备之间传输的媒体流进行媒体增强处理。

在一种可能的设计中，应用服务器在向AR媒体服务器发送的第二会话创建请求中携带关联指示；从而AR媒体服务器接收到第二会话创建请求后，可以根据关联指示关联第一媒体会话和第二媒体会话。

在一种可能的设计中，上述方法还可以包括：AR媒体服务器接收来自第一SBC通过第一媒体会话发送的第一媒体流；然后，AR媒体服务器对第一媒体流进行媒体增强处理得到第二媒体流；并通过第二媒体会话向第二SBC发送第二媒体流。

在一种可能的设计中，上述方法还可以包括：AR媒体服务器接收来自第一终端设备所属的SBC通过第一媒体会话发送的第三媒体流，并接收来自第二终端设备所属的SBC根据第二媒体会话发送第四媒体流；然后，AR媒体服务器对第三媒体流和第四媒体流进行媒体增强处理；向第一终端设备和/或第二终端设备发送媒体增强处理后的媒体流。

在一种可能的设计中，上述方法还可以包括：AR媒体服务器接收来自第一SBC通过第一媒体会话发送的第五媒体流，以及接收来自应用服务器的虚拟模型；然后，AR媒体服务器对虚拟模型和第五媒体流进行媒体增强处理；向第一终端设备和/或第二终端设备发送媒体增强处理后的媒体流。

在一种可能的设计中，AR媒体服务器还接收来自应用服务器的模型操作指示，模型操作指示用于指示AR媒体服务器对虚拟模型作出的操作；进一步地，AR媒体服务器在对虚拟模型和第五媒体流进行媒体增强处理时，可以通过如下方式实现：根据模型操作指示对虚拟模型执行处理操作，并对处理操作后的虚拟模型和第五媒体流进行媒体增强处理，比如叠加，或者根据第五媒体流对虚拟模型进行渲染等操作。

在一种可能的设计中，AR媒体服务器与终端设备之间可以通过应用服务器来建立辅助传输通道。可以通过如下方式实现AR媒体服务器与终端设备之间建立辅助传输通道：AR媒体服务器接收来自应用服务器的建立请求，建立请求用于请求建立辅助传输通道，辅助传输通道用于第一终端设备与AR媒体服务器之间传输辅助媒体流，建立请求携带第一终端设备的地址；AR媒体服务器向应用服务器发送第一建立响应，第一建立响应携带AR媒体服务器的地址。

进一步地，在建立辅助传输通道后，AR媒体服务器接收第一终端设备根据AR媒体服务器的通道传输地址发送的辅助媒体流。辅助媒体流用于辅助AR媒体服务器执行媒体增强处理。

在一种可能的设计中，AR媒体服务器接收到辅助媒体流后，上述方法还可以包括：AR媒体服务器接收来自第一SBC发送的第六媒体流；然后AR媒体服务器对辅助媒体流和第六媒体流进行媒体增强处理；并向第一终端设备和/或第二终端设备发送媒体增强处理后的媒体流。

示例性的，辅助媒体流包括点云数据、空间数据、用户视角视频或虚拟模型中的一项或多项。

第二方面，本申请实施例还提供一种基于增强现实的通信方法，包括：应用服务器接收第一终端设备的呼叫请求，并向AR媒体服务器发送第一会话创建请求，第一会话创建请求用于请求创建与第一终端设备对应的会话边界控制器SBC之间的第一媒体会话；应用服务器接收AR媒体服务器发送的第一会话创建响应，第一会话创建响应用于指示第一媒体会话创建成功；应用服务器接收第一会话创建响应后，向AR媒体服务器发送第二会话创建请求，第二会话创建请求用于请求创建与第二终端设备对应的第二SBC之间的第二媒体会话；应用服务器接收AR媒体服务器发送的第二会话创建响应，第二会话创建响应用于指示第二媒体会话创建成功。

在一种可能的设计中，第一会话创建响应中携带AR媒体服务器的第一媒体描述协议SDP信息，第一SDP信息包括用于第一SBC与AR媒体服务器之间创建第一媒体会话的媒体流通道的参数；上述方法还包括：应用服务器向第一SBC发送AR媒体服务器的第一SDP信息。上述SDP可以包括地址信息、媒体流的类型、支持的编解码格式等参数。

在一种可能的设计中，第二会话创建响应中携带AR媒体服务器的第二SDP信息，第二SDP信息包括用于第二SBC与AR媒体服务器之间创建第二媒体会话的媒体流通道的参数；上述方法还包括：应用服务器向第二SBC发送第二SDP信息。

在一种可能的设计中，第二会话创建请求中携带服务指示，服务指示用于指示AR媒体服务器针对第一终端设备与第二终端设备之间传输的媒体流所需作出的媒体增强处理。

在一种可能的设计中，第二会话创建请求中携带关联指示，关联指示用于指示AR媒体服务器关联第一媒体会话和第二媒体会话。

在一种可能的设计中，应用服务器接收第一SBC发送的AR视频呼叫请求时，触发向AR媒体服务器发送第一会话创建请求。

在一种可能的设计中，应用服务器接收第一终端设备发送的AR视频增强请求；应用服务器通过第一SBC向第一终端设备发送AR视频增强重请求，AR视频增强重请求用于指示第一终端设备发起AR视频呼叫，进而在第一终端设备发起AR视频呼叫时，应用服务器触发向AR媒体服务器发送第一会话创建请求。

在一种可能的设计中，上述方法还可以包括：应用服务器接收第一终端设备触发的AR界面操作指示；应用服务器向AR媒体服务器发送AR界面操作指示(比如模型操作指示)。应用服务器接收第一终端设备触发的模型操作指示；应用服务器向AR媒体服务器发送模型操作指示，该模型操作指示用于指示AR媒体服务器对接收到虚拟模型作出的操作。

在一种可能的设计中，上述方法还可以包括：应用服务器接收第一终端设备触发的建立请求，建立请求用于请求建立辅助传输通道，辅助传输通道用于第一终端设备与AR媒体服务器之间传输辅助媒体流，建立请求携带第一终端设备的地址；应用服务器将建立请求发送给AR媒体服务器；应用服务器接收AR媒体服务器发送的建立响应，建立响应携带AR媒体服务器的地址；应用服务器将建立响应发送给第一终端设备。

第三方面，本申请实施例还提供一种基于增强现实的通信方法，该方法可以包括：第一终端设备接收来自第一终端设备对应的第一会话边界控制器SBC的增强现实AR媒体流，AR媒体流包括第一终端设备上显示的AR界面的视频；第一终端设备响应于用户针对显示的AR界面触发的操作，向应用服务器发送AR界面操作指示，AR界面操作指示用于指示针对AR媒体流所执行的媒体增强处理；第一终端设备接收第一SBC发送的增强AR媒体流。用户在视频通话过程中，可以在AR界面进行操作，进而显示增强后的AR界面，为用户提供便利。

在一种可能的设计中，第一终端设备与AR媒体服务器之间建立有辅助传输通道，方法还包括：第一终端设备通过辅助传输通道向AR媒体服务器发送辅助媒体流，辅助媒体流用于AR媒体服务器执行媒体增强处理。

在一种可能的设计中，第一终端设备与AR媒体服务器可以通过如下方式建立辅助传输通道：第一终端设备通过辅助传输通道向AR媒体服务器发送辅助媒体流之前，向应用服务器发送建立请求，建立请求用于请求建立辅助传输通道，建立请求携带第一终端设备的地址；第一终端设备接收应用服务器发送的建立响应，建立响应携带AR媒体服务器的地址。

在一种可能的设计中，第一终端设备通过辅助传输通道向AR媒体服务器发送辅助媒体流，包括：第一终端设备根据第一终端设备的地址和AR媒体服务器的地址向AR媒体服务器发送辅助媒体流。

示例性地，辅助媒体流包括点云视频流、空间视频数据、用户视角视频或虚拟模型中的一项或多项。

第四方面，本申请实施例还提供了一种装置，所述装置应用于AR媒体服务器，有益效果可以参见第一方面的描述此处不再赘述。该装置具有实现上述第一方面的方法实例中行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，所述装置的结构中可以包括发送单元、接收单元和处理单元，这些单元可以执行上述第一方面方法示例中的相应功能，具体参见方法示例中的详细描述，此处不做赘述。

第五方面，本申请实施例还提供了一种装置，所述装置应用于应用服务器，有益效果可以参见第二方面的描述此处不再赘述。该装置具有实现上述第二方面的方法实例中行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，所述装置的结构中包括接收单元、处理单元和发送单元，这些单元可以执行上述第二方面方法示例中的相应功能，具体参见方法示例中的详细描述，此处不做赘述。

第六方面，本申请实施例还提供了一种装置，所述装置应用于所述终端设备，有益效果可以参见第三方面的描述此处不再赘述。该装置具有实现上述第三方面的方法实例中行为的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，所述装置的结构中包括发送单元、接收单元和处理单元，这些单元可以执行上述第三方面方法示例中的相应功能，具体参见方法示例中的详细描述，此处不做赘述。

第七方面，本申请实施例还提供了一种装置，所述装置应用于所述AR媒体服务器，有益效果可以参见第一方面的描述此处不再赘述。所述通信装置的结构中包括处理器和通信接口，还可以包括存储器，所述处理器被配置为支持所述AR媒体服务器通过通信接口执行上述第一方面方法中相应的功能。所述存储器与所述处理器耦合，其保存所述通信装置必要的程序指令和数据。

第八方面，本申请实施例还提供了一种装置，所述装置应用于所述应用服务器，有益效果可以参见第二方面的描述此处不再赘述。所述装置的结构中包括处理器和通信接口，还可以包括存储器，所述处理器被配置为支持所述应用服务器通过通信接口执行上述第二方面方法中相应的功能。所述存储器与所述处理器耦合，其保存所述装置必要的程序指令和数据。

第九方面，本申请实施例还提供了一种装置，所述装置应用于所述第一终端设备，有益效果可以参见第三方面的描述此处不再赘述。所述装置的结构中包括处理器和通信接口，还可以包括存储器，所述处理器被配置为支持所述终端设备通过通信接口执行上述第三方面方法中相应的功能。所述存储器与所述处理器耦合，其保存所述装置必要的程序指令和数据。

第十方面，本申请实施例还提供了一种装置，所述装置应用于SBC(第一SBC或第二SBC)。所述通信装置的结构中包括处理器和通信接口，还可以包括存储器，所述处理器被配置为支持所述SBC通过通信接口执行上述任一方面中第一SBC或者第二SBC相应的功能。所述存储器与所述处理器耦合，其保存所述通信装置必要的程序指令和数据。

第十一方面，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

第十二方面，本申请还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

第十三方面，本申请还提供一种计算机芯片，所述芯片与存储器相连，所述芯片用于读取并执行所述存储器中存储的软件程序，执行上述各方面所述的方法。

附图说明

图1为本申请实施例中一种可能的AR通信系统架构示意图；

图2为本申请实施例中另一种可能的AR通信系统架构示意图；

图3为本申请实施例中又一种可能的AR通信系统架构示意图；

图4为本申请实施例中一种可能的终端设备的显示界面示意图；

图5为本申请实施例中再一种可能的AR通信系统架构示意图；

图6为本申请实施例中再一种可能的AR通信系统架构示意图；

图7为本申请实施例中一种AR媒体服务器输入输出示意图；

图8为本申请实施例的示例1中AR媒体服务器输入输出示意图；

图9为本申请实施例的示例2中AR媒体服务器输入输出示意图；

图10为本申请实施例的示例3中一种AR媒体服务器输入输出示意图；

图11为本申请实施例的示例3中另一种AR媒体服务器输入输出示意图；

图12为本申请实施例的示例4中AR媒体服务器输入输出示意图；

图13为本申请实施例中一种可能的基于AR的通信方法流程示意图；

图14A为本申请实施例中另一种可能的基于AR的通信方法流程示意图；

图14B为本申请实施例中另一种可能的基于AR的通信方法流程示意图；

图15为本申请实施例中又一种可能的基于AR的通信方法流程示意图；

图16为本申请实施例中终端设备触发AR视频增强流程的方法示意图；

图17为本申请实施例中终端设备与AR媒体服务器之间建立辅助传输通道的流程示意图；

图18～图22为本申请提供的装置的结构示意图。

具体实施方式

本申请提供一种基于AR的通信方法及装置，提供一种AR融入语音视频通话的实现方式，进而提升用户体验。语音视频通话可以但不仅限于采用VoLTE，还可以适用于未来技术提供的语音视频通话。

参见图1所示为本申请实施例的一种基于AR的通信系统架构示意图。通信系统中包括一个或者多个会话边界控制器(session border controller，SBC)以及一个或者多个AR媒体服务器。AR媒体服务器也可以称为AR媒体使能器(AR media enabler)。两个终端设备可以通过通信系统进行语音视频通话，并且在语音视频通话过程，由AR media enabler对语音视频通话过程中产生的媒体流进行媒体增强处理。比如AR media enabler具体较强的图像处理功能以及数据计算功能，能够采用AR技术对接收到的媒体流执行逻辑运算、画面渲染、虚拟景象合成等操作。AR媒体服务器可以是以容器服务的形式部署。AR媒体服务器还可以通过一个或者虚拟机来实现。AR媒体服务器也可以包括一个或者处理器，或者通过一个或者多个计算机来实现，比如超多核计算机、部署有图形处理器(graphicsprocessing unit，GPU)集群的计算机、大型的分布式计算机、硬件资源池化的集群计算机等等。SBC用于对终端设备的会话进行管理或控制。SBC包括信令面功能以及媒体面功能，例如可以用于接收来自其管理的终端设备的媒体流，并将从终端设备接收的媒体流发送给AR媒体服务器。AR媒体服务器用于对接收到的上行媒体流进行媒体增强处理得到下行视频流。下行视频流可以由AR媒体服务器通过SBC发送给对应的终端设备。终端设备可以是配置有摄像头，具有视频通话功能的设备，比如，终端设备可以是可穿戴设备(例如电子手表)，终端设备还可以是手机、平板电脑等设备。本申请实施例对终端设备的具体形式不作特殊限制。

图1中以两个SBC为例，分别为第一SBC和第二SBC，所述第一SBC用于管理第一终端设备，第二SBC用于管理第二终端设备。另外，不同终端设备也可以有同一个SBC来管理。比如图1中所述的第三终端设备，第三终端设备由第一SBC管理。以第一终端设备与第二终端设备进行AR视频通话为例，第一SBC用于接收来自第一终端设备的第一媒体流，并将接收到的第一媒体流发送给AR媒体服务器，进而AR媒体服务器对接收到的上行媒体流进行媒体增强处理，上行媒体流包括该第一媒体流。可选地，AR媒体服务器对上行媒体流进行媒体增强处理后得到下行媒体流，AR媒体服务器将下行媒体流发送给第二SBC，由第二SBC发送给第二终端设备。

示例性地，通信系统还可以包括应用服务器。应用服务器用于在终端设备的触发下建立AR视频通话，比如以上述第一终端设备与第二终端设备进行AR视频通话为例，应用服务器接收来自第一终端设备的AR界面操作指示，并将AR界面操作指示发送给AR媒体服务器，AR界面操作指示用于指示用户对第一终端设备显示的AR界面所作的操作；进而AR媒体服务器，具体用于根据AR界面操作指示对接收到的上行媒体流进行媒体增强处理。

可选地，参见图2所示，应用服务器可以包括媒体插件服务功能，也可以称为插件服务器(Plugin server)。应用服务器还包括应用服务功能。媒体插件服务功能，用于与终端设备进行交互，接收来自终端设备触发的AR界面操作指示，并将AR界面操作指示发送给应用服务功能。应用服务功能用于与AR媒体服务器交互，将媒体插件服务功能发送的AR界面操作指示发送给AR媒体服务器。进而AR媒体服务器在对接收到的上行媒体流进行媒体增强处理时，根据AR界面操作指示对接收到的上行媒体流进行媒体增强处理。

需要说明的是，媒体插件服务功能与AS在部署时，可以分别独立部署，还可以合并部署，比如媒体插件服务功能与AS通过一个设备来实现，或者通过一个或者多个虚拟机来实现。

其中，AR界面操作指示可以是用于指示处理方式的指示，对实时性没有很大要求，比如美颜操作，AR媒体服务器根据该AR界面操作指示对接收到的媒体流中每个视频帧中人脸执行美颜处理。AR界面操作指示还可以包括用于指示用户实时操作的指示，比如模型操作指示，用于指示旋转模型、缩放模型等。本申请实施例中为了便于区分，将对实时性没有很大要求的AR界面操作指示称为非实时操作指示，将用于指示用户实时操作的指示称为实时操作指示。

一种可能的方式中，参见图3所示，应用服务器(AS)可以部署于系统中的中心节点。第一SBC部署于系统中的第一边缘节点，AR媒体服务器部署于系统中的中心节点。第二SBC部署于系统的第二边缘节点。边缘节点相比中心节点来说，更靠近终端设备的用户，为这些用户提供边缘计算服务、转发服务等等，降低响应时延和带宽成本，减轻中心节点的压力。可选地，中心节点和边缘节点可以部署于云上，在该请况下，中心节点可以称为中心云，边缘节点可以称为边缘云。示例性地，边缘节点也可以是移动边缘计算(Mobile EdgeComputing，MEC)节点。中心云还可以部署IP多媒体系统(IP Multimedia Subsystem，IMS)核心网(core)。IMS core中可以包括呼叫会话控制功能(call session controlfunction，CSCF)和归属签约用户服务器(home subscriber server，HSS)，IMS core还可以包括其它网元，本申请实施例中不再赘述。CSCF是IMS core的呼叫控制中心，是在IP传输平台上实现用户接入，鉴权、会话路由和业务触发等功能。CSCF可以包括服务-呼叫会话控制功能(serving-call session control function，S-CSCF)、代理-CSCF(Proxy CSCF，P-CSCF)、查询-CSCF(Interrogating-CSCF，I-CSCF)中的一个或多个。HSS用于记录用户的签约数据(比如用户信息、业务数据)。参见图3所示，SBC提供接入网与IMS核心网之间以及IMS核心网之间的边界控制功能，能够提供接入控制、服务质量(quality of service)控制以及防火墙穿越等功能。

可选地，在终端设备中可以部署AR控件(可以称为端侧Plugin)。AR控件用于与网络侧的媒体插件服务功能进行消息交互。AR控件还可以与AR media enabler之间建立辅助传输通道。其中辅助传输通道用于第一终端设备向AR media enabler发送辅助媒体流。示例性地，辅助媒体流可以包括点云数据、空间数据(也可以称为空间位姿数据)、用户视角视频或虚拟模型中的一项或者多项。点云数据是指以点的形式记录的数据，每个点可以包括空间位置信息，还可以包含颜色信息或者反射强度信息等。空间数据也可以称为几何数据，它用来表示物体的位置、形态、大小分布等各方面的信息，是对现世界中存在的具有定位意义的事物和现象的定量描述。虚拟模型，比如可以包括虚拟人像模型、虚拟物体模型以及素材图像(比如贴纸、卡通头像等)、或者虚拟动画模型等中的一项或多项。用户视角视频，比如可以是在用户通过终端设备的后置摄像头采集到的视频，或者通过终端设备的前置摄像头采集到的视频。

可选地，本申请实施例中终端设备可以根据传输的辅助媒体流的类型建立不同的辅助传输通道。比如在需要传输点云数据时，建立辅助传输通道1，在需要传输AR空间数据时，建立辅助传输通道2。用于传输AR空间数据的辅助传输通道2可以称为Action通道，也可以采用其它的称呼，本申请实施例对此不作限定。终端设备也可以通过一个辅助传输通道传输不同类型的辅助媒体流。

示例性地，AR控件的用户界面可以在终端设备的AR视频通话过程中作为悬浮窗口叠加在VoLTE的通话界面之上。比如，参见图4所示的显示界面400。窗口402显示通话对端的用户的图像，窗口401显示通话本端用户的图像，窗口403为AR控件的用户界面。用户通过点击窗口403中的图标，比如“美白”图标，进而AR控件将美白的操作指令通过应用服务器发送给AR媒体服务器，从而AR媒体服务器对接收到的媒体流包括的视频图像的人脸执行美白操作。

另一种可能的方式中，参见图5所示，与所述图3中AR媒体服务器部署于中心节点不同的是，在图5中，AR媒体服务器部署于系统中的第一边缘节点(比如第一边缘云)。

又一种可能的方式中，参见图6所示，进行通话的两个终端设备分别对应的边缘云中部署AR媒体服务器，为了便于区分，第一边缘云中部署的AR媒体服务器称为第一AR媒体服务器，第二边缘云中部署的AR媒体服务器称为第二AR媒体服务器。在该部署方式下，第一AR媒体服务器进行媒体增强处理后的媒体流，如果需要发送给第二终端设备，则先发送给第二AR媒体服务器，由第二AR媒体服务器通过第二SBC发送给第二终端设备。

需要说明的是，不同的终端设备所对应的边缘节点可能相同，也可能不同。另外不同的终端设备对应的中心节点可能相同，也可能不同。不同的终端设备所对应的AR媒体服务器可能不同，也可能相同。不同的终端所对应的CSCF可能相同，也可能不同。

如下以第一终端设备与第二终端设备进行AR视频增强通话为例。由AR媒体服务器对接收到的媒体流进行媒体增强处理。本申请实施例中为了描述方便，将AR媒体服务器输入的媒体流称为上行媒体流，输出的媒体流称为下行媒体流。参见图7所示，AR媒体服务器接收的上行媒体流可以包括来自第一终端设备的第一媒体流。上行媒体流还可以如下一项或者多项：辅助媒体流、虚拟模型。

AR媒体服务器的输入还可以包括AR界面操作指示，AR界面操作指示可以指示用户对第一终端设备显示的AR界面所作的操作。AR媒体服务器的输出可以包括第一终端设备的下行媒体流，和/或，第二终端设备的下行媒体流。

可选地，辅助媒体流可以由第一终端设备通过辅助传输通道发送到AR媒体服务器。辅助媒体流可以包括点云数据、空间数据、用户视角视频或者虚拟模型中的一项或者多项。一种方式是，虚拟模型由终端设备生成并通过辅助传输通道发送给AR媒体服务器，另一种方式，终端设备可以不具有生成虚拟模型的能力，虚拟模型可以由应用服务器生成并发送给AR媒体服务器。

应理解的是，在不同的应用场景下，AR媒体服务器的输入和输出可以不同。

下面结合应用场景示例性地对AR媒体服务器的媒体流构成以及流向进行说明。以用户1的第一终端设备与用户2的第二终端设备之间进行AR视频通话为例。

示例1，单向AR增强场景。比如，美颜、贴纸、超分、表情驱动通话等场景。该场景可以适用于通话两端均支持AR情况。也可以适用于单侧支持AR的情况。

参见图8所示，以第一终端设备在与第二终端设备进行视频通话过程中需要进行AR处理。AR媒体服务器的输入包括第一终端设备的第一媒体流。第一媒体流由第一终端设备通过第一SBC发送给AR媒体服务器。示例性地，第一媒体流可以包括第一终端设备通过摄像头采集到的视频，还可以包括通过麦克风采集到的语音。

AR媒体服务器对第一媒体流进行媒体增强处理后输出第二终端设备的下行媒体流。可选地，用户1的第一终端设备上在显示用户2的图像的基础上也可以显示用户1自身的图像，比如图4所示的窗口401和窗口402，在该情况下，AR媒体服务器在对第一媒体流执行媒体增强处理后再发送给第二终端设备时，还可以发送给第一终端设备。以美颜为例，第一终端设备的用户1触发美颜操作时，第一终端设备的AR控件将美颜操作指示发送给应用服务器，进而应用服务器将美颜操作发送给AR媒体服务器，AR媒体服务器对接收到的第一媒体流中视频图像包括的人脸执行美颜操作。

示例性地，针对贴纸、表情驱动通话等需要素材的场景中，应用服务器中的应用服务功能中部署素材库，素材库中可以包括各种素材，比如不同样式的贴纸、不同表情的表情头像(比如可爱猫咪，鬼脸)、或者不同样式的虚拟人像模型等等。在需要素材的场景中，AR媒体服务器的输入还包括来自应用服务器的素材图像。第一终端设备的AR控件响应于用户选择的道具(比如虚拟人像)，向应用服务器发送AR界面操作指示，AR界面操作指示用于指示用户选择的虚拟人像。应用服务器接收到AR界面操作指示后，可以将素材库中的虚拟人像模型发送给AR媒体服务器，AR媒体服务器从接收到的第一媒体流中获取用户1的表情、动作等数据对虚拟人像模型进行渲染，将经过渲染得到媒体流发送给第二终端设备。

示例1可以适用于AR媒体服务器部署于中心节点的架构，也可以适用于AR媒体服务器部署于边缘节点的架构。当第一终端设备和第二终端设备所对应的边缘节点不同时，比如，以图6为例，第一终端设备对应的AR媒体服务器(比如第一AR媒体服务器)将媒体增强处理后的媒体流先发送给第二终端设备对应的AR媒体服务器(第二AR媒体服务器)，由第二AR媒体服务器通过第二SBC发送给第二终端设备。

示例2，操作交互通话场景，比如广告推销、远程教育等。该场景可以适用于通话两端均支持AR情况。也可以适用于单侧支持AR的情况。

参见图9所示，以用户1的第一终端设备在与用户2的第二终端设备进行视频通话过程中需要进行AR处理为例。AR媒体服务器的输入包括第一终端设备的第一媒体流。第一媒体流由第一终端设备通过第一SBC发送给AR媒体服务器。AR媒体服务器的输入还包括实时操作指示，比如模型旋转、模型移动或者模型缩放、空间标注等操作。实时操作指示可以由用户1操作产生，即由第一终端设备通过应用服务器发送给AR媒体服务器。实时操作指示可以由用户2操作产生，即由第二终端设备通过应用服务器发送。作为一种示例，在图3或图5所示的部署方式中，AR媒体服务器可以包括至少两个媒体处理实例，以两个为例，分别为媒体处理实例1和媒体处理实例2。媒体处理实例1用于对第一终端设备的第一媒体流进行媒体增强处理，媒体处理实例1的输入可以包括第一媒体流、实时操作指示，媒体处理实例1将媒体增强处理后的媒体流通过第一SBC发送给第一终端设备。媒体处理实例2用于对第二终端设备的第二媒体流进行媒体增强处理，媒体处理实例2的输入可以包括第二媒体流和实时操作指示，并将媒体增强处理后的媒体流通过第二SBC发送给第二终端设备。其中，媒体处理实例1上输入的实时操作指示和媒体处理实例2上输入的实时操作指示可以相同，比如来自于第一终端设备或者来自第二终端设备。媒体处理实例1上输入的实时操作指示和媒体处理实例2上输入的实时操作指示也可以相同，媒体处理实例1上输入的实时操作指示来自第一终端设备，媒体处理实例2上输入的实时操作指示来自第二终端设备。针对图6所示的部署方法，可以由第一AR媒体服务器对第一终端设备的第一媒体流进行媒体增强处理，由第二AR媒体服务器对第二终端设备的第二媒体流进行媒体增强处理。第一AR媒体服务器的输入可以包括第一媒体流、实时操作指示，第一AR媒体服务器媒体增强处理后的媒体流通过第一SBC发送给第一终端设备。第二AR媒体服务器的输入可以包括第二媒体流、实时操作指示，第二AR媒体服务器媒体增强处理后的媒体流通过第一SBC发送给第一终端设备。其中，第一AR媒体服务器上输入的实时操作指示和第二AR媒体服务器输入的实时操作指示可以相同，比如实时操作指示来自于第一终端设备或者来自第二终端设备。第一AR媒体服务器上输入的实时操作指示和第二AR媒体服务器输入的实时操作指示也可以不同，第一AR媒体服务器上输入的实时操作指示来自第一终端设备，第二AR媒体服务器上输入的实时操作指示来自第二终端设备。

AR媒体服务器的输入还可以包括虚拟模型，虚拟模型可以由应用服务器发送给AR媒体服务器。需要说明的是，虚拟模型可以不是实时传输的，可由应用服务器传输一次即可。在终端设备具有提供虚拟模型的场景中，可以由终端设备通过应用服务器发送给AR媒体服务器，或者可以是终端设备上AR控件通过辅助传输通道将虚拟模型发送给AR媒体服务器。

比如，二手房可视业务，房源提供者对应第二终端设备，购房用户为第一终端设备。第一终端设备将购房用户的第一媒体流(作为背景流)通过第一SBC发送给AR媒体服务器。第一媒体流可以由第一终端设备上后置摄像头采集得到。第一终端设备的AR插件将购房用户操作二手房模型的模型操作指示通过应用服务器发送给AR媒体服务器。AR媒体服务器从第一媒体流获取购房用户视角的空间位姿数据，按照购房用户视角的空间位姿数据渲染二手房模型，将渲染后的二手房模型与购房用户的背景流叠加发送给第一终端设备。针对第二终端设备的第二媒体流可以采用针对第一媒体流的处理方式类似的方式，此处不再重复描述。作为一种示例，空间位姿数据可以由第一终端设备的AR控件通过辅助传输通道发送给AR媒体服务器。

示例3，图像交互通话场景，比如AR全息通话场景等。该场景下适用于通话两端均支持AR。在图3或图5所示的部署方式中，AR媒体服务器可以部署至少两个媒体处理实例，以两个为例，参见图10所示，分别为媒体处理实例1和媒体处理实例2。媒体处理实例1上输入和输出，以及媒体处理实例2上输入和输出参见图10所示。媒体处理实例1的输入包括第一媒体流和第二辅助媒体流，第一媒体流可以是第一终端设备通过第一SBC发送给媒体处理实例1，第二辅助媒体流可以是第二终端设备上的AR控件通过辅助传输通道发送给媒体处理实例1。媒体处理实例2的输入包括第二媒体流和第一辅助媒体流，第二媒体流可以是第二终端设备通过第二SBC发送给媒体处理实例2，第一辅助媒体流可以是第一终端设备上的AR控件通过辅助传输通道发送给媒体处理实例2。第一媒体流和第一辅助媒体流可以是第一终端设备分别通过前置摄像头和后置摄像头采集得到，同样，第二媒体流和第二辅助媒体流可以是第二终端设备分别前置摄像头和后置摄像头采集得到。

以AR全息通话场景为例，第一媒体流包括第一终端设备的用户1所在的环境图像，第一辅助媒体流包括用户1的人像图像，第二媒体流包括第二终端设备的用户2所在的环境图像，第二辅助媒体流包括用户2的人像图像。用户1的第一辅助媒体流输入媒体处理实例2，媒体处理实例2从用户1的第一辅助媒体流获取用户1的实时表情、动作数据，驱动用户1的虚拟模型；媒体处理实例2将用户2的第二媒体流作为背景流，根据背景流获得用户2视角的空间位姿数据，并根据用户2的视角的空间位姿数据渲染用户1的虚拟模型，与第二媒体流叠加后，作为第二终端设备的下行视频流。同样，用户2的第二辅助媒体流输入媒体处理实例1，媒体处理实例1从用户2的第二辅助媒体流获取用户2的实时表情、动作数据，驱动用户2的虚拟模型；媒体处理实例1将用户1的第一媒体流作为背景流，根据背景流获得用户1视角的空间位姿数据，并根据用户1的视角的空间位姿数据渲染用户2的虚拟模型，与第一媒体流叠加后，作为第一终端设备的下行视频流。

在图6所示的部署方式中，第一AR媒体服务器和第二AR媒体服务器的输入和输出参见图11所示。第一AR媒体服务器和第二AR媒体服务器的处理方式与上述媒体处理实例1和媒体处理实例2的处理方式类似，此处不再赘述。

示例4，虚实叠加通话场景，比如远程指导等。该场景可以适用于通话两端均支持AR情况。也可以适用于单侧支持AR的情况。

参见图12所示，AR媒体服务器的输入包括第一终端设备的第一媒体流和第一终端设备的辅助媒体流(包括点云数据)。第一终端设备上可以配置深度摄像头，用于获取点云数据，点云数据用于生成拍摄画面的深度图，比如红(R)绿(G)蓝(B)-深度(D)图像。第一终端设备的第一媒体流输入AR媒体服务器，第一媒体流作为背景流，AR媒体服务器根据点云数据，以更高的精度从背景流中识别物体对象的空间位置，识别物体对象后，在背景流上叠加虚拟模型、或者标识等，AR媒体服务器的输出作为第一终端设备和第二终端设备的下行视频流。

下面结合前面所描述的通信系统结构，对创建媒体会话的流程进行说明。

参见图13所示，为本申请实施例提供的基于AR的通信方法流程示意图，以第一终端设备向第二终端设备触发AR视频增强流程为例。

S1301，第一终端设备通过第一SBC向应用服务器触发呼叫请求。

S1302，应用服务器向AR媒体服务器发送给第一会话创建请求。第一会话创建请求用于请求创建与第一终端设备对应的第一SBC之间的第一媒体会话。示例性地，第一会话创建请求中携带第一SBC的SDP信息。

示例性地，第一会话创建请求可以是INVITE消息。

S1303，AR媒体服务器接收到第一会话创建请求时，向应用服务器发送第一会话创建响应。第一会话创建响应用于指示第一媒体会话创建成功。示例性地，第一会话创建响应携带AR媒体服务器的第一媒体描述协议SDP信息，该第一SDP信息用于描述所述第一SBC与所述AR媒体服务器之间创建第一媒体会话的媒体流通道的参数。

示例性地，第一会话创建响应可以是200OK。

S1304，AR媒体服务器接收应用服务器发送的第二会话创建请求。第二会话创建请求用于请求创建与第二SBC之间的第二媒体会话。

示例性地，第二会话创建请求可以是INVITE消息。

可选地，第二会话创建请求中可以携带服务指示。服务指示用于指示本次会话所需的媒体处理以及媒体流向。比如，服务指示可以是服务标识(ServiceID)。服务指示也可以称为AR业务指示。不同的应用场景下服务指示所指示的内容不同，即在不用的应用场景下，AR媒体服务器所提供的媒体增强处理不同，媒体流的流向也可能不同。

示例性地，第二会话创建请求携带关联指示。比如，关联指示可以通过第二会话创建请求的呼叫标识(比如，CallID)来指示。关联指示用于关联第一媒体会话和第二媒体会话。换句话说，建立第一SBC与AR媒体服务器之间的媒体流通道，和AR媒体服务器之间的媒体流通道的关联关系。也可以说第一SBC转发的第一终端设备的媒体流在到达第二终端设备所属的第二SBC之前需要经过AR媒体服务器。

S1305，AR媒体服务器向应用服务器发送第二会话创建响应。第二会话创建响应用于指示第二媒体会话创建成功。示例性地，第二会话创建响应中携带AR媒体服务器的第二SDP信息。第二媒体描述协议SDP信息用于描述第二SBC与AR媒体服务器之间创建第二媒体会话的媒体流通道的参数。

示例性地，第一会话创建响应可以是183消息。

示例性地，AR媒体服务器在建立第一媒体会话和第二媒体会话的关联关系，可以建立AR媒体服务器上第一接口与第二接口的关联关系。第一接口为接收第一SBC发送的媒体流，第二接口用于向第二SBC发送媒体流。第一接口和第二接口可以为物理接口或者物理子接口，也可以为逻辑接口或者为逻辑子接口。

S1306，应用服务器通过第二SBC向第二终端设备发送呼叫请求。应用服务器可以在呼叫请求中将AR媒体服务器的第二SDP带给第二SBC。

需要说明的是，第一终端设备在向第二终端设备发起AR视频增强流程时，第一种情况是，在VoLTE通话流程中即引入AR媒体服务器，即通话建立流程中需要建立AR媒体服务器与SBC之间的媒体会话。比如，第一终端设备建立原始呼叫时即发起AR视频增强流程，可以采用第一种情况。第二种情况是，原始呼叫无需执行AR媒体增强(比如原始通过仅为音频通话)，在通话过程中，触发AR媒体增强流程。

下面针对第一种情况下的AR视频通信流程进行详细说明，参见图14A所示。图14A以通话两端对应同一AR媒体服务器为例。

S1401，第一终端设备向第一SBC发送呼叫请求1。该呼叫请求1中携带第一终端设备的媒体描述协议(session description protocol，SDP)信息。

示例性地，呼叫请求1可以但不仅限于采用会话初始协议(session initiationprotocol，SIP)，还可以采用其它类型的传输协议，本申请对此不作限定。

本申请实施例中，SDP用于两个会话实体之间的媒体面协商，并达成一致，属信令语言族，可以采用文本(字符)描述形式。SDP中可以包括如下所述的一项或多项：会话ID、会话版本、会话时间、本端传输媒体流的IP和端口、媒体流的描述信息(比如媒体类型，传输协议、媒体格式等中的一项或者多项)等。

第一终端设备的SDP信息用于描述创建第一终端设备与第一SBC之间媒体会话的媒体流通道的参数。

S1402，第一SBC在接收到呼叫请求1后，将呼叫请求1中的第一终端设备的SDP信息替换为第一SBC的SDP信息得到呼叫请求2，并将呼叫请求2发送给S-CSCF。

S1403，S-CSCF在接收到呼叫请求2后，将呼叫请求2转发给应用服务器。

示例性地，S-CSCF在接收到呼叫请求2后，根据第一终端设备的签约数据确定第一终端设备签约了AR媒体增强业务，进而将呼叫请求2转发给应用服务器。该应用服务器用于提供AS媒体增强业务。

S1404-S1407，参见S1302-S1305，此处不再赘述。

S1408，应用服务器将呼叫请求2中的第一SBC的SDP信息替换为AR媒体服务器的第二SDP信息得到呼叫请求3，并将呼叫请求3发送给S-CSCF。

S1409，S-CSCF将呼叫请求3转发给第二SBC。第二SBC可以根据AR媒体服务器的第二SDP信息确定媒体流通道的上一跳为AR媒体服务器。

S1410，第二SBC将呼叫请求3中的AR媒体服务器的第二SDP信息替换为第二SBC的SDP信息得到呼叫请求4，并将呼叫请求4发送给第二终端设备。

S1411，第二终端设备向第二SBC发送给呼叫响应4(为呼叫请求4对应的响应)，呼叫响应4中可以携带第二终端设备的SDP信息。

S1412，第二SBC接收到呼叫响应4后，向S-CSCF发送呼叫响应3(为呼叫请求3对应的响应)，呼叫响应3可以携带第二SBC的SDP信息。

S1413，S-CSCF接收到呼叫响应3后，向应用服务器转发呼叫响应3。

S1414，应用服务器在接收到呼叫响应3后，向AR媒体服务器发送第二SBC的SDP信息。AR媒体服务器在接收到第二SBC的SDP信息后可以确定媒体流隧道的下一跳为第二SBC。

S1415，应用服务器向S-CSCF发送呼叫响应2(为呼叫请求2对应的响应)。呼叫响应2中可以携带AR媒体使能器的第二SDP信息。

S1416，S-CSCF将呼叫响应2转发给第一SBC。

S1417，第一SBC在接收到呼叫响应2后，向第一终端设备发送呼叫响应1。呼叫响应1中携带第一SBC的SDP信息。

示例性地，呼叫响应1-呼叫响应4可以采用183消息类型。

参见图14B所示，为本申请实施例提供的基于AR的通信方法流程示意图，以第一终端设备向第二终端设备触发AR视频增强流程为例。图14B以通话两端对应不同的AR媒体服务器为例，通话两端对应不同的应用服务器为例。

S1401a-S1403a，参见S1401-S1403，此处不再赘述。

S1404a，第一应用服务器向第一AR媒体服务器发送给会话创建请求1。会话创建请求1用于请求创建与第一终端设备对应的第一SBC之间的第一媒体会话。示例性地，会话创建请求1中携带第一SBC的SDP信息。

示例性地，第一会话创建请求可以是INVITE消息。

S1405a，第一AR媒体服务器接收到会话创建请求1时，向第一应用服务器发送会话创建响应1。会话创建响应1用于指示第一媒体会话创建成功。示例性地，会话创建响应1携带第一AR媒体服务器的第一媒体描述协议SDP信息，该第一SDP信息用于描述第一SBC与第一AR媒体服务器之间创建第一媒体会话的媒体流通道的参数。

示例性地，第一会话创建响应可以是200OK。

S1406a，第一AR媒体服务器接收第一应用服务器发送的会话创建请求2。会话创建请求2用于请求创建与第二SBC之间的第二媒体会话。

示例性地，会话创建请求2可以是INVITE消息。

可选地，会话创建请求2中可以携带服务指示。示例性地，第二会话创建请求携带第一关联指示。比如，第一关联指示可以通过会话创建请求2的呼叫标识(比如，CallID)来指示。第一关联指示用于关联第一媒体会话和第二媒体会话。

S1407a，第一AR媒体服务器向第一应用服务器发送会话创建响应2。会话创建响应2用于指示第二媒体会话创建成功。示例性地，第二会话创建响应中携带AR媒体服务器的第二SDP信息。第二媒体描述协议SDP信息用于描述第二SBC与第一AR媒体服务器之间创建第二媒体会话的媒体流通道的参数。

S1408a，第一应用服务器将呼叫请求2中的第一SBC的SDP信息替换为第一AR媒体服务器的第二SDP信息得到呼叫请求3，并将呼叫请求3发送给S-CSCF1。

S1409a，S-CSCF1将呼叫请求3转发给S-CSCF2。

S1410a，S-CSCF2将呼叫请求3转发给第二应用服务器。

S1411a，第二应用服务器向第二AR媒体服务器发送给会话创建请求3。会话创建请求3用于请求创建与第一AR媒体服务器之间的第三媒体会话。示例性地，会话创建请求3中携带第一AR媒体服务器的第二SDP信息。

S1412a，第二AR媒体服务器接收到会话创建请求3时，向第二应用服务器发送会话创建响应3。会话创建响应3用于指示第三媒体会话创建成功。示例性地，会话创建响应3携带第二AR媒体服务器的第一SDP信息，该第二AR媒体服务器的第一SDP信息用于描述第一AR媒体服务器与第二AR媒体服务器之间创建第三媒体会话的媒体流通道的参数。

S1413a，第二AR媒体服务器接收第二应用服务器发送的会话创建请求4。会话创建请求4用于请求创建与第二SBC之间的第四媒体会话。

示例性地，会话创建请求4可以是INVITE消息。

可选地，会话创建请求4中可以携带服务指示。示例性地，第二会话创建请求携带第二关联指示。比如，第二关联指示可以通过会话创建请求4的呼叫标识(比如，CallID)来指示。第二关联指示用于关联第三媒体会话和第四媒体会话。

S1414a，第二AR媒体服务器向第二应用服务器发送会话创建响应4。会话创建响应4用于指示第四媒体会话创建成功。示例性地，会话创建响应4中携带第二AR媒体服务器的第二SDP信息。第二AR媒体服务器的第二SDP信息用于描述第二SBC与第二AR媒体服务器之间创建第四媒体会话的媒体流通道的参数。

S1415a，第二应用服务器将呼叫请求3中的第一AR媒体服务器的第二SDP信息替换为第让二AR媒体服务器的第二SDP信息得到呼叫请求4，并发送给S-CSCF2。

S1416a，S-CSCF2将呼叫请求4转发给第二SBC。第二SBC可以根据第二AR媒体服务器的第二SDP信息确定媒体流通道的上一跳为第二AR媒体服务器。

S1417a，第二SBC将呼叫请求4中的第二AR媒体服务器的第二SDP信息替换为第二SBC的SDP信息得到呼叫请求5，并将呼叫请求5发送给第二终端设备。

S1418a，第二终端设备向第二SBC发送给呼叫响应5，呼叫响应5中可以携带第二终端设备的SDP信息。

S1419a，第二SBC接收到呼叫响应5后，向S-CSCF2发送呼叫响应4，呼叫响应4可以携带第二SBC的SDP信息。

S1410a，S-CSCF2接收到呼叫响应4后，向第二应用服务器转发呼叫响应4。

S1421a，第二应用服务器在接收到呼叫响应4后，向第二AR媒体服务器发送第二SBC的SDP信息。第二AR媒体服务器在接收到第二SBC的SDP信息后可以确定媒体流隧道的下一跳为第二SBC。

S1422a，第二应用服务器向S-CSCF2发送呼叫响应3。呼叫响应3中可以携带第二AR媒体使能器的第一SDP信息。

S1423a，S-CSCF2向S-CSCF1发送呼叫响应3。

S1424a，S-CSCF1向第一应用服务器发送呼叫响应3。

S1425a，第一应用服务器向第一AR媒体服务器发送第二AR媒体使能器的第一SDP信息。第一AR媒体使能器在接收到第二AR媒体使能器的第一SDP信息后可以确定媒体流隧道的下一跳为第二AR媒体使能器。

S1426a，第一应用服务器向第一SBC发送呼叫响应2，呼叫响应2中携带第一AR媒体服务器的第一SDP信息。

S1427a，第一SBC在接收到呼叫响应2后，向第一终端设备发送呼叫响应1。呼叫响应1中携带第一SBC的第一SDP信息。

示例性地，呼叫响应1-呼叫响应4可以采用183消息类型。

下面针对第二种情况下的AR视频通信流程进行详细说明，参见图15所示。

VoLTE呼叫建立完成，媒体流传输时并未经过AR媒体服务器。第一终端设备与第二终端设备通话过程，可以由第一终端设备或者第二终端设备触发AR媒体增强流程。以下以第一终端设备通过AR控件触发AR媒体增强流程为例。图14A以通话两端对应同一AR媒体服务器或者通话一端部署AR媒体服务器为例。

S1501，第一终端设备上的AR控件触发的AR视频增强请求时，应用服务器接收第一终端设备上的AR控件触发的AR视频增强请求。

S1502，应用服务器向S-CSCF发送AR视频呼叫重请求(re-invite)1。所述AR视频呼叫重请求1用于指示第一终端设备发起AR视频呼叫。所述AR视频呼叫重请求1可以携带第一终端设备的标识信息，比如第一终端设备的SIP地址或统一资源定位符(Uniform ResourceLocator，URL)。

S1503，S-CSCF将AR视频呼叫重请求1转发给第一SBC。例如，AR视频呼叫重请求可以为Re-INVITE。S-CSCF可以根据第一终端设备的标识信息确定第一终端设备所属的SBC为第一SBC。

S1504，第一SBC向第一终端设备发送AR视频呼叫重请求2。

S1505，第一终端设备向第一SBC发送AR视频呼叫响应2，AR呼叫请求2携带第一终端设备的媒体描述协议(session description protocol，SDP)信息。

S1506，第一SBC在接收到AR视频呼叫响应2后，向S-CSCF发送AR视频呼叫响应1，AR视频呼叫响应1中携带第一SBC的SDP信息。

S1507，S-CSCF在接收到AR视频呼叫响应1后，将AR视频呼叫响应1转发给应用服务器。

其中，AR视频呼叫响应1和AR视频呼叫响应2可以采用200OK消息。

S1508-S1511，参见S1302-S1305，此处不再赘述。

S1512，应用服务器向S-CSCF发送AR视频呼叫重请求3，AR视频呼叫重请求3携带AR媒体服务器的第二SDP信息。

S1513，S-CSCF将AR视频呼叫重请求3转发给第二SBC。第二SBC可以根据AR媒体服务器的第二SDP信息确定媒体流通道的上一跳为AR媒体服务器。

S1514，第二SBC将AR视频呼叫重请求3中的AR媒体服务器的第二SDP信息替换为第二SBC的SDP信息得到AR视频呼叫重请求4，并AR视频呼叫重请求4发送给第二终端设备。

S1515，第二终端设备向第二SBC发送AR视频呼叫响应4，AR视频呼叫响应4中可以携带第二终端设备的SDP信息。

S1516，第二SBC接收到AR视频呼叫响应4后，向S-CSCF发送AR视频呼叫响应3，AR视频呼叫响应3可以携带第二SBC的SDP信息。

S1517，S-CSCF接收到AR视频呼叫响应3后，向应用服务器转发AR视频呼叫响应3。

S1518，应用服务器在接收到AR视频呼叫响应3后，向AR媒体服务器发送第二SBC的SDP信息。AR媒体服务器在接收到第二SBC的SDP信息后可以确定媒体流隧道的下一跳为第二SBC。

示例性地，AR视频呼叫响应3和AR视频呼叫响应4可以采用200OK消息。

S1519，应用服务器向S-CSCF发送AR视频呼叫确认1。AR视频呼叫确认1中可以携带AR媒体服务器的第二SDP信息。

S1520，S-CSCF将AR视频呼叫确认1转发给第一SBC。

S1521，第一SBC在接收到AR视频呼叫确认1后，向第一终端设备发送AR视频呼叫确认2。AR视频呼叫确认2中携带第一SBC的SDP信息。

示例性地，AR视频呼叫确认1和AR视频呼叫确认2可以采用确认(ACK)消息。

在一种可能的实现方式中，第一终端设备上部署AR控件，在步骤S1501，第一终端设备上的AR控件触发的AR视频增强请求时，可以通过如下流程实现，参见图16所示。

第一终端设备触发AR视频增强流程时，启动AR控件，比如第一终端设备可以通过呼叫广播事件拉起AR控件。AR控件的用户界面可以作为悬浮窗口叠加在通话界面之上，比如参见图4所示。

S1601，AR控件的用户界面可以包括AR增强启动按钮，AR控件接收到用户对启动按钮的第一操作，触发AR视频增强请求。AR控件与应用服务器中的媒体插件服务功能通过UX或者UI接口建立有通信连接。

S1602，AR控件将AR视频增强请求发送给媒体插件服务功能。

S1603，媒体插件服务功能将AR视频增强请求发送给应用服务功能。

S1604，应用服务功能触发AR视频增强流程。比如执行S1502。

下面针对本申请实施例中终端设备与AR媒体服务器之间建立辅助媒体通道的流程进行详细说明。参见图17所示，第一终端设备与第二终端设备已经建立AR视频增强通话流程，以第一终端设备与AR媒体服务器之间建立辅助媒体通道的流程进行说明。

S1701，第一终端设备的AR控件在确定需要传输辅助媒体流时，发起辅助传输通道的建立请求。比如，用户通过AR控件触发打开用于获取点云数据的深度摄像头，则确定需要传输辅助媒体流。再比如，通过AR控件触发打开用于生成AR空间数据的应用，则确定需要传输辅助媒体流。

S1702，AR控件向应用服务器中的媒体插件服务功能发送建立请求，携带所述第一终端设备上用于发送辅助媒体流的地址。

S1703，媒体插件服务功能将建立请求发送给所述应用服务功能。

S1704，应用服务功能将建立请求发送给AR媒体服务器。

S1705，AR媒体服务器向应用服务功能发送建立响应。建立响应中可以携带AR媒体服务器上用于接收辅助媒体流的地址。

S1706，应用服务功能将建立响应发送给媒体插件服务功能。

S1707，媒体插件服务功能将建立响应转发给第一终端设备的AR控件。进而AR控件与AR媒体服务器之间的辅助传输通道建立完成。辅助传输通道的首端为AR控件，辅助传输通道的尾端为AR媒体服务器。进而AR控件获取辅助媒体流，根据第一终端设备上用于发送辅助媒体流的地址和AR媒体服务器上用于接收辅助媒体流的地址向AR媒体服务器发送辅助媒体流。

基于与方法实施例同一发明构思，本申请实施例提供一种装置1800，具体用于实现上述方法实施例中AR媒体服务器所执行的方法，该装置1800的结构如图18所示，包括接收单元1801、发送单元1802以及处理单元1803。

接收单元1801，用于接收应用服务器发送第一会话创建请求，所述第一会话创建请求用于请求创建与所述第一终端设备对应的第一会话边界控制器SBC之间的第一媒体会话；

发送单元1802，用于向所述应用服务器发送第一会话创建响应，所述第一会话创建响应用于指示所述第一媒体会话创建成功；

接收单元1801，还用于接收所述应用服务器发送的第二会话创建请求，所述第二会话创建请求用于请求创建与所述第二终端设备对应的第二SBC之间的第二媒体会话；

发送单元1802，还用于向所述应用服务器发送第二会话创建响应，所述第二会话创建响应用于指示所述第二媒体会话创建成功。

在一种可能的实现方式中，所述第一会话创建响应中携带所述AR媒体服务器的第一媒体描述协议SDP信息，所述第一SDP信息包括用于所述第一SBC与所述AR媒体服务器之间创建第一媒体会话的媒体流通道的参数。

在一种可能的实现方式中，所述第二会话创建响应中携带所述AR媒体服务器的第二SDP信息，所述第二SDP信息包括用于所述第二SBC与所述AR媒体服务器之间创建第二媒体会话的媒体流通道的参数。

在建立媒体流通道后，AR媒体服务器中的接收单元1801，还用于接收来自第一终端设备和/或第二终端设备的媒体流，由处理单元1803，对来自第一终端设备和/或第二终端设备的媒体流进行媒体增强处理。比如，所述第二会话创建请求中携带服务指示；进而处理单元1803根据所述服务指示对所述第一终端设备与所述第二终端设备之间传输的媒体流进行媒体增强处理。

在一种可能的实现方式中，接收单元1801接收的所述第二会话创建请求中携带关联指示；进一步地，处理单元1803，根据所述关联指示关联所述第一媒体会话和所述第二媒体会话。

在一种可能的实现方式中，接收单元1801，还用于接收来自所述第一SBC通过所述第一媒体会话发送的第一媒体流；然后，由处理单元1803对所述第一媒体流进行媒体增强处理得到第二媒体流；最后，由发送单元1802通过所述第二媒体会话向所述第二SBC发送所述第二媒体流。

在一种可能的实现方式中，接收单元1801接收来自所述第一终端设备所属的SBC通过所述第一媒体会话发送的第三媒体流，并接收来自第二终端设备所属的SBC根据所述第二媒体会话发送第四媒体流；然后，由处理单元1803对所述第三媒体流和所述第四媒体流进行媒体增强处理；最后发送单元1802向所述第一终端设备和/或所述第二终端设备发送媒体增强处理后的媒体流。

在一种可能的实现方式中，接收单元1801接收来自所述第一SBC通过所述第一媒体会话发送的第五媒体流，以及接收来自应用服务器的虚拟模型；然后，由处理单元1803对所述虚拟模型和所述第五媒体流进行媒体增强处理；最后，发送单元1804向所述第一终端设备和/或第二终端设备发送媒体增强处理后的媒体流。

可选的，所述接收单元1801接收来自应用服务器的模型操作指示，所述模型操作指示用于指示所述AR媒体服务器对所述虚拟模型作出的操作；然后在处理单元1803在对所述虚拟模型和所述第五媒体流进行媒体增强处理时，可以通过如下方式实现：根据所述模型操作指示对所述虚拟模型执行处理操作，并对处理操作后的虚拟模型和所述第五媒体流进行媒体增强处理。

在一种可能的实现方式中，所述AR媒体服务器可以通过应用服务器与终端设备之间建立辅助传输通道。具体的。接收单元1801，接收来自应用服务器的建立请求，所述建立请求用于请求建立辅助传输通道，所述辅助传输通道用于第一终端设备与所述AR媒体服务器之间传输辅助媒体流，所述建立请求携带所述第一终端设备的地址；然后由发送单元1802向所述应用服务器发送第一建立响应，并在所述第一建立响应携带所述AR媒体服务器的地址。

可选地，接收单元1801，还用于接收所述第一终端设备根据所述AR媒体服务器的通道传输地址发送的辅助媒体流。

可选地，接收单元1801接收来自所述第一SBC发送的第六媒体流；然后由处理单元1803对所述辅助媒体流和所述第六媒体流进行媒体增强处理；最后由发送单元1802向所述第一终端设备和/或所述第二终端设备发送媒体增强处理后的媒体流。

示例性地，所述辅助媒体流包括点云数据、空间数据、用户视角视频或虚拟模型中的一项或多项。

基于与方法实施例同样的发明构思，本申请实施例提供一种装置1900，具体用于实现上述实施例中应用服务器执行的方法。该装置1900的结构如图19所示，包括接收单元1901，发送单元1902。

接收单元1901，用于接收第一终端设备的呼叫请求。发送单元1902用于向AR媒体服务器发送第一会话创建请求，所述第一会话创建请求用于请求创建与所述第一终端设备对应的会话边界控制器SBC之间的第一媒体会话；

接收单元1901，还用于接收AR媒体服务器发送的第一会话创建响应，所述第一会话创建响应用于指示所述第一媒体会话创建成功；

发送单元1902，还用于向所述AR媒体服务器发送第二会话创建请求，所述第二会话创建请求用于请求创建与所述第二终端设备对应的第二SBC之间的第二媒体会话；

接收单元1901，还用于接收所述AR媒体服务器发送的第二会话创建响应，所述第二会话创建响应用于指示所述第二媒体会话创建成功。

可选地，装置1900中还可以包括处理单元1903，用于生成会话创建请求和会话创建响应。

在一种可能的实现方式中，所述第一会话创建响应中携带所述AR媒体服务器的第一媒体描述协议SDP信息，所述第一SDP信息包括用于所述第一SBC与所述AR媒体服务器之间创建第一媒体会话的媒体流通道的参数；发送单元1902，还用于向所述第一SBC发送所述AR媒体服务器的第一SDP信息。

在一种可能的实现方式中，所述第二会话创建响应中携带所述AR媒体服务器的第二SDP信息，所述第二SDP信息包括用于所述第二SBC与所述AR媒体服务器之间创建第二媒体会话的媒体流通道的参数；发送单元1902，还用于向第二SBC发送所述第二SDP信息。

在一种可能的实现方式中，所述第二会话创建请求中携带服务指示，所述服务指示用于指示AR媒体服务器针对所述第一终端设备与所述第二终端设备之间传输的媒体流所需作出的媒体增强处理。

在一种可能的实现方式中，所述第二会话创建请求中携带关联指示，所述关联指示用于指示AR媒体服务器关联第一媒体会话和第二媒体会话。

在一种可能的实现方式中，接收单元1901，还用于接收所述第一SBC发送的AR视频呼叫请求，然后发送单元1902执行向AR媒体服务器发送第一会话创建请求。

在一种可能的实现方式中，接收单元1901，接收第一终端设备发送的AR视频增强请求，然后发送单元1902,通过所述第一SBC向所述第一终端设备发送AR视频增强重请求，所述AR视频增强重请求用于指示第一终端设备发起AR视频呼叫。在第一终端设备发起AR视频呼叫时，发送单元1902，执行向AR媒体服务器发送第一会话创建请求。

在一种可能的实现方式中，接收单元1901还用于接收第一终端设备触发的模型操作指示；发送单元1902，还用于向AR媒体服务器发送所述模型操作指示，所述模型操作指示用于指示所述AR媒体服务器对接收到虚拟模型作出的操作。

在一种可能的实现方式中，接收单元1901，还用于接收所述第一终端设备触发的建立请求，所述建立请求用于请求建立辅助传输通道，所述辅助传输通道用于所述第一终端设备与所述AR媒体服务器之间传输辅助媒体流，所述建立请求携带所述第一终端设备的地址；发送单元1902，还用于将所述建立请求发送给所述AR媒体服务器；然后，接收单元1901接收所述AR媒体服务器发送的建立响应，所述建立响应携带所述AR媒体服务器的地址；最后由发送单元1902将所述建立响应发送给所述第一终端设备。

基于与方法实施例同样的发明构思，本申请实施例提供一种装置2000，具体用于实现上述实施例中终端设备(比如第一终端设备、或者第二终端设备)执行的方法。该装置2000的结构如图20所示，包括接收单元2001，发送单元2002和处理单元2003。

接收单元2001，接收来自第一终端设备对应的第一SBC的AR媒体流，所述AR媒体流包括所述第一终端设备上显示的AR界面的视频；

处理单元2003，响应用户针对显示的AR界面触发的操作，指示发送单元2002向应用服务器发送AR界面操作指示，所述AR界面操作指示用于指示针对所述AR媒体流所执行的媒体增强处理；

接收单元2001，还用于接收所述第一SBC发送的增强AR媒体流。

在一种可能的实现方式中，所述第一终端设备与所述AR媒体服务器之间建立有辅助传输通道，发送单元2002通过所述辅助传输通道向所述AR媒体服务器发送辅助媒体流，所述辅助媒体流用于所述AR媒体服务器执行媒体增强处理。

在一种可能的实现方式中，发送单元2002向所述应用服务器发送建立请求，所述建立请求用于请求建立辅助传输通道，所述建立请求携带所述第一终端设备的地址；接收单元2001，接收所述应用服务器发送的建立响应，所述建立响应携带所述AR媒体服务器的地址。然后发送单元2001执行通过所述辅助传输通道向所述AR媒体服务器发送辅助媒体流。

可选地，在采用上述方式建立媒体流通道后，发送单元2002可以根据所述第一终端设备的地址和所述AR媒体服务器的地址向所述AR媒体服务器发送所述辅助媒体流。

本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能单元可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备(可以是个人计算机，手机，或者网络设备等)或处理器(processor)执行本申请各个实施例该方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-onlymemory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请实施例中，所述AR媒体服务器和所述应用服务器以及终端设备均可以采用集成的方式划分各个功能模块的形式来呈现。这里的“模块”可以指特定ASIC，电路，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。

在一个简单的实施例中，SBC、CSCF、AR媒体服务器或应用服务器可采用图21所示的形式。

如图21所示的装置2100，包括至少一个处理器2101，通信接口2102。可选地，还可以包括存储器2103。

一种可能的实现方式中，当AR媒体服务器采用图21所示的形式时，图21中的处理器2101可以通过调用存储器2103中存储的计算机执行指令，使得所述AR媒体服务器可以执行上述任一方法实施例中的所述AR媒体服务器执行的方法。

处理器2101可以通过通信接口2101与其他设备进行通信。比如，处理器2101通过通信接口2101接收应用服务器发送的会话创建请求(比如第一会话创建请求、第二会话创建请求)，以及向应用服务器发送会话创建响应(比如第一会话创建响应、第二会话创建响应)。

具体的，存储器2103中存储有用于实现图18中的发送单元、接收单元和处理单元的功能的计算机执行指令，图18中的发送单元、接收单元和处理单元的功能/实现过程均可以通过图21中的处理器2101调用存储器2103中存储的计算机执行指令，并结合通信接口2102来实现。

另一种可能的实现方式中，当应用服务器采用图21所示的形式时，图21中的处理器2101可以通过调用存储器2103中存储的计算机执行指令，使得所述应用服务器可以执行上述任一方法实施例中的所述应用服务器执行的方法。

处理器2101可以通过通信接口2101与其他设备进行通信。比如，处理器2101通过通信接口2101向AR媒体服务器发送的会话创建请求(比如第一会话创建请求、第二会话创建请求)，以及接收AR媒体服务器发送的会话创建响应(比如第一会话创建响应、第二会话创建响应)。

具体的，存储器2103中存储有用于实现图19中的发送单元、接收单元和处理单元的功能的计算机执行指令，图19中的发送单元、接收单元和处理单元的功能/实现过程均可以通过图21中的处理器2101调用存储器2103中存储的计算机执行指令，并结合通信接口2102来实现。

又一种可能的实现方式中，当SBC采用图21所示的形式时，图21中的处理器2101可以通过调用存储器2103中存储的计算机执行指令，使得所述SBC可以执行上述任一方法实施例中的所述第一SBC或者第二SBC执行的方法。

又一种可能的实现方式中，当CSCF采用图21所示的形式时，图21中的处理器2101可以通过调用存储器2103中存储的计算机执行指令，使得所述CSCF可以执行上述任一方法实施例中的S-CSCF、S-CSCF1或者S-CSCF2执行的方法。

本申请实施例中不限定上述处理器2101以及存储器2103之间的具体连接介质。本申请实施例在图中以存储器2103和处理器2101之间通过总线2104连接，总线2104在图中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。该总线2104可以分为地址总线、数据总线、控制总线等。为便于表示，图21中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

在一个简单的实施例中，所述终端设备可采用图22所示的形式。如图22所示的装置2200包括至少一个处理器2201，通信接口2202，可选地还可以包括存储器2203。在一种可能的实现方式中，装置2200还包括显示器2204。所述装置还可以包括传感器2205，用于检测用户在AR界面上的操作。

处理器2201可以具有数据收发功能，能够与其他设备进行通信，如在本申请实施例中，处理器2201可以向SBC发送媒体流，也可以接收来自所述SBC的媒体流，在如图22装置中，也可以设置独立的数据收发模块，例如通信接口2202，用于收发数据；处理器2201在与其他设备进行通信时，可以通过通信接口2202进行数据传输，如在本申请实施例中，处理器2201可以通过通信接口2202向SBC发送媒体流，也可以通过通信接口2202接收来自所述SBC的媒体流。

当所述终端设备采用图22所示的形式时，图22中的处理器2201可以通过调用存储器2203中存储的计算机执行指令，使得所述终端设备可以执行上述任一方法实施例中的所述终端设备(比如第一终端设备)执行的方法。

具体的，存储器2203中存储有用于实现图20中的发送单元、接收单元和处理单元的功能的计算机执行指令，图20中的发送单元、接收单元和显示单元的功能/实现过程均可以通过图22中的处理器2201调用存储器2203中存储的计算机执行指令来实现。

或者，存储器2203中存储有用于实现图20中的显示单元的功能的计算机执行指令，图6中的显示单元的功能/实现过程可以通过图22中的处理器2201调用存储器2203中存储的计算机执行指令来实现，图20的发送单元和接收单元的功能/实现过程可以通过图22中的通信接口2202来实现。

其中，所述处理器2201在执行显示单元的功能时，如涉及显示图像的操作，如显示AR界面，处理器2201可以通过所述装置2200中的显示器2204显示图像。可选的，处理器2201在执行显示单元的功能时，也可以通过其他设备中的显示器显示图像，如向其他设备发送显示指令，指示显示图像。

本申请实施例中不限定上述处理器2201以及存储器2203、通信接口2202、显示器2204以及传感器2205之间的具体连接介质。本申请实施例在图中通过总线2206连接为例，总线2206在图中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。该总线2206可以分为地址总线、数据总线、控制总线等。为便于表示，图22中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

基于以上实施例，本申请实施例还提供了一种计算机存储介质，该存储介质中存储软件程序，该软件程序在被一个或多个处理器读取并执行时可实现上述任意一个或多个实施例提供业务平台或边缘计算设备执行的方法。所述计算机存储介质可以包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

基于以上实施例，本申请实施例还提供了一种芯片，该芯片包括处理器，用于实现上述任意一个或多个实施例所涉及的AR媒体服务器的功能或者终端设备或者应用该服务器的功能。可选地，所述芯片还包括存储器，所述存储器，用于处理器所执行必要的程序指令和数据。该芯片，可以由芯片构成，也可以包含芯片和其他分立器件。

应理解，说明书通篇中提到的“一个实施例”、“一个实现方式”、“一个实施方式”或“一示例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”、“一个实现方式”、“一个实施方式”或“在一示例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

另外，本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。本申请涉及的术语“至少一个”，是指一个，或一个以上，即包括一个、两个、三个及以上；“多个”，是指两个，或两个以上，即包括两个、三个及以上。另外，需要理解的是，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。应理解，在本申请实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。此外，本申请实施例和权利要求书及附图中的术语“包括”和“具有”不是排他的。例如，包括了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，还可以包括没有列出的步骤或模块。

可以理解的是，本申请的实施例中的处理器可以是中央处理单元(centralprocessing unit，CPU)，还可以是其它通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。

本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(Read-Only Memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于网络设备或终端设备中。当然，处理器和存储介质也可以作为分立组件存在于网络设备或终端设备中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，DVD；还可以是半导体介质，例如，固态硬盘(solid state disk，SSD)。

在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

Claims (30)

1.一种基于增强现实的通信方法，其特征在于，包括：

AR媒体服务器接收应用服务器发送第一会话创建请求，所述第一会话创建请求用于请求创建与所述第一终端设备对应的第一会话边界控制器SBC之间的第一媒体会话；

所述AR媒体服务器向所述应用服务器发送第一会话创建响应，所述第一会话创建响应用于指示所述第一媒体会话创建成功；

所述AR媒体服务器接收所述应用服务器发送的第二会话创建请求，所述第二会话创建请求用于请求创建与所述第二终端设备对应的第二SBC之间的第二媒体会话；

所述AR媒体服务器向所述应用服务器发送第二会话创建响应，所述第二会话创建响应用于指示所述第二媒体会话创建成功。

2.如权利要求1所述的方法，其特征在于，所述第一会话创建响应中携带所述AR媒体服务器的第一媒体描述协议SDP信息，所述第一SDP信息包括用于所述第一SBC与所述AR媒体服务器之间创建第一媒体会话的媒体流通道的参数。

3.如权利要求2所述的方法，其特征在于，所述第二会话创建响应中携带所述AR媒体服务器的第二SDP信息，所述第二SDP信息包括用于所述第二SBC与所述AR媒体服务器之间创建第二媒体会话的媒体流通道的参数。

4.如权利要求1-3任一项所述的方法，其特征在于，所述第二会话创建请求中携带服务指示；所述方法还包括：

AR媒体服务器根据所述服务指示对所述第一终端设备与所述第二终端设备之间传输的媒体流进行媒体增强处理。

5.如权利要求1-4任一项所述的方法，其特征在于，所述第二会话创建请求中携带关联指示；所述方法还包括：

所述AR媒体服务器根据所述关联指示关联所述第一媒体会话和所述第二媒体会话。

6.如权利要求5所述的方法，其特征在于，还包括：

所述AR媒体服务器接收来自所述第一SBC通过所述第一媒体会话发送的第一媒体流；

所述AR媒体服务器对所述第一媒体流进行媒体增强处理得到第二媒体流；

所述AR媒体服务器通过所述第二媒体会话向所述第二SBC发送所述第二媒体流。

7.如权利要求5所述的方法，其特征在于，还包括：

所述AR媒体服务器接收来自所述第一终端设备所属的SBC通过所述第一媒体会话发送的第三媒体流，并接收来自第二终端设备所属的SBC根据所述第二媒体会话发送第四媒体流；

所述AR媒体服务器对所述第三媒体流和所述第四媒体流进行媒体增强处理；

所述AR媒体服务器向所述第一终端设备和/或所述第二终端设备发送媒体增强处理后的媒体流。

8.如权利要求5所述的方法，其特征在于，还包括：

所述AR媒体服务器接收来自所述第一SBC通过所述第一媒体会话发送的第五媒体流，以及接收来自应用服务器的虚拟模型；

所述AR媒体服务器对所述虚拟模型和所述第五媒体流进行媒体增强处理；

所述AR媒体服务器向所述第一终端设备和/或第二终端设备发送媒体增强处理后的媒体流。

9.如权利要求8所述的方法，其特征在于，还包括：

所述AR媒体服务器接收来自应用服务器的模型操作指示，所述模型操作指示用于指示所述AR媒体服务器对所述虚拟模型作出的操作；

所述AR媒体服务器对所述虚拟模型和所述第五媒体流进行媒体增强处理，包括：

所述AR媒体服务器根据所述模型操作指示对所述虚拟模型执行处理操作，并对处理操作后的虚拟模型和所述第五媒体流进行媒体增强处理。

10.如权利要求1-9任一项所述的方法，其特征在于，还包括：

所述AR媒体服务器接收来自应用服务器的建立请求，所述建立请求用于请求建立辅助传输通道，所述辅助传输通道用于第一终端设备与所述AR媒体服务器之间传输辅助媒体流，所述建立请求携带所述第一终端设备的地址；

所述AR媒体服务器向所述应用服务器发送第一建立响应，所述第一建立响应携带所述AR媒体服务器的地址。

11.如权利要求10所述的方法，其特征在于，还包括：

所述AR媒体服务器接收所述第一终端设备根据所述AR媒体服务器的通道传输地址发送的辅助媒体流。

12.如权利要求11所述的方法，其特征在于，还包括：

所述AR媒体服务器接收来自所述第一SBC发送的第六媒体流；

所述AR媒体服务器对所述辅助媒体流和所述第六媒体流进行媒体增强处理；

所述AR媒体服务器向所述第一终端设备和/或所述第二终端设备发送媒体增强处理后的媒体流。

13.如权利要求11或12所述的方法，其特征在于，所述辅助媒体流包括点云数据、空间数据、用户视角视频或虚拟模型中的一项或多项。

14.一种基于增强现实的通信方法，其特征在于，包括：

应用服务器接收第一终端设备的呼叫请求，并向AR媒体服务器发送第一会话创建请求，所述第一会话创建请求用于请求创建与所述第一终端设备对应的会话边界控制器SBC之间的第一媒体会话；

所述应用服务器接收AR媒体服务器发送的第一会话创建响应，所述第一会话创建响应用于指示所述第一媒体会话创建成功；

所述应用服务器接收所述第一会话创建响应后，向所述AR媒体服务器发送第二会话创建请求，所述第二会话创建请求用于请求创建与所述第二终端设备对应的第二SBC之间的第二媒体会话；

所述应用服务器接收所述AR媒体服务器发送的第二会话创建响应，所述第二会话创建响应用于指示所述第二媒体会话创建成功。

15.如权利要求14所述的方法，其特征在于，所述第一会话创建响应中携带所述AR媒体服务器的第一媒体描述协议SDP信息，所述第一SDP信息包括用于所述第一SBC与所述AR媒体服务器之间创建第一媒体会话的媒体流通道的参数；

所述方法还包括：

所述应用服务器向所述第一SBC发送所述AR媒体服务器的第一SDP信息。

16.如权利要求15所述的方法，其特征在于，所述第二会话创建响应中携带所述AR媒体服务器的第二SDP信息，所述第二SDP信息包括用于所述第二SBC与所述AR媒体服务器之间创建第二媒体会话的媒体流通道的参数；所述方法还包括：

所述应用服务器向第二SBC发送所述第二SDP信息。

17.如权利要求14-16任一项所述的方法，其特征在于，所述第二会话创建请求中携带服务指示，所述服务指示用于指示AR媒体服务器针对所述第一终端设备与所述第二终端设备之间传输的媒体流所需作出的媒体增强处理。

18.如权利要求14-17任一项所述的方法，其特征在于，所述第二会话创建请求中携带关联指示，所述关联指示用于指示AR媒体服务器关联第一媒体会话和第二媒体会话。

19.如权利要求14-18任一项所述的方法，其特征在于，还包括：

所述应用服务器向AR媒体服务器发送第一会话创建请求之前，接收所述第一SBC发送的AR视频呼叫请求。

20.如权利要求14-19任一项所述的方法，其特征在于，所述应用服务器向AR媒体服务器发送第一会话创建请求之前，还包括：

所述应用服务器接收第一终端设备发送的AR视频增强请求；

所述应用服务器通过所述第一SBC向所述第一终端设备发送AR视频增强重请求，所述AR视频增强重请求用于指示第一终端设备发起AR视频呼叫。

21.如权利要求14-20任一项所述的方法，其特征在于，还包括：

所述应用服务器接收第一终端设备触发的模型操作指示；

所述应用服务器向AR媒体服务器发送所述模型操作指示，所述模型操作指示用于指示所述AR媒体服务器对接收到虚拟模型作出的操作。

22.如权利要求14-21任一项所述的方法，其特征在于，还包括：

所述应用服务器接收所述第一终端设备触发的建立请求，所述建立请求用于请求建立辅助传输通道，所述辅助传输通道用于所述第一终端设备与所述AR媒体服务器之间传输辅助媒体流，所述建立请求携带所述第一终端设备的地址；

所述应用服务器将所述建立请求发送给所述AR媒体服务器；

所述应用服务器接收所述AR媒体服务器发送的建立响应，所述建立响应携带所述AR媒体服务器的地址；

所述应用服务器将所述建立响应发送给所述第一终端设备。

23.一种基于增强现实的通信方法，其特征在于，包括：

第一终端设备接收来自第一终端设备对应的第一会话边界控制器SBC的增强现实AR媒体流，所述AR媒体流包括所述第一终端设备上显示的AR界面的视频；

所述第一终端设备响应于用户针对显示的AR界面触发的操作，向应用服务器发送AR界面操作指示，所述AR界面操作指示用于指示针对所述AR媒体流所执行的媒体增强处理；

所述第一终端设备接收所述第一SBC发送的增强AR媒体流。

24.如权利要求23所述的方法，其特征在于，所述第一终端设备与所述AR媒体服务器之间建立有辅助传输通道，所述方法还包括：

所述第一终端设备通过所述辅助传输通道向所述AR媒体服务器发送辅助媒体流，所述辅助媒体流用于所述AR媒体服务器执行媒体增强处理。

25.如权利要求24所述的方法，其特征在于，还包括：

所述第一终端设备通过所述辅助传输通道向所述AR媒体服务器发送辅助媒体流之前，向所述应用服务器发送建立请求，所述建立请求用于请求建立辅助传输通道，所述建立请求携带所述第一终端设备的地址；

所述第一终端设备接收所述应用服务器发送的建立响应，所述建立响应携带所述AR媒体服务器的地址。

26.如权利要求24或25所述的方法，其特征在于，所述第一终端设备通过所述辅助传输通道向所述AR媒体服务器发送辅助媒体流，包括：

所述第一终端设备根据所述第一终端设备的地址和所述AR媒体服务器的地址向所述AR媒体服务器发送所述辅助媒体流。

27.如权利要求26所述的方法，其特征在于，所述辅助媒体流包括点云视频流、空间视频数据、用户视角视频或虚拟模型中的一项或多项。

28.一种装置，其特征在于，所述装置包括通信接口和处理器；

所述通信接口，用于收发信号；

所述处理器，用于通过所述通信接口收发信号并实现如权利要求1至13中任一项所述的方法。

29.一种装置，其特征在于，所述装置包括通信接口和处理器；

所述通信接口，用于收发信号；

所述处理器，用于通过所述通信接口收发信号并实现如权利要求14至22中任一项所述的方法。

30.一种装置，其特征在于，所述装置包括通信接口和处理器；

所述通信接口，用于收发信号；

所述处理器，用于通过所述通信接口收发信号并实现如权利要求23至27中任一项所述的方法。

Images