CN110784733B - 直播数据处理方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请实施例提供一种直播数据处理方法、装置、电子设备及可读存储介质，通过在开启的增强现实AR识别平面中监听每帧AR流数据，在监听到AR流数据中的图像信息与预设图像数据库中的预设图像匹配时，在AR识别平面中确定对应的可跟踪AR增强对象，而后加载用于显示直播流的目标模型对象，并将目标模型对象渲染到可跟踪AR增强对象中。如此，可以实现可跟踪AR增强对象在直播流中的应用，使得观众与主播之间的互动更加接近真实场景体验，进而有效提高用户的留存率。

Description

直播数据处理方法、装置、电子设备及可读存储介质

技术领域

本申请涉及互联网直播领域，具体而言，涉及一种直播数据处理方法、装置、电子设备及可读存储介质。

背景技术

增强现实技术(Augmented Reality，AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。

随着直播行业的快速发展，观众与自己喜爱的主播之间的互动需求越来越多。目前为了刺激用户的观看兴致，提高观看量和可玩性，推出了一些直播互动方式。但是，现有的直播互动方式中可操作性不强，使得观众与主播之间的互动难以接近真实场景体验，进而影响观众的留存率。

发明内容

有鉴于此，本申请的目的在于提供一种直播数据处理方法、装置、电子设备及可读存储介质，能够使得观众与主播之间的互动更加接近真实场景体验，进而有效提高用户的留存率。

根据本申请的一方面，提供一种直播数据处理方法，应用于直播观看终端，所述方法包括：

在开启的增强现实AR识别平面中监听每帧AR流数据；

在监听到所述AR流数据中的图像信息与预设图像数据库中的预设图像匹配时，在所述AR识别平面中确定对应的可跟踪AR增强对象；

加载用于显示直播流的目标模型对象，并将所述目标模型对象渲染到所述可跟踪AR增强对象中。

在一种可能的实施方式中，所述方法还包括：

将所述预设图像数据库配置到用于开启所述AR识别平面的AR软件平台程序中，以便于所述AR软件平台程序在开启所述AR识别平面时将所述AR流数据中的图像信息与预设图像数据库中的预设图像匹配。

在一种可能的实施方式中，所述将所述预设图像数据库配置到用于开启所述AR识别平面的AR软件平台程序中的步骤，包括：

从直播服务器中获得需要识别的图像资源；

将所述图像资源存储到assets目录中；

创建针对所述AR软件平台程序的预设图像数据库，并将所述assets目录中的图片资源添加到所述预设图像数据库中；

将所述预设图像数据库配置到用于开启所述AR识别平面的AR软件平台程序中。

在一种可能的实施方式中，所述在监听到所述AR流数据中的图像信息与预设图像数据库中的预设图像匹配时，在所述AR识别平面中确定对应的可跟踪AR增强对象的步骤之后，所述方法还包括：

从所述AR流数据获取用于捕获图像数据的图像捕获组件；

检测所述图像捕获组件的跟踪状态是否为在线跟踪状态；

当检测所述图像捕获组件的跟踪状态为在线跟踪状态时，监听所述AR流数据中的图像信息与预设图像数据库中的预设图像是否匹配。

在一种可能的实施方式中，所述在所述AR识别平面中确定对应的可跟踪AR增强对象的步骤之后，所述方法还包括：

检测所述可跟踪AR增强对象的跟踪状态；

当检测到所述可跟踪AR增强对象的跟踪状态为在线跟踪状态时，再执行所述加载用于显示直播流的目标模型对象的步骤。

在一种可能的实施方式中，所述加载用于显示直播流的目标模型对象，并将所述目标模型对象渲染到所述可跟踪AR增强对象中的步骤，包括：

在所述可跟踪AR增强对象的预设点上创建描点和调整节点，所述描点用于将所述目标模型对象固定在所述预设点上，所述调整节点为设置在所述描点所在位置的容器，所述调整节点用于对所述可跟踪AR增强对象进行调整；

加载用于显示直播流的目标模型对象，将接收到的直播流渲染到所述目标模型对象上，以使所述直播流在所述目标模型对象上进行显示；

将所述目标模型对象渲染到所述可跟踪AR增强对象中。

在一种可能的实施方式中，所述将所述目标模型对象渲染到所述可跟踪AR增强对象中的步骤，包括：

通过解码器获取所述目标模型对象中渲染的直播流的第一尺寸信息，并获取所述可跟踪AR增强对象的第二尺寸信息；

根据所述第一尺寸信息和所述第二尺寸信息的比例关系对所述调整节点进行调整，以调整所述目标模型对象在所述可跟踪AR增强对象中的比例。

根据本申请的另一方面，提供一种直播数据处理装置，应用于直播观看终端，所述装置包括：

监听模块，用于在开启的增强现实AR识别平面中监听每帧AR流数据；

确定模块，用于在监听到所述AR流数据中的图像信息与预设图像数据库中的预设图像匹配时，在所述AR识别平面中确定对应的可跟踪AR增强对象；

加载渲染模块，用于加载用于显示直播流的目标模型对象，并将所述目标模型对象渲染到所述可跟踪AR增强对象中。

根据本申请的另一方面，提供一种电子设备，所述电子设备包括机器可读存储介质及处理器，所述机器可读存储介质存储有机器可执行指令，所述处理器在执行所述机器可执行指令时，该电子设备实现前述的直播数据处理方法。

根据本申请的另一方面，提供一种可读存储介质，所述可读存储介质中存储有机器可执行指令，所述机器可执行指令被执行时实现前述的直播数据处理方法。

基于上述任一方面，本申请通过在开启的增强现实AR识别平面中监听每帧AR流数据，在监听到AR流数据中的图像信息与预设图像数据库中的预设图像匹配时，在AR识别平面中确定对应的可跟踪AR增强对象，而后加载用于显示直播流的目标模型对象，并将目标模型对象渲染到可跟踪AR增强对象中。如此，可以实现可跟踪AR增强对象在直播流中的应用，使得观众与主播之间的互动更加接近真实场景体验，进而有效提高用户的留存率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所提供的直播系统的交互场景示意图；

图2示出了本申请实施例所提供的直播数据处理方法的流程示意图之一；

图3示出了本申请实施例所提供的直播数据处理方法的流程示意图之二；

图4示出了图2中所示的步骤S130的子步骤流程示意图；

图5示出了本申请实施例所提供的直播数据处理装置的功能模块示意图；

图6示出了本申请实施例所提供的用于实现上述的直播数据处理方法的电子设备的结构示意框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。

参照图1所示，图1示出了本申请实施例提供的直播系统10的交互场景示意图。例如，直播系统10可以是用于诸如互联网直播之类的服务平台。直播系统10可以包括直播服务器100、直播观看终端200以及直播提供终端300，直播服务器100分别与直播观看终端200和直播提供终端300通信连接，用于为直播观看终端200和直播提供终端300提供直播服务。例如，主播可以通过直播提供终端300为观众提供实时在线的直播流并传输给直播服务器100，直播观看终端200可以从直播服务器100拉取直播流进行在线观看或者回放。

在一些实施场景中，直播观看终端200和直播提供终端300可以互换使用。例如，直播提供终端300的主播可以使用直播提供终端300来为观众提供直播视频服务，或者作为观众查看其它主播提供的直播视频。又例如，直播观看终端200的观众也可以使用直播观看终端200观看所关注的主播提供的直播视频，或者作为主播为其它观众提供直播视频服务。

本实施例中，直播观看终端200和直播提供终端300可以包括但不限于移动设备、平板计算机、膝上型计算机，或其任意两种以上组合。在具体实施过程中，可能有零个、一个或多个直播观看终端200和直播提供终端300接入直播服务器100，图1中仅示出一个。其中，直播观看终端200和直播提供终端300中可以安装用于提供互联网直播服务的互联网产品，例如，互联网产品可以是计算机或智能手机中使用的与互联网直播服务相关的应用程序APP、Web网页、小程序等。

本实施例中，直播服务器100可以是单个物理服务器，也可以是一个由多个用于执行不同数据处理功能的物理服务器构成的服务器组。服务器组可以是集中式的，也可以是分布式的(例如，直播服务器100可以是分布式系统)。在一些可能的实施方式中，如直播服务器100采用单个物理服务器，可以基于不同直播服务功能为该物理服务器分配不同的逻辑服务器组件。

可以理解，图1所示的直播系统10仅为一种可行的示例，在其它可行的实施例中，该直播系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。

为了能够实现弹幕在AR真实场景中的显示，提高直播可玩性，进而有效提高用户的留存率，图2示出了本申请实施例提供的直播数据处理方法的流程示意图，本实施例中，该直播数据处理方法可以由图1中所示的直播观看终端200执行，或者，当直播提供终端300的主播作为观众时，该直播数据处理方法也可以由图1中所示的直播提供终端300执行。

应当理解，在其它实施例中，本实施例的直播数据处理方法其中部分步骤的顺序可以根据实际需要相互交换，或者其中的部分步骤也可以省略或删除。该直播数据处理方法的详细步骤介绍如下。

步骤S110，在开启的增强现实AR识别平面中监听每帧AR流数据。

步骤S120，在监听到AR流数据中的图像信息与预设图像数据库中的预设图像匹配时，在AR识别平面中确定对应的可跟踪AR增强对象。

步骤S130，加载用于显示直播流的目标模型对象，并将目标模型对象渲染到可跟踪AR增强对象中。

本实施例中，当直播观看终端200的观众登录需要观看的直播间时，可以选择将该直播间以AR方式进行显示，或者直播观看终端200也可以在进入直播间时自动以AR方式进行显示，从而可以触发AR显示指令。当直播观看终端200检测到增强现实AR显示指令时，可以开启摄像头以进入AR识别平面，并在开启的AR识别平面中监听每帧AR流数据。

在此基础上，在监听到AR流数据中的图像信息与预设图像数据库中的预设图像匹配时，在AR识别平面中确定对应的可跟踪AR增强对象，而后加载用于显示直播流的目标模型对象，并将目标模型对象渲染到可跟踪AR增强对象中。如此，可以实现可跟踪AR增强对象在直播流中的应用，使得观众与主播之间的互动更加接近真实场景体验，进而有效提高用户的留存率。

在一种可能的实施方式中，上述预设图像数据库可以预先配置并进行AR关联，以便于在监听每帧AR流数据时可以进行图像匹配操作。例如，请参阅图3，在步骤S110之前，本实施例提供的直播数据处理方法还可以包括如下步骤：

步骤S101，将预设图像数据库配置到用于开启AR识别平面的AR软件平台程序中。

本实施例中，以安卓系统为例，AR软件平台程序可以是但不限于ARCore。通过将预设图像数据库配置到用于开启AR识别平面的AR软件平台程序中，以便于AR软件平台程序在开启AR识别平面时将AR流数据中的图像信息与预设图像数据库中的预设图像匹配。

例如，仍旧以安卓系统为例，通常安卓系统中的图片资源都是存储assets目录中的，基于此，直播观看终端200可以从直播服务器100中获得需要识别的图像资源，并将图像资源存储到assets目录中，接着创建针对AR软件平台程序的预设图像数据库，例如可以通过Augmented ImageDatabase创建针对AR软件平台程序的预设图像数据库。接着，将assets目录中的图片资源添加到预设图像数据库中，从而可以将预设图像数据库配置到用于开启AR识别平面的AR软件平台程序中，例如，可以通过Config.set Augmented Image Database将预设图像数据库配置到用于开启AR识别平面的AR软件平台程序中。

在一种可能的实施方式中，在进入AR识别平面之后的过程中，为了提高监听过程中的稳定性，避免AR识别平面存在异常导致监听出错的情况，当在开启的增强现实AR识别平面中监听每帧AR流数据的过程中，还可以从AR流数据获取用于捕获图像数据的图像捕获组件Camera，并检测图像捕获组件的跟踪状态是否为在线跟踪状态TRACKING，当检测图像捕获组件的跟踪状态为在线跟踪状态TRACKING时，监听AR流数据中的图像信息与预设图像数据库中的预设图像是否匹配。

相对应地，在另一种可能的实施方式中，当在AR识别平面中确定对应的可跟踪AR增强对象之后，为了提高后续渲染目标模型对象在该可跟踪AR增强对象过程中的稳定性，避免出现渲染出错的情况，本实施例还可以进一步检测可跟踪AR增强对象的跟踪状态，当检测到可跟踪AR增强对象的跟踪状态为在线跟踪状态TRACKING时，再执行加载用于显示直播流的目标模型对象的操作。

在前述描述的基础上，针对步骤S130，在将目标模型对象渲染到可跟踪AR增强对象的过程中，为了将目标模型对象进行固定，并便于对可跟踪AR增强对象进行调整，请结合参阅图4，可以通过如下子步骤实现：

子步骤S131，在可跟踪AR增强对象的预设点上创建描点Anchor和调整节点AnchorNode。

子步骤S132，加载用于显示直播流的目标模型对象，将接收到的直播流渲染到目标模型对象上，以使直播流在目标模型对象上进行显示。

子步骤S133，将目标模型对象渲染到可跟踪AR增强对象中。

本实施例中，描点Ancho可以用于将目标模型对象固定在预设点上，调整节点AnchorNode为设置在描点Ancho所在位置的容器，调整节点AnchorNode可以用于对可跟踪AR增强对象进行调整。例如，通过调整节点AnchorNode对可跟踪AR增强对象进行调整包括以下调整方式中的一种或者多种组合：

1)对可跟踪AR增强对象进行缩放，例如可以对可跟踪AR增强对象的整体进行放大缩小的调整，或者也可以对目标模型对象的部分进行放大缩小的调整。

2)对可跟踪AR增强对象进行平移，例如，可以将可跟踪AR增强对象沿各个方向(左右上下斜方)移动预设的距离。

3)对可跟踪AR增强对象进行旋转。例如，可以将可跟踪AR增强对象沿顺时针或者逆时针方向旋转。

在一种可能的实施方式中，针对子步骤S132，为了提高直播流渲染到目标模型对象后的真实场景体验，可以调用软件开发工具包SDK从直播服务器100中拉取直播流，并创建直播流的外部纹理，然后将直播流的纹理传递给SDK的解码器进行渲染，在接收到SDK的解码器的渲染开始状态后，调用外部纹理设置方法将直播流的外部纹理渲染到目标模型对象上，以使直播流在目标模型对象上进行显示。

本实施例中，以直播观看终端200运行安卓系统为例，软件开发工具包可以是hySDK，也即可以通过hySDK从直播服务器100中拉取直播流，并创建直播流的外部纹理ExternalTexture后，将ExternalTexture传递给hySDK的解码器进行渲染。在此过程中，hySDK的解码器可以针对ExternalTexture进行3D渲染，此时进入渲染开始状态，这是既可以调用外部纹理设置方法setExternalTexture将ExternalTexture渲染到目标模型对象上，以使直播流在目标模型对象上进行显示。

在一种可能的实施方式中，针对子步骤S133，为了提高目标模型对象在可跟踪AR增强对象中的匹配度，可以通过解码器获取目标模型对象中渲染的直播流的第一尺寸信息，并获取可跟踪AR增强对象的第二尺寸信息，然后根据第一尺寸信息和第二尺寸信息的比例关系对调整节点AnchorNode进行调整，以调整目标模型对象在可跟踪AR增强对象中的比例。

例如，以通过调整目标模型对象在可跟踪AR增强对象中的比例，使得第一尺寸信息和第二尺寸信息之间的差异尽量处于一阈值范围内，这样可以使得目标模型对象大致铺满整个可跟踪AR增强对象。除此之外，为了便于观众对该可跟踪AR增强对象进行个性化定制，该可跟踪AR增强对象还可以包括目标模型对象之外的一些图像特征，例如观众自己添加的文字、图片框等任意信息。

值得说明的是，在一些可能的实施方式中，在观众通过AR识别平面中所展示的目标模型对象观看直播流的过程中，还可以从直播服务器100中获得各个待播放的弹幕数据，并将弹幕数据渲染到AR识别平面中，以使弹幕数据在AR识别平面中移动，相较于传统方案中将弹幕数据渲染到直播流画面中移动，可以提高弹幕播放时的真实效果，增强弹幕显示的真实体验。如此，实现弹幕在AR真实场景中的显示，观众在打开摄像头后可看到弹幕从AR真实场景中移动，提高直播可玩性，进而有效提高用户的留存率。

基于同一发明构思，请参阅图5，示出了本申请实施例提供的直播数据处理装置410的功能模块示意图，本实施例可以根据上述方法实施例对直播数据处理装置410进行功能模块的划分。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。比如，在采用对应各个功能划分各个功能模块的情况下，图5示出的直播数据处理装置410只是一种装置示意图。其中，直播数据处理装置410可以包括监听模块411、确定模块412以及加载渲染模块413，下面分别对该直播数据处理装置410的各个功能模块的功能进行详细阐述。

监听模块411，用于在开启的增强现实AR识别平面中监听每帧AR流数据。可以理解，该监听模块411可以用于执行上述步骤S110，关于该监听模块411的详细实现方式可以参照上述对步骤S110有关的内容。

确定模块412，用于在监听到AR流数据中的图像信息与预设图像数据库中的预设图像匹配时，在AR识别平面中确定对应的可跟踪AR增强对象。可以理解，该确定模块412可以用于执行上述步骤S120，关于该确定模块412的详细实现方式可以参照上述对步骤S120有关的内容。

加载渲染模块413，用于加载用于显示直播流的目标模型对象，并将目标模型对象渲染到可跟踪AR增强对象中。可以理解，该加载渲染模块413可以用于执行上述步骤S130，关于该加载渲染模块413的详细实现方式可以参照上述对步骤S130有关的内容。

在一种可能的实施方式中，该直播数据处理装置410还可以包括配置模块，该配置模块可以用于将预设图像数据库配置到用于开启AR识别平面的AR软件平台程序中，以便于AR软件平台程序在开启AR识别平面时将AR流数据中的图像信息与预设图像数据库中的预设图像匹配。

在一种可能的实施方式中，该配置模块可以通过以下方式将预设图像数据库配置到用于开启AR识别平面的AR软件平台程序中：

从直播服务器100中获得需要识别的图像资源；

将图像资源存储到assets目录中；

创建针对AR软件平台程序的预设图像数据库，并将assets目录中的图片资源添加到预设图像数据库中；

将预设图像数据库配置到用于开启AR识别平面的AR软件平台程序中。

在一种可能的实施方式中，监听模块411，还可以用于从AR流数据获取用于捕获图像数据的图像捕获组件，并检测图像捕获组件的跟踪状态是否为在线跟踪状态，当检测图像捕获组件的跟踪状态为在线跟踪状态时，监听AR流数据中的图像信息与预设图像数据库中的预设图像是否匹配。

在一种可能的实施方式中，加载渲染模块413，还可以用于检测可跟踪AR增强对象的跟踪状态，当检测到可跟踪AR增强对象的跟踪状态为在线跟踪状态时，再执行加载用于显示直播流的目标模型对象的操作。

在一种可能的实施方式中，加载渲染模块413可以通过以下方式加载用于显示直播流的目标模型对象，并将目标模型对象渲染到可跟踪AR增强对象中：

在可跟踪AR增强对象的预设点上创建描点和调整节点，描点用于将目标模型对象固定在所述预设点上，调整节点为设置在描点所在位置的容器，调整节点用于对可跟踪AR增强对象进行调整；

加载用于显示直播流的目标模型对象，将接收到的直播流渲染到目标模型对象上，以使直播流在目标模型对象上进行显示；

将目标模型对象渲染到可跟踪AR增强对象中。

在一种可能的实施方式中，加载渲染模块413可以通过以下方式将目标模型对象渲染到可跟踪AR增强对象中：

通过解码器获取目标模型对象中渲染的直播流的第一尺寸信息，并获取可跟踪AR增强对象的第二尺寸信息；

根据第一尺寸信息和第二尺寸信息的比例关系对调整节点进行调整，以调整目标模型对象在可跟踪AR增强对象中的比例。

基于同一发明构思，请参阅图6，示出了本申请实施例提供的用于执行上述直播数据处理方法的电子设备400的结构示意框图，电子设备400可以是图1中所示的直播观看终端200，或者，当直播提供终端300的主播作为观众时，电子设备400也可以是图1中所示的直播提供终端300。如图6所示，该电子设备400可以包括直播数据处理装置410、机器可读存储介质420和处理器430。

本实施例中，机器可读存储介质420与处理器430均位于电子设备400中且二者分离设置。然而，应当理解的是，机器可读存储介质420也可以是独立于电子设备400之外，且可以由处理器430通过总线接口来访问。可替换地，机器可读存储介质420也可以集成到处理器430中，例如，可以是高速缓存和/或通用寄存器。

处理器430是该电子设备400的控制中心，利用各种接口和线路连接整个电子设备400的各个部分，通过运行或执行存储在机器可读存储介质420内的软件程序和/或模块，以及调用存储在机器可读存储介质420内的数据，执行该电子设备400的各种功能和处理数据，从而对电子设备400进行整体监控。可选地，处理器430可包括一个或多个处理核心；例如，处理器430可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。

其中，处理器430可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，处理器可以包括中央处理单元(Central Processing Unit,CPU)、专用集成电路(Application Specific Integrated Circuit,ASIC)、专用指令集处理器(Application Specific Instruction-set Processor,ASIP)、图形处理单元(GraphicsProcessing Unit,GPU)、物理处理单元(Physics Processing Unit,PPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field Programmable GateArray,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、简化指令集计算机(Reduced Instruction Set Computing,RISC)、或微处理器等，或其任意组合。

机器可读存储介质420可以大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(Read-Only Memory,ROM)等，或其任意组合。作为举例，大容量存储器可以包括磁盘、光盘、固态驱动器等；可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等；易失性读写存储器可以包括随机存取存储器(Random Access Memory,RAM)；RAM可以包括动态RAM(Dynamic Random Access Memory,DRAM)，双倍数据速率同步动态RAM(Double Date-Rate Synchronous RAM,DDR SDRAM)；静态RAM(Static Random-AccessMemory,SRAM)，晶闸管RAM(Thyristor-Based Random Access Memory,T-RAM)和零电容器RAM(Zero-RAM)等。作为举例，ROM可以包括掩模ROM(Mask Read-Only Memory,MROM)、可编程ROM(Programmable Read-Only Memory,PROM)、可擦除可编程ROM(ProgrammableErasable Read-only Memory,PEROM)、电可擦除可编程ROM(Electrically ErasableProgrammable read only memory,EEPROM)、光盘ROM(CD-ROM)、以及数字通用磁盘ROM等。机器可读存储介质420可以是独立存在，通过通信总线与处理器430相连接。机器可读存储介质420也可以和处理器集成在一起。其中，机器可读存储介质420用于存储执行本申请方案的机器可执行指令。处理器430用于执行机器可读存储介质420中存储的机器可执行指令，以实现前述方法实施例提供的直播数据处理方法。

直播数据处理装置410可以包括例如图5所述的各个功能模块(例如)，并可以以软件程序代码的形式存储在机器可读存储介质420中，处理器430可以通过执行直播数据处理装置410的各个功能模块，以实现前述方法实施例提供的直播数据处理方法。

由于本申请实施例提供的电子设备400是上述电子设备400执行的方法实施例的另一种实现形式，且电子设备400可用于执行上述方法实施例提供的直播数据处理方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。

进一步地，本申请实施例还提供一种包含计算机可执行指令的可读存储介质，计算机可执行指令在被执行时可以用于实现上述方法实施例提供的直播数据处理方法。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本申请任意实施例所提供的直播数据处理方法中的相关操作。

本申请实施例是参照根据本申请实施例的方法、设备和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种直播数据处理方法，其特征在于，应用于直播观看终端，所述方法包括：

在开启的增强现实AR识别平面中监听每帧AR流数据；

在监听到所述AR流数据中的图像信息与预设图像数据库中的预设图像匹配时，在所述AR识别平面中确定对应的可跟踪AR增强对象；

加载用于显示直播流的目标模型对象，并将所述目标模型对象渲染到所述可跟踪AR增强对象中，包括：在所述可跟踪AR增强对象的预设点上创建描点和调整节点，所述描点用于将所述目标模型对象固定在所述预设点上，所述调整节点为设置在所述描点所在位置的容器，所述调整节点用于对所述可跟踪AR增强对象进行调整；加载用于显示直播流的目标模型对象，将接收到的直播流渲染到所述目标模型对象上，以使所述直播流在所述目标模型对象上进行显示；将所述目标模型对象渲染到所述可跟踪AR增强对象中。

2.根据权利要求1所述的直播数据处理方法，其特征在于，所述方法还包括：

将所述预设图像数据库配置到用于开启所述AR识别平面的AR软件平台程序中，以便于所述AR软件平台程序在开启所述AR识别平面时将所述AR流数据中的图像信息与预设图像数据库中的预设图像匹配。

3.根据权利要求1所述的直播数据处理方法，其特征在于，所述在监听到所述AR流数据中的图像信息与预设图像数据库中的预设图像匹配时，在所述AR识别平面中确定对应的可跟踪AR增强对象的步骤之前，所述方法还包括：

从所述AR流数据获取用于捕获图像数据的图像捕获组件；

检测所述图像捕获组件的跟踪状态是否为在线跟踪状态；

当检测所述图像捕获组件的跟踪状态为在线跟踪状态时，监听所述AR流数据中的图像信息与预设图像数据库中的预设图像是否匹配。

4.根据权利要求1所述的直播数据处理方法，其特征在于，所述在所述AR识别平面中确定对应的可跟踪AR增强对象的步骤之后，所述方法还包括：

检测所述可跟踪AR增强对象的跟踪状态；

当检测到所述可跟踪AR增强对象的跟踪状态为在线跟踪状态时，再执行所述加载用于显示直播流的目标模型对象的步骤。

5.根据权利要求1所述的直播数据处理方法，其特征在于，所述将接收到的直播流渲染到所述目标模型对象上，以使所述直播流在所述目标模型对象上进行显示的步骤，包括：

调用软件开发工具包SDK从直播服务器中拉取直播流，并创建所述直播流的外部纹理；

将所述直播流的纹理传递给所述SDK的解码器进行渲染；

在接收到所述SDK的解码器的渲染开始状态后，调用外部纹理设置方法将所述直播流的外部纹理渲染到所述目标模型对象上，以使所述直播流在所述目标模型对象上进行显示。

6.根据权利要求1所述的直播数据处理方法，其特征在于，所述将所述目标模型对象渲染到所述可跟踪AR增强对象中的步骤，包括：

通过解码器获取所述目标模型对象中渲染的直播流的第一尺寸信息，并获取所述可跟踪AR增强对象的第二尺寸信息；

根据所述第一尺寸信息和所述第二尺寸信息的比例关系对所述调整节点进行调整，以调整所述目标模型对象在所述可跟踪AR增强对象中的比例。

7.一种直播数据处理装置，其特征在于，应用于直播观看终端，所述装置包括：

监听模块，用于在开启的增强现实AR识别平面中监听每帧AR流数据；

确定模块，用于在监听到所述AR流数据中的图像信息与预设图像数据库中的预设图像匹配时，在所述AR识别平面中确定对应的可跟踪AR增强对象；

加载渲染模块，用于加载用于显示直播流的目标模型对象，并将所述目标模型对象渲染到所述可跟踪AR增强对象中，包括：在所述可跟踪AR增强对象的预设点上创建描点和调整节点，所述描点用于将所述目标模型对象固定在所述预设点上，所述调整节点为设置在所述描点所在位置的容器，所述调整节点用于对所述可跟踪AR增强对象进行调整；加载用于显示直播流的目标模型对象，将接收到的直播流渲染到所述目标模型对象上，以使所述直播流在所述目标模型对象上进行显示；将所述目标模型对象渲染到所述可跟踪AR增强对象中。

8.一种电子设备，其特征在于，所述电子设备包括机器可读存储介质及处理器，所述机器可读存储介质存储有机器可执行指令，所述处理器在执行所述机器可执行指令时，该电子设备实现权利要求1-6中任意一项所述的直播数据处理方法。

9.一种可读存储介质，其特征在于，所述可读存储介质中存储有机器可执行指令，所述机器可执行指令被执行时实现权利要求1-6中任意一项所述的直播数据处理方法。

Images