CN116744025A - 数据处理方法、装置、计算机设备、存储介质及程序产品 - Google Patents

Abstract

本申请提供一种数据处理方法、装置、计算机设备、存储介质及程序产品，涉及直播领域，本申请实施例可应用于直播场景。数据处理方法包括：接收识别终端发送的基于至少一个直播用户在至少一个时间段的直播视频流所生成的识别日志；识别终端还用于基于直播视频流生成对应的识别标签，并将识别标签发送至对应的直播间进行展示；接收查询终端发送的查询信息；查询信息包括目标用户标识和目标时间段；目标用户标识包括目标直播用户标识；从所接收到的识别日志中查询与查询信息相匹配的目标识别日志，确定目标直播间的直播异常信息；将所确定的直播异常信息返回至查询终端。可以提高直播异常信息的排查效率。

Description

数据处理方法、装置、计算机设备、存储介质及程序产品

技术领域

本申请涉及多媒体技术领域，本申请涉及一种数据处理方法、装置、计算机设备、存储介质及程序产品。

背景技术

随着直播的广泛应用，直播平台也越来越多。在这些直播平台上，主播开播，然后直播间完成各种动作，比如跳舞或者唱歌，然后直播应用二级页面或者首页主播封面图会展示各种提高用户点击率的标签，帮助用户过滤自己感兴趣的内容。若标签展示出现异常，例如跟实际主播进行的动作不符，或不显示标签，则需要对标签显示的异常信息进行定位。

目前通常是主播发现标签异常，去联系应用程序的运营投诉，运营再去反馈给开发或测试进行问题排查，测试还需要进行场景复现，开发再去进行日志查询，需要联系多方进行排查，异常信息定位效率低下。

发明内容

本申请提供了一种数据处理方法、装置、计算机设备、存储介质及程序产品，可以解决相关技术中异常信息定位效率低下的问题。所述技术方案如下：

一方面，提供了一种数据处理方法，方法包括：

接收识别终端发送的基于至少一个直播用户在至少一个时间段的直播视频流所生成的识别日志；识别终端还用于基于直播视频流生成对应的识别标签，并将识别标签发送至对应的直播间进行展示；

接收查询终端发送的查询信息；查询信息包括目标用户标识和目标时间段；目标用户标识包括目标直播用户标识；查询信息是基于目标直播间所展示的目标识别标签出现异常所发送的；

从所接收到的识别日志中查询与查询信息相匹配的目标识别日志，基于目标识别日志确定目标直播间的直播异常信息；

将所确定的直播异常信息返回至查询终端。

另一方面，提供了一种数据处理方法，包括：

对至少一个直播用户在至少一个时间段的直播视频流进行识别生成识别标签以及识别日志；

将识别标签发送至对应的直播间进行展示；

将识别日志发送至日志分析终端；

其中，日志分析终端用于执行如下操作：

接收查询终端发送的查询信息；查询信息包括目标用户标识和目标时间段；目标用户标识包括目标直播用户标识；查询信息是基于目标直播间所展示的目标识别标签出现异常所发送的；

从所接收到的识别日志中查询与查询信息相匹配的目标识别日志，基于目标识别日志确定目标直播间的直播异常信息；

将所确定的直播异常信息返回至查询终端。

另一方面，提供了一种数据处理装置，装置包括：

第一接收模块，用于接收识别终端发送的基于至少一个直播用户在至少一个时间段的直播视频流所生成的识别日志；识别终端还用于基于直播视频流生成对应的识别标签，并将识别标签发送至对应的直播间进行展示；

第二接收模块，用于接收查询终端发送的查询信息；查询信息包括目标用户标识和目标时间段；目标用户标识包括目标直播用户标识；查询信息是基于目标直播间所展示的目标识别标签出现异常所发送的；

查询模块，用于从所接收到的识别日志中查询与查询信息相匹配的目标识别日志，基于目标识别日志确定目标直播间的直播异常信息；

返回模块，用于将所确定的直播异常信息返回至查询终端。

在一个可能实现方式中，目标用户标识还包括目标观众标识；查询模块在基于目标识别日志确定目标直播间的直播异常信息时，具体用于：

接收用户终端发送的直播应用日志；

从所接收到的直播应用日志中查询与查询信息相匹配的目标应用日志；

基于目标识别日志和目标应用日志确定直播异常信息。

在一个可能实现方式中，识别终端在基于至少一个直播用户在至少一个时间段的直播视频流生成识别日志时，具体用于：

对直播视频流进行至少两个子处理步骤，得到识别标签；

针对任一子处理步骤，生成针对该子步骤的子日志；

将至少两个子步骤的子日志设为识别日志。

另一方面，提供了一种数据处理装置，装置包括：

识别模块，用于对至少一个直播用户在至少一个时间段的直播视频流进行识别生成识别标签以及识别日志；

第一发送模块，用于将识别标签发送至对应的直播间进行展示；

第二发送模块，用于将识别日志发送至日志分析终端；

其中，日志分析终端用于执行如下操作：

接收查询终端发送的查询信息；查询信息包括目标用户标识和目标时间段；目标用户标识包括目标直播用户标识；查询信息是基于目标直播间所展示的目标识别标签出现异常所发送的；

从所接收到的识别日志中查询与查询信息相匹配的目标识别日志，基于目标识别日志确定目标直播间的直播异常信息；

将所确定的直播异常信息返回至查询终端。

在一个可能实现方式中，识别模块在对至少一个直播用户在至少一个时间段的直播视频流进行识别生成识别标签以及识别日志时，具体用于：

对直播视频流进行至少两个子处理步骤，得到识别标签；

针对任一子处理步骤，生成针对该子步骤的子日志；

将至少两个子步骤的子日志设为识别日志。

在一个可能实现方式中，识别模块在对直播视频流进行至少两个子处理步骤，得到识别标签时，具体用于：

若每一子处理步骤得到对应的处理结果，则依次进行下一子处理步骤；

若任一子处理步骤未得到对应的处理结果，则生成针对该子处理步骤的失败信息发送至日志分析终端，并不再进行下一子处理步骤。

在一个可能实现方式中，识别模块在对直播视频流进行至少两个子处理步骤，得到识别标签；针对任一子处理步骤，生成针对该子步骤的处理日志；将至少两个子步骤的处理日志确定为识别日志时，具体用于：

对直播视频流进行音视频分离，得到直播音频和直播视频画面，并生音视频分离日志；

对直播视频画面进行视频分帧，生成视频分帧日志；

提取直播音频中的声音信息，生成信息提取日志；

基于视频分帧后的直播视频画面和声音信息，获取识别标签，生成标签识别日志；

将音视频分离日志、视频分帧日志、信息提取日志和标签识别日志确定为识别日志。

另一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，处理器执行计算机程序以实现上述的数据处理方法。

另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的数据处理方法。

另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述的数据处理方法。

本申请提供的技术方案带来的有益效果是：

日志分析终端通过接收识别模块针对不同的直播用户在不同时间段的直播视频流所生成的识别日志，若接收到查询信息时，可以直接根据待查询的目标直播用户标识和目标时间段，从接收到的识别日志中查询目标识别日志，并进行直播异常信息定位，从而解决直播异常问题，可以有效避免多方联系分别排查，有效提高直播异常信息定位的效率。

进一步的，每进行一个子步骤，则生成针对该子步骤的子日志，在排查直播异常时，可以更快速定位到到每一子步骤，从而提高直播异常信息定位的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种数据处理方法的实施环境示意图；

图2为本申请实施例提供的一种数据处理方法的流程示意图；

图3为本申请示例提供的查询终端的界面示意图；

图4为本申请实施例提供的一种数据处理方法的流程示意图；

图5为本申请示例提供的数据处理方案的示意图；

图6为本申请示例提供的识别终端的结构示意图；

图7为本申请示例提供的表情识别模型的特征提取模块的结构示意图；

图8为本申请和相关技术的异常信息排查的耗时对比图；

图9为本申请实施例提供的一种数据处理装置的结构示意图；

图10为本申请实施例提供的一种数据处理装置的结构示意图；

图11为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”指示实现为“A”，或者实现为“A”，或者实现为“A和B”。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

线上直播用户反馈在自己的直播间UID(User Identification，用户身份)：XXX唱歌或者跳舞，但是直播应用程序里面没有展示唱歌标签，用户点击率低，错过自己的热舞或者动听的歌声，运营人员收到第一手反馈后或者自己在体验应用程序里发现某个直播用户标签展示有问题，然后会让开发去排查，开发会让测试同学去复现，测试同学让开发同学先查日志，排查一个问题涉及的人员多，链路长。

图1是本发明实施例提供的一种数据处理方法的实施环境的示意图，参见图1，该实施环境包括：直播服务器100、直播用户终端101a和直播用户终端101b、识别终端102、日志分析终端103和查询终端104。

具体的，直播用户终端101a和直播用户终端101b发送当前时间段的直播视频流到直播服务器100，识别终端102从直播服务器100获取直播视频流；识别终端102对直播视频流进行识别，生成不同直播用户的识别标签并生成识别日志；识别终端102将不同的识别标签分别发送至直播用户终端101a和直播用户终端101b，以在直播用户直播间进行展示，并将识别日志发送至日志分析终端103；若与直播用户终端101a对应的直播用户发现识别标签有问题，则直播用户终端101a发送查询信息到查询终端104，查询终端104将查询信息发送到日志分析终端103，日志分析终端103从所接收到的识别日志中查询与查询信息相匹配的目标识别日志，基于目标识别日志确定目标直播用户直播间的直播异常信息；日志分析终端103将所确定的直播异常信息返回至查询终端104，查询终端104针对直播异常信息进行处理。

可以理解的是，图1表示的是一个示例中的应用场景，并不对本申请的数据处理方法的应用场景进行限定。

本技术领域技术人员可以理解，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器或服务器集群。终端可以是智能手机(如Android手机、iOS手机等)、平板电脑、笔记本电脑、数字广播接收器、MID(Mobile Internet Devices，移动互联网设备)、PDA(个人数字助理)、台式计算机、智能家电、车载终端(例如车载导航终端、车载电脑等)、智能音箱、智能手表等，终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，但并不局限于此。具体也可基于实际应用场景需求确定，在此不作限定。

图2为本申请实施例提供的一种数据处理方法的流程示意图。该方法的执行主体可以为日志分析终端。如图2所示，该方法可以包括以下步骤：

步骤S201，接收识别终端发送的基于至少一个直播用户在至少一个时间段的直播视频流所生成的识别日志。

其中，本申请的直播用户可以是正在进行直播的主播。

具体的，识别终端还用于基于直播视频流生成对应的识别标签，并将识别标签发送至对应的直播间进行展示。

其中，识别标签可以是针对直播用户的当前直播内容的标签，例如，主播正在做什么，可以采用识别模型对直播视频流中的画面和音频进行识别得到识别标签。

其中，识别日志与直播用户的直播用户标识相关联，即每一识别日志都有对应的时间段和对应的直播用户标识。

具体的，识别终端可以对直播视频流进行音视频分离、音频分帧、再进行识别等多个子处理步骤，具体针对直播视频流的处理过程将在下文进行详细阐述。

步骤S202，接收查询终端发送的查询信息。

其中，查询信息包括目标用户标识和目标时间段；目标用户标识包括目标直播用户标识；查询信息是基于目标直播间所展示的目标识别标签出现异常所发送的。

具体的，直播用户通过直播用户终端进行直播，可以将直播视频流发送到直播服务器，识别终端从直播服务器拉取直播视频流。

具体的，直播用户或观众在观看直播间的过程中，可能发现某一目标直播间所展示的目标识别标签异常，则用户终端，即直播用户终端或观众终端可以发送查询信息到查询终端，查询终端再将查询信息发送至日志分析终端。

例如，某一直播用户或某一观众在观看目标直播间时，发现目标直播间所展示的目标识别标签有误，则直播用户或观众发送查询信息到查询终端，查询终端可以是运营人员使用的终端。

步骤S203，从所接收到的识别日志中查询与查询信息相匹配的目标识别日志，基于目标识别日志确定目标直播间的直播异常信息。

其中，直播异常信息可以是造成识别标签异常的原因，例如，直播异常信息可以包括识别模块在对直播视频流进行处理的过程中无法分配内存、识别模型在对直播视频流进行识别时识别结果不准确等等。

步骤S204，将所确定的直播异常信息返回至查询终端。

具体的，查询终端可以是运营人员，查询终端接收到直播异常信息后，可以对直播异常信息进行处理；查询终端还可以将直播异常信息发送给对应的针对异常信息进行处理的终端。

上述实施例中，日志分析终端通过接收识别模块针对不同的直播用户在不同时间段的直播视频流所生成的识别日志，若接收到查询信息时，可以直接根据待查询的目标直播用户标识和目标时间段，从接收到的识别日志中查询目标识别日志，并进行直播异常信息定位，从而解决直播异常问题，可以有效避免多方联系分别排查，有效提高直播异常信息定位的效率。

如图3所示，在查询终端的界面，输入目标直播用户标识即图中所示的直播用户UID、观众标识即图中所示的用户UID以及选择时间段，即可查询对应的目标识别日志，并进行直播异常信息定位。

在一些可能的方式中，还可以通过观众终端的应用日志进一步进行异常信息定位。

具体的，步骤S203的基于目标识别日志确定目标直播间的直播异常信息，可以包括：

(1)接收用户终端发送的直播应用日志；

(2)从所接收到的直播应用日志中查询与查询信息相匹配的目标应用日志；

(3)基于目标识别日志和目标应用日志确定直播异常信息。

具体的，目标用户通过用户终端在观看目标直播间时，若发现目标直播间所展示的目标识别标签异常，则可以上传直播应用日志到日志分析终端。

具体的，所上传的直播应用日志与目标用户标识、目标直播用户标识以及目标时间段均关联，则日志分析模块可以结合直播应用日志和识别日志对直播异常信息进行定位。

在一些可能的实施方式中，识别终端在基于至少一个直播用户在至少一个时间段的直播视频流生成识别日志时，具体用于：

对直播视频流进行至少两个子处理步骤，得到识别标签；

针对任一子处理步骤，生成针对该子步骤的子日志；

将至少两个子步骤的子日志设为识别日志。

在一些可能的实施方式中，识别日志包括至少两个子日志；每一子日志是由识别终端针对直播视频流依次进行至少一个子处理步骤生成的。

具体的，每进行一个子步骤，则生成针对该子步骤的子日志，在排查直播异常时，可以更快速定位到到每一子步骤，从而提高直播异常信息定位的效率。

上述的数据处理方法，日志分析终端通过接收识别模块针对不同的直播用户在不同时间段的直播视频流所生成的识别日志，若接收到查询信息时，可以直接根据待查询的目标直播用户标识和目标时间段，从接收到的识别日志中查询目标识别日志，并进行直播异常信息定位，从而解决直播异常问题，可以有效避免多方联系分别排查，有效提高直播异常信息定位的效率。

进一步的，每进行一个子步骤，则生成针对该子步骤的子日志，在排查直播异常时，可以更快速定位到到每一子步骤，从而提高直播异常信息定位的效率。

上述实施例是从日志分析终端的角度来描述的，以下将从识别终端的角度来阐述本申请的数据处理方法。

在一个可能的实施方式中，如图4所示，提供了一种数据处理方法，可以应用于识别终端，方法可以包括：

步骤S401，对至少一个直播用户在至少一个时间段的直播视频流进行识别生成识别标签以及识别日志。

其中，识别标签可以是针对直播用户的当前直播用户内容的标签，例如，主播正在做什么，可以采用识别模型对直播视频流中的画面和音频进行识别得到识别标签。

具体的，直播用户通过直播用户终端进行直播，可以将直播视频流发送到直播服务器，识别终端从直播服务器拉取直播视频流。

具体的，识别终端可以对直播视频流进行音视频分离、音频分帧、再进行识别等多个子处理步骤，具体针对直播视频流的处理过程将在下文进行详细阐述。

步骤S402，将识别标签发送至对应的直播间进行展示。

具体的，识别日志与直播用户的直播用户标识相关联，即每一识别日志都有对应的时间段和对应的直播用户标识。

步骤S403，将识别日志发送至日志分析终端。

其中，日志分析终端用于执行如下操作：

接收查询终端发送的查询信息；查询信息包括目标用户标识和目标时间段；目标用户标识包括目标直播用户标识；查询信息是基于目标直播间所展示的目标识别标签出现异常所发送的；

从所接收到的识别日志中查询与查询信息相匹配的目标识别日志，基于目标识别日志确定目标直播间的直播异常信息；

将所确定的直播异常信息返回至查询终端。

具体的，直播用户或观众在观看直播间的过程中，可能发现某一目标直播间所展示的目标识别标签异常，则用户终端，即直播用户终端或观众终端可以发送查询信息到查询终端，查询终端再将查询信息发送至日志分析终端。

例如，某一直播用户或某一观众在观看目标直播间时，发现目标直播间所展示的目标识别标签有误，则直播用户或观众发送查询信息到查询终端，查询终端可以是运营人员使用的终端。

其中，直播异常信息可以是造成识别标签异常的原因，例如，直播异常信息可以包括识别模块在对直播视频流进行处理的过程中无法分配内存、识别模型在对直播视频流进行识别时识别结果不准确等等。

上述实施例中，日志分析通过接收识别模块针对不同的直播用户在不同时间段的直播视频流所生成的识别日志，若接收到查询信息时，可以直接根据待查询的目标直播用户标识和目标时间段，从接收到的识别日志中查询目标识别日志，并进行直播异常信息定位，从而解决直播异常问题，可以有效避免多方联系分别排查，有效提高直播异常信息定位的效率。

在一些可能的实施方式中，步骤S401对至少一个直播用户在至少一个时间段的直播视频流进行识别生成识别标签以及识别日志，可以包括：

对直播视频流进行至少两个子处理步骤，得到识别标签；

针对任一子处理步骤，生成针对该子步骤的子日志；

将至少两个子步骤的子日志设为识别日志。

其中，子处理步骤可以包括音视频分离、视频分帧、信息提取、标签识别等等。

在具体实施过程中，对直播视频流进行至少两个子处理步骤，得到识别标签，可以包括：

若每一子处理步骤得到对应的处理结果，则依次进行下一子处理步骤；

若任一子处理步骤未得到对应的处理结果，则生成针对该子处理步骤的失败信息发送至日志分析终端，并不再进行下一子处理步骤。

具体的，每一子处理步骤处理成功，则进行下一步步骤；若任一子处理步骤处理失败，则发送失败信息到日志分析终端。

以至少两个子处理步骤依次包括音视频分离、视频分帧、信息提取、标签识别为例，若音视频分离成功，则进行视频分帧；若音视频分离失败，则音视频分离失败信息到日志分析终端；若视频分帧成功，则进行信息提取；若视频分帧失败，则返回视频分帧失败信息到日志分析终端；若信息提取成功，则进行标签识别；若信息提取失败，则返回信息提取失败信息到日志分析终端。

在一些可能的实施方式中，对直播视频流进行至少两个子处理步骤，得到识别标签；针对任一子处理步骤，生成针对该子步骤的处理日志；将至少两个子步骤的处理日志确定为识别日志，可以包括：

对直播视频流进行音视频分离，得到直播音频和直播视频画面，并生音视频分离日志；

对直播视频画面进行视频分帧，生成视频分帧日志；

提取直播音频中的声音信息，生成信息提取日志；

基于视频分帧后的直播视频画面和声音信息，获取识别标签，生成标签识别日志；

将音视频分离日志、视频分帧日志、信息提取日志和标签识别日志确定为识别日志。

在另一些实施方式中，子处理步骤还可以包括模型识别，即采用训练后的识别模型对所提取的信息进行识别；子处理步骤还可以包括结果预测，即预测所提取的信息对应的识别标签；子处理步骤还可以包括结果上报，即预测得到的识别标签上报至后台服务。

具体的，如图5所示，识别标签上报至后台服务后，后台服务接收所上报的识别标签，即后台接收，对接收到的识别标签进行处理，即后台处理；后台将所接收到的识别标签上报至直播用户终端，即后台上报；直播用户终端对识别标签进行接收、处理和展示，即终端接收、终端处理和终端展示等，若任一子处理步骤处理失败，则通常可以定位到相应的异常信息，例如，若识别终端预处理失败，则可能是直播视频流的流地址失效，直播用户可能停播；若识别终端在进行音视频分离和视频分帧时失败，则可能是识别终端无法分配内存；若识别终端在进行信息处理时失败，则可能是信息处理结果格式错误；若直播用户终端展示异常，则可能是直播用户终端展示字段和接收字段不一致。

具体的，识别终端对直播视频流进行至少两个子处理步骤时，日志分析终端在根据查询信息查询目标识别日志时，可以分别查询每一子处理步骤对应的目标子日志，每查询到一个子处理步骤对应的目标子日志，确定该目标子日志对应的时间；若某一目标子日志对应的时间与上一子步骤的目标子日志对应的时间间隔小于或等于预设时间间隔，则判定这两个子步骤为同一个过程中的步骤；若某一目标子日志对应的时间与上一子步骤的目标子日志对应的时间间隔大于预设时间间隔，则判定这两个子步骤不是同一个过程中的步骤，则可以排除当前这一个目标子日志。

以下将结合识别终端的具体结构对识别终端的功能进行进一步详细阐述。

如图6所示，识别终端可以包括：

服务模块(PredictServer)，用于检测本地端口，接收业务后台数据，数据包括直播用户流地址，直播用户标识，并将直播用户流地址和直播用户标识发送给总处理模块(SingObserver)分发；

总处理模块，用于将业务后台传来的直播用户流地址和直播用户标识进行统一处理，分发给单条流处理模块(PredictProcess)，然后将处理结果提交给业务后台；

单条流处理模块，用于处理直播用户单条流，包括抓取视频片段、提取音频、声道处理等其他模块；

音频模块(ExtractAudio)，用于提取视频中的音频，并保存本地；

音频特征模块(AudioFeature)，用于将本地音频转化为波形信息，经过声道处理之后，提交给迁移学习模块；

迁移学习模块(Transfer)，用于采用迁移模型，将波形信息作为输入，处理为128维度的语义信息，提交给识别模块；

识别模块(predict)最后识别结果会上报给业务后台，业务后台会给直播用户终端推送展示字段标志位的值，为1展示，为0不展示，识别模块的每一步都会有日志输出，检测每一步的日志输出，并制定好日志规则，根据每一步规则，前一步如果成功了，继续下一步，如果上一步失败，比如接收流失败，这时就直接返回失败，找到问题原因。

则整个识别终端的整体流程如下：

接收直播视频流；若失败，则返回失败消息；若成功，则进行音视频分离；若音视频分离失败，则返回失败消息；若成功，则进行预处理；若预处理失败，则返回失败消息；若预处理成功，则进行音视频识别；若音视频识别失败，则返回失败消息；若音视频识别成功，则将识别得到的识别标签进行结果上报，将结果上报到业务后台；若结果上报失败，则返回失败消息；若结果上报成功，则业务后台将识别标签上报到用户终端；若上报到用户终端失败，则返回失败消息；若上报到用户终端成功，则在用户终端直播间展示识别标签。

在具体实施过程中，当前置所有的流程都通过后，才会有终端展示的日志，前置只要有一步出错了，都不能展示识别标签，因此可以避免了开发人员在查询异常时各个模块检索日志，提高了效率。

以下将从识别终端和日志分析终端交互的角度来阐述上述的数据处理方法。

直播用户在直播时，业务后台推送的当前时间段直播用户的直播视频流到识别终端；

识别终端对直播视频流的视频内容进行识别，得到对应的识别标签，并生成当前时间段的识别日志；

识别终端将识别标签发送至业务后台；

业务后台将识别标签发送至直播间进行展示；

识别终端将识别日志发送至日志分析终端；

用户终端(直播用户终端或观众终端)发现直播间展示的识别标签异常，发送查询信息到查询终端；

查询终端发送查询信息到日志分析终端；

日志分析终端从所接收到的识别日志中查询与查询信息相匹配的目标识别日志，并基于目标识别日志确定目标直播间的直播异常信息；

日志分析终端将所确定的直播异常信息返回至查询终端。

如图7所示，以下将结合附图对上述数据处理过程进行进一步详细阐述。

直播用户在直播过程中，业务后台推送直播用户直播视频流到识别终端；

识别终端对直播视频流进行预处理、音视频分离、音频分帧、信息处理、模型识别、结果预测、结果输出、结果上报到业务后台；并生成与直播用户标识、当前时间段均关联的识别日志，将识别日志发送到日志分析终端；

业务后台将识别标签推送到用户终端的直播间进行展示；

日志分析终端包括网络服务(web server)和日志解析脚本；

若观众发现直播间展示的识别标签异常，则用户终端上传与观众标识和当前时间段均关联的应用日志到日志分析终端；

查询终端(即图中所示的可视化操作平台)接收到用户终端(观众终端或直播用户终端)发送的待查询的目标直播用户标识和目标时间段，或还包括目标标识，将目标直播用户标识、目标观众标识和目标时间段发送至日志分析终端的网络服务；

网络服务利用日志解析脚本，查询对应的目标识别日志和目标应用日志，并基于目标识别日志和目标应用日志确定直播异常信息；

网络服务将分析得到的直播异常信息返回至查询终端。

以下将结合附图阐述本申请的数据处理方法的效果。

如图8所示，当直播间出现异常信息时，相关技术中联系应用程序的运营投诉，运营再去反馈给开发或测试进行问题排查，测试还需要进行场景复现，开发再去进行日志查询，需要联系多方进行排查，耗时可能达到5-10小时；而采用本申请的数据处理方法，只需要5-10分钟即可对直播异常信息进行定位。

上述的数据处理方法，日志分析终端通过接收识别模块针对不同的直播用户在不同时间段的直播视频流所生成的识别日志，若接收到查询信息时，可以直接根据待查询的目标直播用户标识和目标时间段，从接收到的识别日志中查询目标识别日志，并进行直播异常信息定位，从而解决直播异常问题，可以有效避免多方联系分别排查，有效提高直播异常信息定位的效率。

进一步的，每进行一个子步骤，则生成针对该子步骤的子日志，在排查直播异常时，可以更快速定位到到每一子步骤，从而提高直播异常信息定位的效率。

图9为本申请实施例提供的一种数据处理装置的结构示意图。如图9所示，该装置包括：

第一接收模块901，用于接收识别终端发送的基于至少一个直播用户在至少一个时间段的直播视频流所生成的识别日志；识别终端还用于基于直播视频流生成对应的识别标签，并将识别标签发送至对应的直播间进行展示；

第二接收模块902，用于接收查询终端发送的查询信息；查询信息包括目标用户标识和目标时间段；目标用户标识包括目标直播用户标识；查询信息是基于目标直播间所展示的目标识别标签出现异常所发送的；

查询模块903，用于从所接收到的识别日志中查询与查询信息相匹配的目标识别日志，基于目标识别日志确定目标直播间的直播异常信息；

返回模块904，用于将所确定的直播异常信息返回至查询终端。

在一个可能实现方式中，目标用户标识还包括目标观众标识；查询模块903在基于目标识别日志确定目标直播间的直播异常信息时，具体用于：

接收用户终端发送的直播应用日志；

从所接收到的直播应用日志中查询与查询信息相匹配的目标应用日志；

基于目标识别日志和目标应用日志确定直播异常信息。

在一个可能实现方式中，识别终端在基于至少一个直播用户在至少一个时间段的直播视频流生成识别日志时，具体用于：

对直播视频流进行至少两个子处理步骤，得到识别标签；

针对任一子处理步骤，生成针对该子步骤的子日志；

将至少两个子步骤的子日志设为识别日志。

图10为本申请实施例提供的一种数据处理装置的结构示意图。如图10所示，该装置包括：

识别模块1001，用于对至少一个直播用户在至少一个时间段的直播视频流进行识别生成识别标签以及识别日志；

第一发送模块1002，用于将识别标签发送至对应的直播间进行展示；

第二发送模块1003，用于将识别日志发送至日志分析终端；

其中，日志分析终端用于执行如下操作：

接收查询终端发送的查询信息；查询信息包括目标用户标识和目标时间段；目标用户标识包括目标直播用户标识；查询信息是基于目标直播间所展示的目标识别标签出现异常所发送的；

从所接收到的识别日志中查询与查询信息相匹配的目标识别日志，基于目标识别日志确定目标直播间的直播异常信息；

将所确定的直播异常信息返回至查询终端。

在一个可能实现方式中，识别模块1001在对至少一个直播用户在至少一个时间段的直播视频流进行识别生成识别标签以及识别日志时，具体用于：

对直播视频流进行至少两个子处理步骤，得到识别标签；

针对任一子处理步骤，生成针对该子步骤的子日志；

将至少两个子步骤的子日志设为识别日志。

在一个可能实现方式中，识别模块1001在对直播视频流进行至少两个子处理步骤，得到识别标签时，具体用于：

若每一子处理步骤得到对应的处理结果，则依次进行下一子处理步骤；

若任一子处理步骤未得到对应的处理结果，则生成针对该子处理步骤的失败信息发送至日志分析终端，并不再进行下一子处理步骤。

在一个可能实现方式中，识别模块1001在对直播视频流进行至少两个子处理步骤，得到识别标签；针对任一子处理步骤，生成针对该子步骤的处理日志；将至少两个子步骤的处理日志确定为识别日志时，具体用于：

对直播视频流进行音视频分离，得到直播音频和直播视频画面，并生音视频分离日志；

对直播视频画面进行视频分帧，生成视频分帧日志；

提取直播音频中的声音信息，生成信息提取日志；

基于视频分帧后的直播视频画面和声音信息，获取识别标签，生成标签识别日志；

将音视频分离日志、视频分帧日志、信息提取日志和标签识别日志确定为识别日志。

上述的数据处理装置，日志分析终端通过接收识别模块针对不同的直播用户在不同时间段的直播视频流所生成的识别日志，若接收到查询信息时，可以直接根据待查询的目标直播用户标识和目标时间段，从接收到的识别日志中查询目标识别日志，并进行直播异常信息定位，从而解决直播异常问题，可以有效避免多方联系分别排查，有效提高直播异常信息定位的效率。

进一步的，每进行一个子步骤，则生成针对该子步骤的子日志，在排查直播异常时，可以更快速定位到到每一子步骤，从而提高直播异常信息定位的效率。

本实施例的数据处理装置可执行本申请上述实施例所示的数据处理方法，其实现原理相类似，此处不再赘述。

图11是本申请实施例中提供了一种计算机设备的结构示意图。如图11所示，该计算机设备包括：存储器和处理器；至少一个程序，存储于存储器中，用于被处理器执行时，与现有技术相比可实现：

日志分析终端通过接收识别模块针对不同的直播用户在不同时间段的直播视频流所生成的识别日志，若接收到查询信息时，可以直接根据待查询的目标直播用户标识和目标时间段，从接收到的识别日志中查询目标识别日志，并进行直播异常信息定位，从而解决直播异常问题，可以有效避免多方联系分别排查，有效提高直播异常信息定位的效率。每进行一个子步骤，则生成针对该子步骤的子日志，在排查直播异常时，可以更快速定位到到每一子步骤，从而提高直播异常信息定位的效率。

在一个可选实施例中提供了一种计算机设备，如图11所示，图11所示的计算机设备1100包括：处理器1101和存储器1103。其中，处理器1101和存储器1103相连，如通过总线1102相连。可选地，计算机设备1100还可以包括收发器1104，收发器1104可以用于该计算机设备与其他计算机设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器1104不限于一个，该计算机设备1100的结构并不构成对本申请实施例的限定。

处理器1101可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1101也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线1102可包括一通路，在上述组件之间传送信息。总线1102可以是PCI(Peripheral Component Interconnect，外设部件互连标注)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标注结构)总线等。总线1102可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器1103可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器1103用于存储执行本申请方案的应用程序代码(计算机程序)，并由处理器1101来控制执行。处理器1101用于执行存储器1103中存储的应用程序代码，以实现前述方法实施例所示的内容。

其中，计算机设备包括但不限于：虚拟化的计算机设备、虚拟机、服务器、服务集群、用户的终端等。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中数据处理方法的相应内容。

本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的数据处理方法。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，识别终端还可以被描述为“用于识别直播视频流的模块”。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种数据处理方法，其特征在于，应用于日志分析终端，所述方法包括：

接收识别终端发送的基于至少一个直播用户在至少一个时间段的直播视频流所生成的识别日志；所述识别终端还用于基于所述直播视频流生成对应的识别标签，并将所述识别标签发送至对应的直播间进行展示；

接收查询终端发送的查询信息；所述查询信息包括目标用户标识和目标时间段；所述目标用户标识包括目标直播用户标识；所述查询信息是基于目标直播间所展示的目标识别标签出现异常所发送的；

从所接收到的识别日志中查询与所述查询信息相匹配的目标识别日志，基于所述目标识别日志确定所述目标直播间的直播异常信息；

将所确定的直播异常信息返回至所述查询终端。

2.根据权利要求1所述的数据处理方法，其特征在于，所述目标用户标识还包括目标观众标识；所述基于所述目标识别日志确定所述目标直播间的直播异常信息，包括：

接收用户终端发送的直播应用日志；

从所接收到的直播应用日志中查询与所述查询信息相匹配的目标应用日志；

基于所述目标识别日志和所述目标应用日志确定所述直播异常信息。

3.根据权利要求1所述的数据处理方法，其特征在于，所述识别终端在基于至少一个直播用户在至少一个时间段的直播视频流生成识别日志时，具体用于：

对所述直播视频流进行至少两个子处理步骤，得到所述识别标签；

针对任一子处理步骤，生成针对该子步骤的子日志；

将所述至少两个子步骤的子日志设为所述识别日志。

4.一种数据处理方法，其特征在于，应用于识别终端，所述方法包括：

对至少一个直播用户在至少一个时间段的直播视频流进行识别生成识别标签以及识别日志；

将所述识别标签发送至对应的直播间进行展示；

将所述识别日志发送至日志分析终端；

其中，所述日志分析终端用于执行如下操作：

接收查询终端发送的查询信息；所述查询信息包括目标用户标识和目标时间段；所述目标用户标识包括目标直播用户标识；所述查询信息是基于目标直播间所展示的目标识别标签出现异常所发送的；

从所接收到的识别日志中查询与所述查询信息相匹配的目标识别日志，基于所述目标识别日志确定所述目标直播间的直播异常信息；

将所确定的直播异常信息返回至所述查询终端。

5.根据权利要求4所述的数据处理方法，其特征在于，所述对至少一个直播用户在至少一个时间段的直播视频流进行识别生成识别标签以及识别日志，包括：

对所述直播视频流进行至少两个子处理步骤，得到所述识别标签；

针对任一子处理步骤，生成针对该子步骤的子日志；

将所述至少两个子步骤的子日志设为所述识别日志。

6.根据权利要求5所述的数据处理方法，其特征在于，所述对所述直播视频流进行至少两个子处理步骤，得到所述识别标签，包括：

若每一子处理步骤得到对应的处理结果，则依次进行下一子处理步骤；

若任一子处理步骤未得到对应的处理结果，则生成针对该子处理步骤的失败信息发送至所述日志分析终端，并不再进行下一子处理步骤。

7.根据权利要求6所述的数据处理方法，其特征在于，所述对所述直播视频流进行至少两个子处理步骤，得到所述识别标签；针对任一子处理步骤，生成针对该子步骤的处理日志；将所述至少两个子步骤的处理日志确定为所述识别日志，包括：

对所述直播视频流进行音视频分离，得到直播音频和直播视频画面，并生音视频分离日志；

对所述直播视频画面进行视频分帧，生成视频分帧日志；

提取所述直播音频中的声音信息，生成信息提取日志；

基于所述视频分帧后的直播视频画面和所述声音信息，获取所述识别标签，生成标签识别日志；

将所述音视频分离日志、所述视频分帧日志、所述信息提取日志和所述标签识别日志确定为所述识别日志。

8.一种数据处理装置，其特征在于，应用于日志分析终端，所述装置包括：

第一接收模块，用于接收识别终端发送的基于至少一个主播在至少一个时间段的直播视频流所生成的识别日志；所述识别终端还用于基于所述直播视频流生成对应的识别标签，并将所述识别标签发送至对应的直播间进行展示；

第二接收模块，用于接收查询终端发送的查询信息；所述查询信息包括目标用户标识和目标时间段；所述目标用户标识包括目标直播用户标识；所述查询信息是基于目标直播间所展示的目标识别标签出现异常所发送的；

查询模块，用于从所接收到的识别日志中查询与所述查询信息相匹配的目标识别日志，基于所述目标识别日志确定所述目标直播间的直播异常信息；

返回模块，用于将所确定的直播异常信息返回至所述查询终端。

9.一种数据处理装置，其特征在于，应用于识别终端，所述装置包括：

识别模块，用于对至少一个直播用户在至少一个时间段的直播视频流进行识别生成识别标签以及识别日志；

第一发送模块，用于将所述识别标签发送至对应的直播间进行展示；

第二发送模块，用于将所述识别日志发送至日志分析终端；

其中，所述日志分析终端用于执行如下操作：

接收查询终端发送的查询信息；所述查询信息包括目标用户标识和目标时间段；所述目标用户标识包括目标直播用户标识；所述查询信息是基于目标直播间所展示的目标识别标签出现异常所发送的；

从所接收到的识别日志中查询与所述查询信息相匹配的目标识别日志，基于所述目标识别日志确定所述目标直播间的直播异常信息；

将所确定的直播异常信息返回至所述查询终端。

10.一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至7任一项所述的数据处理方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的数据处理方法。

12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的数据处理方法。