CN111586432B - 空播直播间确定方法、装置、服务器及存储介质 - Google Patents

Abstract

本公开公开了一种空播直播间确定方法、装置、服务器及存储介质，属于互联网技术领域。方法包括：对目标直播间的第一直播画面进行特征提取，确定提取到的第一图像特征中是否存在人脸的第一五官特征，来确定第一直播画面中是否存在第一主播用户，从而可以实现无需监管人员在目标直播间观看直播间，节省了人力资源。统计目标直播间中不存在第一主播用户的空播时长，无需监管人员在目标直播间中停留，提高了监管效率。该第一直播画面可以为用于拍摄第一主播用户的图像采集设备采集的直播画面，从而第一直播画面为最有可能存在第一主播用户的画面，这样可以仅对第一直播画面进行识别，实现在游戏直播或虚拟直播等场景中，提高了确定空播直播间的效率。

Description

空播直播间确定方法、装置、服务器及存储介质

技术领域

本公开涉及互联网技术领域，特别涉及一种空播直播间确定方法、装置、服务器及存储介质。

背景技术

在直播应用中，主播用户为了增加在线播放时长开启直播间，存在主播用户开启直播间，但主播用户并不在直播画面中的直播情况，也即出现空播直播间，从而造成直播间资源浪费。因此，需要监测直播间是否为空播直播间。

相关技术中，需要监管人员进入直播间，在该直播间内观看直播画面，以确定当前直播间是否为空播直播间。然而上述方法监管效率低，浪费人力资源。

发明内容

本公开实施例提供了一种空播直播间确定方法、装置、服务器及存储介质，可以提高直播间的监管效率。所述技术方案如下：

一方面，提供了一种空播直播间确定方法，所述方法包括：

获取待检测的目标直播间的第一直播画面，所述第一直播画面为用于拍摄第一主播用户的图像采集设备采集的直播画面；

对所述第一直播画面进行特征提取，得到所述第一直播画面的第一图像特征；

响应于所述第一图像特征中不包括人脸的第一五官特征，确定所述目标直播间内不存在第一主播用户；

统计在当前的第一时间之前，所述目标直播间内不存在所述第一主播用户的空播时长；

响应于所述空播时长大于目标时长，确定所述目标直播间为空播直播间。

可选的，所述统计在当前的第一时间之前，所述目标直播间内不存在所述第一主播用户的空播时长，包括：

确定第二时间，所述第二时间为所述第一时间之前，所述目标直播间内最后存在所述第一主播用户的时间；

确定所述第一时间和所述第二时间之间的时间差，将所述时间差作为所述空播时长。

可选的，所述确定第二时间，包括：

根据所述第一时间，从数据库中查询第二直播画面，所述第二直播画面为拍摄时间离当前时间最近且空播识别结果为所述目标直播间内存在所述第一主播用户的直播画面，所述数据库用于存储所述目标直播间的历史直播画面和所述历史直播画面对应的空播识别结果；

获取拍摄所述第二直播画面的第二时间。

可选的，所述方法还包括：

响应于所述第一图像特征中包括人脸的第一五官特征，确定所述第一五官特征在所述第一直播画面中的第一位置；

确定所述第一五官特征在第三直播画面中的第二位置，所述第三直播画面为与所述第一直播画面相邻的直播画面；

响应于根据所述第一位置和所述第二位置，确定所述第一五官特征在所述第一直播画面和所述第三直播画面中未发生变化，确定所述目标直播间内不存在所述第一主播用户。

可选的，所述响应于根据所述第一位置和所述第二位置，确定所述第一五官特征在所述第一直播画面和所述第三直播画面中未发生变化，确定所述目标直播间内不存在所述第一主播用户，包括：

响应于根据所述第一位置和所述第二位置，确定所述第一五官特征在所述第一直播画面和所述第三直播画面中未发生变化，获取终端的网络延迟信息，所述终端为创建所述目标直播间的终端；

响应于所述网络延迟信息指示所述终端的网络延迟小于预设网络延迟，确定所述目标直播间内不存在所述第一主播用户。

可选的，在所述确定所述目标直播间为空播直播间之后，所述方法还包括：

根据所述目标直播间的直播间标识，生成空播反馈信息，所述空播反馈信息用于反馈所述目标直播间为空播直播间；

上报所述空播反馈信息。

可选的，所述方法还包括：

响应于所述第一图像特征中包括人脸的第一五官特征，获取与所述目标直播间绑定的第二主播用户的第二五官特征；

将所述第一五官特征与所述第二五官特征进行对比；

响应于所述第一五官特征与所述第二五官特征不匹配，确定所述目标直播间为替播直播间。

可选的，所述获取待检测的目标直播间的第一直播画面，包括：

获取所述目标直播间的第四直播画面；

确定所述图像采集设备采集的直播画面在所述第四直播画面中的区域；

根据所述区域，从所述第四直播画面中截取所述区域对应的直播画面，得到所述第一直播画面。

另一方面，提供了一种空播直播间确定装置，所述装置包括：

画面获取模块，用于获取待检测的目标直播间的第一直播画面，所述第一直播画面为用于拍摄第一主播用户的图像采集设备采集的直播画面；

特征提取模块，用于对所述第一直播画面进行特征提取，得到所述第一直播画面的第一图像特征；

特征检测模块，用于响应于所述第一图像特征中不包括人脸的第一五官特征，确定所述目标直播间内不存在第一主播用户；

时长统计模块，用于统计在当前的第一时间之前，所述目标直播间内不存在所述第一主播用户的空播时长；

第一确定模块，用于响应于所述空播时长大于目标时长，确定所述目标直播间为空播直播间。

可选的，所述时长统计模块包括：

第一确定单元，用于确定第二时间，所述第二时间为所述第一时间之前，所述目标直播间内最后存在所述第一主播用户的时间；

第二确定单元，用于确定所述第一时间和所述第二时间之间的时间差，将所述时间差作为所述空播时长。

可选的，所述第一确定单元，用于根据所述第一时间，从数据库中查询第二直播画面，所述第二直播画面为拍摄时间离当前时间最近且空播识别结果为所述目标直播间内存在所述第一主播用户的直播画面，所述数据库用于存储所述目标直播间的历史直播画面和所述历史直播画面对应的空播识别结果；获取拍摄所述第二直播画面的第二时间。

可选的，所述装置还包括：

第二确定模块，用于响应于所述第一图像特征中包括人脸的第一五官特征，确定所述第一五官特征在所述第一直播画面中的第一位置；

所述第二确定模块，还用于确定所述第一五官特征在第三直播画面中的第二位置，所述第三直播画面为与所述第一直播画面相邻的直播画面；

所述特征检测模块，还用于响应于根据所述第一位置和所述第二位置，确定所述第一五官特征在所述第一直播画面和所述第三直播画面中未发生变化，确定所述目标直播间内不存在所述第一主播用户。

可选的，所述特征检测模块包括：

第一获取单元，用于响应于根据所述第一位置和所述第二位置，确定所述第一五官特征在所述第一直播画面和所述第三直播画面中未发生变化，获取终端的网络延迟信息，所述终端为创建所述目标直播间的终端；

第三确定单元，用于响应于所述网络延迟信息指示所述终端的网络延迟小于预设网络延迟，确定所述目标直播间内不存在所述第一主播用户。

可选的，所述装置还包括：

信息生成模块，用于根据所述目标直播间的直播间标识，生成空播反馈信息，所述空播反馈信息用于反馈所述目标直播间为空播直播间；

信息上报模块，用于上报所述空播反馈信息。

可选的，所述装置还包括：

特征获取模块，用于响应于所述第一图像特征中包括人脸的第一五官特征，获取与所述目标直播间绑定的第二主播用户的第二五官特征；

特征对比模块，用于将所述第一五官特征与所述第二五官特征进行对比；

所述第一确定模块，还用于响应于所述第一五官特征与所述第二五官特征不匹配，确定所述目标直播间为替播直播间。

可选的，所述画面获取模块包括：

第二获取单元，用于获取所述目标直播间的第四直播画面；

第四确定单元，用于确定所述图像采集设备采集的直播画面在所述第四直播画面中的区域；

画面截取单元，用于根据所述区域，从所述第四直播画面中截取所述区域对应的直播画面，得到所述第一直播画面。

另一方名，提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如本公开实施例中所述的空播直播间确定方法中所执行的操作。

另一方名，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如本公开实施例中所述的空播直播间确定方法中所执行的操作。

本公开实施例提供的技术方案带来的有益效果是：

本公开实施例提供的空播直播间确定方法、装置、服务器及存储介质，实现了通过对目标直播间的第一直播画面进行图像识别(特征提取及是否包括五官特征)来确定目标直播间中是否存在第一主播用户，无需监管人员在目标直播间观看直播间的直播画面，因此节省了人力资源。并且，还可以通过统计目标直播间中不存在第一主播用户的空播时长来确定目标直播间是否为空播直播间，无需监管人员在目标直播间中停留，因此提高了监管效率。并且，该第一直播画面可以为用于拍摄第一主播用户的图像采集设备采集的直播画面，而第一直播画面为最有可能存在第一主播用户的画面，可以实现在游戏直播或虚拟直播等场景中，仅对第一直播画面进行识别，无需对游戏画面或虚拟画面进行识别，即可完成直播间监管，减少了被识别的直播画面，提高了确定空播直播间的效率。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开实施例涉及的一种系统架构图；

图2是本公开实施例提供的一种空播直播间确定方法的流程图；

图3是本公开实施例提供的一种空播直播间确定方法的流程图；

图4是本公开实施例提供的一种空播直播间确定方法的流程图；

图5是本公开实施例提供的一种空播直播间确定装置的结构示意图；

图6是本公开实施例提供的一种空播直播间确定装置的结构示意图；

图7是本公开实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

图1是根据本公开实施例提供的系统架构图，参见图1，该系统包括：终端101和服务器102。其中，终端101和服务器102之间通过无线网络或数据接口进行数据交互。

终端101为第一主播用户当前用来直播的终端101，终端101中可以安装具有直播功能的目标应用，主播用户可以通过该目标应用创建目标直播间进行直播。该服务器102可以为该目标应用的后台服务器，该服务器102还可以为对目标直播间进行监管的监管服务器。相应的，终端101在直播的过程中产生第一直播画面，将第一直播画面上传至服务器102中，由服务器102根据该第一直播画面对该目标直播间进行监测，进而确定该目标直播间是否为空播直播间。响应于该服务器为监管服务器，终端101可以直接将第一直播画面发送给该监管服务器；终端101还可以将第一直播画面发送给目标应用的后台服务器，由该后台服务器将该第一直播画面发送给该监管服务器。

该目标应用可以为主播应用或者短视频应用等。该终端101可以为手机、电脑、平板电脑或可穿戴设备等。该服务器102可以为单独的服务器102，也可以为由多个服务器102构成的服务器102集群，还可以为云服务器102等。

其中，该第一直播画面为用于拍摄第一主播用户的图像采集设备采集的直播画面。相应的，在一种可能的实现方式中，该图像采集设备可以为终端101自带的图像采集设备，例如，该图像采集设备可以为终端101自带的摄像头等。在另一种可能的实现方式中，该系统还包括图像采集设备，该图像采集设备与终端101或服务器102通过无线网络或数据接口进行数据交互。该图像采集设备可以为摄像机、其他带有摄像头的终端101等。

图2是本公开实施例提供的一种空播直播间确定方法的流程图。该发明实施例的执行主体为服务器，参见图2，该方法包括：

201、获取待检测的目标直播间的第一直播画面，该第一直播画面为用于拍摄第一主播用户的图像采集设备采集的直播画面。

202、对该第一直播画面进行特征提取，得到该第一直播画面的第一图像特征。

203、响应于该第一图像特征中不包括人脸的第一五官特征，确定该目标直播间内不存在第一主播用户。

204、统计在当前的第一时间之前，该目标直播间内不存在该第一主播用户的空播时长。

205、响应于该空播时长大于目标时长，确定该目标直播间为空播直播间。

可选的，该统计在当前的第一时间之前，该目标直播间内不存在该第一主播用户的空播时长，包括：

确定第二时间，该第二时间为该第一时间之前，该目标直播间内最后存在该第一主播用户的时间；

确定该第一时间和该第二时间之间的时间差，将该时间差作为该空播时长。

可选的，该确定第二时间，包括：

根据该第一时间，从数据库中查询第二直播画面，该第二直播画面为拍摄时间离当前时间最近且空播识别结果为该目标直播间内存在该第一主播用户的直播画面，该数据库用于存储该目标直播间的历史直播画面和该历史直播画面对应的空播识别结果；

获取拍摄该第二直播画面的第二时间。

可选的，该方法还包括：

响应于该第一图像特征中包括人脸的第一五官特征，确定该第一五官特征在该第一直播画面中的第一位置；

确定该第一五官特征在第三直播画面中的第二位置，该第三直播画面为与该第一直播画面相邻的直播画面；

响应于根据该第一位置和该第二位置，确定该第一五官特征在该第一直播画面和该第三直播画面中未发生变化，确定该目标直播间内不存在该第一主播用户。

可选的，该响应于根据该第一位置和该第二位置，确定该第一五官特征在该第一直播画面和该第三直播画面中未发生变化，确定该目标直播间内不存在该第一主播用户，包括：

响应于根据该第一位置和该第二位置，确定该第一五官特征在该第一直播画面和该第三直播画面中未发生变化，获取终端的网络延迟信息，该终端为创建该目标直播间的终端；

响应于该网络延迟信息指示该终端的网络延迟小于预设网络延迟，确定该目标直播间内不存在该第一主播用户。

可选的，在该确定该目标直播间为空播直播间之后，该方法还包括：

根据该目标直播间的直播间标识，生成空播反馈信息，该空播反馈信息用于反馈该目标直播间为空播直播间；

上报该空播反馈信息。

可选的，该方法还包括：

响应于该第一图像特征中包括人脸的第一五官特征，获取与该目标直播间绑定的第二主播用户的第二五官特征；

将该第一五官特征与该第二五官特征进行对比；

响应于该第一五官特征与该第二五官特征不匹配，确定该目标直播间为替播直播间。

可选的，该获取待检测的目标直播间的第一直播画面，包括：

获取该目标直播间的第四直播画面；

确定该图像采集设备采集的直播画面在该第四直播画面中的区域；

根据该区域，从该第四直播画面中截取该区域对应的直播画面，得到该第一直播画面。

本公开实施例提供的空播直播间确定方法、装置、服务器及存储介质，实现了通过对目标直播间的第一直播画面进行图像识别(特征提取及是否包括五官特征)来确定目标直播间中是否存在第一主播用户，无需监管人员在目标直播间观看直播间的直播画面，因此节省了人力资源。并且，还可以通过统计目标直播间中不存在第一主播用户的空播时长来确定目标直播间是否为空播直播间，无需监管人员在目标直播间中停留，因此提高了监管效率。并且，该第一直播画面可以为用于拍摄第一主播用户的图像采集设备采集的直播画面，而第一直播画面为最有可能存在第一主播用户的画面，可以实现在游戏直播或虚拟直播等场景中，仅对第一直播画面进行识别，无需对游戏画面或虚拟画面进行识别，即可完成直播间监管，减少了被识别的直播画面，提高了确定空播直播间的效率。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

图3是本公开实施例提供的一种空播直播间确定方法的流程图。该发明实施例的执行主体为服务器。参见图3，该方法包括：

301、服务器获取待检测的目标直播间的第一直播画面。

该第一直播画面为用于拍摄第一主播用户的图像采集设备采集的直播画面。并且，该第一直播画面可以为目标直播间的部分直播画面，也可以为目标直播间中的全部画面。例如，该目标直播间为游戏直播间，则该目标直播间的直播画面可以包括直播的游戏画面和该第一直播画面，其中，该第一直播画面可以在该目标直播画面的任一位置。再如，该目标直播间为购物直播间，则该目标直播间的直播画面可以为该第一直播画面。

参见图4，第一主播用户在终端中进行直播后，将直播过程中，采集到的第一直播画面上传给服务器，相应的，服务器获取终端上传的第一直播画面。该第一直播画面可以为根据目标直播间中显示的直播画面截取的直播画面，也可以为图像采集设备采集到的直播画面。相应的，在一种可能的实现方式中，终端接收到图像采集设备采集到的直播画面时，将该直播画面添加到终端的显示画面中，将添加了图像采集设备采集的直播画面的显示画面，作为第四直播画面上传给服务器，相应的，服务器可以接收终端上传的第四直播画面，该第四直播画面为直播过程中目标直播间显示的直播画面，该第四直播画面包括图像采集设备采集到的画面和直播终端采集到的画面。其中，图像采集设备采集到的画面可以被设置在该第四直播画面的任一位置。相应的，服务器获取第一直播画面的过程可以通过以下步骤(1)-(3)实现，包括：

(1)服务器获取该目标直播间的第四直播画面。

服务器可以接收终端上传的目标直播间的第四直播画面。例如，该目标直播间为游戏直播间，则该第四直播画面为该目标直播间中播出的，可供其他用户观看的游戏直播画面，该游戏画面中包括目标直播间对应的游戏画面和该目标直播间绑定的图像采集设备采集到的直播画面。

(2)服务器确定该图像采集设备采集的直播画面在该第四直播画面中的区域。

终端可以在直播画面中添加窗口，将图像采集设备采集到的直播画面显示在窗口中，例如，仍以上述游戏直播间为例，终端可以在游戏画面中添加窗口，将图像采集设备采集的直播画面显示在该窗口中，将该窗口中的画面以及游戏画面组成第四直播画面。在本步骤中，服务器可以确定添加的窗口的位置，将该窗口所在的区域确定为该图像采集设备采集的直播画面在该第四直播画面中的区域。服务器还可以接收该目标直播间的直播画面设置信息，根据该直播画面设置信息确定该图像采集设备采集的直播画面在该第四直播画面中的区域。

(3)服务器根据该区域，从该第四直播画面中截取该区域对应的直播画面，得到该第一直播画面。

在本步骤中，服务器截取第四直播画面中该区域中的画面，将截取的该区域中的直播画面作为该第一直播画面。例如，仍以上述游戏直播间为例，响应于该目标直播间中该窗口添加在游戏画面的位置，则在本步骤中，服务器根据该添加窗口的位置、大小等信息，在游戏直播间的画面中进行截取，从而得到直播该游戏直播间中图像采集设备采集到的第一直播画面。

在本实现方式中，服务器截取终端上传的第四直播画面，从而得到第一直播画面，从而服务器可以更便捷得获取第一直播画面。

在另一种可能的实现方式中，终端接收图像采集设备采集的直播画面后，分别将图像采集设备采集的直播画面和终端的显示画面发送给服务器。其中，终端根据连接关系确定与终端绑定的图像采集设备，接收该图像采集设备上传的第五显示画面。其中，终端可以通过蓝牙、无线网络或其他短距离通信方式与图像采集设备建立绑定关系。相应的，服务器获取第一直播画面的过程可以为：接收终端上传的第五直播画面和第六直播画面。其中，该第五直播画面为图像采集设备采集到的直播画面，第六直播画面为终端的显示画面；服务器将接收到的第五直播画面确定为第一直播画面。

例如，该目标直播间为游戏直播间，终端将终端中显示的游戏画面作为第六直播画面，终端接收与终端相连的图像采集设备采集到的第五直播画面，分别将游戏画面和采集到的画面发送给服务器，服务器接收该游戏画面和图像采集设备采集到的画面，将图像采集设备采集到的画面作为第一直播画面。

需要说明的一点是，服务器还可以直接接收图像采集设备上传的第五直播画面，相应的，服务器确定与终端绑定的图像采集设备，接收该图像采集设备上传的第五直播画面。

在本实现方式中，服务器通过直接获取图像采集设备采集的直播画面，从而保证了获取到的直播画面为图像采集设备采集到的画面，从而提高了直播画面的准确性。

需要说明的一点是，服务器可以周期性获取该第一直播画面，其中，该获取周期可以根据需要进行设置并更改，在本公开实施例中，对此不作具体限定，例如，该获取周期可以为30秒、60秒或90秒等。相应的，服务器周期性执行步骤301，以便服务器可以获取直播过程中的多个直播画面对直播间进行空播识别。

在本实施例中，通过获取图像采集设备采集到的第一直播画面，从而服务器可以直接对图像采集设备采集到的画面进行分析，从而实现对真实的人像进行识别，防止了直播画面为虚拟画面或游戏画面等复杂的直播画面时，服务器难以对直播画面进行识别的情况。

302、服务器对该第一直播画面进行特征提取，得到该第一直播画面的第一图像特征。

继续参见图4，服务器对获取到的第一直播画面进行特征提取。该第一图像特征可以为特征图形式的图像特征，也可以为特征向量形式的图像特征，在本公开实施例中，对此不作具体限定。

服务器可以直接对第一直播画面进行特征提取，服务器还可以先识别第一直播画面中的人脸区域，再对识别到的人脸区域进行特征提取，相应的，服务器可以识别第一直播画面中的人脸区域，对该人脸区域进行截取，对截取到的人脸区域进行特征提取。在本公开实施例中，对此不作具体限定。

其中，服务器可以通过特征提取模型对第一直播画面进行特征提取。相应的，服务器将第一直播画面输入至特征提取模型中，获取特征提取模型输出的第一图像特征。在本步骤之前，服务器需要获取该特征提取模型。服务器可以从其他服务器中获取该特征提取模型，服务器也可以自行进行模型训练获取该第一特征提取模型。并且，该特征提取模型可以为任一类型的特征提取模型。在本公开实施例中，对此不作具体限定。

303、响应于该第一图像特征中不包括人脸的第一五官特征，服务器确定该目标直播间内不存在第一主播用户。

其中，该第一图像特征包括第一直播画面中的所有图像特征，相应的，在本步骤中，服务器对第一图像特征中的图像特征进行识别，确定该第一图像特征中是否存在第一五官特征。该第一主播用户为当前使用目标直播间进行直播的主播用户，该第一五官特征可以为任一人脸对应的五官特征。在本步骤中，服务器确定第一图像特征中是否包括人脸的第一五官特征，其中，服务器可以检测第一图像特征中是否包含的全部第一五官特征，服务器还可以检测第一图像特征中是否包含部分第一无关特征。相应的，在一种可能的实现方式中，服务器将包括全部第一五官特征的第一图像特征确定为包括第一五官特征；在另一种可能的实现方式中，服务器将包括部分第一五官特征的第一图像特征也确定为包括第一五官特征。在本公开实施例中，对此不作具体限定。

需要说明的一点是，服务器可以直接将包括人脸的第一五官特征的第一直播画面的目标直播间确定为正常直播间，服务器还可以继续对该包括人脸的第一五官特征的第一直播画面进行检测，确定该第一直播画面中的人脸图像是否发生了运动，将未发生运动的第一直播画面的目标直播间确定为空播直播间。该过程可以通过以下步骤(1)-(3)实现，包括：

(1)响应于该第一图像特征中包括人脸的第一五官特征，服务器确定该第一五官特征在该第一直播画面中的第一位置。

在本步骤中，服务器可以在第一直播画面中创建坐标系，确定第一直播画面中第一五官特征在该坐标系中的第一位置。

(2)服务器确定该第一五官特征在第三直播画面中的第二位置。

其中，该第三直播画面为与该第一直播画面相邻的直播画面。例如，该第三直播画面就可以为第一直播画面之前的直播画面也可以为第一直播画面之后的直播画面，在本公开实施例中对此不作具体限定。

服务器获取第三直播画面的过程与服务器获取第一直播画面的过程相似，在此不再赘述。服务器确定第二位置的过程与步骤(1)中服务器确定第一位置的过程相似，在此不再赘述。

需要说明的一点是，服务器通过创建坐标系确定第一位置和第二位置时，第一直播画面和第三直播画面中的坐标系为同一坐标系。

(3)响应于根据该第一位置和该第二位置，服务器确定该第一五官特征在该第一直播画面和该第三直播画面中未发生变化，确定该目标直播间内不存在该第一主播用户。

其中，该第一五官特征在该第一直播画面和该第三直播画面中未发生变化指：该第一直播画面和第二直播画面中的第一五官特征的位置相同，或者，第一直播画面和第二直播画面中的第一五官特征的位置差小于预设值，其中，该预设值可以根据需要进行设置并更改，在本公开实施例中，对该预设值不作具体限定。

响应于该第一直播画面和第二直播画面中第一五官特征的位置未发生变化，则服务器确定第一主播用户在第一直播画面和第二直播画面中没有移动过，则将该第一主播用户视为静止对象，而在实际应用场景中，主播用户在直播的过程中，不可能一直不移动，因此，服务器确定该目标直播间中的用户为虚假直播，从而将该目标直播间确定为空播直播间。

在本实现方式中，通过对包括第一五官特征的第一直播画面进行验证，从而防止了第一主播用户使用虚假的用户图像在目标直播间中进行直播，提高了空播检测的准确性。

需要说明的一点是，服务器可以自行对目标直播间内是否存在第一主播用户进行验证，服务器也可以将该第一图像特征发送给其他服务器，由其他服务器对该目标直播间内是否存在第一主播用户进行验证，在本公开实施例中，对此不作具体限定。并且，其他服务器对该目标直播间内是否存在第一主播用户进行验证的过程与当前服务器对目标直播间内是否存在第一主播用户进行验证的过程相似，在此不再赘述。

例如，服务器为终端中目标应用的后台服务器，参见图4，在本步骤中，服务器可以将该第一图像特征上传至监管服务器，由监管服务器对该第一图像特征和第一五官特征进行对比，从而对目标直播间内是否存在第一主播用户进行验证。

304、服务器确定第二时间，该第二时间为第一时间之前，该目标直播间内最后存在该第一主播用户的时间。

其中，该第一时间为第一直播画面的生成时间。服务器可以先确定第一直播书面的第一时间，根据该第一时间，从数据库中查询第二直播画面，该第二直播画面为拍摄时间离当前时间最近且空播识别结果为该目标直播间内存在该第一主播用户的直播画面。相应的，服务器确定第二时间的过程可以通过以下步骤(1)-(2)实现，包括：

(1)服务器根据该第一时间，从数据库中查询第二直播画面。

其中，该第二直播画面为拍摄时间离当前时间最近且空播识别结果为该目标直播间内存在该第一主播用户的直播画面，该数据库用于存储该目标直播间的历史直播画面和该历史直播画面对应的空播识别结果。

需要说明的一点是，服务器将该在获取到第一直播画面后，可以将第一直播画面、第一直播画面的生成时间第一直播画面的空播识别结果等信息存储到数据库中。相应的，数据库中可以存储直播画面和直播画面对应的生成时间。相应的，在本步骤中，服务器可以根据数据库中存储的视频画面的生成时间，对存储的视频画面进行遍历。其中，服务器根据直播画面的生成时间，从生成时间距离第一时间近的直播画面向前遍历数据库中的直播画面。

数据库存储的直播画面可以为多个直播间对应的直播画面，相应的，直播画面中还携带对应的直播间标识，服务器在遍历过程中，根据每个直播画面对应的直播间标识，确定与第一直播画面对应的目标直播间中的直播画面进行遍历。

该数据库可以为服务器中的数据库，也可以为独立于服务器之外的数据库，在本公开实施例中，对此不作具体限定。

(2)服务器获取拍摄该第二直播画面的第二时间。

在本步骤中，服务器根据查询到的第二直播画面，确定该第二直播画面的生成时间，将第二直播画面的生成时间确定为该第二时间。

其中，服务器对第一直播画面进行识别后，可以将该第一直播画面以及该第一直播画面的主播用户识别结果存储至数据库中。

305、服务器确定该第一时间和该第二时间之间的时间差，将该时间差作为空播时长。

在本步骤中，服务器对第一时间和第二时间求差，得到该第一直播画面和第二直播画面的时间差，将该时间差确定为空播时长。

306、响应于该空播时长大于目标时长，服务器确定该目标直播间为空播直播间。

响应于该空播时长大于目标时长，服务器确定目标直播间中第一主播用户在空播时长内没有在该目标直播间中，则服务器确定目标直播间为空播直播间。

其中，该目标时长可以根据需要进行设置，并且，不同直播间的目标时长可以相同也可以不同。

在一种可能的实现方式中，该目标时长可以根据目标直播间的直播间类型进行设置。相应的，服务器获取该目标直播间的直播间类型；根据该直播间类型，确定与该直播间类型匹配的目标时长。其中，该直播间类型可以根据实现设置的直播间的标签确定，例如，该目标直播间的直播间标签为任一游戏名称，则该目标直播间的直播间类型为游戏直播间，则服务器根据事先存储的直播间类型与目标时长的对应关系，确定该目标直播间对应的目标时长。

在本实现方式中，该目标时长根据目标直播间的直播间类型确定，从而不同直播间类型可以设置不同的目标时长，使得目标时长更符合目标直播间。

在另一种可能的实现方式中，目标时长可以根据基准时长和可调时长确定，例如，将该可调时长和基准时长之和作为目标时长。其中，目标直播间的基准时长可以相同，通过调整不同的可调时长确定目标直播间的目标时长。其中，可调时长也可以根据目标直播间的直播间类型确定；该可调时长还可以根据目标直播间中的其他直播数据确定，例如，服务器可以获取目标直播间中的音频数据，对该音频数据进行语义分析，得到语义结果，根据该语义结果确定该目标直播间中的第一直播用户的意图，根据该意图确定该可调时长。例如，该意图可以为离开意图，则服务器可以根据该离开意图增加该可调时长。

在本实现方式中，服务器根据基准时长和可调时长对目标时长进行调整，使得目标时长可以更符合目标直播间。

响应于该空播时长不大于目标时长，服务器确定该目标直播间为空播直播间，服务器也可以再对该目标直播间中的第一主播用户进行验证，确定当前直播的第一主播用户是否为与该目标直播间绑定的第二主播用户。服务器对第一主播用户进行验证的过程可以通过以下步骤(1)-(3)实现，包括：

(1)响应于该第一图像特征中包括人脸的第一五官特征，服务器获取与该目标直播间绑定的第二主播用户的第二五官特征。

在一种可能的实现方式中，服务器可以从第二主播用户的头像中提取第二主播用户的第五官特征。相应的，服务器获取与该目标直播间绑定的第二主播用户的第二五官特征的步骤可以为：服务器获取第二主播用户的头像，从该头像中提取第二主播用户的第二五官特征。

在本实现方式中，服务器通过获取目标直播间中第二主播上传的第二主播用户的头像，从而通过验证目标直播间中第二主播用户的头像是否与当前直播的第一主播用户相同，进而防止了主播用户通过其他主播用户在目标直播间中替播的情况。

在另一种可能的实现方式中，服务器可以从第二主播用户的历史直播间内的直播画面中获取第二主播用户的第二五官特征。相应的，服务器获取与该目标直播间绑定的第二主播用户的第二五官特征的步骤可以为：服务器获取第二主播用户在历史直播间中的直播画面，从该历史直播间中的直播画面中提取第二主播用户的第二五官特征。

在本实现方式中，服务器根据第二主播用户的历史直播间中的直播画面，获取主播用户的人脸图像，从而使服务器获取的主播用户人脸图像为该第二主播用户，提高了获取第二五官特征的准确性。

在另一种可能的实现方式中，第二主播用户通过终端注册直播账号时，可以上传该第二主播用户的用户图像，服务器可以从菲儿主播用户上传的用户图像中获取第二主播用户的第二五官特征。相应的，服务器获取与该目标直播间绑定的第二主播用户的第二五官特征的步骤可以为：服务器根据该目标直播间，获取该目标直播间绑定的第二主播用户上传的用户图像，从该用户图像中提取第二主播用户的第二五官特征。

在本实现方式中，主播用户在注册直播账号的过程中上传该第二主播用户的用户图像，从而服务器可以直接根据用户图像获取第二五官特征，简化了第二五官特征的获取流程。

在另一种可能的实现方式中，服务器可以从该目标直播间的历史直播画面中获取第二主播用户的第二五官特征。相应的，服务器获取与该目标直播间绑定的第二主播用户的第二五官特征的步骤可以为：

服务器获取该目标直播间的历史直播画面，从该历史直播画面中，获取该目标直播间中出现过的人脸图像，从该人脸图像中提取第二主播用户的第二五官特征；或者，

服务器获取该目标直播间的历史直播画面，从该历史直播画面中，提取每个人脸图像的第三五官特征，统计每个人脸图像的第三五官特征出现的累计时长，将累计时长最长的第三五官特征作为第二主播用户的第二五官特征。

需要说明的一点是，服务器还可以根据第二主播用户发表的作品内容，确定第二主播用户的第二五官特征，该过程与服务器根据目标直播间的历史直播画面确定第二五官特征的过程相似，在此不再赘述。

在本公开实施例中，对此不作具体限定。在本实现方式中，服务器根据历史直播画面获取主播用户的人脸图像，从而使服务器获取的主播用户人脸图像更接近主播用户当前的人脸图像，进而提高了面部特征识别的准确率。

(2)服务器将该第一五官特征与该第二五官特征进行对比。

其中，该第一五官特征和第二五官特征可以都为向量特征，在本步骤中，服务器可以对该第一五官特征和第二五官特征进行求差，得到第一五官特征和第二五官特征的差值，根据第一五官特征和第二五官特征的差值，对该第一五官特征和第二五官特征进行对比。其中，第一五官特征和第二五官特征的差值大于预设特征差，确定第一五官特征和第二五官特征不匹配；不大于预设特征差，确定第一五官特征和第二五官特征匹配。

(3)响应于该第一五官特征与该第二五官特征不匹配，服务器确定该目标直播间为替播直播间。

该替播直播间指非目标直播间绑定的主播用户在直播间中进行直播的直播间。

在本实现方式中，通过对比第一五官特征与该第二五官特征，确定目标直播间中的第一主播用户是否为其他绑定该目标直播间的第二主播用户，从而确定该主播用户识别结果。

需要说明的一点是，响应于该空播时长大于目标时长，服务器可以直接确定该目标直播间为空播直播间，服务器也可以再通过人工审核的方式对该目标直播间是否为空播直播间进行验证，该验证过程可以为服务器将第一直播画面发送给直播审核平台，由审核平台对第一直播画面进一步验证，服务器接收审核平台返回的验证结果。响应于该验证结果为该直播间为空播直播间，则服务器确定该目标直播间为空播直播间。

另外，服务器确定该目标直播间为空播直播间后，可以将该目标直播间的直播间标识上报给直播间监管平台，该过程可以为：服务器确定该目标直播间的直播间标识；根据该目标直播间标识生成直播反馈信息，该直播反馈信息用于反馈该目标直播间为空播直播间；服务器向监管平台上报该直播反馈信息。监管平台用于在接收到该直播反馈信息时，根据直播反馈信息中的直播间标识，对目标直播间进行管理。例如，对该目标直播间进行禁播、关闭目标直播间、向目标直播间对应的主播用户发送提示信息等。

本公开实施例提供的空播直播间确定方法、装置、服务器及存储介质，实现了通过对目标直播间的第一直播画面进行图像识别(特征提取及是否包括五官特征)来确定目标直播间中是否存在第一主播用户，无需监管人员在目标直播间观看直播间的直播画面，因此节省了人力资源。并且，还可以通过统计目标直播间中不存在第一主播用户的空播时长来确定目标直播间是否为空播直播间，无需监管人员在目标直播间中停留，因此提高了监管效率。并且，该第一直播画面可以为用于拍摄第一主播用户的图像采集设备采集的直播画面，而第一直播画面为最有可能存在第一主播用户的画面，可以实现在游戏直播或虚拟直播等场景中，仅对第一直播画面进行识别，无需对游戏画面或虚拟画面进行识别，即可完成直播间监管，减少了被识别的直播画面，提高了确定空播直播间的效率。

图5是本公开实施例提供的一种空播直播间确定装置的结构示意图，参见图5，该装置包括：

画面获取模块501，用于获取待检测的目标直播间的第一直播画面，该第一直播画面为用于拍摄第一主播用户的图像采集设备采集的直播画面；

特征提取模块502，用于对该第一直播画面进行特征提取，得到该第一直播画面的第一图像特征；

特征检测模块503，用于响应于该第一图像特征中不包括人脸的第一五官特征，确定该目标直播间内不存在第一主播用户；

时长统计模块504，用于统计在当前的第一时间之前，该目标直播间内不存在该第一主播用户的空播时长；

第一确定模块505，用于响应于该空播时长大于目标时长，确定该目标直播间为空播直播间。

可选的，参见图6，该时长统计模块504包括：

第一确定单元5041，用于确定第二时间，该第二时间为该第一时间之前，该目标直播间内最后存在该第一主播用户的时间；

第二确定单元5042，用于确定该第一时间和该第二时间之间的时间差，将该时间差作为该空播时长。

可选的，该第一确定单元5041，用于根据该第一时间，从数据库中查询第二直播画面，该第二直播画面为拍摄时间离当前时间最近且空播识别结果为该目标直播间内存在该第一主播用户的直播画面，该数据库用于存储该目标直播间的历史直播画面和该历史直播画面对应的空播识别结果；获取拍摄该第二直播画面的第二时间。

可选的，参见图6，该装置还包括：

第二确定模块506，用于响应于该第一图像特征中包括人脸的第一五官特征，确定该第一五官特征在该第一直播画面中的第一位置；

该第二确定模块506，还用于确定该第一五官特征在第三直播画面中的第二位置，该第三直播画面为与该第一直播画面相邻的直播画面；

该特征检测模块503，还用于响应于根据该第一位置和该第二位置，确定该第一五官特征在该第一直播画面和该第三直播画面中未发生变化，确定该目标直播间内不存在该第一主播用户。

可选的，参见图6，该特征检测模块503包括：

第一获取单元5031，用于响应于根据该第一位置和该第二位置，确定该第一五官特征在该第一直播画面和该第三直播画面中未发生变化，获取终端的网络延迟信息，该终端为创建该目标直播间的终端；

第三确定单元5032，用于响应于该网络延迟信息指示该终端的网络延迟小于预设网络延迟，确定该目标直播间内不存在该第一主播用户。

可选的，参见图6，该装置还包括：

信息生成模块507，用于根据该目标直播间的直播间标识，生成空播反馈信息，该空播反馈信息用于反馈该目标直播间为空播直播间；

信息上报模块508，用于上报该空播反馈信息。

可选的，参见图6，该装置还包括：

特征获取模块509，用于响应于该第一图像特征中包括人脸的第一五官特征，获取与该目标直播间绑定的第二主播用户的第二五官特征；

特征对比模块，用于将该第一五官特征与该第二五官特征进行对比；

该第一确定模块505，还用于响应于该第一五官特征与该第二五官特征不匹配，确定该目标直播间为替播直播间。

可选的，参见图6，该画面获取模块501包括：

第二获取单元5011，用于获取该目标直播间的第四直播画面；

第四确定单元5012，用于确定该图像采集设备采集的直播画面在该第四直播画面中的区域；

画面截取单元5013，用于根据该区域，从该第四直播画面中截取该区域对应的直播画面，得到该第一直播画面。

本公开实施例提供的空播直播间确定方法、装置、服务器及存储介质，实现了通过对目标直播间的第一直播画面进行图像识别(特征提取及是否包括五官特征)来确定目标直播间中是否存在第一主播用户，无需监管人员在目标直播间观看直播间的直播画面，因此节省了人力资源。并且，还可以通过统计目标直播间中不存在第一主播用户的空播时长来确定目标直播间是否为空播直播间，无需监管人员在目标直播间中停留，因此提高了监管效率。并且，该第一直播画面可以为用于拍摄第一主播用户的图像采集设备采集的直播画面，而第一直播画面为最有可能存在第一主播用户的画面，可以实现在游戏直播或虚拟直播等场景中，仅对第一直播画面进行识别，无需对游戏画面或虚拟画面进行识别，即可完成直播间监管，减少了被识别的直播画面，提高了确定空播直播间的效率。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的空播直播间确定装置在空播直播间确定时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将分类装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的音频分类装置与音频分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图7是本公开实施例提供的一种服务器的结构示意图，该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central ProcessingUnit，CPU)701和一个或一个以上的存储器702，其中，该存储器702中存储有至少一条指令，该至少一条指令由该处理器701加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

服务器700可以用于执行上述空播直播间确定方法中类装置所执行的步骤。

本公开实施例还提供了一种服务器，该服务器包括处理器和存储器，存储器中存储有至少一条指令，该指令由处理器加载并执行以实现上述实施例的空播直播间确定方法中所执行的操作。

本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条指令，该指令由处理器加载并执行以实现上述实施例的空播直播间确定方法中所执行的操作。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (11)

1.一种空播直播间确定方法，其特征在于，所述方法包括：

获取待检测的目标直播间的第一直播画面，所述第一直播画面为用于拍摄第一主播用户的图像采集设备采集的直播画面；

对所述第一直播画面进行特征提取，得到所述第一直播画面的第一图像特征；

响应于所述第一图像特征中不包括人脸的第一五官特征，确定所述目标直播间内不存在第一主播用户；

统计在当前的第一时间之前，所述目标直播间内不存在所述第一主播用户的空播时长；

响应于所述空播时长大于目标时长，确定所述目标直播间为空播直播间，所述目标时长根据基准时长和可调时长确定，其中，所述可调时长通过以下方式确定：

根据所述目标直播间的直播间类型确定所述可调时长；或，

获取所述目标直播间中的音频数据，对所述音频数据进行语义分析，得到语义结果，根据所述语义结果确定所述目标直播间中的所述第一主播用户的意图，根据所述意图确定所述可调时长。

2.根据权利要求1所述的方法，其特征在于，所述统计在当前的第一时间之前，所述目标直播间内不存在所述第一主播用户的空播时长，包括：

确定第二时间，所述第二时间为所述第一时间之前，所述目标直播间内最后存在所述第一主播用户的时间；

确定所述第一时间和所述第二时间之间的时间差，将所述时间差作为所述空播时长。

3.根据权利要求2所述的方法，其特征在于，所述确定第二时间，包括：

根据所述第一时间，从数据库中查询第二直播画面，所述第二直播画面为拍摄时间离当前时间最近且空播识别结果为所述目标直播间内存在所述第一主播用户的直播画面，所述数据库用于存储所述目标直播间的历史直播画面和所述历史直播画面对应的空播识别结果；

获取拍摄所述第二直播画面的第二时间。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于所述第一图像特征中包括人脸的第一五官特征，确定所述第一五官特征在所述第一直播画面中的第一位置；

确定所述第一五官特征在第三直播画面中的第二位置，所述第三直播画面为与所述第一直播画面相邻的直播画面；

响应于根据所述第一位置和所述第二位置，确定所述第一五官特征在所述第一直播画面和所述第三直播画面中未发生变化，确定所述目标直播间内不存在所述第一主播用户。

5.根据权利要求4所述的方法，其特征在于，所述响应于根据所述第一位置和所述第二位置，确定所述第一五官特征在所述第一直播画面和所述第三直播画面中未发生变化，确定所述目标直播间内不存在所述第一主播用户，包括：

响应于根据所述第一位置和所述第二位置，确定所述第一五官特征在所述第一直播画面和所述第三直播画面中未发生变化，获取终端的网络延迟信息，所述终端为创建所述目标直播间的终端；

响应于所述网络延迟信息指示所述终端的网络延迟小于预设网络延迟，确定所述目标直播间内不存在所述第一主播用户。

6.根据权利要求1所述的方法，其特征在于，在所述确定所述目标直播间为空播直播间之后，所述方法还包括：

根据所述目标直播间的直播间标识，生成空播反馈信息，所述空播反馈信息用于反馈所述目标直播间为空播直播间；

上报所述空播反馈信息。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于所述第一图像特征中包括人脸的第一五官特征，获取与所述目标直播间绑定的第二主播用户的第二五官特征；

将所述第一五官特征与所述第二五官特征进行对比；

响应于所述第一五官特征与所述第二五官特征不匹配，确定所述目标直播间为替播直播间。

8.根据权利要求1所述的方法，其特征在于，所述获取待检测的目标直播间的第一直播画面，包括：

获取所述目标直播间的第四直播画面；

确定所述图像采集设备采集的直播画面在所述第四直播画面中的区域；

根据所述区域，从所述第四直播画面中截取所述区域对应的直播画面，得到所述第一直播画面。

9.一种空播直播间确定装置，其特征在于，所述装置包括：

画面获取模块，用于获取待检测的目标直播间的第一直播画面，所述第一直播画面为用于拍摄第一主播用户的图像采集设备采集的直播画面；

特征提取模块，用于对所述第一直播画面进行特征提取，得到所述第一直播画面的第一图像特征；

特征检测模块，用于响应于所述第一图像特征中不包括人脸的第一五官特征，确定所述目标直播间内不存在第一主播用户；

时长统计模块，用于统计在当前的第一时间之前，所述目标直播间内不存在所述第一主播用户的空播时长；

第一确定模块，用于响应于所述空播时长大于目标时长，确定所述目标直播间为空播直播间，所述目标时长根据基准时长和可调时长确定，其中，所述可调时长通过以下方式确定：

根据所述目标直播间的直播间类型确定所述可调时长；或，

获取所述目标直播间中的音频数据，对所述音频数据进行语义分析，得到语义结果，根据所述语义结果确定所述目标直播间中的所述第一主播用户的意图，根据所述意图确定所述可调时长。

10.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至8任一权利要求所述的空播直播间确定方法中所执行的操作。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至8任一权利要求所述的空播直播间确定方法中所执行的操作。

Images