CN110708607B - 直播互动方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本申请提供一种直播互动方法、装置、电子设备以及存储介质，所述方法包括：若检测到针对于发言控件的触发操作，从直播视频流的当前帧图像中识别出主播用户的人脸表情信息；根据所述人脸表情信息确定关键词，获取与所述关键词相应的若干条预设发言消息；在直播界面上展示所述若干条预设发言消息，以进行直播互动。本申请实施例通过智能推荐发言消息，使得用户可以快捷发言，减少用户的文字编辑操作，降低用户在直播互动过程的输入耗时，使直播交互处理更为智能化。

Description

直播互动方法、装置、电子设备以及存储介质

本申请是申请日为2016年12月22日、申请号为201611198395.6、发明创造名称为“直播互动方法及装置”的分案申请。

技术领域

本申请涉及互联网技术领域，尤其涉及直播互动方法、装置、电子设备及存储介质。

背景技术

网络直播技术是一种服务端将主播用户的直播视频数据广播至多个观众用户进行观看的互联网技术。相关技术中，直播服务商提供了供观众用户与主播用户进行互动的功能。例如，直播界面中通常提供有评论功能，具体方式通常是显示一输入控件，观众用户可以在直播过程中，通过输入控件编辑文本，以输入评论消息，客户端可以将评论消息发送直播服务端，直播服务端可以将评论消息广播给各客户端，使得观众可以与主播进行互动。上述互动方式的智能化水平较低，且需要用户进行较多操作，也会一定程度降低观众用户参与互动的积极性。

发明内容

为克服相关技术中存在的问题，本申请提供了直播互动方法、装置、电子设备以及计算机可读存储介质。

根据本申请实施例的第一方面，提供一种直播互动方法，所述方法包括：

若检测到针对于发言控件的触发操作，从直播视频流的当前帧图像中识别出主播用户的人脸表情信息；

根据所述人脸表情信息确定关键词，获取与所述关键词相应的若干条预设发言消息；

在直播界面上展示所述若干条预设发言消息，以进行直播互动。

可选地，所述从直播视频流的当前帧图像中识别出主播用户的人脸表情信息，包括：

对当前帧图像进行人脸检测，标定出人脸关键点；

基于所述人脸关键点确定人脸表情信息。

可选地，所述基于所述人脸关键点确定人脸表情信息，包括：

将所述人脸关键点与预存的表情标定点进行匹配；

利用匹配的表情标定点确定当前帧图像的人脸表情信息。

可选地，所述获取与所述关键词相应的若干条预设发言消息，包括：

从预设的发言数据库中搜索出与所述关键词匹配的发言样本作为所述发言消息，所述发言数据库中存储有多条发言样本。

可选地，所述在直播界面上展示所述若干条预设发言消息，以进行直播互动，包括：

对于在直播界面上展示的若干条预设发言消息，若检测到针对于其中一条预设发言消息的触发操作，将该预设发言消息进行直播互动处理。

可选地，所述若干条预设发言消息以列表方式展示。

可选地，所述发言数据库通过如下方式更新发言样本：

收集服务端所发送的其他客户端的发言消息；

若所述发言消息没有存储在所述发言数据库中，并且预设时间段内重复次数大于预设次数阈值，将所述发言消息作为发言样本添加至所述发言数据库中。

根据本申请实施例的第二方面，提供一种直播互动装置，包括：

人脸表情信息识别单元，用于若检测到针对于发言控件的触发操作，从直播视频流的当前帧图像中识别出主播用户的人脸表情信息；

发言消息获取单元，用于根据所述人脸表情信息确定关键词，获取与所述关键词相应的若干条预设发言消息；

直播互动单元，用于在直播界面上展示所述若干条预设发言消息，以进行直播互动。

可选地，所述人脸表情信息识别单元包括：

人脸检测子单元，用于若检测到针对于发言控件的触发操作，对直播视频流的当前帧图像进行人脸检测，标定出人脸关键点；

人脸表情信息确定子单元，用于基于所述人脸关键点确定人脸表情信息。

可选地，所述人脸表情信息确定子单元包括：

匹配模块，用于将所述人脸关键点与预存的表情标定点进行匹配；

人脸表情信息确定模块，用于利用匹配的表情标定点确定当前帧图像的人脸表情信息。

可选地，所述发言消息获取单元包括：

根据所述人脸表情信息确定关键词，从预设的发言数据库中搜索出与所述关键词匹配的发言样本作为所述发言消息，所述发言数据库中存储有多条发言样本。

可选地，所述直播互动单元包括：

对于在直播界面上展示的若干条预设发言消息，若检测到针对于其中一条预设发言消息的触发操作，将该预设发言消息进行直播互动处理。

可选地，所述若干条预设发言消息以列表方式展示。

可选地，所述发言数据库通过如下方式更新发言样本：

收集服务端所发送的其他客户端的发言消息；

若所述发言消息没有存储在所述发言数据库中，并且预设时间段内重复次数大于预设次数阈值，将所述发言消息作为发言样本添加至所述发言数据库中。

根据本申请实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行第一方面中任意一项所述方法的步骤。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面任一所述方法的步骤。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请中，客户端在直播过程中，可以在检测到针对于发言控件的触发操作时，从直播视频流的当前帧图像中识别出主播用户的人脸表情信息，根据所述人脸表情信息确定关键词，获取与所述关键词相应的若干条预设发言消息，进而在直播界面上展示所述若干条预设发言消息，以进行直播互动，用户可以触发其所需的预设发言消息，该预设发言消息作为直播互动消息被发送给直播服务端，用于所述直播服务端进行直播互动处理。本申请实施例通过智能推荐发言消息，使得用户可以快捷发言，减少用户的文字编辑操作，降低用户在直播互动过程的输入耗时，使直播交互处理更为智能化。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1A是本申请根据一示例性实施例示出的一种直播互动的应用场景示意图。

图1B是相关技术中一种直播界面的示意图。

图1C是本申请根据一示例性实施例示出的一种直播互动方法的流程图。

图2A是本申请根据一示例性实施例示出的另一种直播互动方法的流程图。

图2B是本申请根据一示例性实施例示出的一种直播界面的示意图。

图2C是本申请根据一示例性实施例示出的3种标准的表情标定点的示意图。

图3是本申请根据一示例性实施例示出的一种直播互动装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本申请相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请实施例的方案，可以应用于网络直播等任何涉及直播互动的场景中，如图1A所示，是本申请根据一示例性实施例示出的一种直播互动的应用场景示意图，图1A中包括作为服务端设备的服务器、以及作为客户端设备的智能手机、平板电脑和个人计算机。其中，客户端设备还可以是PDA(Personal Digital Assistant，个人数字助理)、多媒体播放器、可穿戴设备等智能设备。

图1A中的服务端向各客户端提供直播服务，用户可以使用智能设备安装直播客户端，通过该直播客户端获得该直播服务，也可以使用智能设备安装浏览器客户端，通过浏览器客户端登录服务器所提供的直播页面，获得直播服务。通常，直播过程中涉及两类用户，一类用户为主播用户，另一类用户为观众用户。客户端提供有主播直播功能和直播收看功能，主播用户可以使用客户端提供的直播功能进行视频直播，而观众用户可以使用客户端提供的收看功能观看主播用户的直播内容。

相关技术中，直播服务商提供了很多供观众用户与主播用户进行互动的功能，例如发言功能或送礼功能等。针对发言功能，如图1B所示，是相关技术中一种直播界面的示意图，通常是直播界面中显示一输入控件，观众用户可以通过输入控件编辑文本，所编辑的文本作为互动消息，由客户端发送给直播服务端，直播服务端可以将互动消息广播给各客户端，使得观众的发言可以在各客户端的屏幕上进行个性化展示，实现观众与主播的互动。上述互动方式的智能化水平较低，且需要用户进行较多的发言编辑操作，因此会一定程度降低观众用户参与互动的积极性。

而本申请实施例所提供的方案，在直播过程中，可以在确定用户发起发言请求时，在所述直播界面中展示若干条预设发言消息供用户选择，用户可以触发其所需的预设发言消息，该预设发言消息作为直播互动消息被发送给直播服务端，用于所述直播服务端进行直播互动处理。本申请实施例通过智能推荐发言消息，使得用户可以快捷发言，减少用户的文字编辑操作，降低用户在直播互动过程的输入耗时，使直播交互处理更为智能化。接下来对本申请实施例进行详细说明。

如图1C所示，图1C是本申请根据一示例性实施例示出的一种直播互动方法的流程图，包括以下步骤101至103：

在步骤101中，若检测到针对于发言控件的触发操作，从直播视频流的当前帧图像中识别出主播用户的人脸表情信息。

在步骤102中，根据所述人脸表情信息确定关键词，获取与所述关键词相应的若干条预设发言消息。

在步骤103中，在直播界面上展示所述若干条预设发言消息，以进行直播互动。

如图2A所示，图2A是本申请根据一示例性实施例示出的另一种直播互动方法的流程图，包括以下步骤201至203：

在步骤201中，在直播过程中，确定用户是否发起发言请求。

在步骤202中，确定用户发起发言请求时，获取若干条预设发言消息，并在所述直播界面中展示所述若干条预设发言消息；

在步骤203中，在检测到所述预设发言消息被触发时，对所述预设发言消息进行直播互动处理。

本申请实施例的方法可应用于客户端设备，客户端在直播过程中，可以确定用户是否具有发言需求，若用户发起发言请求，可以响应用户的发言需求，展示若干条预设发言消息供用户快速便捷地选择所需的发言消息，以更为便利地实现直播互动。

其中，对于如何确定用户是否具有发言需求，即如何确定用户是否发起发言请求，在实际应用中可以通过多种方式实现，例如，可以是检测到用户按压了设备的某些按键、或者是检测到用户输入了预设的滑动轨迹、还可以是检测到用户输入令预设的手势、还可以是检测到用户采用预设的触发方式触发了设定的控件或屏幕中设定的区域等等，客户端可以提供一种或多种方式，以供用户便利地发起发言请求。

为了更好地引导用户发言，使用户更便捷地发起发言请求，所述确定用户是否发起发言请求，包括：

在直播界面中展示一发言触发对象，通过检测所述发言触发对象是否被触发，确定用户是否发起发言请求。

其中，所述发言触发对象用于检测用户的发言需求，由于发言触发对象展示在直播界面中，用户可以便捷地进行触发，从而使用户便利地发起发言请求。实际应用中，发言触发对象可以具体是在直播界面中所展示的一图标、选项或按钮等。如图2B所示，是本申请根据一示例性实施例示出的一种直播界面的示意图，图2B中发言触发对象具体为一图标，用户可以通过点击或按压等方式触发该对象。

本实施例的客户端可以智能地在直播界面中推荐合适的预设发言消息，具体的数量和内容可以预先配置，上述预设发言消息可以是常见的打招呼用语，如“你好”等，也可以结合直播场景而设置的短语，如“主播好漂亮”、“主播欢迎你”等，还可以是预先收集各个观众用户所发送的发言消息，对所收集的数据进行分析而确定的常用发言消息等等，实际应用中可以根据需求而灵活配置，本实施例对此不作限定。在作为一个例子，如图2B中示出了6条预设发言消息。

直播场景中，整个直播过程中可能涉及不同的直播内容，面对不同的直播内容，用户所希望发送的发言消息也会不同。例如，当直播刚开始，用户通常会希望发送“主播你好”、“欢迎主播”等打招呼的发言消息；或者，直播进行过程中，若主播唱歌，用户可能希望发送“唱歌很好听”等相关的发言消息；或者，主播生气，用户可能希望发送“主播息怒”等相关的发言消息。或者，主播说“我爱你们”，用户可能希望发送“主播我也爱你”等相关的发言消息。

本实施例中，获取若干条预设发言消息可以是根据直播数据进行获取，也即是客户端所展示的预设发言消息会在直播过程中，根据不同的直播数据而变化，为了使用户在需要发言时，客户端所展示的预设发言消息能与该阶段的直播内容相适应，使客户端能精准推荐合适的发言消息，使用户更为便利地发言，提高直播互动处理的智能化水平，本申请提供如下实施方式：

所述预设发言消息从预设的发言数据库中获取，所述发言数据库中存储有多条发言样本。

基于如下一种或多种信息，从所述发言数据库选择发言样本作为所述预设发言消息：

主播用户的语音信息、其他观众用户所发送的发言消息，以及主播用户的人脸表情信息。

本实施例中，可以预先配置发言数据库，在数据库中存储多条发言样本。在从多条发言样本中选择合适的预设发言消息时，可以参考主播用户的语音信息、其他观众用户所发送的发言消息，以及主播用户的人脸表情信息等一种或多种因素进行选取。具体的选取处理方式，可以是利用上述信息确定关键词，采用搜索算法，从数据库搜索出与该关键词匹配的发言消息。具体的搜索方式可参考相关技术，本实施例在此不进行赘述。

其中，主播用户的语音信息代表主播用户的说话内容，以语音信息作为参考因素选取预设发言消息，更符合直播场景特点，也能获取到合适的发言消息。具体的，可以是在检测到用户发起发言请求时，获取预设时间段内的语音文件作为该语音信息，例如3秒、5秒、20秒等时间段。接着，在具体获取关键词时，其中一种方式可以是对比所述语音信息与预设的标准语音，利用与所述语音信息匹配的标准语音获得所述关键词，所述标准语音预先标记有对应的关键词；在其他可选的实现方式中，还可以是将所述语音信息转换为文本信息，从所述文本信息中识别出关键词，利用所识别的关键词即可从数据库中搜索出合适的预设发言消息。

直播过程中，客户端可以接收服务端所广播的其他客户端用户所发送的互动信息，并在屏幕中进行互动展示。由于客户端所接收的其他观众用户发送的互动信息，都经由观众用户主动发送，因此，以该互动信息为参考因素选取预设发言消息，可以更符合当前的直播内容，从而能向用户精准推荐合适的发言消息。具体的，可以是在检测到用户发起发言请求时，收集预设时间内的其他用户所发送的互动信息，从互动信息中提取关键词，利用所识别的关键词即可从数据库中搜索出合适的预设发言消息。

直播过程中，主播用户的人脸表情信息代表主播用户的情绪变化，可以根据主播用户的人脸表情信息，为用户推荐相关的预设发言消息。因此，本实施例可以获取直播过程中主播客户端的视频图像，从所述视频图像中识别出主播人脸表情信息，针对所述主播人脸表情信息确定对应的关键词，利用所识别的关键词即可从数据库中搜索出合适的预设发言消息。具体的，可以在用户发起发言请求时，从直播视频流中获取当前帧图像，利用图像识别技术，在帧图像中进行人脸检测，利用人脸标定算法标定人脸关键点，通过所标定的人脸关键点寻找匹配标准的表情标定点，利用所匹配的标准的表情标定点，确定该帧图像的人脸表情信息。如图2C所示，是本申请根据一示例性实施例示出的3种标准的表情标定点的示意图。具体的处理过程可以参考相关技术，本实施例在此不进行赘述。

上述三种处理方式中，基于三类信息从发言数据库中选取合适的发言样本作为预设发言消息。在实际应用中，发言样本可以是针对上述三类信息的特点而分别预先配置，并存储在发言数据库中。在选取时，可以是在发言数据库中所存储的所有发言样本中进行选取，也可以是基于每类信息，在对应的多条发言样本中进行搜索。

在基于每类信息预先设置的发言样本非常多的情况下，为了提高选取效率，在一个可选的实现方式中，发言数据库可以针对所述语音信息、发言消息和人脸表情信息设置有对应的子数据库；在基于所述语音信息、发言消息或人脸表情信息，从所述发言数据库选择发言样本作为所述预设发言消息时，从对应的子数据库中进行选择。

本实施例中，发言数据库针对上述三类信息分别设置了对应的子数据库，则每类信息对应的关键词可以在对应的子数据库中进行搜索，从而可以提高搜索效率，提高直播互动处理的性能。

根据上述多种参考因素，客户端可以获取到较多的预设发言消息，各预设发言消息在直播界面中展示时，具体的展示方式可以灵活配置，例如，可以以列表的方式，将各条预设发言消息随机排序展示，也可以按照发言消息的字数排序展示等等。

为了能供用户更快捷地选择预设发言消息，在所述直播界面中展示若干条预设发言消息时，可以将若干条预设发言消息按照优先级进行排序展示；其中，优先级越高的预设发言消息，其排序越前；优先级从高到低为：

通过所述语音信息确定的预设发言消息、通过所述发言消息确定的预设发言消息、以及通过主播人脸表情信息确定的预设发言消息。

本实施例中，考虑到语音信息代表主播的说话内容，通过语音信息确定的预设发言消息与直播内容的适应程度，高于通过其他用户的发言消息确定的预设发言消息，而通过主播人脸表情信息确定预设发言消息的适应程度较低，所以按照上述优先级进行排序展示预设发言消息，能实现更好发言消息推荐效果。

直播界面中展示预设发言消息后，若界面中推荐有用户希望发送的预设发言消息，则用户可以通过点击、长按等触发方式进行选中，客户端在检测到某一预设发言消息被触发时，即可以将该预设发言消息进行直播互动处理。具体的，直播互动处理，可以包括多种方式，例如是客户端将预设发言消息展示在本端的直播界面，也可以是客户端将预设发言消息发送给直播服务端，由直播服务端展示在公屏中(也即是直播服务端将该预设发言消息广播给其他客户端，由各客户端在直播界面中展示)等等，具体的，对该预设发言消息的直播互动处理可根据实际需要而灵活配置。

可以理解，若用户触发客户端所推荐的预设发言消息，即代表该条预设发言消息达到精准推荐的目的；若有更多的其他用户也发送了相同的发言消息，代表该条预设发言消息越具有推荐价值，越容易被用户选中。针对上述情况，本实施例提供如下实施例，可以在直播互动过程中持续地完善预设发言消息的推荐精准度。

本实施例中，所述发言样本配置有对应的评分；

在所述直播界面中展示若干条预设发言消息时，将若干条预设发言消息按照其对应的发言样本的评分高低进行排序展示；

所述评分由所述发言样本作为预设发言消息后被用户触发的次数而确定，次数越高，所述评分越高。

例如，各发言样本可以预先配置相同的评分，若发言样本作为预设发言消息展示在所述直播界面后，被用户选中，则可调高发言样本的评分，使得下一次在获取发言样本作为预设发言消息进行展示时，该消息的排序更加靠前。

作为一个例子，假设所有的发言样本默认评分为50分，当在直播界面展示后，被用户选中后，则该发言样本的评分增加1分，评分高的短语再下次排序中会靠前展示。其中，评分分数还可以设置上限，例如上限为100分，当发言样本到达100分，表示该发言样本的推荐价值非常高，从而无需进行后续的评分处理，减少客户端的处理压力。

由上述实施例可知，在排序展示预设发言消息中，涉及到两种排序的参考因素：

一种是按照如下三类信息的优先级排序：通过所述语音信息确定的预设发言消息、通过所述发言消息确定的预设发言消息、以及通过主播人脸表情信息确定的预设发言消息。

另一种是发言样本的评分。

在实际应用中，可以择其一种单独实施，也可以是组合实施，在组合实施时，可以是先按照上述三类信息的优先级排序，对于每类信息下的多个预设发言消息，按照评分的高低排序。

例如，假设有六条预设发言消息，分别是通过语音信息确定的两条预设发言消息、通过所述发言消息确定的两条预设发言消息、以及通过主播人脸表情信息确定的两条预设发言消息，可以按照上述三类信息的优先级排序，对于每类信息中的两条预设发言消息，则按照预设发言消息的评分高低而排序。

直播过程中可以接收到用户所发送的非常多的发言消息，本实施例中，可以利用这些发言消息实现对发言数据库的自动更新，以丰富发言数据库中的发言样本。在一个可选的实现方式中，所述发言数据库通过如下方式进行更新发言样本：

收集服务端所发送的其他客户端的发言消息。

若所述发言消息没有存储在所述发言数据库中，并且预设时间段内重复次数大于预设次数阈值，将所述发言消息作为发言样本添加至所述发言数据库中；其中，所述发言样本的评分根据所述重复次数而确定，重复次数越高，所述评分越高。

本实施例中，客户端可以根据预设周期执行上述操作更新发言数据库，也可以在直播过程中实时更新，也可以是由用户发起，也可以是在服务端的更新指令的指示下执行等等多种方式。

当需要更新数据库时，可以收集其他客户端的发言消息，通过分析，若有较多用户都发送相同的发言消息，即表示该发言消息具有推荐价值。在该发言消息没有存储在发言数据库的情况下，可以将该发言消息插入至数据库中。而该发言消息的评分设置，可以根据其被用户发送的数量而确定，越多用户发送，则其评分越高。

作为一个例子，假设发言样本默认评分为50分，重复发言次数每增加一条，评分增加1分，若收集周期内，当前3秒时间段中有10个人输入了“你好”，该条消息作为发言样本需要插入至数据库中，“你好”的评分可以设定50+10＝60分。

实际应用中，客户端的发言数据库还可以按照设定的周期上传至直播服务端，由直播服务端同步后更新到其他客户端，从而使各客户端可以进行发言数据库的共享，完成新发言样本的更新工作。

与前述直播互动方法的实施例相对应，本申请还提供了直播互动装置的实施例。

如图3所示，图3是本申请根据一示例性实施例示出的一种直播互动装置的框图，所述装置包括：

发言请求确定模块31，用于：在直播过程中，确定用户是否发起发言请求。

发言消息展示模块32，用于：确定用户发起发言请求时，获取若干条预设发言消息，并在所述直播界面中展示所述若干条预设发言消息；

互动处理模块33，用于：在检测到所述预设发言消息被触发时，对所述预设发言消息进行直播互动处理。

在一个可选的实现方式中，所述发言请求确定模块31还用于：

在直播界面中展示一发言触发对象，通过检测所述发言触发对象是否被触发，确定用户是否发起发言请求。

在一个可选的实现方式中，所述预设发言消息从预设的发言数据库中获取，所述发言数据库中存储有多条发言样本；

基于如下一种或多种信息，从所述发言数据库选择发言样本作为所述预设发言消息：

主播用户的语音信息、其他观众用户所发送的发言消息，以及主播用户的人脸表情信息。

在一个可选的实现方式中，所述发言数据库针对所述语音信息、发言消息和人脸表情信息设置有对应的子数据库。

所述发言消息展示模块32，还用于：在基于所述语音信息、发言消息或人脸表情信息，从所述发言数据库选择发言样本作为所述预设发言消息时，从对应的子数据库中进行选择。

在一个可选的实现方式中，所述发言消息展示模块32，还用于：所述预设发言消息从预设的发言数据库中获取时，采用如下一种或多种方式确定关键词，利用所述关键词在所述发言数据库中搜索与所述关键词匹配的发言样本：

对比所述语音信息与预设的标准语音，利用与所述语音信息匹配的标准语音获得所述关键词，所述标准语音预先标记有对应的关键词；

将所述语音信息转换为文本信息，从所述文本信息中识别出关键词；

从所述发言消息中提取关键词；

获取直播过程中主播客户端的视频图像，从所述视频图像中识别出主播人脸表情信息，针对所述主播人脸表情信息确定对应的关键词。

在一个可选的实现方式中，所述发言消息展示模块，还用于：

在所述直播界面中展示若干条预设发言消息时，将若干条预设发言消息按照优先级进行排序展示；其中，优先级越高的预设发言消息，其排序越前；优先级从高到低为：

通过所述语音信息确定的预设发言消息、通过所述发言消息确定的预设发言消息、以及通过主播人脸表情信息确定的预设发言消息。

在一个可选的实现方式中，所述发言样本配置有对应的评分，所述评分由所述发言样本作为预设发言消息后被用户触发的次数而确定，次数越高，所述评分越高；

所述发言消息展示模块，还用于：

在所述直播界面中展示若干条预设发言消息时，将若干条预设发言消息按照其对应的发言样本的评分高低进行排序展示。

在一个可选的实现方式中，所述发言数据库通过如下方式进行更新发言样本：

收集服务端所发送的其他客户端的发言消息；

若所述发言消息没有存储在所述发言数据库中，并且预设时间段内重复次数大于预设次数阈值，将所述发言消息作为发言样本添加至所述发言数据库中；其中，所述发言样本对应的评分根据所述重复次数而确定，重复次数越高，所述评分越高。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本发明还提供一种电子设备，包括有处理器；用于存储可执行指令的存储器，所述存储器包括计算机程序；其中，处理器被配置为执行上述主播互动方法中的操作。

一种非临时性计算机可读存储介质，当存储介质中的指令由终端的处理器执行时，使得终端能够执行上述方法。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (9)

1.一种直播互动方法，其特征在于，包括：

若检测到针对于发言控件的触发操作，对直播视频流的当前帧图像中的主播用户进行人脸检测，标出人脸关键点，基于所述人脸关键点确定所述主播用户的人脸表情信息；

根据所述人脸表情信息确定关键词，获取与所述关键词相应的若干条预设发言消息；

在直播界面上展示所述若干条预设发言消息，以进行直播互动；所述预设发言消息对应有评分，所述评分根据该预设发言消息被用户触发的次数而确定，次数越高，所述评分越高；在所述直播界面中展示所述若干条预设发言消息时，将所述若干条预设发言消息按照其对应的评分高低进行排序展示。

2.根据权利要求1所述的方法，其特征在于，所述基于所述人脸关键点确定所述主播用户的人脸表情信息，包括：

将所述人脸关键点与预存的表情标定点进行匹配；

利用匹配的表情标定点确定当前帧图像的人脸表情信息。

3.根据权利要求1所述的方法，其特征在于，所述获取与所述关键词相应的若干条预设发言消息，包括：

从预设的发言数据库中搜索出与所述关键词匹配的发言样本作为所述发言消息，所述发言数据库中存储有多条发言样本。

4.根据权利要求1所述的方法，其特征在于，所述在直播界面上展示所述若干条预设发言消息，以进行直播互动，包括：

对于在直播界面上展示的若干条预设发言消息，若检测到针对于其中一条预设发言消息的触发操作，将该预设发言消息进行直播互动处理。

5.根据权利要求4所述的方法，其特征在于，所述若干条预设发言消息以列表方式展示。

6.根据权利要求3所述的方法，其特征在于，所述发言数据库通过如下方式更新发言样本：

收集服务端所发送的其他客户端的发言消息；

若所述发言消息没有存储在所述发言数据库中，并且预设时间段内重复次数大于预设次数阈值，将所述发言消息作为发言样本添加至所述发言数据库中。

7.一种直播互动装置，其特征在于，包括：

人脸表情信息识别单元，用于若检测到针对于发言控件的触发操作，对直播视频流的当前帧图像中的主播用户进行人脸检测，标出人脸关键点，基于所述人脸关键点确定所述主播用户的人脸表情信息；

发言消息获取单元，用于根据所述人脸表情信息确定关键词，获取与所述关键词相应的若干条预设发言消息；

直播互动单元，用于在直播界面上展示所述若干条预设发言消息，以进行直播互动；所述预设发言消息对应有评分，所述评分根据该预设发言消息被用户触发的次数而确定，次数越高，所述评分越高；在所述直播界面中展示所述若干条预设发言消息时，将所述若干条预设发言消息按照其对应的评分高低进行排序展示。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1至6任意一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至6任一所述方法的步骤。

Images