CN107911736A - 直播互动方法及系统 - Google Patents

Abstract

本申请提供一种直播互动方法及系统，所述方法包括：第一客户端触发赠送虚拟礼物的第一指令，将所述第一指令发送给服务端，服务端根据所述第一指令获取所述虚拟礼物所对应的目标数据，将所述目标数据发送给第二客户端；第二客户端获取摄像头采集的第一图像帧，并识别出特征数据，判断所述特征数据与所述目标数据是否匹配，以使相应的客户端根据互动规则更新互动场景；所述相应的客户端展示有互动场景，所述互动场景包括第一客户端赠送的虚拟礼物。本申请提出的方案旨在增加直播中的互动性、提升直播的趣味性及增加用户的粘度。

Description

直播互动方法及系统

技术领域

本申请涉及直播领域，尤其涉及一种直播互动方法及系统。

背景技术

网络直播中观众与主播之间的互动，是网络直播受到广大用户的喜爱的原因之一。其中赠送虚拟礼物是增加观众与主播之间互动的重要方式，但是现有技术中，观众给主播赠送虚拟礼物的方式仅仅为观众赠送虚拟礼物后，主播客户端直接获得所述虚拟礼物，并在观众和主播所在的直播间显示上述虚拟礼物的图片或是在某一位置上播放一段flash动画，很明显，上述赠送虚拟礼物的方式仅为由观众客户端触发到主播客户端被动显示的单向互动形式，观众与主播之间的互动性较差。

发明内容

有鉴于此，本申请提供一种直播互动方法及系统，旨在增加直播的互动性、趣味性及用户的粘度。

具体地，本申请是通过如下技术方案实现的：

一种直播互动方法，包括以下步骤：

第一客户端触发赠送虚拟礼物的第一指令，将所述第一指令发送给服务端，所述直播间展示有互动场景；

服务端根据所述第一指令获取所述虚拟礼物所对应的目标数据，将所述目标数据发送给第二客户端；

第二客户端获取摄像头采集的第一图像帧，并识别出特征数据，判断所述特征数据与所述目标数据是否匹配，以使相应的客户端根据互动规则更新互动场景；所述相应的客户端展示有互动场景，所述互动场景包括第一客户端赠送的虚拟礼物。

在某些例子中，所述特征数据包括以下至少任一：面部特征数据及动作特征数据。

在某些例子中，所述互动场景包括目标图像帧，所述目标图像帧由服务端生成；

所述目标图像帧的生成步骤包括：

服务端接收第二客户端发送的所述第一图像帧；

将所述第一图像帧与所述虚拟礼物所对应的第二图像帧合成一帧目标图像帧。

在某些例子中，所述方法还包括：所述互动场景展示有第一客户端赠送的虚拟礼物；

所述虚拟礼物在第一客户端的显示效果与其他客户端不同；在第一客户端的显示效果包括以下任一：高亮显示、放大显示及特效显示。

在某些例子中，所述特征数据包括面部特征数据，所述虚拟礼物包括虚拟表情；所述目标数据用于描述所述虚拟表情中的五官特征；所述五官特征包括以下任一：眼睛的睁闭、嘴巴的张合及脸的朝向；所述面部特征数据包括眼睛的睁闭、嘴巴的张合及脸的朝向；

所述判断所述特征数据与所述目标数据是否匹配的步骤包括：

判断所述面部特征数据与目标数据的匹配度是否在预设范围，如果在，则判断结果为匹配，否则，判断结果为不匹配。

在某些例子中，所述互动规则包括：如果第二客户端对目标数据匹配成功，则将虚拟礼物置为不可见状态；或

如果第二客户端对目标数据匹配成功，则减小第二客户端下一次匹配目标数据的难度；如果不成功，则增加第二客户端下一次匹配目标数据的难度；或

如果第二客户端对目标数据匹配成功，则增加第二客户端的得分；如果不成功，则减少或不改变第二客户端的得分；或

如果第二客户端对目标数据匹配成功，则第二客户端获取所述虚拟礼物对应的价值。

在某些例子中，所述方法包括：所述互动场景展示有第一客户端赠送的虚拟礼物；所述虚拟礼物沿预定轨迹运动；

相应的客户端更新所述互动场景的步骤包括：

如果特征数据与目标数据匹配，则相应的客户端改变所述虚拟礼物的运动轨迹或显示状态。

一种直播互动方法，包括步骤：

获取摄像头采集的第一图像帧，以及当其他客户端触发赠送虚拟礼物的第一指令后，获取服务端发送的目标数据，所述目标数据与第一指令相对应；

从所述第一图像帧中识别出特征数据，判断所述特征数据与所述目标数据是否匹配，以使相应的客户端根据互动规则更新互动场景；所述互动场景包括所述其他客户端赠送的虚拟礼物。

在某些例子中，所述特征数据包括面部特征数据，所述虚拟礼物包括虚拟表情；所述目标数据用于描述所述虚拟表情中的五官特征；所述五官特征包括以下任一：眼睛的睁闭、嘴巴的张合及脸的朝向；所述面部特征数据包括眼睛的睁闭、嘴巴的张合及脸的朝向；

所述判断所述特征数据与所述目标数据是否匹配的步骤包括：

判断所述面部特征数据与目标数据的匹配度是否在预设范围，如果在，则判断结果为匹配，否则，判断结果为不匹配。

在某些例子中，所述方法包括：所述互动场景展示有第一客户端赠送的虚拟礼物；所述虚拟礼物沿预定轨迹运动；

相应的客户端更新所述互动场景的步骤包括：

如果特征数据与目标数据匹配，则相应的客户端改变所述虚拟礼物的运动轨迹或显示状态。

在某些例子中，所述互动规则包括：如果特征数据与目标数据匹配成功，则将虚拟礼物置为不可见状态；或

如果特征数据与目标数据匹配成功，则减小下一次匹配目标数据的难度；如果不成功，则增加下一次匹配目标数据的难度；或

如果特征数据与目标数据匹配成功，则增加得分；如果不成功，则减少或不改变得分；或

如果特征数据与目标数据匹配成功，则获取所述虚拟礼物对应的价值。

在某些例子中，所述获取摄像头采集的第一图像帧，并识别出特征数据，包括：

获取摄像头采集的第一图像帧，识别人脸数量，当人脸数量大于1时，根据预设判断规则确定目标对象，识别出目标对象的特征数据；

其中，所述预设判断规则包括以下至少之一：

以位置居中的人脸为目标对象；

以面积最大的人脸为目标对象；

以最先采集的第一图像帧中的人脸为目标对象；

根据外部输入的指令确定目标对象；

以与客户端的登录账户的人脸匹配的人脸为目标对象。

一种直播互动的方法，所述方法包括：

监听到触发赠送虚拟礼物的第一指令后，将所述第一指令发送给服务端，以使服务器根据所述第一指令调取对应的目标数据并发送给目标客户端；

接收到服务端发送的更新指令后，更新互动场景；所述互动场景包括所述虚拟礼物，所述更新指令基于目标客户端对目标数据的匹配结果及互动规则生成，所述匹配结果根据所述目标数据与目标客户端从摄像头捕获的第一图像帧获得。

在某些例子中，将所述第一指令发送给服务端之后，包括：

将所述虚拟礼物展示在互动场景中；

所述虚拟礼物的显示效果与直播间内其他客户端不同；显示效果包括以下任一：高亮显示、放大显示及特效显示。

一种直播互动装置，包括：

获取模块，用于进入直播间后，获取摄像头采集的第一图像帧，以及当其他客户端触发赠送虚拟礼物的第一指令后，获取服务端发送的目标数据，所述目标数据与第一指令相对应，所述直播间展示有互动场景；

处理模块，用于从所述第一图像帧中识别出特征数据，判断所述特征数据与所述目标数据是否匹配，以使相应的客户端更新所述互动场景。

一种直播互动装置，包括：

发送模块，用于进入直播间后，监听到触发赠送虚拟礼物的第一指令后，将所述第一指令发送给服务端，以使服务器根据所述第一指令调取对应的目标数据并发送给目标客户端；所述直播间展示有互动场景；以及

处理模块，用于接收到服务端发送的更新指令后，更新所述互动场景；所述更新指令基于目标客户端对目标数据的匹配结果及互动规则生成，所述匹配结果根据所述目标数据与目标客户端从摄像头捕获的第一图像帧获得。

一种直播互动系统，所述系统包括：第一客户端、第二客户端及服务端；

第一客户端用于触发赠送虚拟礼物的第一指令，将所述第一指令发送给服务端；

服务端用于根据所述第一指令获取所述虚拟礼物所对应的目标数据，将所述目标数据发送给第二客户端；

第二客户端用于获取摄像头采集的第一图像帧，并识别出特征数据，判断所述特征数据与所述目标数据是否匹配，以使相应的客户端根据互动规则更新互动场景；所述相应的客户端展示有互动场景，所述互动场景包括第一客户端赠送的虚拟礼物。

一种电子设备，包括：

存储处理器可执行指令的存储器；其中，所述处理器耦合于所述存储器，用于读取所述存储器存储的程序指令，并作为响应，执行如下操作：

监听到触发赠送虚拟礼物的第一指令后，将所述第一指令发送给服务端，以使服务器根据所述第一指令调取对应的目标数据并发送给目标客户端；

接收到服务端发送的更新指令后，更新互动场景；所述互动场景包括所述虚拟礼物，所述更新指令基于目标客户端对目标数据的匹配结果及互动规则生成，所述匹配结果根据所述目标数据与目标客户端从摄像头捕获的第一图像帧获得。

一种电子设备，包括：

存储处理器可执行指令的存储器；其中，所述处理器耦合于所述存储器，用于读取所述存储器存储的程序指令，并作为响应，执行如下操作：

获取摄像头采集的第一图像帧，以及当其他客户端触发赠送虚拟礼物的第一指令后，获取服务端发送的目标数据，所述目标数据与第一指令相对应；

从所述第一图像帧中识别出特征数据，判断所述特征数据与所述目标数据是否匹配，以使相应的客户端根据互动规则更新互动场景；所述互动场景包括所述其他客户端赠送的虚拟礼物。

本申请提出的方案中，第二客户端获取服务端发送的目标数据，所述所述目标数据与第一客户端触发赠送虚拟礼物的第一指令相对应，第二客户端再通过对摄像头采集的第一图像帧进行识别，识别出特征数据；判断所述目标数据与所述特征数据是否匹配，根据匹配结果使相应的第一客户端及第二客户端更新相应客户端的互动场景。例如：第一客户端的用户发送一个笑脸作为虚拟礼物，在相应客户端的互动场景中显示该虚拟礼物，第二客户端的用户需要模仿上述笑脸，当第二客户端采集的第一图像帧中用户的表情与上述笑脸匹配成功，第二客户端才能获得上述虚拟礼物，且相应的客户端所在的直播间的互动场景将被更新。可以看出，本申请提出了一种全新的互动方式，不仅有效地增加了直播中的互动性，而且丰富了直播内容，提升了直播的趣味性及直播用户的粘度。

附图说明

图1是本申请一示例性实施例示出的一种实现直播的一个应用场景示意图；

图2是本申请一示例性实施例示出的一种直播互动方法的部分流程图；

图3是本申请一示例性实施例示出的一种直播互动方法的示意图；

图4是本申请一示例性实施例示出的一种直播互动方法的示意图；

图5是本申请一示例性实施例示出的一种直播互动方法的示意图；

图6是本申请一示例性实施例示出的一种直播互动方法的示意图；

图7是本申请一示例性实施例示出的一种直播互动方法的示意图；

图8是本申请一示例性实施例示出的一种直播互动方法的示意图；

图9是本申请一示例性实施例示出的另一种直播互动方法的部分流程图；

图10是本申请一示例性实施例示出的另一种直播互动方法的部分流程图；

图11是本申请一示例性实施例示出的一种电子设备的逻辑框图；

图12是本申请一示例性实施例示出的一种直播互动系统的逻辑框图；

图13是本申请一示例性实施例示出的一种直播互动装置的逻辑框图；

图14是本申请一示例性实施例示出的另一种直播互动装置的逻辑框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

直播是通过在网上构建一个数据的共享平台(该共享平台在本申请中被称为服务端)，直播用户可以通过直播客户端应用程序发送数据到共享平台，也可以获取共享平台中的数据；该直播客户端应用程序可以同时集成有主播客户端和观众客户端的功能，主播客户端负责制作直播数据，并发送数据到共享平台；观众客户端获取共享平台的数据并播放给观众观看。当然，直播客户端应用程序也可以仅具有主播客户端或是观众客户端的功能。直播客户端应用程序被安装于电子设备上，前述电子设备可以包括：智能手机、平板电脑、笔记本电脑、台式电脑及智能电视等。图1是本申请实施例实现直播的一个应用场景示意图，第一客户端111、第二客户端121及第三客户端131分别被安装在电子设备110、120及130上，各第二客户端均可以调用摄像头录制视频、拍摄照片、或通过其他方式制作直播数据，然后通过网络发送给服务端100。服务端100是用于提供视频直播的后台服务，存储客户端与各直播间之间的对应关系等，当各客户端选择直播间后，服务端100可根据各个客户端与直播间对应的关系，向属于同一频道内的客户端发送相应的数据。如果第一客户端111、第二客户端121及第三客户端131在相同的直播间内，则作为主播的客户端，例如第二客户端121就可以将想要展示的直播内容分享给在同一直播间的第一客户端111及第三客户端131，以供第一客户端111及第三客户端131的用户观看。

互动性是直播的特点之一，其中赠送虚拟礼物是增加观众与主播之间互动的重要方式，目前，观众给主播赠送虚拟礼物的方式仅仅为观众赠送虚拟礼物后，主播客户端直接获得所述虚拟礼物，并在观众和主播所在的直播间显示上述虚拟礼物的图片或是在某一位置上播放一段flash动画，上述赠送虚拟礼物的方式仅为由观众客户端触发到主播客户端被动显示的单向互动形式，观众与主播之间的互动性较差。

为了解决上述观众与主播之间的互动性较差的问题，参照图2，本申请提供一种直播互动方法及系统，所述方法的部分步骤如下：

S201：第一客户端触发赠送虚拟礼物的第一指令；

S202：将所述第一指令发送给服务端；

S203：服务端根据所述第一指令获取所述虚拟礼物所对应的目标数据；

S204：服务端将所述目标数据发送给第二客户端；

S205：第二客户端接收所述目标数据，并获取摄像头采集的第一图像帧，并识别出特征数据；

S206：第二客户端判断所述特征数据与所述目标数据是否匹配，以使相应的客户端根据互动规则更新互动场景。

相应的客户端展示有互动场景，所述互动场景包括第一客户端赠送的虚拟礼物；所述相应的客户端包括与第一客户端、第二客户端及与第一和/或第二客户端在同一直播间的客户端，或者根据互动规则指定的客户端，或者与第一客户端或/和第二客户端具有相同标签的客户端。

在某些例子中，本申请实施例提出的服务端可以是被安装在服务器设备上的程序；上述第一客户端及第二客户端可以是主播客户端或观众客户端，为了方便描述，以下以第一客户端为观众客户端，第二客户端为主播客户端为例进行描述。

在一些例子中，所述互动场景为相应客户端展示的界面，直播中主播客户端(例如：第二客户端)制作直播数据，所述直播数据包括主播客户端摄像头采集的第一图像帧，并将所述直播数据发送给服务端，服务端将所述直播数据发送给相应的客户端在互动场景中展示，当存在客户端(例如：第一客户端)给主播客户端赠送虚拟礼物后，在相应的各客户端的互动场景中可以展示虚拟礼物，所述虚拟礼物可以以图片、图层及动态图等形式呈现，所述虚拟礼物也可以与直播数据合成的目标图像帧。当然，本申请并不限制互动场景在各个客户端展示的方式。在一些例子中，互动场景还可以包括根据匹配结果及互动规则展示的得分栏。互动场景中还可以展示其他内容，如主播客户端的特征数据与目标数据匹配成功后，出现的“你很棒”的文字或是“竖起大拇指”的图片或特效等。

在某些例子中，本申请实施例步骤S206提出的使相应的客户端根据互动规则更新互动场景，可以是主播客户端判断所述特征数据与所述目标数据是否匹配后，根据匹配结果和互动规则，更新主播客户端的互动场景，并将更新后的互动场景对应的数据发送给服务端，所述服务端接收到所述更新后的互动场景对应的数据，将所述更新后的互动场景对应的数据发送给相应的客户端，以更新所述相应客户端的互动场景。

在某些例子中，本申请实施例步骤S206提出的使相应的客户端根据互动规则更新互动场景，可以是主播客户端判断所述特征数据与所述目标数据是否匹配后，将匹配结果发送给服务端，服务端根据匹配结果及互动规则，向相应的客户端发送更新指令，以更新所述相应客户端的互动场景。

在某些例子中，本申请实施例步骤S206提出的使相应的客户端互动规则更新互动场景，可以是主播客户端判断所述特征数据与所述目标数据是否匹配后，根据匹配结果和互动规则，更新主播客户端虚拟礼物在互动场景中的显示效果，将所述显示效果更新后的虚拟礼物图像与主播客户端制作的直播数据对应的图像帧合成一帧目标图像帧发送给服务端，服务端将所述目标图像发送给各相应的客户端，以更新所述相应客户端的互动场景。在某些例子中，上述将所述显示效果更新后的虚拟礼物图像与主播客户端制作的直播数据对应的图像帧合成一帧目标图像帧的步骤可以是：主播客户端将显示效果更新后的虚拟礼物图像及直播数据发送给服务端后，由服务端执行合成目标图像帧的步骤。

具体地，在一个例子中，参照图3，为本申请一示例性实施例示出的一种直播中主播客户端的界面的示意图，主播观众端300进入直播间a后，获取摄像头301采集的第一图像帧320，主播点击控件从普通直播模式进入互动模式后，当所在直播间a的观众客户端点击赠送虚拟礼物，例如虚拟礼物为一个表情，观众客户端将携带上述表情标识的第一指令发送给服务端，服务端获取上述第一指令后，根据上述表情标识获取对应的目标数据，所述目标数据用于描述表情的特征，例如图3所示的表情330是眼睛睁开嘴角紧闭呈一条直线的普通表情，服务端将上述目标数据发送给主播客户端300，主播客户端300在互动场景310中展示所述表情330的图片，主播可以模仿上述表情，如果识别到的第一图像帧320中主播的表情与上述表情330相匹配，例如主播的嘴巴也紧闭呈一条直线，眼睛睁开，则认为是匹配成功，则可以使相应的客户端更新所在直播间的互动场景。需要说明的是，上述第一图像帧为主播客户端所在设备的摄像头捕获的画面，若当前时刻捕获的画面是当前图像帧，在一些例子中，所述第一图像帧可以是当前图像帧，或当前图像帧的上N帧图像帧，或当前图像帧的下M帧图像帧，所述N和M是整数。

本申请提出的方案通过第二客户端获取服务端发送的目标数据，所述目标数据与第一客户端触发赠送虚拟礼物的第一指令相对应，第二客户端再通过对摄像头采集的第一图像帧进行识别，识别出特征数据；判断所述目标数据与所述特征数据是否匹配，根据匹配结果使相应的第一客户端及第二客户端更新所在直播间的互动场景。例如：第一客户端的用户发送一个笑脸作为虚拟礼物，在相应直播间的互动场景中显示该虚拟礼物，第二客户端的用户需要模仿上述笑脸，当第二客户端采集的第一图像帧中用户的表情与上述笑脸匹配成功，第二客户端才能获得上述虚拟礼物，且相应的客户端所在的直播间的互动场景中该虚拟礼物会呈现消失或高亮显示等效果。本申请提出了一种全新的互动方式，不仅有效地增加了直播中客户端之间的互动性，而且丰富了直播内容，提升了直播的趣味性及直播用户的粘度。

基于不同的应用场景和需求，在一类实施例中，第一图像帧和虚拟礼物(第二图像帧)可以合成一帧目标图像帧展示在直播间中，在另一类实施例中，第一图像帧和虚拟礼物(第二图像帧)也可以分成两帧图像帧，并以规定的显示方式显示，例如将虚拟礼物叠加在第一图像帧上显示。

在第一类实施例中，具体实现步骤可以是：

服务端接收主播客户端发送的所述第一图像帧；将所述第一图像帧与所述虚拟礼物所对应的第二图像帧合成一帧目标图像帧。将所述目标图像帧发送给直播间对应的客户端，上述对应的客户端可以仅仅指直播间内的观众客户端，主播客户端还是会收到虚拟礼物对应的第二图像帧，当观众客户端的特征数据与目标数据相匹配，观众客户端会将匹配结果发送给服务端，服务端将更新后的第二图像与第一图像帧合成新的目标图像帧，则相应的客户端更新了互动场景。如此在数据传输的过程中减少了对网络带宽的占用，并且能保证保持第一图像帧与第二图像帧的同步性。需要说明的是，上述合成目标图像帧的操作也可以在主播客户端完成，主播客户端获取服务端发送的虚拟礼物的第二图像帧后，将第一图像帧与第二图像帧合成目标图像帧，并将目标图像帧发送给服务端，服务端接收到上述目标图像帧后，将所述目标图像帧发送给直播间内的观众客户端，以供观众客户端的用户观看。

在第二类实施例中，为了让赠送虚拟礼物的观众客户端能清楚直观地观看到赠送的虚拟礼物的动态，参照图4，为本申请一示例性实施例示出的一种直播互动方法的示意图，服务端440持续接收第二客户端(主播客户端)420发送的所述第一图像帧401；当第一客户端(观众客户端)410触发赠送虚拟礼物的第一指令后，服务端440将所述第一图像帧401及虚拟礼物发送给直播间对应的客户端，对应图4中的第一客户端410及第三客户端430，同时将虚拟礼物及虚拟礼物对应的目标数据发送给第二客户端420，由于第一客户端410是触发赠送虚拟礼物的第一指令的客户端，所以会将第一客户端410的虚拟礼物411特殊显示，其显示效果与其他客户端420及430的虚拟礼物421及422的显示效果不同，例如图4中，虚拟礼物411第一客户端410的显示效果为高亮显示，当然虚拟礼物在第一客户端的显示效果可以有很多种，还可以是放大显示或特效显示等，但不限于上述方式。可以理解上述实施例仅仅为实现赠送虚拟礼物的客户端的虚拟礼物特殊显示的其中一种实施方法，其他使虚拟礼物在赠送虚拟礼物的客户端与直播间内其他客户端的显示效果不同的方式，都落入本申请的保护范围。可以看出在第二类实施例中，赠送虚拟礼物的第一客户端可以看到自己赠送的虚拟礼物的动态，赠送虚拟礼物的观众用户体验佳。

在某些例子中，本申请提出的特征数据可以包括面部特征数据或动作特征数据，所述动作特征可以是手势动作或是身体的姿态，例如一个人摆成“S”的姿态，或是多个人拼成一个汉字或字母或单词等等。本申请实施例提出的目标数据可以是面部表情数据或动作数据，在一些例子中，当目标数据是面部表情数据，特征数据是面部特征数据，当目标数据是动作数据，特征数据是动作特征数据。

以面部特征数据为例，本申请提到的目标数据可以是用于描述面部表情，如：喜、怒、哀及乐等，表情特征数据可以是通过图像识别技术从第一图像帧中识别出的面部表情数据。本申请实施例步骤S206中提到的判断所述特征数据与所述目标数据是否匹配，可以是上述目标数据与表情特征数据的匹配度达到一定阈值，则认为匹配成功。

我们知道表情的种类繁多，例如笑的表情就分为很多种，比如仰面大笑、开怀大笑及微笑等等，仰面大笑是头朝上，嘴巴张开，露出牙齿，眼睛眯成一条向下的线；开怀大笑是嘴巴张开，露出牙齿，眼睛眯成一条向下的线；大笑是嘴巴张开，露出牙齿，眼睛呈现弯月形，而微笑是眼睛睁开，嘴巴合拢，嘴角微微向上扬起，当虚拟礼物对应的目标数据的表情种类较多时，通过非常精细地图像识别来识别第一图像帧中的特征数据，势必造成主播客户端的运算量非常庞大，对于设备的配置要求较高，且匹配时间较长，为了减少主播客户端所在设备的运算量，降低对设备配置的要求及减少匹配时间，在一个例子中，所述虚拟礼物包括虚拟表情；所述目标数据用于描述所述虚拟表情中的五官特征；所述五官特征包括以下任一：眼睛的睁闭、嘴巴的张合及脸的朝向；所述面部特征数据包括眼睛的睁闭、嘴巴的张合及脸的朝向。

所述判断所述特征数据与所述目标数据是否匹配的步骤包括：

判断所述面部特征数据与目标数据的匹配度是否在预设范围，如果在，则判断结果为匹配，否则，判断结果为不匹配。

在一个具体的例子中，观众客户端触发赠送虚拟礼物的第一指令，例如虚拟礼物是眼睛张开，嘴巴合拢的正面笑脸，服务端收到上述第一指令后，相应的调取对应的虚拟礼物的目标数据，所述目标数据是眼睛张闭情况为张开、嘴巴的张合情况为合拢及脸的朝向为正面，并将所述目标数据发送给主播客户端；

参照图5，主播客户端获取自身所在摄像头捕获的第一图像帧520，从第一图像帧520中识别出特征数据，具体的方法可以是：对第一图像帧520的人脸进行面部特征点530获取，如在脸上获取106个特征点，识别出五官，然后根据眼睛的上眼皮与下眼皮的特征点的坐标的相对距离，确定眼睛的张闭情况，根据嘴巴上嘴唇下沿与下嘴唇上沿的相对距离，确定嘴巴的张合情况，根据脸部坐标的对称关系确定脸的朝向，如图5所示，第一图像帧的特征数据就是眼睛的状态为睁开、嘴巴的状态为合拢的练得朝向为正脸。然后将上述特征数据与目标数据相匹配，当眼睛、嘴巴及脸部朝向三个状态参数都匹配时，就认为目标数据与特征数据相匹配。

在一些例子中，被展示在互动场景中的虚拟礼物可以沿预定轨迹运动，例如从上互动场景的上端向下端运动，或是从互动场景的下端往上端运动，上述例子仅仅为本申请虚拟礼物沿预定轨迹运动的一些例子，本申请并不限制预定轨迹的形式。一些例子中，可以依据互动规则，改变所述虚拟礼物的运动轨迹或显示状态。本申请实施例提出互动规则可以是：如果第二客户端对目标数据匹配成功，则将虚拟礼物置为不可见状态，或者如果第二客户端对目标数据匹配成功，则增加第二客户端的得分；如果不成功，则减少或不改变第二客户端的得分。例如：以虚拟礼物从互动场景的上端向下端运动为例，当观众客户端触发第一指令后，服务端将虚拟礼物对应的图片发送给直播间内的客户端进行展示，从互动场景的上端出现，沿直线运动到下端，在虚拟礼物运动的期间，若识别到主播客户端的第一图像帧与虚拟礼物对应的目标数据相匹配，则互动场景中的虚拟礼物的图片消失，并更新主播的得分。当然，虚拟礼物对应的目标数据与第一图像帧的特征数据的匹配时机可以是任意的。在一些例子中，本申请实施例提出互动规则还可以是：如果第二客户端对目标数据匹配成功，则减小第二客户端下一次匹配目标数据的难度；如果不成功，则增加第二客户端下一次匹配目标数据的难度。例如：以虚拟礼物从互动场景的上端向下端运动为例，如果第二客户端对目标数据匹配成功，则虚拟礼物从互动场景上端向下端运动的速度会变慢，如此增加主播匹配该虚拟礼物的时间，以减小匹配目标数据的难度；如果不成功，则加快虚拟礼物运动的速度，以增加匹配目标数据的难度。

实际应用中，直播间中可能会出现多个观众客户端同时给主播客户端赠送虚拟礼物的情况。

在某些例子中，参照图6，当多个观众客户端触发赠送虚拟礼物的第一指令后，服务端将虚拟礼物631-635展示在直播间，当第一图像帧620的特征数据与直播间内展示的虚拟礼物631-633的目标数据相匹配时，直播间内所有与第一图像帧620相匹配的虚拟礼物全消失，并更新主播的得分栏601的分数。例如，图6中，第一图像帧620与眼睛睁开，嘴巴紧闭的表情(虚拟礼物)633-635相匹配，则直播间内所有眼睛睁开，嘴巴紧闭的表情消失，对应图6中的虚拟礼物633-635，则上述虚拟礼物633-635全消失，且相应在得分栏601改变主播的得分。

在另外一些例子中，如图7所示，以虚拟礼物从互动场景的下端向上端运动为例，可以在互动场景中划分多个运动轨道710，例如图7中划分了3个运动轨道，当服务端接收到多个观众客户端发送的第一指令后，例如为两个虚拟礼物，判断所述轨道是否都展示有虚拟礼物，若有两个轨道空闲的话，就同时将两个虚拟礼物从空闲的轨道的下端开始展示，沿着轨道往互动场景的上部运动；若只有一个轨道空闲的话，则将其中一个从空闲的轨道的下端开始展示，沿着轨道往互动场景的上部运动，待再次出现空闲时，将另一个虚拟礼物展示在空闲轨道中，虚拟礼物运动到结束线740时，虚拟礼物还未被匹配成功，则对应的虚拟礼物消失，对应的轨道呈空闲状态；如果虚拟礼物从开始运动到结束运动期间匹配成功，则在匹配成功的时刻，使虚拟礼物消失，相应的轨道呈空闲状态。

以特征数据为手势数据为例，参照图8，观众客户端赠送一虚拟礼物，例如为两只手做成的“爱心”830，服务端调取该“爱心”对应的目标数据，发送给主播客户端，主播客户端获取第一图像帧810，识别出第一图像帧的特征数据，例如图8中，在识别框820的手的坐标数据，通过与目标数据进行匹配，若匹配度达到一定的阈值，则认为匹配成功。

在实际应用场景中，主播客户端通过摄像头捕获的第一图像帧中可能存在多个主播，但是，在某些情况下仅能识别特定数量的主播的特征数据，如果特征数据是面部数据，且仅允许识别一张人脸时，主播客户端可以获取摄像头采集的第一图像帧，识别人脸数量，当人脸数量大于1时，根据预设判断规则确定目标对象，识别出目标对象的特征数据；其中，所述预设判断规则包括以下至少之一：

以位置居中的人脸为目标对象；

以面积最大的人脸为目标对象；通常主播的人脸会处于画面的居中位置，且离摄像头更近，因此脸的面积也会大一些；

以最早检测到的人脸为目标对象；通常摄像头最先拍到的人是主播，或者主播在进行互动直播时有其他人入镜，因此以最早检测到的人脸为目标对象；

以与用户身份信息匹配的人脸为目标对象；例如，主播会注册账号，特别是主播，需要认证身份证和人脸信息，以进行实名认证，因此，可以根据用户注册时用的照片，从多张人脸中匹配出注册用户的脸为目标对象；

上述方式是系统自动匹配目标对象的，可以单独使用也可以组合使用，当然，用户也可以直接指定目标对象，例如，在检测到存在多张人脸时，在每张人脸上弹出一选择框，哪个选择框被点中，则认为以该人脸为目标对象，即根据外部输入的指令确定目标对象。

在某些例子中，本申请还提供另一种直播互动方法，如图9所示，部分步骤如下：

S910：获取摄像头采集的第一图像帧，以及当其他客户端触发赠送虚拟礼物的第一指令后，获取服务端发送的目标数据，所述目标数据与第一指令相对应；

S920：从所述第一图像帧中识别出特征数据，判断所述特征数据与所述目标数据是否匹配，以使相应的客户端根据互动规则更新互动场景；所述互动场景包括所述其他客户端赠送的虚拟礼物。

上述一种直播互动方法的执行主体可以是第二客户端，上述图9所示的流程中的各个步骤的具体实现方式和过程可以参照前述实施例的描述，在此不再赘述。

在某些例子中，本申请还提供另一种直播互动方法，如图10所示，部分步骤如下：

S1010：监听到触发赠送虚拟礼物的第一指令后，将所述第一指令发送给服务端，以使服务器根据所述第一指令调取对应的目标数据并发送给目标客户端；

S1020：接收到服务端发送的更新指令后，更新互动场景；所述互动场景包括所述虚拟礼物，所述更新指令基于目标客户端对目标数据的匹配结果及互动规则生成，所述匹配结果根据所述目标数据与目标客户端从摄像头捕获的第一图像帧获得。

在一些例子中，将所述第一指令发送给服务端之后，包括：

接收到服务端发送的虚拟礼物，将所述虚拟礼物展示在互动场景中，

所述虚拟礼物的显示效果与直播间内其他客户端不同；显示效果包括以下任一：高亮显示、放大显示及特效显示。

上述一种直播互动方法的执行主体可以是第一客户端，上述图10所示的流程中的各个步骤的具体实现方式和过程可以参照前述实施例的描述，在此不再赘述。

与前述直播互动方法的实施例相对应，本申请还提供了一种终端设备的实施例。

本申请直播互动装置可以应用在终端设备上。终端设备的硬件框图可以参考图11，终端设备可以包括处理器、内存、网络接口以及非易失性存储器等硬件。本申请直播装置实施例可以通过应用程序实现，也可以通过硬件或者软硬件结合的方式实现。以应用程序实现为例，作为一个逻辑意义上的装置，是通过其所在终端设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图11所示，为本申请直播装置所在终端设备的一种硬件结构图，除了图11所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的终端设备通常根据该终端设备的实际功能，还可以包括其他硬件，对此不再赘述。某些例子中，处理器耦合于所述存储器，用于读取所述存储器存储的应用程序和文件，并做出响应，执行如下操作：

监听到触发赠送虚拟礼物的第一指令后，将所述第一指令发送给服务端，以使服务器根据所述第一指令调取对应的目标数据并发送给目标客户端；

接收到服务端发送的更新指令后，更新互动场景；所述互动场景包括所述虚拟礼物，所述更新指令基于目标客户端对目标数据的匹配结果及互动规则生成，所述匹配结果根据所述目标数据与目标客户端从摄像头捕获的第一图像帧获得。

在一些例子中，处理器耦合于所述存储器，用于读取所述存储器存储的应用程序和文件，并做出响应，执行如下操作：

获取摄像头采集的第一图像帧，以及当其他客户端触发赠送虚拟礼物的第一指令后，获取服务端发送的目标数据，所述目标数据与第一指令相对应；

从所述第一图像帧中识别出特征数据，判断所述特征数据与所述目标数据是否匹配，以使相应的客户端根据互动规则更新互动场景；所述互动场景包括所述其他客户端赠送的虚拟礼物。

请参考图12，一种直播互动系统1200，所述系统包括：第一客户端1210、第二客户端1220及服务端1230；

第一客户端1210用于触发赠送虚拟礼物的第一指令，将所述第一指令发送给服务端；

服务端1230用于根据所述第一指令获取所述虚拟礼物所对应的目标数据，将所述目标数据发送给第二客户端；

第二客户端1220用于获取摄像头采集的第一图像帧，并识别出特征数据，判断所述特征数据与所述目标数据是否匹配，以使相应的客户端根据互动规则更新互动场景；所述相应的客户端展示有互动场景，所述互动场景包括第一客户端赠送的虚拟礼物，所述特征数据包括以下至少任一：面部特征数据及动作特征数据。

在某些例子中，所述互动场景包括目标图像帧，所述目标图像帧由服务端生成；

所述目标图像帧的生成包括：

服务端接收第二客户端发送的所述第一图像帧；

将所述第一图像帧与所述虚拟礼物所对应的第二图像帧合成一帧目标图像帧。

在某些例子中，所述互动场景展示有第一客户端赠送的虚拟礼物；

所述虚拟礼物在第一客户端的显示效果与其他客户端不同；在第一客户端的显示效果包括以下任一：高亮显示、放大显示及特效显示。

在某些例子中，所述虚拟礼物包括虚拟表情；所述目标数据用于描述所述虚拟表情中的五官特征；所述五官特征包括以下任一：眼睛的睁闭、嘴巴的张合及脸的朝向；所述面部特征数据包括眼睛的睁闭、嘴巴的张合及脸的朝向；

所述判断所述特征数据与所述目标数据是否匹配包括：

判断所述面部特征数据与目标数据的匹配度是否在预设范围，如果在，则判断结果为匹配，否则，判断结果为不匹配。

在某些例子中，所述互动规则包括：如果第二客户端对目标数据匹配成功，则将虚拟礼物置为不可见状态；或

如果第二客户端对目标数据匹配成功，则减小第二客户端下一次匹配目标数据的难度；如果不成功，则增加第二客户端下一次匹配目标数据的难度；或

如果第二客户端对目标数据匹配成功，则增加第二客户端的得分；如果不成功，则减少或不改变第二客户端的得分。

在某些例子中，所述互动场景展示有第一客户端赠送的虚拟礼物；所述虚拟礼物沿预定轨迹运动；

相应的客户端更新所述互动场景包括：

如果特征数据与目标数据匹配，则相应的客户端改变所述虚拟礼物的运动轨迹或显示状态。

请参考图13，一种直播互动装置1300，包括：

获取模块1310，用于获取摄像头采集的第一图像帧，以及当其他客户端触发赠送虚拟礼物的第一指令后，获取服务端发送的目标数据，所述目标数据与第一指令相对应；

处理模块1320，用于从所述第一图像帧中识别出特征数据，判断所述特征数据与所述目标数据是否匹配，以使相应的客户端根据互动规则更新互动场景；所述互动场景包括所述其他客户端赠送的虚拟礼物。

在某些例子中，所述特征数据包括以下至少任一：面部特征数据及动作特征数据。

在某些例子中，所述虚拟礼物包括虚拟表情；所述目标数据用于描述所述虚拟表情中的五官特征；所述五官特征包括以下任一：眼睛的睁闭、嘴巴的张合及脸的朝向；所述面部特征数据包括眼睛的睁闭、嘴巴的张合及脸的朝向；

所述判断所述特征数据与所述目标数据是否匹配包括：

判断所述面部特征数据与目标数据的匹配度是否在预设范围，如果在，则判断结果为匹配，否则，判断结果为不匹配。

在某些例子中，所述互动场景展示有第一客户端赠送的虚拟礼物；所述虚拟礼物沿预定轨迹运动；

相应的客户端更新所述互动场景包括：

如果特征数据与目标数据匹配，则相应的客户端改变所述虚拟礼物的运动轨迹或显示状态。

在某些例子中，所述互动规则包括：如果特征数据与目标数据匹配成功，则将虚拟礼物置为不可见状态；或

如果特征数据与目标数据匹配成功，则减小下一次匹配目标数据的难度；如果不成功，则增加下一次匹配目标数据的难度；或

如果特征数据与目标数据匹配成功，则增加得分；如果不成功，则减少或不改变得分。

在某些例子中，所述获取摄像头采集的第一图像帧，并识别出特征数据，包括：

获取摄像头采集的第一图像帧，识别人脸数量，当人脸数量大于1时，根据预设判断规则确定目标对象，识别出目标对象的特征数据；

其中，所述预设判断规则包括以下至少之一：

以位置居中的人脸为目标对象；

以面积最大的人脸为目标对象；

以最先采集的第一图像帧中的人脸为目标对象；

根据外部输入的指令确定目标对象；

以与客户端的登录账户的人脸匹配的人脸为目标对象。

参照图14，另一种直播中客户端间互动装置1400，包括：

发送模块1410，用于监听到触发赠送虚拟礼物的第一指令后，将所述第一指令发送给服务端，以使服务器根据所述第一指令调取对应的目标数据并发送给目标客户端；

处理模块1420，用于接收到服务端发送的更新指令后，更新互动场景；所述互动场景包括所述虚拟礼物，所述更新指令基于目标客户端对目标数据的匹配结果及互动规则生成，所述匹配结果根据所述目标数据与目标客户端从摄像头捕获的第一图像帧获得。

在某些例子中，处理模块1420还用于：

接收到服务端发送的虚拟礼物，将所述虚拟礼物展示在互动场景中，

所述虚拟礼物的显示效果与直播间内其他客户端不同；显示效果包括以下任一：高亮显示、放大显示及特效显示。

在本申请实施例中，计算机可读存储介质可以是多种形式，比如，在不同的例子中，所述机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。特殊的，所述的计算机可读介质还可以是纸张或者其他合适的能够打印程序的介质。使用这些介质，这些程序可以被通过电学的方式获取到(例如，光学扫描)、可以被以合适的方式编译、解释和处理，然后可以被存储到计算机介质中。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种直播互动方法，其特征在于，包括步骤：

第一客户端触发赠送虚拟礼物的第一指令，将所述第一指令发送给服务端；

服务端根据所述第一指令获取所述虚拟礼物所对应的目标数据，将所述目标数据发送给第二客户端；

第二客户端获取摄像头采集的第一图像帧，并识别出特征数据，判断所述特征数据与所述目标数据是否匹配，以使相应的客户端根据互动规则更新互动场景；所述相应的客户端展示有互动场景，所述互动场景包括第一客户端赠送的虚拟礼物。

2.如权利要求1所述的方法，其特征在于，所述特征数据包括以下至少任一：面部特征数据及动作特征数据。

3.如权利要求1所述的方法，其特征在于，所述互动场景包括目标图像帧，所述目标图像帧由第二客户端或服务端生成；

所述目标图像帧的生成步骤包括：

将所述第一图像帧与所述虚拟礼物所对应的第二图像帧合成一帧目标图像帧。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

所述虚拟礼物在第一客户端的显示效果与其他客户端不同；在第一客户端的显示效果包括以下任一：高亮显示、放大显示及特效显示。

5.如权利要求1所述的方法，其特征在于，所述特征数据包括面部特征数据，所述虚拟礼物包括虚拟表情；所述目标数据用于描述所述虚拟表情中的五官特征；所述五官特征包括以下任一：眼睛的睁闭、嘴巴的张合及脸的朝向；所述面部特征数据包括眼睛的睁闭、嘴巴的张合及脸的朝向；

所述判断所述特征数据与所述目标数据是否匹配的步骤包括：

判断所述面部特征数据与目标数据的匹配度是否在预设范围，如果在，则判断结果为匹配，否则，判断结果为不匹配。

6.如权利要求1所述的方法，其特征在于，所述互动规则包括：如果第二客户端对目标数据匹配成功，则将虚拟礼物置为不可见状态；或

如果第二客户端对目标数据匹配成功，则减小第二客户端下一次匹配目标数据的难度；如果不成功，则增加第二客户端下一次匹配目标数据的难度；或

如果第二客户端对目标数据匹配成功，则增加第二客户端的得分；如果不成功，则减少或不改变第二客户端的得分；或

如果第二客户端对目标数据匹配成功，则第二客户端获取所述虚拟礼物对应的价值。

7.如权利要求1所述的方法，其特征在于，所述方法包括：所述虚拟礼物沿预定轨迹运动；

相应的客户端更新所述互动场景的步骤包括：

如果特征数据与目标数据匹配，则相应的客户端改变所述虚拟礼物的运动轨迹或显示状态。

8.如权利要求1所述的方法，其特征在于，所述获取摄像头采集的第一图像帧，并识别出特征数据，包括：

获取摄像头采集的第一图像帧，识别人脸数量，当人脸数量大于1时，根据预设判断规则确定目标对象，识别出目标对象的特征数据；

其中，所述预设判断规则包括以下至少之一：

以位置居中的人脸为目标对象；

以面积最大的人脸为目标对象；

以最先采集的第一图像帧中的人脸为目标对象；

根据外部输入的指令确定目标对象；

以与客户端的登录账户的人脸匹配的人脸为目标对象。

9.一种互动方法，其特征在于，所述方法包括：

获取摄像头采集的第一图像帧，以及当其他客户端触发赠送虚拟礼物的第一指令后，获取服务端发送的目标数据，所述目标数据与第一指令相对应；

从所述第一图像帧中识别出特征数据，判断所述特征数据与所述目标数据是否匹配，以使相应的客户端根据互动规则更新互动场景；所述互动场景包括所述其他客户端赠送的虚拟礼物。

10.一种直播互动系统，其特征在于，所述系统包括：第一客户端、第二客户端及服务端；

第一客户端用于触发赠送虚拟礼物的第一指令，将所述第一指令发送给服务端；

服务端用于根据所述第一指令获取所述虚拟礼物所对应的目标数据，将所述目标数据发送给第二客户端；

第二客户端用于获取摄像头采集的第一图像帧，并识别出特征数据，判断所述特征数据与所述目标数据是否匹配，以使相应的客户端根据互动规则更新互动场景；所述相应的客户端展示有互动场景，所述互动场景包括第一客户端赠送的虚拟礼物。