CN113196785A - 直播视频交互方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及一种直播视频交互方法、装置、设备及存储介质，该方法包括：接收多个虚拟礼物的设置信息；根据所述多个虚拟礼物的所述设置信息生成礼物背景层；接收实时采集的原始视频；从所述原始视频中识别出人像；根据识别出人像的视频和所述礼物背景层进行合成，得到合成后的具有人物前景和礼物背景的合成视频；输出所述具有人物前景和礼物背景的合成视频。利用本发明的直播视频交互方法，实现了新的礼物展示和赠送方式。

Description

直播视频交互方法、装置、设备及存储介质

技术领域

本发明涉及计算机技术领域，特别是涉及一种直播视频交互方法、装置、设备及存储介质。

背景技术

此处的陈述仅提供与本发明有关的背景信息，而不必然地构成现有技术。

现有的直播间展示主播心愿礼物主要采用：在视频流上层客户端加礼物悬浮窗口，以及在礼物面板(点击图标后触发)加特殊标示两种方法。但现有方法会存在以下问题：

(1)由于窗口面积小，所能展示的礼物数量有限制。一般同时只能展示一个礼物。

(2)由于礼物层级在视频流之上，礼物会遮挡主播。

(3)指向不清晰，主播需要告诉粉丝礼物名称、所在礼物面板位置序号等才能引导粉丝送出对应礼物。进而导致主播与观众间沟通的复杂化。

发明内容

本发明的目的在于提供一种新的直播视频交互方法、装置、设备及存储介质。

本发明的目的采用以下技术方案来实现。依据本发明提出的一种直播视频交互方法，包括以下步骤：接收多个虚拟礼物的设置信息；根据所述多个虚拟礼物的所述设置信息生成礼物背景层；接收实时采集的原始视频；从所述原始视频中识别出人像；根据识别出人像的视频和所述礼物背景层进行合成，得到合成后的具有人物前景和礼物背景的合成视频；以及，输出所述具有人物前景和礼物背景的合成视频。

本发明的目的还采用以下技术方案来实现。依据本公开提出的一种直播视频交互方法包括以下步骤：接收具有人物前景和礼物背景的合成视频并进行展示，其中，所述具有人物前景和礼物背景的合成视频是通过以下步骤得到的：从实时采集的原始视频中识别出人像，根据多个虚拟礼物的设置信息生成礼物背景层，根据识别出人像的视频和所述礼物背景层进行合成，得到所述具有人物前景和礼物背景的合成视频。

本发明的目的还采用以下技术方案来实现。依据本公开提出的一种直播视频交互装置，包括：礼物信息接收模块，用于接收多个虚拟礼物的设置信息；礼物背景生成模块，用于根据所述多个虚拟礼物的所述设置信息生成礼物背景层；原始视频接收模块，用于接收实时采集的原始视频；人像识别模块，用于从所述原始视频中识别出人像；视频合成模块，用于根据识别出人像的视频和所述礼物背景层进行合成，得到合成后的具有人物前景和礼物背景的合成视频；以及，合成视频输出模块，用于输出所述具有人物前景和礼物背景的合成视频。

本发明的目的还采用以下技术方案来实现。依据本公开提出的一种直播视频交互装置，包括：视频展示模块，用于接收具有人物前景和礼物背景的合成视频并进行展示；其中，所述具有人物前景和礼物背景的合成视频是通过以下步骤得到的：从实时采集的原始视频中识别出人像，根据多个虚拟礼物的设置信息生成礼物背景层，根据识别出人像的视频和所述礼物背景层进行合成，得到所述具有人物前景和礼物背景的合成视频。

本发明的目的还采用以下技术方案来实现。依据本公开提出的一种直播视频交互设备，包括：存储器，用于存储非暂时性计算机可读指令；以及处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现前述任意一种直播视频交互方法。

本发明的目的还采用以下技术方案来实现。依据本公开提出的一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行前述任意一种直播视频交互方法。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提出的直播视频交互方法、装置、设备及存储介质实现了新的礼物展示和赠送方式，主播可以设置礼物背景墙，直播时展示在自己(脸和身体画面的)的后方，从而主播能够展示更多数量的心愿礼物，可以直接用手指向礼物，信息传递得更精准；并且，能够避免心愿礼物展示对主播的遮挡；同时，用户可以更直观、直接的送出礼物，不需要寻找和辨认。

上述说明仅是本发明技术方案的概述，为了能更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明一个实施例的直播视频交互方法的流程示意图；

图2是本发明另一实施例的直播视频交互方法的流程示意图；

图3是本发明一个实施例提供的直播软件界面的示意图；

图4是本发明另一实施例提供的直播软件界面的示意图；

图5是本发明一个实施例的直播视频交互设备的示意图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的直播视频交互方法、装置、设备及存储介质的具体实施方式、结构、特征及其功效，详细说明如后。

在本文中，心愿礼物指的是：主播想要指定观众送出的礼物。

图1为本发明的直播视频交互方法一个实施例的示意性流程框图。在本发明的一些实施例中，请参阅图1，本发明示例的直播视频交互方法主要包括以下步骤：

步骤S11，接收多个虚拟礼物的设置信息。

可选的，虚拟礼物的该设置信息包括但不限于礼物接收者的标识、礼物的标识以及礼物的位置信息。

在一个具体示例中，前述的礼物接收者可以是直播的主播人员，前述的礼物接收者的标识可以是主播的UID(全称为User Identification，用户身份证明)，前述的礼物的标识可以是礼物ID(也称为识别码)。

步骤S12，根据多个虚拟礼物的设置信息生成礼物背景层。

具体的，礼物背景可以以礼物墙的形式排列，例如可以采用多行多列的列阵方式来排列多个虚拟礼物，列阵中的每个单元表示一个礼物，每个单元可展示有礼物的图标和/或名称等信息。

步骤S13，接收实时采集的原始视频。

步骤S14，从该原始视频中识别出人像。

步骤S15，根据识别出人像的视频和该礼物背景层进行合成，得到合成后的具有人物前景和礼物背景的合成视频。

步骤S16，输出该具有人物前景和礼物背景的合成视频，以将合成后的视频流向主播和观众等用户展示。

需注意，本实施例的直播视频交互方法一般适用于运行有视频合成程序的设备，该设备不妨称为视频合成端，也可称为服务端。

利用本发明提供的直播视频交互方法，实现了新的礼物展示和赠送方式，主播可以设置礼物背景墙，直播时展示在自己(脸和身体画面的)的后方。与现有方式相比，本发明解决了心愿礼物展示的数量限制、心愿礼物模块对视频流遮挡、心愿礼物指向不清晰的问题。

可选的，虚拟礼物的设置信息中的礼物的位置信息包括：礼物的绝对位置坐标、和/或多个礼物之间的相对位置关系。具体的，在一个实施例中，前述的礼物的位置信息包括礼物的绝对位置，例如，礼物在礼物背景中的位置坐标，事实上也就是展示礼物时礼物在屏幕中的位置坐标。在另一个实施例中，前述的礼物的位置信息包括多个礼物之间的相对位置关系，例如，礼物图标之间的排列关系、和/或间距等信息。在又一些实施例中，前述的礼物的位置信息包括礼物所属的组别，以便在展示时，根据该组别信息，将多个礼物划分为多组，显示在屏幕中的不同区域，例如，一组在主播的左边、另一组在主播的右边。需注意，在一些实施例中，礼物的位置信息也可以同时包括多种类型的位置信息，例如同时包括礼物的组别划分情况、以及同一组别的多个礼物之间的相对位置关系。

在本发明的一些实施例中，利用可以利用视频SDK(全称为Software DevelopmentKit，软件开发工具包)来进行视频处理，例如前述的步骤S14的从视频中识别出人像、以及步骤S15的视频合成。另外，视频SDK中还可包括数据库，从而可以根据礼物标识调用数据库中对应的礼物图标等数据。

在本发明的一些实施例中，前述步骤S12具体包括：根据礼物的标识从数据库中获取礼物图标，或者，所接收到的虚拟礼物的设置信息中还包括礼物图标，直接获取该设置信息中的该礼物图标；将礼物图标根据礼物的位置信息设置在背景层中，例如可以设置在背景图层的容器(也可称为视图容器、画布等)中，以得到礼物背景层。作为一个可选的具体示例，可以将礼物图标设置在背景层网格框架的方形容器中，以得到由礼物图标组成的礼物背景墙。其中，礼物图标一般为标识该礼物的图像。

可选的，在生成礼物背景层的过程中，利用礼物的图标生成对应的礼物模块(也称为礼物控件)，并将多个礼物模块根据前述的礼物的位置信息设置在背景层中以得到礼物背景层；其中，每个礼物模块配置为允许用户进行相应的交互操作以实现诸如选中礼物、送出礼物等交互。需注意，可以为每个礼物图标生成对应的一个礼物模块，或者也可以为多个礼物图标生成一个礼物模块。

需注意，在一些实施例中，在步骤S12的生成礼物背景层的过程中，可以渲染出礼物背景的画面，以便在步骤S15的合成过程中，能够直接利用礼物背景层的画面进行合成。而在另一些实施例中，在步骤S12的生成礼物背景层的过程中，仅需生成礼物背景层的数据，而不必渲染，以便在步骤S15的合成过程中，能够利用礼物背景层的数据进行合成，以便于调整礼物背景层中的多个礼物模块，例如调整礼物模块的位置、样式等。

可选的，将虚拟礼物的标识与礼物接收者的标识进行关联，以便于送礼后的扣费和结算。

可选的，可以采用多种方式来实现前述步骤S15的合成视频。具体的，在本发明的一些实施例中，前述步骤S15具体包括：从原始视频中将识别出的人像分离(也称为识别并抠出人像)以得到的人物前景层，将人物前景层和礼物背景层进行合成以将人物前景层覆盖到礼物背景层之上，得到具有人物前景和礼物背景的合成视频。

而在另一些实施例中，前述步骤S15具体包括：根据在原始视频中识别出的人像的轮廓来去除礼物背景层中的人像区域，得到去除人像区域的礼物背景层，将去除人像区域的礼物背景层和原始视频进行合成以覆盖原始视频中的原始背景，得到具有人物前景和礼物背景的合成视频。其中，人像的轮廓包括人像的位置信息和尺寸信息，而不必考虑人像的细节。

需注意，在一些实施例中，在步骤S15的合成视频过程中，也可以结合前述两种实施例进行人物前景与礼物背景的合成，例如，对视频中的不同画面帧采用不同的合成方式，或者对一帧画面的多个部分采用不同的合成方式。

在本发明的一些实施例中，本发明示例的用于视频合成端(服务端)的直播视频交互方法还包括：允许用户针对礼物背景中的至少一个礼物进行交互操作，以选中礼物或送出礼物。

作为一个具体实施例，前述的允许用户针对礼物背景中的至少一个礼物进行交互操作具体包括：接收由用户端传来的用户操作的信息(例如，用户点击屏幕的位置坐标)，判断该用户操作是否为针对礼物背景中的至少一个礼物的选中操作(例如，该点击屏幕的位置坐标是否为某个礼物所在坐标)，在判定是选中操作时，确定对应的选中礼物的标识，并将该选中礼物的标识回传至该用户端，以便用户端将识别到的该选中礼物以选中状态向用户进行展示，以区别于礼物背景中的未选中礼物。在本实施例中，采用了基于服务端的视频SDK来处理选中礼物。

作为一个具体实施例，前述的允许用户针对礼物背景中的至少一个礼物进行交互操作具体包括：接收由用户端传来的用户操作的信息(例如，用户点击屏幕的位置坐标)、和送礼用户标识；判断该用户操作是否为针对礼物背景中的至少一个礼物的送出操作(例如，该点击屏幕的位置坐标是否为送出按钮所在坐标)，在判定是送出操作时，确定对应的待送出礼物的标识，确定出礼物接收者的标识，并将该送礼用户标识、该待送出礼物的标识、以及该礼物接收者的标识发送至扣费端；以供该扣费端：完成扣费、生成与待送出礼物对应的送礼成功信息、将送礼成功信息发送至送礼观众用户端、主播用户端、其他观众用户端之中的一端或多端以展示送礼效果。在本实施例中，采用了基于具有视频SDK的服务端和扣费端来处理送出礼物。

在实际中，前景的人物很可能会遮挡背景中的礼物，而人物所在位置又难以预先确定，为此，可以采用以下多种方式来解决人像遮挡背景中的礼物的问题：

在本发明的一些实施例中，前述步骤S15可以包括：根据从原始视频中识别出的人像的轮廓在礼物背景层中确定一个或多个展示礼物区域，根据展示礼物区域确定礼物展示尺寸，根据礼物展示尺寸调整多个礼物图标的尺寸，将调整尺寸后的礼物图标设置在展示礼物区域，以便将虚拟礼物展示在人像周围而不被人像遮挡。

在本发明的另一些实施例中，前述步骤S15可以包括：根据从原始视频中识别出的人像的轮廓在礼物背景层中确定一个或多个展示礼物区域；根据礼物图标生成礼物模块；根据展示礼物区域的位置和空间、并根据礼物的位置信息中的多个礼物之间的相对位置关系，来确定礼物模块的绝对位置坐标，以在每个展示礼物区域中设置一个或多个礼物模块，以便将虚拟礼物展示在人像周围而不被人像遮挡。

在本发明的又一些实施例中，前述步骤S15可以包括：根据在原始视频中识别出的人像的轮廓，在礼物背景层中确定透明区域，将礼物背景层中的位于透明区域的部分和人物前景依据预设的透明度进行合成，以便能够显示被人像遮挡的虚拟礼物。

在本发明的又一些实施例中，前述的将选中礼物以选中状态向观众用户进行展示包括：将选中礼物以覆盖在人像图层之上的形式进行展示，以便被人像遮挡的礼物，在响应于用户操作而处于选中状态后，能够被观众用户看到、选中和送出。

需注意，前述的展示礼物区域可位于整体画面去除人像后的区域，不妨将整体画面去除人像后的区域称为基本区域。进一步的，还可以将该基本区域分为多个子区域，每个子区域都作为一个展示礼物区域。例如，可以以人像为中心将礼物背景分为左右两个区域，或者也可以将礼物背景分为人像左部区域、人像右部区域、人像周围区域，或者还可以将前述的人像周围区域分为左肩上方区域、右肩上方区域、头顶区域。

可选地，前述步骤S15还包括：判断每个展示礼物区域是否满足预设的空间尺寸条件，以确定是否有足够的空间来放置虚拟礼物，并且仅在满足该空间尺寸条件的展示礼物区域设置礼物图标或礼物模块。

可选的，在虚拟礼物的设置信息中包括组别信息的示例中，前述步骤S15还包括：将同一组的礼物放在同一展示礼物区域，另外还可以将不同组别的礼物放在不同展示区域。

需注意，在前述步骤S15中，可以利用前述的多种实施例相结合或相组合的方式，来解决人像遮挡背景中的礼物的问题。例如，对不同种类的礼物采用不同实施例所示方式，或者在多种方式中随机采用一种方式。

进一步的，在本发明的一些实施例中，前述步骤S15还包括：持续地从原始视频中识别人像，并根据人像的轮廓来调整展示礼物区域，例如调整展示礼物区域的位置、展示礼物区域的空间尺寸、展示礼物区域的数量等，以便虚拟礼物的位置跟随人像的移动而改变，实现了动态的背景墙。

图2为本发明的直播视频交互方法另一个实施例的示意性流程框图。在本发明的一些实施例中，请参阅图2，本发明示例的直播视频交互方法主要包括以下步骤：

步骤S21，接收具有人物前景和礼物背景的合成视频并进行展示。其中，该具有人物前景和礼物背景的合成视频是采用本发明提出的直播视频交互方法的前述实施例得到的，例如可通过以下步骤得到：从实时采集的原始视频中识别出人像，根据多个虚拟礼物的设置信息生成礼物背景层，根据识别出人像的视频和礼物背景层进行合成，得到该具有人物前景和礼物背景的合成视频。

需注意，本实施例的直播视频交互方法一般适用于主播或观众等用户的终端设备，该设备不妨称为用户端。

在一些实施例中，前述的虚拟礼物的设置信息包括：礼物接收者的标识、礼物的标识以及礼物的位置信息。其中，礼物的位置信息可包括每个礼物的绝对位置坐标和/或多个礼物之间的相对位置关系。

在本发明的一些实施例中，本发明示例的用于用户端的直播视频交互方法还包括：允许用户针对礼物背景中的至少一个礼物进行交互操作，以选中礼物或送出礼物。需注意，本实施例适用的用户一般为待送礼的观众，即本实施例一般适用于观众用户端。

需注意，可以利用视频SDK来参与处理用户的选中操作，或者，也可以由用户端独立处理选中操作。作为一个具体实施例，前述的允许用户针对礼物背景中的至少一个礼物进行交互操作具体包括：

接收用户针对礼物背景中的至少一个礼物的点击操作，作为针对该礼物的选中操作；

将该选中操作对应的指令发送至服务端(也称为视频合成端)，以便由服务端根据该选中操作确定对应的选中礼物的标识并回传至该用户，或者，在用户端本地，根据该选中操作确定对应的选中礼物的标识；

将识别到的该选中礼物以选中状态向用户进行展示，以区别于礼物背景中的未选中礼物。

可选的，前述的将选中礼物以选中状态进行展示包括：对礼物图标、礼物模块进行添加特效、改变透明度等突出展示，在礼物图标、礼物模块的附近添加文字说明、展示送出按钮等。

可选的，前述的根据选中操作确定对应的选中礼物的标识的步骤可具体包括：获取用户的点击操作对应的屏幕坐标，并上传该屏幕坐标服务端的视频SDK，视频SDK根据该屏幕坐标匹配识别对应的礼物ID。

进一步的，在选中礼物后，引导用户进行送出操作。具体的，前述的将选中礼物以选中状态向用户进行展示可以包括：向用户展示送出按钮。同时，前述的允许用户针对礼物背景中的至少一个礼物进行交互操作还包括：

接收用户针对送出按钮的点击操作，作为针对该礼物的送出操作；

获取用户的标识作为送礼用户标识；

在用户端本地，根据该送出操作确定待送出礼物的标识，并将送礼用户标识、待送出礼物的标识、以及礼物接收者的标识发送至扣费端，或者，将该送出操作和该送礼用户标识发送至服务端(也称为视频合成端)，以便由该服务端根据该送出操作确定待送出礼物的标识，确定出礼物接收者的标识，并将送礼用户标识、待送出礼物的标识、以及礼物接收者的标识发送至扣费端；以供扣费端：完成扣费、生成与待送出礼物对应的送礼成功信息、将送礼成功信息发送至送礼用户客户端、主播客户端、其他用户客户端之中的一个或多个客户端；

在接收到扣费端传来的送礼成功信息后，展示与待送出礼物对应的送礼效果。

在本发明的一些实施例中，本发明示例的用于用户端的直播视频交互方法还包括：

接收用户输入的多个虚拟礼物的设置信息；

实时采集用户的原始视频；

将多个虚拟礼物的设置信息和/或原始视频发送至视频合成端，以进行视频合成得到具有人物前景和礼物背景的合成视频。需注意，本实施例一般适用于主播用户端。

在本发明的一些实施例中，本发明示例的用于用户端的直播视频交互方法还包括：在接收到扣费端传来的送礼成功信息后，展示与待送出礼物对应的送礼效果。

在本发明的一些实施例中，本发明示例的直播视频交互方法主要包括以下步骤：接收待送出礼物的标识、送礼用户标识和礼物接收者的标识；根据待送出礼物的标识、送礼用户标识和礼物接收者的标识进行扣费，并生成送礼成功信息；向送礼用户客户端、主播客户端、其他用户客户端之中的一个或多个客户端发送送礼成功信息，以便接收到送礼成功信息的客户端展示送礼效果。

需注意，本实施例的直播视频交互方法一般适用于扣费服务器，不妨称为扣费端。

图3为本发明提供的主播端直播软件界面的一个具体示例的示意图，其中图3的左侧图示出了直播软件中的设置礼物背景墙的入口界面，图3的中间图示出了设置礼物背景墙的页面，图3的右侧图示出了展示有礼物背景墙的直播视频的页面。

请参阅图3，在本发明的一个具体实施例中，生成具有礼物背景的直播视频的流程包括：主播储存礼物墙设置后，将主播UID、礼物ID集合、礼物位置坐标上传至视频SDK；视频SDK将从主播客户端采集到的视频识别抠出人像，与礼物墙背景处理合成，输出合成后的视频流展示在主播和观众的客户端。

利用本发明提出的直播视频交互方法，如图3所示，主播可以设置直播时的礼物背景墙，自定义展示心愿礼物，通过SDK识别人像，抠图合成处理过的视频流，进而能够在直播画面中同时展示大量的心愿礼物。

图4为本发明提供的观众端直播软件界面的一个具体示例的示意图，其中图4的左侧图示出了展示有礼物背景墙的直播视频的页面，图4的中间图示出了用户选中礼物时的页面，图4的右侧图示出了用户送出礼物后的页面。

请参阅图4，在本发明的一个具体实施例中，观众选中礼物的流程包括：观众在客户端点击礼物背景，上传屏幕坐标到视频SDK匹配识别对应礼物ID，将识别到的礼物以选中状态展示在观众的客户端。

请参阅图4，在本发明的一个具体实施例中，观众送出礼物的流程包括：观众在客户端点击一个礼物的送出按钮，上传屏幕坐标到视频SDK匹配识别对应的礼物ID；将识别到的礼物ID和观众UID发送至服务器，完成送礼扣费；在送礼观众和其他观众以及主播的客户端展示送礼效果。

利用本发明提出的直播视频交互方法，如图4所示，在直播场景中，观众可通过与直播背景交互选中背景礼物墙中的礼物，视频SDK屏幕坐标识别礼物，可直接送出礼物。

另外，利用本发明提供的直播视频交互方法，如图3和图4所示，主播本人和观众都可见礼物背景墙，且主播端用户端所见信息、位置一致。

本发明的实施例还提供一种直播视频交互装置，该装置对应于前述的视频合成端(也称为服务端)，具体的，该装置主要包括：礼物信息接收模块、礼物背景生成模块、原始视频接收模块、人像识别模块、视频合成模块以及合成视频输出模块。

其中，该礼物信息接收模块用于接收多个虚拟礼物的设置信息。

该礼物背景生成模块用于根据多个虚拟礼物的设置信息生成礼物背景层。

该原始视频接收模块用于接收实时采集的原始视频。

该人像识别模块用于从原始视频中识别出人像。

该视频合成模块用于根据识别出人像的视频和礼物背景层进行合成，得到合成后的具有人物前景和礼物背景的合成视频。

合成视频输出模块用于输出具有人物前景和礼物背景的合成视频。

在本发明的一些实施例中，前述的虚拟礼物的设置信息包括：礼物接收者的标识、礼物的标识以及礼物的位置信息。可选的，礼物的位置信息包括每个礼物的绝对位置坐标和/或多个礼物之间的相对位置关系。

在本发明的一些实施例中，前述的礼物背景生成模块具体用于：根据礼物的标识获取礼物图标，或者获取虚拟礼物的设置信息中的礼物图标；将礼物图标根据礼物的位置信息设置在背景层中，以得到礼物背景层。作为一个具体示例，可以将礼物图标设置在背景层网格框架的方形容器中，以得到礼物背景墙。

在本发明的一些实施例中，前述的视频合成模块具体用于：

从原始视频中将识别出的人像分离以得到的人物前景层，将人物前景层和礼物背景层进行合成以将人物前景层覆盖到礼物背景层之上，得到具有人物前景和礼物背景的合成视频；或，

根据在原始视频中识别出的人像的轮廓来去除礼物背景层中的人像区域，得到去除人像区域的礼物背景层，将去除人像区域的礼物背景层和原始视频进行合成以覆盖原始视频中的原始背景，得到具有人物前景和礼物背景的合成视频。

在本发明的一些实施例中，前述的视频合成模块具体用于执行以下的一个或多个步骤：

根据从原始视频中识别出的人像的轮廓在礼物背景层中确定一个或多个展示礼物区域，根据展示礼物区域确定礼物展示尺寸，根据礼物展示尺寸调整多个礼物图标的尺寸，将调整尺寸后的礼物图标设置在展示礼物区域，以便将虚拟礼物展示在人像周围而不被人像遮挡；和/或，

根据从原始视频中识别出的人像的轮廓在礼物背景层中确定一个或多个展示礼物区域，根据礼物图标生成礼物模块，根据展示礼物区域的位置和空间、并根据礼物的位置信息中的多个礼物之间的相对位置关系，来确定礼物模块的绝对位置坐标，以在每个展示礼物区域中设置一个或多个礼物模块，以便将虚拟礼物展示在人像周围而不被人像遮挡；和/或，

根据在原始视频中识别出的人像的轮廓，在礼物背景层中确定透明区域，将礼物背景层中的位于透明区域的部分和人物前景依据预设的透明度进行合成，以便能够显示被人像遮挡的虚拟礼物。

在本发明的一些实施例中，前述的合成模块还用于：持续地从原始视频中识别人像，并根据人像的轮廓来调整展示礼物区域，以便虚拟礼物的位置跟随人像的移动而改变。

在本发明的一些实施例中，本发明的服务端的直播视频交互装置还包括：一个或多个礼物交互模块，用于允许用户针对礼物背景中的至少一个礼物进行交互操作，以选中礼物或送出礼物。

在一种可选实施例中，视频合成端也可展示合成视频，以便观察调整合成效果。具体的，本发明的服务端的直播视频交互装置还包括：视频展示模块，用于展示具有人物前景和礼物背景的合成视频。

本发明的实施例还提供一种直播视频交互装置，该装置对应于前述的用户端，具体的，该装置主要包括：视频展示模块，用于接收具有人物前景和礼物背景的合成视频并进行展示。其中，该具有人物前景和礼物背景的合成视频可以是利用前述的服务端装置通过以下步骤得到的：从实时采集的原始视频中识别出人像，根据多个虚拟礼物的设置信息生成礼物背景层，根据识别出人像的视频和礼物背景层进行合成，得到具有人物前景和礼物背景的合成视频。

在本发明的一些实施例中，前述的虚拟礼物的设置信息包括：礼物接收者的标识、礼物的标识以及礼物的位置信息。可选的，礼物的位置信息包括每个礼物的绝对位置坐标和/或多个礼物之间的相对位置关系。

在本发明的一些实施例中，本发明的用户端的直播视频交互装置还包括：一个或多个礼物交互模块，用于允许用户针对礼物背景中的至少一个礼物进行交互操作，以选中礼物或送出礼物。

在本发明的一些实施例中，本发明的用户端的直播视频交互装置还包括以下的一个或多个模块：

礼物信息输入模块，用于接收用户输入的多个虚拟礼物的设置信息；

视频采集模块，用于实时采集用户的原始视频；

发送模块，用于将多个虚拟礼物的设置信息和/或原始视频发送至视频合成端。

在本发明的一些实施例中，本发明的用户端的直播视频交互装置还包括礼物效果展示模块，用于在接收到扣费端传来的送礼成功信息后，展示与待送出礼物对应的送礼效果。

另外，本发明实施例示出的各种直播视频交互装置的包括有用于执行前述各个实施例方法对应的模块和单元，而其详细说明和技术效果可以参考前述各实施例中的相应说明，在此不再赘述。

图5是图示根据本发明的一个实施例的直播视频交互设备的示意性框图。如图5所示，根据本公开实施例的直播视频交互设备100包括存储器101和处理器102。

该存储器101用于存储非暂时性计算机可读指令。具体地，存储器101可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

该处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制直播视频交互设备100中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器102用于运行该存储器101中存储的该计算机可读指令，使得该直播视频交互设备100执行前述的本公开各实施例的直播视频交互方法的全部或部分步骤。

本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本发明的保护范围之内。

有关本实施例的详细说明和技术效果可以参考前述各实施例中的相应说明，在此不再赘述。

本发明的实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在设备上运行时，使得设备执行上述相关方法步骤实现上述实施例中的直播视频交互方法。

本发明的实施例还提供一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的直播视频交互方法。

另外，本发明的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的直播视频交互方法。

其中，本发明提供的装置、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (15)

1.一种直播视频交互方法，其特征在于，所述方法包括以下步骤：

接收多个虚拟礼物的设置信息；

根据所述多个虚拟礼物的所述设置信息生成礼物背景层；

接收实时采集的原始视频；

从所述原始视频中识别出人像；

根据识别出人像的视频和所述礼物背景层进行合成，得到合成后的具有人物前景和礼物背景的合成视频；以及，

输出所述具有人物前景和礼物背景的合成视频。

2.根据权利要求1所述的直播视频交互方法，其特征在于，所述设置信息包括：

礼物接收者的标识、礼物的标识以及礼物的位置信息，其中，所述礼物的位置信息包括每个礼物的绝对位置坐标和/或多个礼物之间的相对位置关系。

3.根据权利要求2所述的直播视频交互方法，其特征在于，所述根据所述多个虚拟礼物的所述设置信息生成礼物背景层包括：

根据所述礼物的标识从数据库中获取对应的礼物图标，或者，所接收到的所述设置信息中还包括礼物图标，获取所述设置信息中的所述礼物图标；

将所述礼物图标根据所述礼物的位置信息设置在背景层中，以得到所述礼物背景层。

4.根据权利要求1所述的直播视频交互方法，其特征在于，根据识别出人像的视频和所述礼物背景层进行合成，得到合成后的具有人物前景和礼物背景的合成视频的步骤包括：

从所述原始视频中将识别出的人像分离以得到的人物前景层，将所述人物前景层和所述礼物背景层进行合成以将所述人物前景层覆盖到所述礼物背景层之上，得到所述具有人物前景和礼物背景的合成视频；或，

根据在所述原始视频中识别出的人像的轮廓来去除所述礼物背景层中的人像区域，得到去除人像区域的礼物背景层，将所述去除人像区域的礼物背景层和所述原始视频进行合成以覆盖所述原始视频中的原始背景，得到所述具有人物前景和礼物背景的合成视频。

5.根据权利要求1所述的直播视频交互方法，其特征在于，所述根据识别出人像的视频和所述礼物背景层进行合成，得到合成后的具有人物前景和礼物背景的合成视频的步骤包括：

根据从所述原始视频中识别出的人像的轮廓在所述礼物背景层中确定一个或多个展示礼物区域，根据所述展示礼物区域确定礼物展示尺寸，根据所述礼物展示尺寸调整多个所述礼物图标的尺寸，将调整尺寸后的所述礼物图标设置在所述展示礼物区域，以便将虚拟礼物展示在人像周围而不被人像遮挡；和/或，

根据从所述原始视频中识别出的人像的轮廓在所述礼物背景层中确定一个或多个展示礼物区域，根据所述礼物图标生成礼物模块，根据所述展示礼物区域的位置和空间、并根据所述礼物的位置信息中的多个礼物之间的相对位置关系，来确定所述礼物模块的绝对位置坐标，以在每个所述展示礼物区域中设置一个或多个所述礼物模块，以便将虚拟礼物展示在人像周围而不被人像遮挡；和/或，

根据在所述原始视频中识别出的人像的轮廓，在所述礼物背景层中确定透明区域，将所述礼物背景层中的位于所述透明区域的部分和所述人物前景依据预设的透明度进行合成，以便能够显示被人像遮挡的虚拟礼物。

6.根据权利要求5所述的直播视频交互方法，其特征在于，所述根据识别出人像的视频和所述礼物背景层进行合成，得到合成后的具有人物前景和礼物背景的合成视频的步骤还包括：

持续地从所述原始视频中识别人像，并根据人像的轮廓来调整所述展示礼物区域，以便虚拟礼物的位置跟随人像的移动而改变。

7.根据权利要求1至6中任意一项所述的直播视频交互方法，其特征在于，所述方法还包括：

允许用户针对所述礼物背景中的至少一个礼物进行交互操作，以选中所述礼物或送出所述礼物。

8.一种直播视频交互方法，其特征在于，所述方法包括以下步骤：

接收具有人物前景和礼物背景的合成视频并进行展示，其中，所述具有人物前景和礼物背景的合成视频是通过以下步骤得到的：

从实时采集的原始视频中识别出人像，

根据多个虚拟礼物的设置信息生成礼物背景层，

根据识别出人像的视频和所述礼物背景层进行合成，得到所述具有人物前景和礼物背景的合成视频。

9.根据权利要求8所述的直播视频交互方法，其特征在于，所述设置信息包括：

礼物接收者的标识、礼物的标识以及礼物的位置信息，其中，所述礼物的位置信息包括每个礼物的绝对位置坐标和/或多个礼物之间的相对位置关系。

10.根据权利要求8所述的直播视频交互方法，其特征在于，所述方法还包括：

允许用户针对所述礼物背景中的至少一个礼物进行交互操作，以选中所述礼物或送出所述礼物。

11.根据权利要求8所述的直播视频交互方法，其特征在于，所述方法还包括：

接收用户输入的多个虚拟礼物的设置信息；

实时采集用户的原始视频；

将所述多个虚拟礼物的所述设置信息和/或所述原始视频发送至视频合成端；和/或，

在接收到扣费端传来的送礼成功信息后，展示与所述待送出礼物对应的送礼效果。

12.一种直播视频交互装置，其特征在于，所述装置包括：

礼物信息接收模块，用于接收多个虚拟礼物的设置信息；

礼物背景生成模块，用于根据所述多个虚拟礼物的所述设置信息生成礼物背景层；

原始视频接收模块，用于接收实时采集的原始视频；

人像识别模块，用于从所述原始视频中识别出人像；

视频合成模块，用于根据识别出人像的视频和所述礼物背景层进行合成，得到合成后的具有人物前景和礼物背景的合成视频；

合成视频输出模块，用于输出所述具有人物前景和礼物背景的合成视频。

13.一种直播视频交互装置，其特征在于，所述装置包括：

视频展示模块，用于接收具有人物前景和礼物背景的合成视频并进行展示；

其中，所述具有人物前景和礼物背景的合成视频是通过以下步骤得到的：从实时采集的原始视频中识别出人像，根据多个虚拟礼物的设置信息生成礼物背景层，根据识别出人像的视频和所述礼物背景层进行合成，得到所述具有人物前景和礼物背景的合成视频。

14.一种直播视频交互设备，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述计算机可读指令被所述处理器执行时实现权利要求1至11中任一项所述的直播视频交互方法。

15.一种计算机存储介质，其特征在于，包括计算机指令，当所述计算机指令在设备上运行时，使得所述设备执行如权利要求1至11中任一项所述的直播视频交互方法。

Images