CN110324648A - 直播展现方法和系统 - Google Patents

Abstract

本发明实施例提供一种直播展现方法和系统，所述方法包括：获取主播视觉焦点定位到的画面信息；将所述画面信息发送到展示终端，以使所述展示终端展现所述画面信息。本发明实施例能够使观众直观辨认主播想要展示的对象，增强直播中的互动性。

Description

直播展现方法和系统

技术领域

本发明涉及互联网技术领域，尤其涉及一种直播展现方法和系统。

背景技术

随着移动互联网的发展，直播行业兴起，人们逐渐习惯于观看各类丰富 多彩的视频直播节目。

目前的视频直播中，主播和观众进行互动时，需要用语言描述自己正在 关注的人物/物体，来提醒观众关注，而观众需要主播的提醒方能注意到主播 关注的对象，不能快速感知主播的互动对象，直播互动性差。

发明内容

针对现有技术问题，本发明实施例提供一种直播展现方法和系统。

本发明实施例提供一种直播展现方法，所述方法包括：

获取主播视觉焦点定位到的画面信息；

将所述画面信息发送到展示终端，以使所述展示终端展现所述画面信息。

本发明实施例提供一种直播展现方法，所述方法包括：

接收主播视觉焦点定位到的画面信息；

在直播视频中展现所述画面信息。

本发明实施例提供一种直播展现系统，所述直播展现系统包括至少两个 展示终端，所述展示终端用于实现上述直播展现方法。

本发明实施例还提供一种电子设备，包括存储器、处理器以及存储在存 储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现 上述直播展现方法。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算 机程序，所述程序被处理器执行时实现上述直播展现方法。

本发明实施例提供的直播展现方法和系统，通过追踪主播的视觉焦点， 定位主播关注的画面，将主播关注的画面在展示终端上突出显示，能够使观 众直观辨认主播想要展示的对象，增强直播中的互动性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下 面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的直播展现方法的流程示意图；

图2为本发明一实施例提供的直播展现方法的流程示意图；

图3为本发明一实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发 明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获 得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明实施例提供的一种直播展现方法的流程示意图。

如图1所示，本发明实施例提供的直播展现方法包括以下步骤：

S11、获取主播视觉焦点定位到的画面信息；

具体地，当主播与观众进行互动，例如主播向观众描述关注的物体、人 物或回复观众的留言时，采用视觉追踪算法对主播的视线进行实时追踪，定 位主播的视觉焦点，得到主播所关注的画面。

S12、将所述画面信息发送到展示终端，以使所述展示终端展现所述画面 信息。

具体地，将主播关注的画面发送到展示终端，以在展示终端上突出展示 主播互动的画面。

本发明实施例提供的直播展现方法，通过追踪主播的视觉焦点，定位主 播关注的画面，将主播关注的画面在展示终端上突出显示，以便观众直观辨 认主播想要展示的对象，能够增强直播中的互动性。

在上述实施例的基础上，在步骤S11之前，所述方法还包括：

获取自身携带的至少一个摄像头在不同角度采集的画面；

将采集的画面合成立体图像，所述立体图像为主播当前所处场景的全景 画面。

具体地，主播侧终端至少携带一个摄像头，可以是一个终端外置的VR 摄像头，能够采集主播所处场景四周的画面。也可以使用两个摄像头，例如 终端自带的前置摄像头和后置摄像头，前置摄像头采集主播视频画面，后置 摄像头采集场景视频画面。通过主播角度的调整，能够得到所处场景各个角 度的画面，将这些画面合成一张立体图像，该立体图像即为主播当前所述场 景的全景画面。需要说明的是，如果采用两个摄像头，则将两个摄像头采集 的画面都上传到后台服务器进行画面合成。

在上述实施例的基础上，步骤S11具体包括以下步骤：

通过所述至少一个摄像头采集主播视觉焦点，确定所述视觉焦点定位到 所述全景画面中的特定角度的画面；

以所述主播视觉焦点为中心，按照指定距离从所述特定角度的画面中抽 取出一个矩形画面；并从所述矩形画面中截取出主播所关注的物体的图像；

根据所述图像识别主播关注的物体，并获取所述主播关注的物体的关联 信息。

具体地，通过终端自带的前置摄像头采集主播面部信息，并通过机器识 别算法，定位主播的眼球信息，基于眼球信息，定位到全景画面的某个特定 角度内的图像信息。以视觉焦点为中心，上下左右按照指定距离进行抽取， 得到矩形画面。需要说明的是，按照眼睛看到的画面为球形，指定距离可理 解为距离眼球焦点上下左右的经纬度，例如选取10度进行抽取，形成画面矩 形。将主播观看的画面矩形块进行图像截取，截取主播关注的对象的图像。 识别出图像中主播关注的物体，对物体信息进行后台比对，获取物体的关联 信息。例如当识别出主播观看东方明珠电视台时，得到电视台的当前图像， 和/或，电视台相关信息，比如高度，年份等。又例如在识别出主播关注的一 件衣物，获取到此服装的购买地址等。

在上述实施例的基础上，步骤S12具体包括以下步骤：

将所述主播关注的物体的图像和所述主播关注的物体的关联信息发送到 展示终端，以使所述展示终端展现所述主播关注的物体的图像和所述主播关 注的物体的关联信息。

例如将主播关注的东方明珠电视台的画面，或者，东方明珠电视台的高 度，年份等信息，或者，东方明珠电视台的画面及东方明珠电视台的高度， 年份等信息发送到展示终端，以在展示终端上展示。又例如将主播关注衣服 图片及购买链接发送到展示终端，以在展示终端上展示。

在上述实施例的基础上，步骤S11具体包括：

当主播视觉焦点定位到直播视频上的留言区时，根据当前主播的语音确 定主播关注的留言。

具体地，当主播对观众的留言进行回应或评论等互动时，会复述或部分 复述观众留言，以便让观众知道接下来要对该留言进行回应。视觉焦点可能 会落在直播终端的屏幕上的留言区，本发明实施例结合语音识别、文本匹配 能够定位到主播视觉焦点落在具体哪条留言上。具体实施过程可为：获取主 播视觉焦点在屏幕上的位置，将该位置的留言加入到一个待匹配留言队列中， 同时将主播当前所说的话识别为文字。待匹配留言队列是用来保存主播视觉 焦点定位到的留言，当主播视线落到其他留言上时，将其他留言动态补充到待匹配留言队列中，并且在留言加入队列时，同时记录每条留言的加入时间。 将根据语音识别出的文字跟待匹配留言队列中的留言进行模糊匹配，匹配成 功的留言就是主播所关注的留言。

需要说明的是，如果用户留言显示区能保证肉眼看清的最快刷新速度为 v，当监测到主播视线关注点落到留言显示区时，如果当前的刷新速度超过v，则自动将刷新速度降低到v，保证主播能清晰看到用户留言，观众端的刷 新速度与主播端保持一致。

需要说明的是，每次匹配成功后，将匹配到的留言及在它之前加入队列 的所有留言从待匹配留言队列中删除。动态更新“待匹配留言队列”既能够 保证留言队列的完整性又能够有效降低模糊匹配开销。

在上述实施例的基础上，步骤S12具体包括：

将所述主播关注的留言的标识信息发送到展示终端，以使所述展示终端 展现所述主播关注的留言。

具体地，当匹配成功时，将匹配成功的留言标识发送到展示终端，以便 观众了解主播当前的互动主题。

需要说明的是，如果在匹配成功时刻，匹配到的留言已不在留言区显示， 则重新将该留言显示到留言区，并将留言标识发送到展示终端。

在上述实施例的基础上，步骤S11具体包括：

当主播视觉焦点定位到直播视频上的非留言区时，根据直播画面的尺寸 确定主播视觉焦点在所述直播画面上的坐标信息.

具体地，当主播描述直播画面中的人物/物体时，视觉焦点落在屏幕中主 播所描述的对象。本发明实施例根据主播拍摄画面的尺寸信息获取视觉焦点 在直播屏幕上的坐标信息。

在上述实施例的基础上，步骤S12具体包括：

将所述主播视觉焦点在所述直播画面上的坐标信息发送到展示终端，以 使所述展示终端根据所述坐标信息展现主播关注的对象。

具体地，如果主播拍摄画面的尺寸为w*h，主播视线在画面上的关注点 坐标为(x,y)，则w、h、x、y信息都被实时通知到展示终端，以便在展示终端 识别出该坐标点对应的对象，使观众直观辨认主播的描述对象。

在上述实施例的基础上，在步骤S11获取主播视觉焦点定位到的画面信 息之后，所述方法还包括：

将所述主播视觉焦点定位到的直播视频中的画面信息显示在直播视频中。

具体地，当识别出主播观看的物体并获取物体的关联对象之后，在主播 直播画面中突出显示。例如，例如当识别出主播观看东方明珠电视台时，得 到电视台相关信息，比如高度，年份等。在主播直播画面上显示东方明珠电 视台，并将关联信息以弹幕等形式显示。又例如在识别出主播关注的一件衣 物，并获取到此服装的购买地址等关联信息时。在主播直播画面上显示该衣 物，并将购买地址等关联信息以弹幕等形式显示。

需要说明的是，主播关注的对象的图像可以上以小窗格的形式位于直播 画面的特定位置(如又上方)进行显示，也可以以全屏形式进行显示，或者 两种方式可以切换，本发明实施例对图像显示方式不做限制。

当通过语音识别和文字匹配得到主播互动的留言时，在主播直播画面上 将留言标识为其他颜色，用以突出显示，并同时将该留言作为弹幕显示。

需要说明的是，如果在匹配成功时刻，主播回应的留言已不在留言区显 示，则重新将该留言显示到留言区，并标识为突出显示颜色，同时将该留言 作为弹幕显示。

当根据视觉焦点定位的坐标确定主播描述的直播画面中的对象时，在主 播描述的对象上添加半透明图层，以进行突出显示。

图2示出了本发明一实施例提供的直播展现方法的流程示意图。

如图2所示，所述方法包括以下步骤：

S21、接收主播视觉焦点定位到的画面信息；

具体地，观看主播直播的观众所持有的展示终端接收主播互动时视觉焦 点定位的画面信息，包括主播观看的场景中的物体的画面信息，主播对留言 区的互动信息和/或主播描述的直播画面中的对象的信息。

S22、在直播视频中展现所述画面信息。

具体地，将主播互动时关注的画面进行突出显示，以便观众直观了解主 播互动内容。

本发明实施例提供的直播展现方法，通过接收主播互动时关注的画面信 息，并将画面信息进行突出显示，能够使观众直观辨认主播想要展示的对象， 增强直播中的互动性。

在上述实施例的基础上，步骤S21具体包括：

接收所述主播关注的物体的图像和所述主播关注的物体的关联信息；

步骤S22具体包括：

将所述主播关注的物体的图像显示在直播视频中，并将所述主播关注的 物体的关联信息作为弹幕显示在直播视频中。

具体地，当接收到的画面信息为主播所关注对象的图像和关联信息时， 将图像在直播画面上显示，并将关联信息作为弹幕显示。

例如主播关注的物体为东方明珠电视台，显示东方明珠电视台的图像， 并且以弹幕形式显示东方明珠电视台的高度、年份等关联信息。又如主播关 注的物体为一件衣服时，将衣服图像显示在直播屏幕上，并将衣服的购买地 址等关联信息以弹幕形式显示。

需要说明的是，主播关注的对象的图像可以上以小窗格的形式位于直播 画面的特定位置(如又上方)进行显示，也可以以全屏形式进行显示，或者 两种方式可以切换，本发明实施例对图像显示方式不做限制。

在上述实施例的基础上，步骤S21具体包括：

接收主播关注的留言的标识信息；

步骤S22具体包括：

根据所述主播关注的留言的标识信息确定主播关注的留言；

将所述主播关注的留言标识为特定颜色，并将所述留言作为弹幕显示在 直播视频中。

具体地，当接收到的画面信息为主播互动的留言的标识信息时，将主播 互动的留言在直播画面上显示。

例如当主播对观众的留言给出回应之前，会复述或部分复述观众留言， 以便让观众知道接下来要对该留言进行回应。针对主播回应的留言高亮显示， 或标识为其他颜色，用以突出显示，同时将该留言作为弹幕显示，方便观众 了解主播当前的互动主题。

需要说明的是，如果主播回应的留言当前时刻已不在留言区显示，则重 新将该留言显示到留言区，并标识为突出显示颜色，同时将该留言作为弹幕 显示。

在上述实施例的基础上，步骤S21具体包括：

接收主播视觉焦点在主播端直播画面上的坐标信息；

步骤S22具体包括：

将所述主播视觉焦点在所述主播端直播画面上的坐标转换为在当前直播 画面上的坐标；

采用实例分割算法从所述当前端直播画面中分割出目标实例，所述目标 实例包括所述当前端直播画面中的对象；

根据所述在所述当前直播画面上的坐标和所述目标实例确定主播关注的 对象；

将所述主播关注的对象添加半透明图层在所述直播视频上显示。

具体地，接收到的画面信息为主播描述的对象的坐标时，将坐标进行转 换得到在观众侧展示终端的坐标，并结合实例分割技术，确定主播视线所关 注的对象。具体为：如果接收到的坐标为(x,y)，以及主播拍摄画面的尺寸w*h， 用户端画面尺寸为w'*h'，则转换为展示终端上的坐标为(x',y')，其中x'＝x*w'/w， y'＝y*h'/h。同时，基于Mask-RCNN算法对直播画面实时进行实例分割，得到 分割结果mask，每个分割结果为一个对象，如画面中有10个提包，根据实 例分割算法分割出每个mask为一个提包。分割出的mask结果结合主播关注 点转换在展示终端上的坐标(x',y')，能够唯一确定出主播视线正在关注的对 象。

将主播关注的对象添加半透明图层，以突出显示，使观众直观辨认主播 描述的对象。

本发明实施例提供一种直播展现系统，所述直播展现系统包括至少两个 展示终端，主播侧的展示终端用于实现如下方法：

获取主播视觉焦点定位到的画面信息；

将所述画面信息发送到展示终端，以使所述展示终端展现所述画面信息。

观众侧的展示终端用于实现如下方法：

接收主播视觉焦点定位到的画面信息；

在直播视频中展现所述画面信息。

图3示例了一种服务器的实体结构示意图，如图3所示，该服务器可以 包括：处理器(processor)11、通信接口(Communications Interface)12、存储器 (memory)13和通信总线14，其中，处理器11，通信接口12，存储器13通过 通信总线14完成相互间的通信。处理器11可以调用存储器13中的逻辑指令， 以执行如下方法：

获取主播视觉焦点定位到的画面信息；

将所述画面信息发送到展示终端，以使所述展示终端展现所述画面信息。

此外，上述的存储器13中的逻辑指令可以通过软件功能单元的形式实现 并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。 基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部 分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产 品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是 个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的 全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM， Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、 磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上 存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例 提供的方法，例如包括：

获取主播视觉焦点定位到的画面信息；

将所述画面信息发送到展示终端，以使所述展示终端展现所述画面信息。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实 施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬 件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部 分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可 读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台 计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施 例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其 限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或 者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技 术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种直播展现方法，其特征在于，所述方法包括：

获取主播视觉焦点定位到的画面信息；

将所述画面信息发送到展示终端，以使所述展示终端展现所述画面信息。

2.根据权利要求1所述的直播展现方法，其特征在于，在所述获取主播视觉焦点定位到的画面信息之前，所述方法还包括：

获取自身携带的至少一个摄像头在不同角度采集的画面；

将采集的画面合成立体图像，所述立体图像为主播当前所处场景的全景画面。

3.根据权利要求2所述的直播展现方法，其特征在于，所述获取主播视觉焦点定位到的画面信息包括：

通过所述至少一个摄像头采集主播视觉焦点，确定所述视觉焦点定位到所述全景画面中的特定角度的画面；

以所述主播视觉焦点为中心，按照指定距离从所述特定角度的画面中抽取出一个矩形画面；并从所述矩形画面中截取出主播所关注的物体的图像；

根据所述图像识别主播关注的物体，并获取所述主播关注的物体的关联信息；

所述将所述画面信息发送到展示终端，以使所述展示终端展现所述画面信息包括：

将所述主播关注的物体的图像和所述主播关注的物体的关联信息发送到展示终端，以使所述展示终端展现所述主播关注的物体的图像和所述主播关注的物体的关联信息。

4.根据权利要求1所述的直播展现方法，其特征在于，

所述获取主播视觉焦点定位到的画面信息包括：

当主播视觉焦点定位到直播视频上的留言区时，根据当前主播的语音确定主播关注的留言；

所述将所述画面信息发送到展示终端，以使所述展示终端展现所述画面信息包括：

将所述主播关注的留言的标识信息发送到展示终端，以使所述展示终端展现所述主播关注的留言。

5.根据权利要求1所述的直播展现方法，其特征在于，

所述获取主播视觉焦点定位到的画面信息包括：

当主播视觉焦点定位到直播视频上的非留言区时，根据直播画面的尺寸确定主播视觉焦点在所述直播画面上的坐标信息；

所述将所述画面信息发送到展示终端，以使所述展示终端展现所述画面信息包括：

将所述主播视觉焦点在所述直播画面上的坐标信息发送到展示终端，以使所述展示终端根据所述坐标信息展现主播关注的对象。

6.根据权利要求1-5任一项所述的直播展现方法，其特征在于，在所述获取主播视觉焦点定位到的画面信息之后，所述方法还包括：

将所述主播视觉焦点定位到的直播视频中的画面信息显示在直播视频中。

7.一种直播展现方法，其特征在于，所述方法包括：

接收主播视觉焦点定位到的画面信息；

在直播视频中展现所述画面信息。

8.根据权利要求7所述的直播展现方法，其特征在于，

所述接收主播视觉焦点定位到的画面信息包括：

接收所述主播关注的物体的图像和所述主播关注的物体的关联信息；

所述在直播视频中展现所述画面信息包括：

将所述主播关注的物体的图像显示在直播视频中，并将所述主播关注的物体的关联信息作为弹幕显示在直播视频中。

9.根据权利要求7所述的直播展现方法，其特征在于，

所述接收主播视觉焦点定位到的画面信息包括：

接收主播关注的留言的标识信息；

所述在直播视频中展现所述画面信息包括：

根据所述主播关注的留言的标识信息确定主播关注的留言；

将所述主播关注的留言标识为特定颜色，并将所述留言作为弹幕显示在直播视频中。

10.根据权利要求7所述的直播展现方法，其特征在于，

所述接收主播视觉焦点定位到的画面信息包括：

接收主播视觉焦点在主播端直播画面上的坐标信息；

所述在直播视频中展现所述画面信息包括：

将所述主播视觉焦点在所述主播端直播画面上的坐标转换为在当前直播画面上的坐标；

采用实例分割算法从所述当前端直播画面中分割出目标实例，所述目标实例包括所述当前端直播画面中的对象；

根据所述在所述当前直播画面上的坐标和所述目标实例确定主播关注的对象；

将所述主播关注的对象添加半透明图层在所述直播视频上显示。

11.一种直播展现系统，其特征在于，所述直播展现系统包括至少两个展示终端，所述展示终端用于实现如权利要求1至6，或7至10任一项所述直播展现方法的步骤。

12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6，或7至10任一项所述直播展现方法的步骤。

13.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6，或7至10任一项所述直播展现方法的步骤。