CN111225287A - 一种弹幕处理的方法及装置、电子设备、存储介质 - Google Patents

一种弹幕处理的方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111225287A
CN111225287A CN201911184515.0A CN201911184515A CN111225287A CN 111225287 A CN111225287 A CN 111225287A CN 201911184515 A CN201911184515 A CN 201911184515A CN 111225287 A CN111225287 A CN 111225287A
Authority
CN
China
Prior art keywords
image data
data
client
bullet screen
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911184515.0A
Other languages
English (en)
Inventor
庄宇轩
孙静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201911184515.0A priority Critical patent/CN111225287A/zh
Publication of CN111225287A publication Critical patent/CN111225287A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供一种弹幕处理的方法，所述方法包括：接收客户端实时采集的第一图像数据；根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面；确定当所述当前特征平面与目标历史特征平面匹配时，将所述与目标历史特征平面对应的所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据；将所述第二图像数据发送至所述客户端。本发明实施例使得用户可以在现实场景中通过客户端查看其他用户或主播在相同现实场景发送的AR弹幕，丰富了观众与观众之间、观众与主播之间的互动形式，增强了线上弹幕互动与线下互动之间的联系，提高了用户的体验，有利于直播的进行。

Description

一种弹幕处理的方法及装置、电子设备、存储介质
技术领域
本发明涉及计算机领域，特别是涉及一种弹幕处理的方法及装置、电子设备、存储介质。
背景技术
近两年，随着互联网的发展，泛娱乐化的网络直播逐渐走进大众的视野。网络直播凭借无延迟的即时反馈和多维的互动，给受众更强的沉浸感，日渐风靡。
目前在直播平台中，存在着大量需要互动的线下场景直播，如户外直播、线下粉丝节和年度盛典活动等，然而观看线下场景直播的观众只能通过在直播间内发送弹幕，或者在线下找到进行直播的主播进行当面互动，观众与观众之间、观众与主播之间的互动形式单一，线上弹幕互动与线下互动之间联系较弱，用户体验较差，不利于直播的进行。
发明内容
鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种弹幕处理的方法及装置、电子设备、存储介质，包括：
为了解决上述问题，本发明实施例公开了一种弹幕处理的方法，应用于服务端，所述服务端存储有至少一个第一增强现实AR弹幕数据，以及与所述第一AR弹幕数据对应的历史特征平面；所述服务端与至少一个客户端连接；所述方法包括：
接收客户端实时采集的第一图像数据；
根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面；
确定当所述当前特征平面与目标历史特征平面匹配时，
将所述与目标历史特征平面对应的所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据；
将所述第二图像数据发送至所述客户端；所述客户端用于展示所述第二图像数据。
优选地，所述方法，还包括：
接收所述客户端针对所述第一图像数据发送的第二AR弹幕数据；
将所述第二AR弹幕数据与所述第二图像数据进行混合处理，生成第三图像数据；
将所述第三图像数据发送至所述客户端；所述客户端用于展示所述第三图像数据。
优选地，所述根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面的步骤，包括：
获取所述第一图像数据连续帧内的特征点；
采用特征点检测算法对所述特征点进行筛选，确定目标特征点；
采用所述目标特征点计算所述第一图像数据的偏移和变换向量，生成所述特征平面。
优选地，所述第一AR弹幕数据包括与所述历史特征平面具有对应关系的历史特征参数，所述当前特征平面具有对应的当前特征参数，所述根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面之后，还包括：
判断是否存在与所述当前特征参数匹配的历史特征参数；
若是，则确定所述当前特征平面与所述历史特征匹配。
优选地，所述第一图像数据包括至少一帧图像；所述第一AR弹幕数据包括第一用户需求说明URS数据、第一弹幕文本数据；所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据的步骤，包括：
将所述URS数据和所述第一弹幕文本数据混合挂接在当前帧的所述图像数据上，生成所述第二图像数据。
优选地，所述客户端位于移动终端，所述移动终端具有屏幕区域，所述方法还包括：
根据所述第一互动玩法数据生成与所述第一弹幕文本数据匹配的可触控区域；所述客户端还用于在展示所述第二图像数据时，响应于用户针对所述可触控区域的点击操作，向服务端发送虚拟物品获取请求并接收服务端响应于所述虚拟物品获取请求返回的所述虚拟物品。
为了解决上述问题，本发明实施例还公开了一种弹幕处理的方法，应用于客户端，所述客户端位于移动终端，与服务端连接；所述服务端存储有至少一个第一增强现实AR弹幕数据，以及与所述第一AR弹幕数据对应的历史特征平面；所述移动终端具有摄像头，所述方法包括：
响应于用户进入AR玩法的操作，调用所述移动终端的摄像头实时采集第一图像数据；
将所述第一图像数据发送至所述服务端；所述服务端用于根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面；确定当所述当前特征平面与目标历史特征平面匹配时，将所述与目标历史特征平面对应的所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据；
接收所述服务端发送的所述第二图像数据并进行展示。
本发明实施例还公开了一种弹幕处理的装置，应用于服务端，所述服务端存储有至少一个第一增强现实AR弹幕数据，以及与所述第一AR弹幕数据对应的历史特征平面；所述服务端与至少一个客户端连接；所述装置包括：
第一图像数据接收模块，用于接收客户端实时采集的第一图像数据；
特征平面模块，用于根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面；
第二图像数据生成模块，确定当所述当前特征平面与目标历史特征平面匹配时，将所述与目标历史特征平面对应的所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据；
发送模块，用于将所述第二图像数据发送至所述客户端；所述客户端用于展示所述第二图像数据。
本发明实施例还公开了一种弹幕处理的装置，应用于客户端，所述客户端位于移动终端，与服务端连接；所述服务端存储有至少一个第一增强现实AR弹幕数据，以及与所述第一AR弹幕数据对应的历史特征平面；所述移动终端具有摄像头，所述装置包括：
采集模块，用于响应于用户进入AR玩法的操作，调用所述移动终端的摄像头实时采集第一图像数据；
第一图像数据发送模块，用于将所述第一图像数据发送至所述服务端；所述服务端用于根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面；确定当所述当前特征平面与目标历史特征平面匹配时，将所述与目标历史特征平面对应的所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据；
展示模块，用于接收所述服务端发送的所述第二图像数据并进行展示。
本发明实施例还提供了一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，计算机程序被处理器执行时实现如上弹幕处理的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上弹幕处理的方法的步骤。
本发明具有以下优点：
在本发明的实施例中，通过接收客户端实时采集的第一图像数据，生成与第一图像数据对应的特征平面，确定当前特征平面与目标历史特征平面匹配时，将与目标历史特征平面对应的第一AR弹幕数据与第一图像数据进行混合处理，生成第二图像数据并发送至客户端展示给用户，使得用户可以在现实场景中通过客户端查看其他用户或主播在相同现实场景发送的AR弹幕，丰富了观众与观众之间、观众与主播之间的互动形式，增强了线上弹幕互动与线下互动之间的联系，提高了用户的体验，有利于直播的进行。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种弹幕处理的方法的步骤流程图；
图2是本发明实施例提供的另一种弹幕处理的方法的步骤流程图；
图3是本发明实施例提供的另一种弹幕处理的方法的步骤流程图；
图4是本发明实施例提供的另一种弹幕处理的方法的步骤流程图；
图5是本发明实施例提供的一种弹幕处理的装置的结构框图；
图6是本发明实施例提供的另一种弹幕处理的装置的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，示出了本发明实施例提供的一种弹幕处理的方法的步骤流程图，所述方法涉及服务端和客户端，所述服务端存储有至少一个第一增强现实AR弹幕数据，以及与所述第一AR弹幕数据对应的历史特征平面，所述服务端与至少一个客户端连接。
对于服务端而言，所述方法具体可以包括如下步骤：
步骤101，接收客户端实时采集的第一图像数据；
客户端可以为移动终端中的直播平台客户端，移动终端具有屏幕区域以及摄像头，摄像头可供第三方应用程序调用。
在具体实现中，用户可以通过点击移动终端屏幕区域中的客户端图标打开直播平台的客户端，在客户端中选择AR玩法，作为一种示例，选择方式可以是点击AR玩法对应的控件。客户端在接收到用户的点击事件后，调用移动终端的摄像头，在屏幕区域中为用户显示所采集的第一图像数据，同时将采集的第一图像数据实时传送至服务端中。
当然，本发明客户端并不仅仅应用于移动终端，还可以应用于个人计算机，个人计算机带有可供第三方应用程序调用的摄像头。
步骤102，根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面；
通过客户端调用摄像头所采集的第一图像数据为二维图像数据，因此为了复原图像数据采集对象，直播平台的服务端接收到来自客户端的第一图像数据后，对第一图像数据进行特征点选取，并进行三维建模，最终得到与第一图像数据对应的，可表征图像数据采集对象的当前特征平面。
步骤103，确定当所述当前特征平面与目标历史特征平面匹配时，将所述与目标历史特征平面对应的所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据；
在直播平台服务端中，存储有至少一个其他用户或主播发送的AR弹幕数据，AR弹幕数据具有对应的历史特征平面，历史特征平面对应的图像数据为AR弹幕发送时所对应的图像数据。
在生成当前特征平面后，直播平台服务端将当前特征平面与历史特征平面进行匹配，当匹配成功时，即可确认有其他用户在第一图像数据对应的图像采集对象处发送过AR弹幕，将与该历史特征平面对应的第一AR弹幕与第一图像数据进行混合处理，生成包含其他用户所发送的AR弹幕的第二图像数据。
步骤104，将所述第二图像数据发送至所述客户端；所述客户端用于展示所述第二图像数据。
在得到第二图像数据后，将第二图像数据发送至直播平台客户端，直播平台客户端在其屏幕区域处为用户显示第二图像数据，用户可通过第二图像数据看到其他用户或主播发送的AR弹幕。
在本发明的实施例中，通过接收客户端实时采集的第一图像数据，根据第一图像数据生成与第一图像数据对应的当前特征平面，当前特征平面与目标历史特征平面匹配时，将与目标历史特征平面对应的第一AR弹幕数据与第一图像数据进行混合处理，生成第二图像数据，将第二图像数据发送至所述客户端并展示给用户，使得用户可以在现实场景中通过客户端查看其他用户在相同现实场景发送的AR弹幕，丰富了观众与观众之间、观众与主播之间的互动形式，增强了线上弹幕互动与线下互动之间的联系，提高了用户的体验，有利于直播的进行。
参照图2，示出了本发明实施例提供的另一种弹幕处理的方法的步骤流程图，具体可以包括如下步骤：
步骤201，接收客户端实时采集的第一图像数据；
步骤202，根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面；
在接收客户端发送的第一图像数据后，通过对第一图像数据进行处理，可以生成对应的当前特征平面。
在本发明的一种优选实施例中，所述根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面的步骤可以包括如下子步骤：
获取所述第一图像数据连续帧内的特征点；
采用特征点检测算法对所述特征点进行筛选，确定目标特征点；
采用所述目标特征点计算所述第一图像数据的偏移和变换向量，生成所述当前特征平面。
作为一示例，可采用FAST特征点检测算法获取第一图像数据连续帧内的特征点，通过以图像内某一点为中心画圆，该圆过16个像素点。设在圆周上的16个像素点中是否最少有n个连续的像素点满足都比Ip+t大，或者都比Ip-t小，如果满足这样的要求，则判断p是一个特征点。其中Ip为点p的灰度值，t是一个阈值，该阈值可由本领域技术人员自行设置，本申请对此不加限制。
在获取了第一图像数据的特征点后，为保证三维建模时的精确度，需要采用特征点检测算法对获取的特征点进行筛选，去除特征点中的坏点。作为一种示例，可采用Lowe’s算法进一步获取优秀匹配点，完成筛选后将得到的特征点与第一图像数据进行匹配，并求出所采集的第一图像数据与采集对象之间的偏移和变换向量，确定当前特征平面的法向量方向，进而求出当前特征平面在三维空间中的平面长的延展，最终得到当前特征平面。
步骤203，判断是否存在与所述当前特征参数匹配的历史特征参数；
步骤204，若是，则确定所述当前特征平面与所述历史特征平面匹配；
服务端中保存的第一AR弹幕数据包括历史特征参数，历史特征参数与历史特征平面具有对应关系，而当前特征平面也具有对应的当前特征参数。通过将当前特征参数与历史特征参数进行逐一比对，判断两者是否相等，若是，则确定当前特征平面与历史特征平面匹配。
步骤205，确定当所述当前特征平面与目标历史特征平面匹配时，将所述与目标历史特征平面对应的所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据；
确定当前特征平面与历史特征平面匹配，即可认为服务端保存有其他用户或主播针对第一图像数据所对应的实际对象发送的第一AR弹幕数据，将第一弹幕数据和第一图像数据进行混合处理，生成第二图像数据。
在本发明的一种优选实施例中，所述第一图像数据包括至少一帧图像，所述第一AR弹幕数据包括第一用户需求说明URS数据、第一弹幕文本数据，所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据的步骤可以包括如下子步骤：
将所述URS数据和所述第一弹幕文本数据混合挂接在当前帧的所述图像数据上，生成所述第二图像数据。
URS数据用于表示用户对于所发送的AR弹幕的具体需求，例如AR弹幕移动的速度、AR弹幕在图像中的具体位置、AR弹幕的颜色；而弹幕文本数据则表示了AR弹幕的具体内容，将URS数据和第一弹幕文本数据混合挂接在当前帧的图像数据上，即可得到包含第一AR弹幕的第二图像数据。
在本发明的另一种实施例中，所述第一AR弹幕数据包括第一互动玩法数据，所述客户端位于移动终端，所述移动终端具有屏幕区域，所述方法还包括如下子步骤：
根据所述第一互动玩法数据生成与所述第一弹幕文本数据匹配的可触控区域；所述客户端还用于在展示所述第二图像数据时，响应于用户针对所述可触控区域的点击操作，向服务端发送虚拟物品获取请求并接收服务端响应于所述虚拟物品获取请求返回的所述虚拟物品。
互动玩法数据用于用户为AR弹幕添加虚拟物品，虚拟物品可以是虚拟礼物，也可以是主播用于与观众进行互动的线索。当用户在观看带有AR弹幕的第二图像数据时，可以通过点击特定的可触控区域，触发互动玩法，客户端在接收到用户对于可触控区域的点击事件后，根据互动玩法数据向服务端发送对应的虚拟物品获取请求，服务端接收后返回虚拟礼物或者互动线索，客户端接收到虚拟礼物或互动线索后，展示于第二图像数据中，供用户查看。需要注意的是，根据AR弹幕的不同，除了虚拟物品外，在点击可触控区域后，客户端还可以在第二图像数据中展示用户可对AR弹幕执行的操作，例如“点赞”、“恶搞”、“留言”，用户可根据自身喜好选择对应的操作进行与AR弹幕的互动。
206，将所述第二图像数据发送至所述客户端；所述客户端用于展示所述第二图像数据。
在生成第二图像数据后，将第二图像数据发送至直播平台客户端，直播平台客户端将第二图像数据展示给用户。
应用本发明实施例，通过将第一AR弹幕数据混合挂接在第一图像数据上生成第二图像数据，向用户展示第二图像数据，可增加观众和主播之间的互动玩法，加强了线上与线下互动的关系，提高了用户与直播间之间的互动积极性。
参照图3，示出了本发明实施例提供的另一种弹幕处理的方法的步骤流程图，具体可以包括如下步骤：
步骤301，接收客户端实时采集的第一图像数据；
步骤302，根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面；
步骤303，确定当所述当前特征平面与目标历史特征平面匹配时，将所述与目标历史特征平面对应的所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据；
步骤304，将所述第二图像数据发送至所述客户端；所述客户端用于展示所述第二图像数据；
步骤305，接收所述客户端针对所述第一图像数据发送的第二AR弹幕数据；
在本发明实施例中，用户通过直播客户端进入AR玩法后，可以针对采集的第一图像数据，发送第二AR弹幕数据。具体的，用户对AR弹幕的颜色、移动速度、大小等进行选择，输入想要发送的文本信息后即可通过预设的发送方式进行AR弹幕的发送，作为一种示例，发送方式可以为点击指定的控件，响应于用户对控件的点击操作，客户端将第二AR弹幕数据发送至服务端。
步骤306，将所述第二AR弹幕数据与所述第二图像数据进行混合处理，生成第三图像数据；
服务端在接收到客户端发送的第二AR弹幕数据后，将第二AR弹幕数据中的URS数据、弹幕文本数据混合挂接在第二图像数据上，生成第三图像数据，第三图像数据中既包含了其他用户发送的AR弹幕，也包含了用户自身发送的AR弹幕。
需要注意的是，在客户端所采集的第一图像数据对应的当前特征平面无法匹配服务端中所保存的历史特征平面的时候，若用户针对采集的第一图像数据，发送第二AR弹幕数据，服务端在接收用户发送的第二AR弹幕数据后，会将对应的当前特征平面保存，以供其他用户进行AR弹幕显示时调用。
步骤307，将所述第三图像数据发送至所述客户端；所述客户端用于展示所述第三图像数据。
生成第三图像数据后，服务端将第三图像数据发送至客户端，客户端将第三图像数据展示给用户。
在本发明实施例中，用户进入AR玩法后既可发送AR弹幕，又能观看其他用户发送的AR弹幕，加强了用户之间线上与线下之间的互动，提高了用户观看直播时的积极性。
为了使本领域技术人员能够更好地理解上述步骤，以下通过一个例子对本申请实施例加以示例性说明，但应当理解的是，本申请实施例并不限于此。
参照图4，示出了本发明实施例提供的另一种弹幕处理的方法的步骤流程图，所述方法涉及客户端和服务器，所述客户端位于移动终端，与服务端连接，所述服务端存储有至少一个第一增强现实AR弹幕数据，以及与所述第一AR弹幕数据对应的历史特征平面，所述移动终端具有摄像头。
对于客户端而言，具体可以包括如下步骤：
步骤401，响应于用户进入AR玩法的操作，调用所述移动终端的摄像头实时采集第一图像数据；
步骤402，将所述第一图像数据发送至所述服务端；所述服务端用于根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面；确定当所述当前特征平面与目标历史特征平面匹配时，将所述与目标历史特征平面对应的所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据；
步骤403，接收所述服务端发送的所述第二图像数据并进行展示。
在本发明实施例中，响应于用户进入AR玩法的操作，客户端调用摄像头实时采集第一图像数据并发送至服务端，服务端根据第一图像数据生成与第一图像数据对应的当前特征平面，当前特征平面与目标历史特征平面匹配时，将与目标历史特征平面对应的第一AR弹幕数据与第一图像数据进行混合处理，生成第二图像数据并发送至客户端，客户端对第二图像数据进行展示，使得用户可以在现实场景中通过客户端查看其他用户在相同现实场景发送的AR弹幕，丰富了观众与观众之间、观众与主播之间的互动形式，增强了线上弹幕互动与线下互动之间的联系，提高了用户观看直播的积极性。
为了使本领域技术人员能够更好地理解本发明方案，以下通过一个例子对本申请加以示例性说明，但应当理解的是，本申请并不限于此。
观众用户在直播平台直播间内观看主播用户直播在一个公园内的庆典进行游玩，主播用户针对公园内一个动物雕塑发送了AR弹幕后，告诉观众只要找到主播发送的AR弹幕并进行点击即可获得虚拟礼品一份。
观众用户A恰好也在该公园参加庆典，该观众用户找到主播发送AR弹幕的动物雕塑后，通过直播间客户端进入AR玩法，在移动终端的屏幕上找到主播发送的AR弹幕，点击后获得了主播赠送的虚拟礼品一份。观众用户A获得虚拟礼品后针对该动物雕塑也发送了一条AR弹幕，用于指示后来的观众用户主播发送的AR弹幕的位置。随后观众用户B也来到了该动物雕塑附近，在通过客户端进入AR玩法后，发现了观众用户A所发送的AR弹幕，并根据该AR弹幕找到了主播发送的AR弹幕，观众用户B在获得虚拟礼品后，对观众用户A发送的AR弹幕进行点赞操作，并留言对观众用户A表示感谢。
参照图5，示出了本发明一实施例提供的一种弹幕处理的装置的结构框图，所述装置应用于服务端，所述服务端存储有至少一个第一增强现实AR弹幕数据，以及与所述第一AR弹幕数据对应的历史特征平面，所述服务端与至少一个客户端连接，所述装置包括如下模块：
第一图像数据接收模块501，用于接收客户端实时采集的第一图像数据；
特征平面模块502，用于根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面；
第二图像数据生成模块503，用于确定当所述当前特征平面与目标历史特征平面匹配时，将所述与目标历史特征平面对应的所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据；
发送模块504，用于将所述第二图像数据发送至所述客户端；所述客户端用于展示所述第二图像数据。
在本发明一实施例中，所述装置还包括：
第二AR弹幕数据接收模块，用于接收所述客户端针对所述第一图像数据发送的第二AR弹幕数据；
第三图像数据生成模块，用于将所述第二AR弹幕数据与所述第二图像数据进行混合处理，生成第三图像数据；
第三图像数据发送模块，用于将所述第三图像数据发送至所述客户端；所述客户端用于展示所述第三图像数据。
在本发明一实施例中，所述特征平面模块502包括：
特征点获取子模块，用于获取所述第一图像数据连续帧内的特征点；
筛选子模块，用于采用特征点检测算法对所述特征点进行筛选，确定目标特征点；
当前特征平面生成子模块，用于采用所述目标特征点计算所述第一图像数据的偏移和变换向量，生成所述当前特征平面。
在本发明一实施例中，所述装置还包括：
判断模块，用于判断是否存在与所述当前特征参数匹配的历史特征参数，若是，则确定所述当前特征平面与所述历史特征平面匹配。
在本发明一实施例中，所述第二图像数据生成模块503包括：
挂接子模块，用于将所述URS数据和所述第一弹幕文本数据混合挂接在当前帧的所述图像数据上，生成所述第二图像数据。
在本发明一实施例中，所述第二图像数据生成模块503还包括：
可触控区域生成子模块，用于根据所述第一互动玩法数据生成与所述第一弹幕文本数据匹配的可触控区域；所述客户端还用于在展示所述第二图像数据时，响应于用户针对所述可触控区域的点击操作，向服务端发送虚拟物品获取请求并接收服务端响应于所述虚拟物品获取请求返回的所述虚拟物品。
参照图6，示出了本发明另一实施例提供的一种弹幕处理的装置的结构框图，所述装置应用于客户端，所述客户端位于移动终端，与服务端连接；所述服务端存储有至少一个第一增强现实AR弹幕数据，以及与所述第一AR弹幕数据对应的历史特征平面；所述移动终端具有摄像头，所述装置包括如下模块：
采集模块601，用于响应于用户进入AR玩法的操作，调用所述移动终端的摄像头实时采集第一图像数据；
第一图像数据发送模块602，用于将所述第一图像数据发送至所述服务端；所述服务端用于根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面；确定当所述当前特征平面与目标历史特征平面匹配时，将所述与目标历史特征平面对应的所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据；
展示模块603，用于接收所述服务端发送的所述第二图像数据并进行展示。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明一实施例还提供了电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上弹幕处理的方法的步骤。
本发明一实施例还提供了计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上弹幕处理的方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种弹幕处理的方法及装置、电子设备、存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种弹幕处理的方法，其特征在于，应用于服务端，所述服务端存储有至少一个第一增强现实AR弹幕数据，以及与所述第一AR弹幕数据对应的历史特征平面；所述服务端与至少一个客户端连接；所述方法包括：
接收客户端实时采集的第一图像数据；
根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面；
确定当所述当前特征平面与目标历史特征平面匹配时，
将所述与目标历史特征平面对应的所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据；
将所述第二图像数据发送至所述客户端；所述客户端用于展示所述第二图像数据。
2.根据权利要求1所述的方法，其特征在于，还包括：
接收所述客户端针对所述第一图像数据发送的第二AR弹幕数据；
将所述第二AR弹幕数据与所述第二图像数据进行混合处理，生成第三图像数据；
将所述第三图像数据发送至所述客户端；所述客户端用于展示所述第三图像数据。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面的步骤，包括：
获取所述第一图像数据连续帧内的特征点；
采用特征点检测算法对所述特征点进行筛选，确定目标特征点；
采用所述目标特征点计算所述第一图像数据的偏移和变换向量，生成所述当前特征平面。
4.根据权利要求1所述的方法，其特征在于，所述第一AR弹幕数据包括与所述历史特征平面具有对应关系的历史特征参数，所述当前特征平面具有对应的当前特征参数，所述根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面之后，还包括：
判断是否存在与所述当前特征参数匹配的历史特征参数；
若是，则确定所述当前特征平面与所述历史特征平面匹配。
5.根据权利要求1所述的方法，其特征在于，所述第一图像数据包括至少一帧图像；所述第一AR弹幕数据包括第一用户需求说明URS数据、第一弹幕文本数据；所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据的步骤，包括：
将所述URS数据和所述第一弹幕文本数据混合挂接在当前帧的所述图像数据上，生成所述第二图像数据。
6.根据权利要求5所述的方法，其特征在于，所述第一AR弹幕数据包括第一互动玩法数据，所述客户端位于移动终端，所述移动终端具有屏幕区域，所述方法还包括：
根据所述第一互动玩法数据生成与所述第一弹幕文本数据匹配的可触控区域；所述客户端还用于在展示所述第二图像数据时，响应于用户针对所述可触控区域的点击操作，向服务端发送虚拟物品获取请求并接收服务端响应于所述虚拟物品获取请求返回的所述虚拟物品。
7.一种弹幕处理的方法，其特征在于，应用于客户端，所述客户端位于移动终端，与服务端连接；所述服务端存储有至少一个第一增强现实AR弹幕数据，以及与所述第一AR弹幕数据对应的历史特征平面；所述移动终端具有摄像头，所述方法包括：
响应于用户进入AR玩法的操作，调用所述移动终端的摄像头实时采集第一图像数据；
将所述第一图像数据发送至所述服务端；所述服务端用于根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面；确定当所述当前特征平面与目标历史特征平面匹配时，将所述与目标历史特征平面对应的所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据；
接收所述服务端发送的所述第二图像数据并进行展示。
8.一种弹幕处理的装置，其特征在于，应用于服务端，所述服务端存储有至少一个第一增强现实AR弹幕数据，以及与所述第一AR弹幕数据对应的历史特征平面；所述服务端与至少一个客户端连接；所述装置包括：
第一图像数据接收模块，用于接收客户端实时采集的第一图像数据；
特征平面模块，用于根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面；
第二图像数据生成模块，用于确定当所述当前特征平面与目标历史特征平面匹配时，将所述与目标历史特征平面对应的所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据；
发送模块，用于将所述第二图像数据发送至所述客户端；所述客户端用于展示所述第二图像数据。
9.一种弹幕处理的装置，其特征在于，应用于客户端，所述客户端位于移动终端，与服务端连接；所述服务端存储有至少一个第一增强现实AR弹幕数据，以及与所述第一AR弹幕数据对应的历史特征平面；所述移动终端具有摄像头，所述装置包括：
采集模块，用于响应于用户进入AR玩法的操作，调用所述移动终端的摄像头实时采集第一图像数据；
第一图像数据发送模块，用于将所述第一图像数据发送至所述服务端；所述服务端用于根据所述第一图像数据，生成与所述第一图像数据对应的当前特征平面；确定当所述当前特征平面与目标历史特征平面匹配时，将所述与目标历史特征平面对应的所述第一AR弹幕数据与所述第一图像数据进行混合处理，生成第二图像数据；
展示模块，用于接收所述服务端发送的所述第二图像数据并进行展示。
10.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的弹幕处理的方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的弹幕处理的方法的步骤。
CN201911184515.0A 2019-11-27 2019-11-27 一种弹幕处理的方法及装置、电子设备、存储介质 Pending CN111225287A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911184515.0A CN111225287A (zh) 2019-11-27 2019-11-27 一种弹幕处理的方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911184515.0A CN111225287A (zh) 2019-11-27 2019-11-27 一种弹幕处理的方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN111225287A true CN111225287A (zh) 2020-06-02

Family

ID=70829760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911184515.0A Pending CN111225287A (zh) 2019-11-27 2019-11-27 一种弹幕处理的方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111225287A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488087A (zh) * 2020-12-31 2021-03-12 广州智物互联科技有限公司 一种基于增强现实的图像识别方法、云平台服务器及介质
CN113015018A (zh) * 2021-02-26 2021-06-22 上海商汤智能科技有限公司 弹幕信息的展示方法、装置、系统、电子设备及存储介质
CN113873266A (zh) * 2020-06-30 2021-12-31 中移(成都)信息通信科技有限公司 弹幕显示方法、用户终端、服务器、设备及存储介质
CN113973235A (zh) * 2020-07-22 2022-01-25 上海哔哩哔哩科技有限公司 互动信息显示方法、装置、计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105916057A (zh) * 2016-04-18 2016-08-31 乐视控股（北京）有限公司 一种视频弹幕的显示方法及装置
CN106210861A (zh) * 2016-08-23 2016-12-07 上海幻电信息科技有限公司 显示弹幕的方法及系统
CN107247510A (zh) * 2017-04-27 2017-10-13 成都理想境界科技有限公司 一种基于增强现实的社交方法、终端、服务器和系统
CN107743262A (zh) * 2017-09-14 2018-02-27 阿里巴巴集团控股有限公司 一种弹幕显示方法和装置
CN108347657A (zh) * 2018-03-07 2018-07-31 北京奇艺世纪科技有限公司 一种显示弹幕信息的方法和装置
WO2018219091A1 (zh) * 2017-06-02 2018-12-06 腾讯科技（深圳）有限公司 用于显示弹幕的方法、装置以及存储介质
US20190215557A1 (en) * 2016-06-29 2019-07-11 Nokia Technologies Oy Rendering of user-defined message having 3d motion information

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105916057A (zh) * 2016-04-18 2016-08-31 乐视控股（北京）有限公司 一种视频弹幕的显示方法及装置
US20190215557A1 (en) * 2016-06-29 2019-07-11 Nokia Technologies Oy Rendering of user-defined message having 3d motion information
CN106210861A (zh) * 2016-08-23 2016-12-07 上海幻电信息科技有限公司 显示弹幕的方法及系统
CN107247510A (zh) * 2017-04-27 2017-10-13 成都理想境界科技有限公司 一种基于增强现实的社交方法、终端、服务器和系统
WO2018219091A1 (zh) * 2017-06-02 2018-12-06 腾讯科技（深圳）有限公司 用于显示弹幕的方法、装置以及存储介质
CN107743262A (zh) * 2017-09-14 2018-02-27 阿里巴巴集团控股有限公司 一种弹幕显示方法和装置
CN108347657A (zh) * 2018-03-07 2018-07-31 北京奇艺世纪科技有限公司 一种显示弹幕信息的方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873266A (zh) * 2020-06-30 2021-12-31 中移(成都)信息通信科技有限公司 弹幕显示方法、用户终端、服务器、设备及存储介质
CN113973235A (zh) * 2020-07-22 2022-01-25 上海哔哩哔哩科技有限公司 互动信息显示方法、装置、计算机设备
CN112488087A (zh) * 2020-12-31 2021-03-12 广州智物互联科技有限公司 一种基于增强现实的图像识别方法、云平台服务器及介质
CN112488087B (zh) * 2020-12-31 2021-08-17 上海德吾信息科技有限公司 一种基于增强现实的图像识别方法、云平台服务器及介质
CN113015018A (zh) * 2021-02-26 2021-06-22 上海商汤智能科技有限公司 弹幕信息的展示方法、装置、系统、电子设备及存储介质
CN113015018B (zh) * 2021-02-26 2023-12-19 上海商汤智能科技有限公司 弹幕信息的展示方法、装置、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111225287A (zh) 一种弹幕处理的方法及装置、电子设备、存储介质
US11450350B2 (en) Video recording method and apparatus, video playing method and apparatus, device, and storage medium
CN106846040B (zh) 一种直播间中虚拟礼物显示方法和系统
CN108632633B (zh) 一种网络直播的数据处理方法和装置
CN108632632B (zh) 一种网络直播的数据处理方法和装置
CN109104641B (zh) 一种多主播直播间赠送虚拟礼物的方法及装置
CN107633441A (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
CN109286824B (zh) 一种直播用户侧控制的方法、装置、设备及介质
CN107638690B (zh) 增强现实的实现方法、装置、服务器及介质
CN108635863B (zh) 一种网络直播的数据处理方法和装置
CN109299326B (zh) 视频推荐方法及装置、系统、电子设备以及存储介质
CN112657186B (zh) 一种游戏的交互方法和装置
CN104998412A (zh) 一种单机游戏实现方法及装置
CN110545442A (zh) 一种直播互动方法、装置、电子设备及可读存储介质
CN114245228B (zh) 页面链接投放方法、装置及电子设备
CN111479119A (zh) 直播中反馈信息的收集方法、装置、系统及存储介质
CN112511849A (zh) 一种游戏显示方法、装置、设备、系统及存储介质
CN114201095A (zh) 直播界面的控制方法、装置、存储介质及电子设备
CN111107434A (zh) 信息推荐方法及装置
CN112804578A (zh) 氛围特效生成方法、装置、电子设备和存储介质
CN114025185A (zh) 一种视频回放方法、装置、电子设备及存储介质
CN110300118B (zh) 流媒体处理方法、装置及存储介质
CN113617026A (zh) 云游戏的处理方法、装置、计算机设备和存储介质
CN116600152A (zh) 虚拟主播直播方法、装置、设备及存储介质
CN109999490B (zh) 一种降低联网云应用延迟的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200602