CN112533051B - 弹幕信息显示方法、装置、计算机设备和存储介质 - Google Patents
弹幕信息显示方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112533051B CN112533051B CN202011357358.1A CN202011357358A CN112533051B CN 112533051 B CN112533051 B CN 112533051B CN 202011357358 A CN202011357358 A CN 202011357358A CN 112533051 B CN112533051 B CN 112533051B
- Authority
- CN
- China
- Prior art keywords
- barrage
- bullet screen
- video
- information
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
- H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
Abstract
本申请涉及一种弹幕信息显示方法、装置、计算机设备和存储介质。所述方法包括:播放视频,所述视频包括多个视频片段;当播放到所述视频中目标视频片段对应的弹幕显示时间时,获取根据针对所述视频的用户评论所生成的弹幕信息;所述目标视频片段与所述弹幕信息符合相关性匹配条件;在所播放的所述目标视频片段中的预设画面区域,显示所述弹幕信息。采用本方法能够以弹幕形式呈现用户评论,提高用户评论的共享率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种弹幕信息显示方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展,人们可通过网络共享资源,并通过评论形式在网络上对各种音乐、图片、视频发表自己的想法。例如,在观看视频时,用户可以针对自己喜欢或者不喜欢的视频、视频中的对象或者视频中的某一场景发送评论信息。
然而,很多用户不会浏览他人发布的评论信息,针对同一视频的各评论信息的共享率低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高用户评论的共享率的弹幕信息显示方法、装置、计算机设备和存储介质。
一种弹幕信息显示方法,所述方法包括:
播放视频,所述视频包括多个视频片段;
当播放到所述视频中目标视频片段对应的弹幕显示时间时,获取根据针对所述视频的用户评论所生成的弹幕信息;所述目标视频片段与所述弹幕信息符合相关性匹配条件;
在所播放的所述目标视频片段中的预设画面区域,显示所述弹幕信息。
一种弹幕信息显示装置,所述装置包括:
播放模块,用于播放视频,所述视频包括多个视频片段;
弹幕获取模块,用于当播放到所述视频中目标视频片段对应的弹幕显示时间时,获取根据针对所述视频的用户评论所生成的弹幕信息;所述目标视频片段与所述弹幕信息符合相关性匹配条件;
显示模块,用于在所播放的所述目标视频片段中的预设画面区域,显示所述弹幕信息。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
播放视频,所述视频包括多个视频片段;
当播放到所述视频中目标视频片段对应的弹幕显示时间时,获取根据针对所述视频的用户评论所生成的弹幕信息;所述目标视频片段与所述弹幕信息符合相关性匹配条件;
在所播放的所述目标视频片段中的预设画面区域,显示所述弹幕信息。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
播放视频,所述视频包括多个视频片段;
当播放到所述视频中目标视频片段对应的弹幕显示时间时,获取根据针对所述视频的用户评论所生成的弹幕信息;所述目标视频片段与所述弹幕信息符合相关性匹配条件;
在所播放的所述目标视频片段中的预设画面区域,显示所述弹幕信息。
上述弹幕信息显示方法、装置、计算机设备和存储介质,弹幕信息是根据针对视频的用户评论生成的,用户评论以弹幕的形式呈现。目标视频片段与弹幕信息符合相关性匹配条件,从而通过相关性匹配条件关联目标视频片段和对应的弹幕信息。在播放包含多个视频片段的视频的过程中,当播放到目标视频片段对应的弹幕显示时间时,获取根据针对视频的用户评论所生成的弹幕信息,在目标视频片段中的预设画面区域中显示,从而能够将用户评论以弹幕的形式呈现给用户。用户通过浏览弹幕信息的形式关注到用户评论,能够提高用户评论的共享率。
附图说明
图1为一个实施例中弹幕信息显示方法的应用环境图;
图2为一个实施例中弹幕信息显示方法的流程示意图;
图3为一个实施例中显示用户评论的界面示意图;
图4为另一个实施例中显示弹幕信息的界面示意图;
图5为一个实施例中通过弹幕生成模型生成弹幕信息的流程示意图;
图6为一个实施例中通过格式匹配模型输出用户评论的文本格式和弹幕格式之间的匹配概率的流程示意图;
图7为一个实施例中通过预测模型输出弹幕信息和各视频片段之间的相关度的流程示意图;
图8为一个实施例中弹幕生成模型的训练步骤的流程示意图;
图9为一个实施例中弹幕生成模型基于用户评论生成弹幕信息的原理图;
图10为一个实施例中预测模型的训练步骤的流程示意图;
图11为另一个实施例中弹幕信息显示方法的流程示意图;
图12为一个实施例中弹幕信息显示装置的结构框图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的方案可以涉及人工智能(Artificial Intelligence,简称为AI)、机器学习(Machine Learning,简称为ML)等技术。例如,可以结合弹幕生成模型基于用户评论生成对应的弹幕信息。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。基于人工智能和机器学习等技术,能够有效将针对视频的用户评论生成对应的弹幕信息,从而以弹幕形式呈现用户评论,提高用户评论的共享率。
本申请提供的弹幕信息显示方法,可以应用于如图1所示的应用环境中。终端110上设有用于播放视频的客户端,终端110通过客户端播放视频。终端110可从服务器120获取视频,终端110播放该视频,该视频包括多个视频片段。当播放到视频中目标视频片段对应的弹幕显示时间时,终端110从服务器120获取根据针对视频的用户评论所生成的弹幕信息;该目标视频片段与弹幕信息符合相关性匹配条件。终端在所播放的目标视频片段中的预设画面区域,显示弹幕信息。其中,终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。终端110以及服务器120可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
在一个实施例中,如图2所示,提供了一种弹幕信息显示方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:
步骤202,播放视频,该视频包括多个视频片段。
其中,视频具体可以包括各种影视视频、直播视频、节目视频或者自媒体视频,但不限于此。视频片段是指从视频中提取的部分视频。
在本实施例中,终端可从本地获取视频进行播放或通过网络在线播放视频。该视频中包含多个视频片段,该多个指至少两个。
本实施例中,终端可按照播放时长对视频进行随机划分,得到多个视频片段。也可以按照预设播放时长对视频进行划分,得到各相同播放时长的视频片段。
例如,终端可定义视频片段的长度为播放时长A,播放时长A为视频片段的开始播放到播放结束的平均时间+dt,该dt表示浮动时间范围。以播放时长A为时间窗口,从视频的起始播放时刻向后滑动,将该视频切分为K个视频片段。
步骤204,当播放到视频中目标视频片段对应的弹幕显示时间时,获取根据针对视频的用户评论所生成的弹幕信息;该目标视频片段与弹幕信息符合相关性匹配条件。
其中,弹幕显示时间是指弹幕信息在目标视频片段中显示的时间。不同的弹幕信息可对应相同的弹幕显示时间,也可分别对应不同的弹幕显示时间。
目标视频片段与弹幕信息符合相关性匹配条件,是指弹幕信息和目标视频片段之间的相关度符合相关性匹配条件。相关性匹配条件可以是弹幕信息和目标视频片段之间的相关度,在各候选弹幕信息和目标视频片段的相关度中最大。或者,弹幕信息和目标视频片段之间相关度大于相关度阈值。
在本实施例中,在视频播放过程中,当播放到目标视频片段对应的弹幕显示时间时,终端可获取目标视频片段对应的弹幕信息。该弹幕信息是根据针对该视频的用户评论所生成的,并且,该目标视频片段对应的弹幕信息和该目标视频片段的相关度符合相关度匹配条件。
进一步地,终端可获取与目标视频片段的相关度最大的弹幕信息,或者获取与目标视频片段的相关度大于相关度阈值的弹幕信息。
在一个实施例中,在视频播放过程中,当开始播放目标视频片段时,终端可获取与该目标视频片段符合相关性匹配条件的弹幕信息。进一步地,终端可在开始播放目标视频片段时,获取与目标视频片段的相关度最大的弹幕信息,或者获取与目标视频片段的相关度大于相关度阈值的弹幕信息。
步骤206,在所播放的目标视频片段中的预设画面区域,显示弹幕信息。
其中,预设画面区域是指预先设置的在目标视频片段的播放窗口显示弹幕信息的区域。
在本实施例中,当播放到视频中目标视频片段对应的弹幕显示时间时,终端在目标视频片段的播放窗口的预设画面区域中,显示所获取的弹幕信息。
在一个实施例中,在视频播放过程中,当开始播放目标视频片段时,终端可获取与该目标视频片段符合相关性匹配条件的弹幕信息。当播放到目标视频片段对应的弹幕显示时间时,终端在目标视频片段的播放窗口的预设画面区域,显示所获取的弹幕信息。
在一个实施例中,当视频的弹幕功能处于开启状态时,在所播放的目标视频片段中的预设画面区域,显示弹幕信息。
在一个实施例中,当目标视频片段存在至少两条弹幕信息时,可在预设画面区域排列显示该至少两条弹幕信息。
上述弹幕信息显示方法中,根据针对所述视频的用户评论生成弹幕信息,使得用户评论以弹幕的形式呈现。目标视频片段与所述弹幕信息符合相关性匹配条件,从而通过相关性匹配条件关联目标视频片段和对应的弹幕信息。在播放包含多个视频片段的视频的过程中,当播放到目标视频片段对应的弹幕显示时间时,获取根据针对所述视频的用户评论所生成的弹幕信息,在目标视频片段中的预设画面区域中显示,从而能够将用户评论以弹幕的形式呈现给用户,丰富视频弹幕信息。用户通过浏览弹幕信息的形式关注到用户评论,能够提高用户评论的共享率。
在一个实施例中,用户通过终端获取视频,在视频播放界面显示针对该视频的评论区域的操作控件;终端响应于对评论区域的操作控件的触发操作,显示评论区域,并显示评论区域中的用户评论。如图3中的(a)所示,显示了视频302对应的评论区域的操作控件304。通过对操作控件304的触发,显示评论区域,并显示评论区域中的用户评论,如图3中的(b)所示。
在一个实施例中,在所播放的目标视频片段中的预设画面区域,显示弹幕信息,包括:
当目标视频片段对应至少两条弹幕信息时,在所播放的目标视频片段中的预设画面区域,按照基于至少两条弹幕信息各自的质量得分所确定的相应的弹幕显示位置,显示至少两条弹幕信息。
其中,质量得分是基于弹幕信息的不同维度的得分所确定的综合得分,用于表征弹幕信息的整体质量。
在本实施例中,当一个目标视频片段对应至少两条弹幕信息时,终端可确定该至少两条弹幕信息中的每条弹幕信息对应的质量得分。目标视频片段对应预设画面区域,用于显示该目标视频片段对应的弹幕信息。
终端可按照每条弹幕信息对应的质量得分确定每条弹幕信息在该预设画面区域中的弹幕显示位置。在播放到目标视频片段对应的弹幕显示时间时,终端在该目标视频片段中显示预设画面区域,并在该预设画面区域中的各弹幕显示位置显示对应的弹幕信息。
在本实施例中,终端可将至少两条弹幕信息各自的质量得分进行排序,按照质量得到分的高低确定弹幕信息在预设画面区域的弹幕显示位置。质量得分越高的弹幕信息对应的弹幕显示位置越靠近该预设画面区域中心位置。质量得到最高的弹幕信息对应的弹幕显示位置可处于该预设画面区域中心位置。弹幕信息的质量得分越低,对应的弹幕显示位置距离该预设画面区域中心位置越远。
例如,待播放到目标视频片段时,将目标视频片段相关的弹幕信息基于质量分进行排序。根据质量得分高低依次散列在预设画面区域中用户最容易关注的位置的周围,即距离预设画面区域中心位置越近放置质量得分越高的弹幕信息。
如图4所示,目标视频片段对应多条弹幕信息,例如弹幕信息402,弹幕信息404和弹幕信息406。终端可确定弹幕信息402,弹幕信息404和弹幕信息406的质量得分,根据质量得分确定对应的弹幕显示位置,并在播放目标视频片段时,在弹幕显示位置显示对应的弹幕信息。
在一个实施例中,当视频的弹幕功能处于开启状态时,在目标视频片段的预设画面区域的弹幕显示位置,显示对应的弹幕信息。如图4中所示的弹幕功能控件408处于开启状态时,显示弹幕信息402,弹幕信息404和弹幕信息406。当弹幕功能控件408处于关闭状态时,隐藏弹幕信息402,弹幕信息404和弹幕信息406。
本实施例中,当目标视频片段对应至少两条弹幕信息时,通过每条弹幕信息的质量得分确定对应的弹幕显示位置,使得用户在观看视频时最可能关注到高质量得分的弹幕信息,从而使得高质量的弹幕信息被更多用户所关注。并且,将用户评论转化为弹幕信息,能够以弹幕的形式呈现用户评论,通过提高弹幕信息的共享率,进而提高用户评论的共享率。
在一个实施例中,至少两条弹幕信息的质量得分是通过得分确定步骤得到的,该得分确定步骤包括:
针对至少两条弹幕信息中的每条弹幕信息,分别获取每条弹幕信息至少一个维度的评价值;该至少一个维度的评价值包括每条弹幕信息与目标视频片段间的相关度、每条弹幕信息所对应用户评论的热门度以及每条弹幕信息匹配弹幕格式的匹配概率中的至少一种;融合每条弹幕信息的不同维度的评价值,得到每条弹幕信息的质量得分。
其中,热门度是指用户对用户评论的关注程度。相关度是指弹幕信息与目标视频片段之间相关联的程度。匹配概率是指弹幕信息的格式和弹幕格式相匹配的概率。
在本实施例中,当一个目标视频片段对应至少两条弹幕信息时,针对该至少两条弹幕信息中的每条弹幕信息,终端可获取每条弹幕信息对应的至少一个维度的评价值。并且,针对每条弹幕信息,终端可融合同一弹幕信息的不同维度的评价值,得到同一弹幕信息的质量得分,从而得到每条弹幕信息分别对应的质量得分。
在本实施例中,融合每条弹幕信息的不同维度的评价值,得到每条弹幕信息的质量得分,包括:对每条弹幕信息的不同维度的评价值进行加权求和处理,得到每条弹幕信息的质量得分。
终端可获取不同维度所对应的权重值,将不同维度的评价值和对应的权重进行加权求和处理,得到每条弹幕信息的质量得到。
在一个实施例中,终端可获取每条弹幕信息与目标视频片段间的相关度,根据相关度确定每条弹幕信息的质量得分。或者,终端可获取每条弹幕信息所对应用户评论的热门度,根据热门度确定每条弹幕信息的质量得分。或者,终端可获取每条弹幕信息匹配弹幕格式的匹配概率,根据匹配概率确定每条弹幕信息的质量得分。
在一个实施例中,终端可获取每条弹幕信息与目标视频片段间的相关度,以及每条弹幕信息所对应用户评论的热门度,融合同一弹幕信息对应的相关度和热门度,得到同一弹幕信息的质量得分。
终端可获取每条弹幕信息与目标视频片段间的相关度,以及每条弹幕信息匹配弹幕格式的匹配概率,融合同一弹幕信息对应的相关度和匹配概率,得到该同一弹幕信息的质量得分。
终端可获取每条弹幕信息所对应用户评论的热门度,以及每条弹幕信息匹配弹幕格式的匹配概率,融合同一弹幕信息对应的热门度和匹配概率确定该同一弹幕信息的质量得分。
在一个实施例中,终端可获取每条弹幕信息与目标视频片段间的相关度、每条弹幕信息所对应用户评论的热门度以及每条弹幕信息匹配弹幕格式的匹配概率,融合同一弹幕信息对应的相关度、热门度和匹配概率,得到同一弹幕信息的质量得分。例如,终端可通过以下公式计算弹幕信息的质量得分:
G=x1*H+x2*Pv+x3*Pa,
其中,G为弹幕信息的质量得分,H为热门度,Pv为匹配概率,Pa为相关度,x1、x2、x3为各部分特征权重,x1+x2+x3=1.0。
在本实施例中,终端在生成弹幕信息后,可确定弹幕信息的质量得分并存储。当播放到视频中的目标视频片段对应的弹幕显示时间时,终端可获取目标视频片段对应的弹幕信息,并获取弹幕信息对应的质量得分,以根据质量得分确定弹幕信息在预设画面区域的显示位置。
在本实施中,通过获取至少一个维度的评价值计算弹幕信息的质量得分,提供了从不同维度计算质量得分的方式。通过融合弹幕信息的不同维度的评价值,获取弹幕信息的质量得分,使得弹幕信息的质量得分包含了不同维度的评价值,质量得分的计算方式更全面,更准确。
在一个实施例中,终端可通过显示位置确定模型确定各弹幕信息在预设画面区域中的显示位置。终端可获取每条弹幕信息与目标视频片段间的相关度、每条弹幕信息所对应用户评论的热门度以及每条弹幕信息匹配弹幕格式的匹配概率,将每条弹幕信息与目标视频片段间的相关度、每条弹幕信息所对应用户评论的热门度以及每条弹幕信息匹配弹幕格式的匹配概率输入已训练的显示位置确定模型,通过显示位置确定模型融合同一弹幕信息对应的相关度、热门度和匹配概率,得到同一弹幕信息的质量得分。显示位置确定模型基于各弹幕信息的质量得分,确定各弹幕信息在目标片段的预设画面区域中的弹幕显示位置。
在一个实施例中,该热门度是通过热门度确定步骤得到的,该热门度确定步骤包括:
获取至少两条弹幕信息中每条弹幕信息对应的用户评论;针对获取的每个用户评论,统计至少一种评论互动方式的互动次数;基于至少一种评论互动方式的互动次数,确定每个用户评论的热门度。
在本实施例中,针对该至少两条弹幕信息中的每条弹幕信息,终端可获取每条弹幕信息对应的用户评论。针对所获取的用户评论,终端可统计对该用户评论的至少一种评论互动方式的互动次数。
在本实施例中,该至少一种评论互动方式包括对用户评论的点赞、回复和转发操作中的至少一种。该至少一种评论互动方式包括对用户评论的点赞次数、回复次数和转发次数中的至少一种。
例如,终端统计对同一用户评论的点赞次数、回复次数和转发次数中的至少一种,根据点赞次数、回复次数和转发次数中的至少一种确定该同一用户评论的热门度。
在本实施例中,基于至少一种评论互动方式的互动次数,确定每个用户评论的热门度,包括:基于至少一种评论互动方式的互动次数和对应的评论互动方式的权重,确定每个用户评论的热门度。
在本实施例中,每种评论互动方式可设置对应的权重,终端可将评论互动方式的互动次数和对应的权重进行加权求和处理,得到用户评论的热门度。‘
例如,评论互动方式包括对用户评论的点赞次数、回复次数和转发次数时,用户评论的热门度为:
H=min((c1*对用户评论的点赞次数+c2*对用户评论的回复次数+c3*对用户评论的转发次数)/b);
其中,H为用户评论的热门度,c1为对用户评论的点赞的权重、c2对用户评论的回复的权重,c3对用户评论的转发的权重。b为常数,可以是用户评论互动的加权的上限值。
本实施例中,基于至少一种评论互动方式的互动次数确定对用户评论的互动次数,能够使用多种方式、从不同的方面关注对用户评论的互动,使得用户评论的热门度的计算方式更全面准确。
在一个实施例中,该弹幕显示时间是通过弹幕显示时间确定步骤得到的,该弹幕显示时间确定步骤包括:
获取针对视频的用户评论,根据用户评论生成对应的弹幕信息;根据生成的弹幕信息和视频中的各视频片段之间的相关度,确定与生成的弹幕信息符合相关性匹配条件的目标视频片段;基于目标视频片段在视频中的播放时间,确定弹幕信息的弹幕显示时间。
在本实施例中,终端获取针对视频的用户评论,根据用户评论生成对应的弹幕信息。接着,终端可获取视频中的各视频片段,并计算所生成的弹幕信息和各个视频片段之间的相关度。接着,终端可根据相关度确定各视频片段中,与生成的弹幕信息符合相关性匹配条件的目标视频片段。
在本实施例中,相关性匹配条件是指弹幕信息和视频片段之间的匹配程度最高,即弹幕信息和视频片段之间的相关度最大。终端计算出同一弹幕信息分别和各个视频片段之间的相关度后,确定最大相关度所对应视频片段作为该弹幕信息对应的目标视频片段。按照相同的处理方式,终端可为每个弹幕信息确定对应的目标视频片段。
例如,终端计算出弹幕信息1分别和视频片段A、B、C、D之间的相关度,将相关度最大所对应的视频片段B作为弹幕信息1的目标视频片段。终端计算出弹幕信息2分别和视频片段A、B、C、D之间的相关度,将相关度最大所对应的视频片段C作为弹幕信息2的目标视频片段。
终端可确定目标视频片段在视频中的播放时间,将该播放时间作为该弹幕信息在该视频播放时的弹幕显示时间。
在本实施例中,终端可确定目标视频片段在视频中的开始播放时间,将目标视频片段的开始播放时间作为弹幕信息开始显示的弹幕显示时间。
在一个实施例中,终端可确定目标视频片段在视频中的开始播放时间和结束播放时间,选择开始播放时间和结束播放时间之间的任意时间确定为弹幕信息的弹幕信息时间,还可以选择结束播放时间作为弹幕信息的弹幕显示时间。
在本实施例中,将针对视频的用户评论生成对应的弹幕信息,能够将用户评论信息以弹幕形式呈现给用户。根据生成的弹幕信息和视频中的各视频片段之间的相关程度,能够准确确定与弹幕信息相关的目标视频片段,使得弹幕信息更贴合所播放的视频片段。基于目标视频片段在视频中的播放时间,确定弹幕信息的弹幕显示时间,使得在目标视频片段的播放过程中显示对应的弹幕信息,使得用户在观看视频时能够关注到以弹幕形式呈现的用户评论,提高用户评论的共享率。
在一个实施例中,该弹幕信息是通过弹幕信息生成步骤生成的,该弹幕信息生成步骤包括:
获取针对视频的用户评论;当所获取的用户评论的文本格式匹配弹幕格式时,将所获取的用户评论直接确定为弹幕信息;当所获取的用户评论的文本格式不匹配弹幕格式时,将用户评论转化为匹配弹幕格式的弹幕信息。
其中,弹幕格式是指弹幕信息的表示方式。用户评论的文本格式是指用户评论中的文本的表示方式。
在本实施例中,终端获取针对视频的用户评论。该用户评论可包括文本、表情、图片等。终端可获取用户评论中的文本内容,并确定该文本内容的文本格式。终端可获取弹幕格式,将用户评论的文本格式和弹幕格式进行匹配。当所获取的用户评论的文本格式匹配弹幕格式时,终端将所获取的用户评论直接确定为弹幕信息。当所获取的用户评论的文本格式不匹配弹幕格式时,终端可将用户评论转化为匹配弹幕格式的弹幕信息。
在一个实施例中,终端可将所获取的用户评论输入已训练的格式匹配模型,通过已训练的格式匹配模型确定用户评论的文本格式,并输出该文本格式是否与弹幕格式匹配的预测结果。
进一步地,终端可将获取的针对视频的用户评论输入已训练的格式匹配模型。该格式匹配模型获取用户评论的文本长度和词性特征,基于文本长度和词性特征,确定用户评论的文本格式与弹幕格式的匹配概率。当匹配概率大于匹配阈值时,判定用户评论的文本格式与弹幕格式匹配,则格式匹配模型直接输入该用户评论作为弹幕信息。当匹配概率小于或等于匹配阈值时,判定用户评论的文本格式与弹幕格式不匹配,则该格式匹配模型可将该用户评论输入已训练的弹幕生成模型。
在本实施例中,该格式匹配模型通过格式匹配训练步骤得到,该格式匹配训练步骤包括:
获取训练用户评论和训练用户评论对应的格式标签;通过待训练的格式匹配模型提取训练用户评论的文本长度和词性特征;基于训练用户评论的文本长度和词性特征,输出训练用户评论的文本格式与弹幕格式的预测匹配概率。基于预测匹配概率和格式标签之间的差异调整格式匹配模型的参数,当满足训练停止条件时得到已训练的格式匹配模型。
在本实施例中,该训练用户评论可包括正样本和负样本。正样本可为满足弹幕格式的用户评论,或者将视频的弹幕信息作为正样本。负样本为不满足文本长度或者词性特征中的至少一种的用户评论,还可以是从视频中识别得到的字幕文本和对白文本等。
终端将训练用户评论输入待训练的格式匹配模型,格式匹配模型将该训练用户评论进行分词处理,并确定各词在该训练用户评论中的位置。格式匹配模型可确定训练用户评论的文本长度和词性特征,将文本长度、词性特征和训练用户评论中的各词转换为对应的向量表示。通过格式匹配模型的编码器对文本长度、词性特征和训练用户评论中的各词转换为对应的向量表示进行特征编码处理和自注意力机制处理,得到对应的深层特征表示。基于深层特征表示的融合处理输出对应的预测匹配概率。终端基于预测匹配概率和格式标签之间的差异调整格式匹配模型的参数,对调整参数后的格式匹配模型继续进行训练,直至满足训练停止条件时停止,得到已训练的格式匹配模型。
在本实施例中,训练停止条件可以为格式匹配模型输出的预测匹配概率和格式标签之间的差异小于预设差异。当格式匹配模型输出的预测匹配概率和格式标签之间的差异小于预设差异,停止训练,得到已训练的格式匹配模型。该已训练的格式匹配模型即为训练好的格式匹配模型。
在一个实施例中,训练停止条件可以为格式匹配模型的损失误差小于损失阈值,或者训练停止条件为格式匹配模型的迭代次数达到预设迭代次数。
例如,通过计算出格式匹配模型每次训练中产生的损失误差,当格式匹配模型产生的损失误差小于损失阈值时停止训练,得到训练好的格式匹配模型。
终端通过计算格式匹配模型在训练过程中的迭代次数,当格式匹配模型在训练中的迭代次数达到预设迭代次数时,停止训练,得到训练好的格式匹配模型。
在一个实施例中,终端可将文本格式不匹配弹幕格式的用户评论输入已训练的弹幕生成模型,通过已训练的弹幕生成模型将用户评论转换为匹配弹幕格式的弹幕信息。
如图5所示,终端将用户评论输入格式匹配模型,以判断用户评论的文本格式是否符合弹幕格式。当用户评论的文本格式符合弹幕格式时,将该用户评论直接输出为弹幕信息。当用户评论的文本格式不符合弹幕格式时,将该用户评论输入弹幕生成模型,通过弹幕生成模型基于用户评论生成对应的弹幕信息。
在本实施例中,当针对视频的用户评论的文本格式匹配弹幕格式时,将所获取的用户评论直接确定为弹幕信息,能够减少不必要的处理步骤,节省将用户评论生成弹幕信息的资源。对于文本格式不匹配弹幕格式的用户评论,将用户评论转化为匹配弹幕格式的弹幕信息,以保证以弹幕形式呈现的用户评论符合弹幕的呈现风格。
在一个实施例中,该弹幕信息生成步骤还包括:获取用户评论的文本长度和词性特征;基于文本长度和词性特征,确定用户评论的文本格式与弹幕格式的匹配概率;当匹配概率大于匹配阈值时,判定用户评论的文本格式与弹幕格式匹配;当匹配概率小于或等于匹配阈值时,判定用户评论的文本格式与弹幕格式不匹配。
在本实施例中,终端可对所获取的用户评论进行分词处理,得到用户评论中的各词。终端确定所获取的用户评论的文本长度,并确定各词的词性特征。终端根据用户评论的文本长度和各词的词性特征,计算与弹幕格式的匹配概率。进一步地,终端可获取弹幕格式对应的文本长度和词性特征,将用户评论的文本长度和弹幕格式的文本长度计算匹配概率,将用户评论的各词的词性特征和弹幕格式的词性特征计算匹配概率。终端根据文本长度的匹配概率和词性特征的匹配概率进行加权求和处理,得到用户评论的文本格式与弹幕格式的匹配概率。
在一个实施例中,终端可确定各词在用户评论中的位置,根据各词在用户评论中的位置、用户评论的文本长度和各词的词性特征,确定用户评论的文本格式与弹幕格式的匹配概率。
终端获取预设的匹配阈值,将用户评论的文本格式与弹幕格式的匹配概率和匹配阈值进行比较。当匹配概率大于匹配阈值时,终端可判定用户评论的文本格式与弹幕格式匹配。当匹配概率小于或等于匹配阈值时,终端判定用户评论的文本格式与弹幕格式不匹配。
如图6所示,为一个实施例中通过格式匹配模型输出用户评论的文本格式和弹幕格式之间的匹配概率的示意图。
终端将用户评论输入已训练的格式匹配模型,格式匹配模型将该用户评论进行分词处理,并确定各词在该用户评论中的位置,例如位置0,位置1,位置2,位置w。格式匹配模型还可以进一步为各词分配唯一标识,例如词1的标识,词2的标识,词w的标识等。格式匹配模型确定用户评论的文本长度和各词的词性特征,将文本长度、词性特征和用户评论中的各词转换为对应的向量表示。通过格式匹配模型的编码器对文本长度、词性特征和用户评论中的各词转换为对应的向量表示进行特征编码处理和自注意力机制处理,得到对应的深层特征表示。基于深层特征表示的融合处理输出对应的匹配概率。当匹配概率大于匹配阈值时,格式匹配模型输出用户评论的文本格式与弹幕格式匹配的预测结果。当匹配概率小于或等于匹配阈值时,格式匹配模型输出用户评论的文本格式与弹幕格式不匹配的预测结果。
在一个实施例中,该相关度是通过相关度确定步骤得到的,该相关度确定步骤包括:
对弹幕信息和视频中的各视频片段进行特征提取,并对所提取的特征进行特征编码处理,得到弹幕信息对应的弹幕特征,以及各视频片段分别对应的视频特征;对弹幕特征和各视频片段分别对应的视频特征进行注意力分配处理,得到弹幕信息对应的特征表示和各视频片段分别对应的特征表示;基于弹幕信息对应的特征表示和各视频片段分别对应的特征表示,确定弹幕信息和各视频片段之间的相关度。
其中,注意力分配处理是指对不同的特征分配不同程度的注意力,以对重要特征和非重要特征进行区分。
在本实施例中,终端可对弹幕信息进行特征提取,并对提取的特征进行特征编码处理,得到弹幕信息对应的弹幕特征。终端对视频中的各视频片段进行特征提取,并对所提取的特征进行特征编码处理,得到各视频片段分别对应的视频特征。接着,终端可对弹幕特征和各视频片段分别对应的视频特征进行注意力分配处理,以区分弹幕特征中的重要特征和非重要特征,以及区别各视频特征中的重要特征和非重要特征。经过注意力分配处理,得到弹幕特征对应的特征表示和各视频特征分别对应的特征表示。
终端将弹幕特征对应的特征表示分别和视频特征进行融合处理,得到该弹幕特征对应的弹幕信息和该视频特征对应的视频片段之间的相关度。按照相同的处理,终端可得到该弹幕信息和各个视频片段之间的相关度。
在本实施例中,终端可通过已训练的预测模型确定弹幕信息和各视频片段之间的相关度。终端可将弹幕信息和视频中的各视频片段输入已训练的预测模型。该预测模型对弹幕信息进行特征提取,并通过预测模型中的编码器对提取的特征进行特征编码处理,得到弹幕信息对应的弹幕特征。该预测模型对各视频片段进行特征提取,并通过编码器对所提取的特征进行特征编码处理,得到各视频片段分别对应的视频特征。预测模型对弹幕特征和各视频特征进行注意力分配处理,以得到弹幕信息对应的深度特征表示,以及各视频片段分别对应的深度特征表示。
进一步地,预测模型可通过多层自注意力机制(Self-Attention)对弹幕特征和各视频特征进行注意力分配处理,得到弹幕信息对应的深度特征表示,以及各视频片段分别对应的深度特征表示。
预测模型将弹幕信息的深度特征表示分别和各视频片段的深度特征表示进行融合处理,输出弹幕信息分别和各视频片段之间的相关度。
本实施例中,通过对弹幕信息和各视频片段进行特征提取和特征编码,能够提取对弹幕信息和各视频片段中的关键信息。对弹幕特征和各视频特征进行注意力分配处理,以对弹幕特征和各视频特征分配不同的注意力,从而区别重要特征和非重要特征。基于注意力分配所区分的重要特征和非重要特征,能够准确计算出弹幕信息和各视频片段之间的相关度。
在一个实施例中,对弹幕信息和视频中的各视频片段进行特征提取,并对所提取的特征进行特征编码处理,得到弹幕信息对应的弹幕特征,以及各视频片段分别对应的视频特征,包括:
对视频中的各视频片段进行识别,得到各视频片段分别对应的目标文本;该目标文本包括对视频片段的字幕进行识别所获得的字幕文本,以及对视频片段中的对象的对白进行识别所获得的对白文本中的至少一种;对各目标文本和弹幕信息进行特征提取,并对所提取的特征进行特征编码处理,得到弹幕信息对应的弹幕特征,以及各目标文本分别对应的视频特征。
其中,对白文本是指视频中的对象表达的内容。字幕文本是指视频中所显示的文字。目标文本包括字幕文本和对白文本中的至少一种。
在本实施例中,终端获取视频,并将视频划分为各视频片段。当视频片段中包含对应的字幕时,终端可对视频片段中显示的字幕进行光学字符识别(Optical CharacterRecognition,简称OCR),得到视频片段中的字幕文本。终端可将该字幕文本作为该视频片段对应的目标文本。
在本实施例中,终端可通过自动语音识别方式(Automatic Speech Recognition,简称ASR)识别视频片段中的对象的对白内容,得到该视频片段的对白文本。终端可将字幕文本和该对白文本作为该视频片段对应的目标文本。
在一个实施例中,当视频片段中不包含对应的字幕时,终端可对视频片段中的对象的对白内容进行自动语音识别,得到对白文本。终端将该对白文本作为该视频片段对应的目标文本。
按照相同的处理方式,终端可获得每个视频片段对应的目标文本。终端可对各目标文本分别进行特征提取,并分别对所提取的特征进行特征编码处理,得到各目标文本分别对应的视频特征。终端可对弹幕信息进行特征提取,并对所提取的特征进行特征编码处理,得到弹幕信息对应的弹幕特征。
本实施例中,对视频中的各视频片段进行识别,得到各视频片段分别对应的包括字幕文本和对白文本中的至少一种的目标文本,提供了多种获得视频片段的目标文本的方式。对各目标文本和弹幕信息进行特征提取,并对所提取的特征进行特征编码处理,以准确提取目标文本的关键特征和弹幕信息中的关键特征。
如图7所示,为一个实施例中,通过预测模型输出弹幕信息和各视频片段之间的相关度的流程示意图。
终端可将弹幕信息和视频中的各视频片段输入已训练的预测模型。该预测模型对各视频片段中对象的对白进行自动语音识别,得到对白文本。该预测模型对各视频片段中的字幕进行光学字符识别,获得各视频片段对应的字幕文本。将同一视频片段对应的对白文本和字幕文本确定为目标文本。
该预测模型对各目标文本进行特征提取,通过预测模型中的编码器对提取的特征进行特征编码处理,得到各目标文本对应的视频特征。通过编码器中的自注意力机制对各目标文本对应的视频特征进行注意力分配处理,得到各目标文本对应的深度特征表示。该预测模型对弹幕信息进行特征提取,并通过预测模型中的编码器对提取的特征进行特征编码处理,得到弹幕信息对应的弹幕特征。通过编码器中的自注意力机制对弹幕特征进行注意力分配处理,得到弹幕信息对应的深度特征表示。预测模型将弹幕信息的深度特征表示分别和各视频片段的深度特征表示进行融合处理,输出弹幕信息分别和各视频片段之间的相关度。
在一个实施例中,该方法还包括:每隔预设时长,基于更新的用户评论生成对应的目标弹幕信息;基于目标弹幕信息,更新目标视频片段对应的弹幕信息,并对更新后的弹幕信息在目标视频片段中的预设画面区域的弹幕显示位置进行调整;
在所播放的目标视频片段中的预设画面区域,显示弹幕信息,包括:在预设画面区域的调整后的弹幕显示位置,对应显示更新后的弹幕信息。
在本实施例中,终端每间隔预设时长,可获取针对视频的更新的用户评论。终端基于更新的用户评论生成对应的目标弹幕信息。接着,终端可计算目标弹幕信息和各视频片段的相关度,将相关度最高的视频片段确定为该目标弹幕信息的目标视频片段。终端基于该目标弹幕信息更新该目标视频片段对应的弹幕信息。
终端可获取目标弹幕信息至少一个维度的评价值;至少一个维度的评价值包括目标弹幕信息与目标视频片段间的相关度、目标弹幕信息所对应用户评论的热门度以及目标弹幕信息匹配弹幕格式的匹配概率中的至少一种;融合每条弹幕信息的不同维度的评价值,得到目标弹幕信息的质量得分。
终端可获取目标视频片段所对应的各弹幕信息的质量得分,基于各弹幕信息的质量得分和目标弹幕信息的得分,调整包括目标弹幕信息在内的各弹幕信息在预设画面区域中的弹幕显示位置。
当播放到视频中目标视频片段对应的弹幕显示时间时,获取目标视频片段对应的更新后的弹幕信息,并在预设画面区域的调整后的弹幕显示位置,对应显示更新后的弹幕信息。
本实施例中,每隔预设时长,基于更新的用户评论生成对应的目标弹幕信息,并基于目标弹幕信息更新目标视频片段对应的弹幕信息,能够通过弹幕形式向用户呈现最新的用户评论。基于更新的弹幕信息调整弹幕信息的弹幕显示位置,使得高质量的弹幕信息更能够吸引用户的关注,提高高质量弹幕信息的共享率,从而实现用户评论的共享。
在一个实施例中,获取针对视频的用户评论,根据用户评论生成对应的弹幕信息,包括:获取针对视频的用户评论,通过已训练的弹幕生成模型将用户评论转换生成对应的弹幕信息。
在本实施例中,终端可获取针对视频的用户评论,将该用户评论输入已训练的弹幕生成模型,通过已训练的弹幕生成模型将用户评论转换生成对应的弹幕信息。
在一个实施例中,如图8所示,已训练的弹幕生成模型是通过第一训练步骤得到的,第一训练步骤包括:
步骤802,获取训练用户评论和训练用户评论对应的标签。
训练用户评论对应的标签是指该基于训练用户评论所生成的真实的弹幕信息。终端可获取针对不同视频进行评论的用户评论,并将所获取的用户评论作为训练弹幕生成模型的样本,即训练用户评论。并且,终端可获取人工标注的训练用户评论对应的弹幕信息作为该训练用户评论的标签。
该弹幕生成模型的训练数据集可如下表所示:
视频 | 用户评论 | 符合弹幕格式 | 人工标注弹幕信息 |
视频1 | 用户评论1 | 否 | 弹幕信息1 |
视频1 | 用户评论2 | 是 | 弹幕信息2(即用户评论2) |
视频2 | 用户评论3 | 否 | 弹幕信息3 |
视频n | 用户评论n | 否 | 弹幕信息n |
步骤804,通过待训练的弹幕生成模型对训练用户评论进行特征提取,得到评论特征。
终端可将训练用户评论和对应的标签输入待训练的弹幕生成模型。弹幕生成模型对训练用户评论进行分词处理,得到该训练用户评论中的各词。接着,弹幕生成模型可将各词转换为对应的词向量,并对各词的词向量进行卷积处理,以提取特征,得到用户评论对应的评论特征。
步骤806,将评论特征转换为对应的特征表示,并对特征表示进行注意力分配处理,得到特征表示对应的注意力权重。
弹幕生成模型可通过编码器对评论特征进行特征编码处理,得到对应的特征表示。接着,弹幕生成模型可对该用户评论对应的特征表示进行注意力分配处理,得到各特征表示对应的注意力权重。
步骤808,基于上一时刻输出的弹幕词和当前时刻的特征表示对应的注意力权重,获得当前时刻输出的弹幕词。
弹幕生成模型可基于上一时刻输出的弹幕词和当前时刻的特征表示,以及当前时刻的特征表示所对应的注意力权重,生成当前时刻的弹幕词。按照相同的处理,弹幕生成模型可生成最后用户评论中的各词所对应的弹幕词。
在本实施例中,弹幕生成模型可基于用户评论、上一时刻输出的弹幕词、当前时刻的特征表示,以及当前时刻的特征表示对应的注意力权重,生成当前时刻的弹幕词,直至生成最后一时刻的弹幕词。
步骤810,基于各时刻输出的弹幕词生成训练用户评论对应的预测弹幕信息。
弹幕生成模型基于各时刻输出的弹幕词,生成训练用户评论所对应的预测弹幕信息。进一步地,终端可按照弹幕词生成的顺序,将各弹幕词组成预测弹幕信息。
步骤812,根据预测弹幕信息和训练用户评论对应的标签之间的差异,调整弹幕生成模型的参数,当满足训练停止条件时得到已训练的弹幕生成模型。
弹幕生成模型确定预测弹幕信息和训练用户评论对应的标签之间的差异,基于预测弹幕信息和训练用户评论对应的标签之间的差异,调整弹幕生成模型的参数。终端对调整参数后的弹幕生成模型继续训练,直至满足训练停止条件时停止,得到已训练的弹幕生成模型。
在本实施例中,训练停止条件可以为弹幕生成模型输出的预测弹幕信息和标签之间的差异小于预设差异。当弹幕生成模型输出的预测弹幕信息和标签之间的差异小于预设差异,停止训练,得到已训练的弹幕生成模型。该已训练的弹幕生成模型即为训练好的弹幕生成模型。
在一个实施例中,训练停止条件可以为弹幕生成模型的损失误差小于损失阈值,或者训练停止条件为弹幕生成模型的迭代次数达到预设迭代次数。
例如,通过计算出弹幕生成模型每次训练中产生的损失误差,当弹幕生成模型产生的损失误差小于损失阈值时停止训练,得到训练好的弹幕生成模型。
终端通过计算弹幕生成模型在训练过程中的迭代次数,当弹幕生成模型在训练中的迭代次数达到预设迭代次数时,停止训练,得到训练好的弹幕生成模型。
本实施例中,通过训练用户评论和训练用户评论对应的标签对弹幕生成模型进行训练,并基于弹幕生成模型针对训练用户评论生成的预测弹幕信息和标签所表示的真实弹幕信息之间的差异调整弹幕生成模型的参数,以提高弹幕生成模型的精度和准确性。通过训练好的弹幕生成模型能够快速准确地将用户评论转换成生成对应的弹幕信息。
如图9所示,为一个实施例中,通过已训练的弹幕生成模型基于用户评论生成弹幕信息的原理图。
通过已训练的弹幕生成模型对用户评论进行分词处理,得到该训练用户评论中的各词。例如评论词1、评论词2,评论词w等。接着,弹幕生成模型可将各词转换为对应的词向量,并对各词的词向量进行卷积处理,以提取特征,得到用户评论对应的评论特征。已训练的弹幕生成模型可通过编码器对评论特征进行特征编码处理,得到特征表示。例如,词1的特征表示、词2的特征表示,词w的特征表示。接着,弹幕生成模型对各特征表示进行注意力分配处理,得到各特征表示对应的注意力权重。基于上一时刻输出的弹幕词和当前时刻的特征表示对应的注意力权重,获得当前时刻输出的弹幕词。例如,基于弹幕词1和当前时刻的特征表示生成弹幕词2,以此类推,可得到弹幕词n。接着,弹幕生成模型基于各时刻输出的弹幕词生成用户评论对应的弹幕信息。
在一个实施例中,如图10所示,该相关度是通过已训练的预测模型确定的;该已训练的预测模型是通过第二训练步骤得到的,该第二训练步骤包括:
步骤1002,获取训练视频片段和训练弹幕信息的组合,以及对应的组合标签。
训练视频片段可从同一视频中获取,也可从不同的视频中获取。该组合中的训练视频片段和训练弹幕信息可符合相关性匹配条件,也可不相关。该组合标签用于表征该组合中的训练视频片段和训练弹幕信息之间的相关度。该组合标签可通过1或0表示。
在本实施例中,该包含训练视频片段和训练弹幕信息的组合可以是正样本组合,也可以是负样本组合。正样本组合是指组合中的训练视频片段和训练弹幕信息符合相关性匹配条件,即训练视频片段和训练弹幕信息相关。负样本组合是指组合中的训练视频片段和训练弹幕信息不符合相关性匹配条件,即训练视频片段和训练弹幕信息不相关。
步骤1004,通过待训练的预测模型对训练弹幕信息和训练视频片段进行特征提取,得到训练弹幕信息对应的训练弹幕特征,以及训练视频片段对应的训练视频特征。
终端将训练弹幕信息和训练视频片段的组合,以及对应的组合标签输入待训练的预测模型。该预测模型对组合中的训练弹幕信息进行特征提取,并通过预测模型中的编码器对提取的特征进行特征编码处理,得到训练弹幕信息对应的训练弹幕特征。该预测模型对该组合中的训练视频片段进行特征提取,并通过编码器对所提取的特征进行特征编码处理,得到训练视频片段对应的训练视频特征。
步骤1006,对训练弹幕特征和训练视频特征进行注意力分配处理,得到训练弹幕信息对应的特征表示和训练视频片段对应的特征表示。
预测模型中包括多层自注意力机制(Self-Attention),通过多层自注意力机制对训练弹幕特征和训练视频特征进行注意力分配处理,得到训练弹幕信息对应的特征表示,以及训练视频片段对应的特征表示。
步骤1008,对训练弹幕信息对应的特征表示和训练视频片段对应的特征表示进行融合处理,得到训练弹幕信息和训练视频片段之间的预测相关度。
预测模型通过融合层对训练弹幕信息对应的特征表示和训练视频片段对应的特征表示进行融合处理,得到该组合中的训练弹幕信息和训练视频片段之间的预测相关度。
步骤1010,根据预测相关度和组合标签之间的差异,调整预测模型的参数,当满足训练停止条件时得到已训练的预测模型。
预测模型确定预测相关度和组合标签之间的差异,基于预测相关度和组合标签之间的差异,调整预测模型的参数。终端对调整参数后的预测模型继续训练,直至满足训练停止条件时停止,得到已训练的预测模型。
在本实施例中,训练停止条件可以为预测模型输出的预测相关度和组合标签之间的差异小于预设差异。当预测模型输出的预测相关度和组合标签之间的差异小于预设差异时,停止训练,得到已训练的预测模型。该已训练的预测模型即为训练好的预测模型。
在一个实施例中,训练停止条件可以为预测模型的损失误差小于损失阈值,或者训练停止条件为预测模型的迭代次数达到预设迭代次数。
例如,通过计算出预测模型每次训练中产生的损失误差,当预测模型产生的损失误差小于损失阈值时停止训练,得到训练好的预测模型。
终端通过计算预测模型在训练过程中的迭代次数,当预测模型在训练中的迭代次数达到预设迭代次数时,停止训练,得到训练好的预测模型。
本实施例中,通过训练视频片段和训练弹幕信息的组合,以及对应的组合标签对预测模型进行训练,并基于预测模型输出的训练视频片段和训练弹幕信息之间的预测相关度和组合标签之间的差异调整预测模型的参数,以提高预测模型的精度和准确性。通过训练好的预测模型能够快速准确地预测出弹幕信息和视频片段之间的相关度。
如图11所示,为一个实施例中弹幕信息显示方法的流程示意图。终端获取针对视频的用户评论,将该用户评论输入格式匹配模型。格式匹配模型确定该用户评论的文本格式和弹幕格式之间的匹配概率。当匹配概率小于或等于匹配阈值时,判定用户评论的文本格式与弹幕格式不匹配,则格式匹配模型将该用户评论输入弹幕生成模型。弹幕生成模型基于该用户评论生成对应的弹幕信息,并将该生成的弹幕信息输入预测模型。终端将视频的各视频片段输入该预测模型,预测模型确定该弹幕信息和各视频片段之间的相关度,并基于相关度确定弹幕信息对应的目标视频片段。将目标视频片段在视频中的播放时间作为弹幕信息的弹幕显示时间。接着,通过显示位置确定模型确定该弹幕信息的质量得分,并基于质量得分确定弹幕信息在该目标视频片段的预设画面区域中的弹幕显示位置。
在一个实施例中,提供了一种弹幕信息显示方法,包括:
终端获取针对视频的用户评论,将用户评论输入格式匹配模型。
格式匹配模型获取用户评论的文本长度和词性特征,基于文本长度和词性特征,确定用户评论的文本格式与弹幕格式的匹配概率。
当匹配概率大于匹配阈值时,判定用户评论的文本格式与弹幕格式匹配,则将所获取的用户评论直接确定为弹幕信息。
当匹配概率小于或等于匹配阈值时,判定用户评论的文本格式与弹幕格式不匹配,则格式匹配模型将该用户评论输入弹幕生成模型。
弹幕生成模型将用户评论转换生成对应的弹幕信息。弹幕生成模型将生成的弹幕信息输入预测模型。
终端将视频中的各视频片段输入预测模型,预测模型对视频中的各视频片段进行识别,得到各视频片段分别对应的目标文本;目标文本包括对视频片段的字幕进行识别所获得的字幕文本,以及对视频片段中的对象的对白进行识别所获得的对白文本中的至少一种。
预测模型对各目标文本和弹幕信息进行特征提取,并对所提取的特征进行特征编码处理,得到弹幕信息对应的弹幕特征,以及各目标文本分别对应的视频特征。
预测模型对弹幕特征和各视频片段分别对应的视频特征进行注意力分配处理,得到弹幕信息对应的特征表示和各视频片段分别对应的特征表示。
预测模型基于弹幕信息对应的特征表示和各视频片段分别对应的特征表示,确定弹幕信息和各视频片段之间的相关度。
预测模型根据生成的弹幕信息和视频中的各视频片段之间的相关度,确定与生成的弹幕信息符合相关性匹配条件的目标视频片段。
预测模型基于目标视频片段在视频中的播放时间,确定弹幕信息的弹幕显示时间。
显示位置确定模型确定弹幕信息的质量得分,根据质量得分确定弹幕信息在目标视频片段的预设画面区域的弹幕显示位置。
当目标视频片段对应至少两条弹幕信息时,显示位置确定模型针对至少两条弹幕信息中的每条弹幕信息,分别获取每条弹幕信息至少一个维度的评价值;至少一个维度的评价值包括每条弹幕信息与目标视频片段间的相关度、每条弹幕信息所对应用户评论的热门度以及每条弹幕信息匹配弹幕格式的匹配概率中的至少一种。
显示位置确定模型融合每条弹幕信息的不同维度的评价值,得到每条弹幕信息的质量得分,按照质量得分确定每条弹幕信息在目标视频片段中的预设画面区域的弹幕显示位置。
终端播放视频,视频包括多个视频片段。
当播放到视频中目标视频片段对应的弹幕显示时间时,终端获取根据针对视频的用户评论所生成的弹幕信息。
终端在所播放的目标视频片段中的预设画面区域,显示弹幕信息。
当目标视频片段对应至少两条弹幕信息时,终端在所播放的目标视频片段中的预设画面区域,按照基于至少两条弹幕信息各自的质量得分所确定的相应的弹幕显示位置,显示至少两条弹幕信息。
本实施例中,获取视频的用户评论,当用户评论的文本格式匹配弹幕格式时,将所获取的用户评论直接确定为弹幕信息,能够减少不必要的处理步骤,节省将用户评论生成弹幕信息的资源。对于文本格式不匹配弹幕格式的用户评论,通过弹幕生成模型快速准确地将用户评论转化为匹配弹幕格式的弹幕信息。
根据弹幕信息和视频片段的相关度,确定与弹幕信息最相关的目标视频片段,从能将弹幕信息和目标视频片段相关联。将目标视频片段在视频中的播放时间,确定为弹幕信息的弹幕显示时间,以确定弹幕信息在视频播放过程中的显示时机。
通过弹幕信息的质量得分确定弹幕显示位置,将得分越高的弹幕信息显示在最容易被用户关注的区域,增加用户的关注度。在目标视频片段中的预设画面区域中显示,从而能够将用户评论以弹幕的形式呈现给用户。用户通过浏览弹幕信息的形式关注到用户评论,能够提高用户评论的共享率。
每隔预设时长,基于更新的用户评论生成对应的目标弹幕信息,并基于目标弹幕信息更新目标视频片段对应的弹幕信息,能够通过弹幕形式向用户呈现最新的用户评论。基于更新的弹幕信息调整弹幕信息的弹幕显示位置,使得高质量的弹幕信息更能够吸引用户的关注,提高高质量弹幕信息的共享率,从而实现用户评论的共享。
本申请还提供一种应用场景,该应用场景应用上述的弹幕信息显示方法。具体地,该弹幕信息显示方法在该应用场景的应用如下:
用户通过终端上的视频客户端播放视频。
在视频的播放过程中,用户针对视频编辑用户评论并发布,终端在视频的用户评论区域显示用户评论。
每隔预设时长,终端获取用户评论区域的针对该视频的用户评论,将该用户评论输入格式匹配模型。
格式匹配模型确定该用户评论的文本格式和弹幕格式之间的匹配概率。当匹配概率小于或等于匹配阈值时,判定用户评论的文本格式与弹幕格式不匹配,则格式匹配模型将该用户评论输入弹幕生成模型。
弹幕生成模型基于该用户评论生成对应的弹幕信息,并将该生成的弹幕信息输入预测模型。
终端将视频的各视频片段输入该预测模型,预测模型确定该弹幕信息和各视频片段之间的相关度,并基于相关度确定弹幕信息对应的目标视频片段。将目标视频片段在视频中的播放时间作为弹幕信息的弹幕显示时间。
接着,通过显示位置确定模型确定该弹幕信息的质量得分,并基于质量得分确定弹幕信息在该目标视频片段的预设画面区域中的弹幕显示位置。
当存在用户播放该视频时,在用户播放视频的过程中,当播放到目标视频片段对应的弹幕显示时间时,终端获取根据针对视频的用户评论所生成的弹幕信息,在所播放的目标视频片段中的预设画面区域的弹幕显示位置,显示对应的弹幕信息。
应该理解的是,虽然图2、图8和图10的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图8和图10中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图12所示,提供了一种弹幕信息显示装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:播放模块1202、弹幕获取模块1204和显示模块1206,其中:
播放模块1202,用于播放视频,视频包括多个视频片段。
弹幕获取模块1204,用于当播放到视频中目标视频片段对应的弹幕显示时间时,获取根据针对视频的用户评论所生成的弹幕信息;该目标视频片段与弹幕信息符合相关性匹配条件。
显示模块1206,用于在所播放的目标视频片段中的预设画面区域,显示弹幕信息。
本实施例中,弹幕信息是根据针对视频的用户评论生成的,用户评论以弹幕的形式呈现。目标视频片段与所述弹幕信息符合相关性匹配条件,从而通过相关性匹配条件关联目标视频片段和对应的弹幕信息。在播放包含多个视频片段的视频的过程中,当播放到目标视频片段对应的弹幕显示时间时,获取根据针对所述视频的用户评论所生成的弹幕信息,在目标视频片段中的预设画面区域中显示,从而能够将用户评论以弹幕的形式呈现给用户。用户通过浏览弹幕信息的形式关注到用户评论,能够提高用户评论的共享率
在一个实施例中,该显示模块1206用于:当目标视频片段对应至少两条弹幕信息时,在所播放的目标视频片段中的预设画面区域,按照基于至少两条弹幕信息各自的质量得分所确定的相应的弹幕显示位置,显示至少两条弹幕信息。
本实施例中,当目标视频片段对应至少两条弹幕信息时,通过每条弹幕信息的质量得分确定对应的弹幕显示位置,使得用户在观看视频时最可能关注到高质量得分的弹幕信息,从而使得高质量的弹幕信息被更多用户所关注。并且,将用户评论转化为弹幕信息,能够以弹幕的形式呈现用户评论,通过提高弹幕信息的共享率,进而提高用户评论的共享率。
在一个实施例中,该装置还包括:得分确定模块。该得分确定模块用于:针对至少两条弹幕信息中的每条弹幕信息,分别获取每条弹幕信息至少一个维度的评价值;至少一个维度的评价值包括每条弹幕信息与目标视频片段间的相关度、每条弹幕信息所对应用户评论的热门度以及每条弹幕信息匹配弹幕格式的匹配概率中的至少一种;融合每条弹幕信息的不同维度的评价值,得到每条弹幕信息的质量得分。
在本实施中,通过获取至少一个维度的评价值计算弹幕信息的质量得分,提供了从不同维度计算质量得分的方式。通过融合弹幕信息的不同维度的评价值,获取弹幕信息的质量得分,使得弹幕信息的质量得分包含了不同维度的评价值,质量得分的计算方式更全面,更准确。
在一个实施例中,该装置还包括:热门度确定模块。该热门度确定模块用于:获取至少两条弹幕信息中每条弹幕信息对应的用户评论;针对获取的每个用户评论,统计至少一种评论互动方式的互动次数;基于至少一种评论互动方式的互动次数,确定每个用户评论的热门度。
本实施例中,基于至少一种评论互动方式的互动次数确定对用户评论的互动次数,能够使用多种方式、从不同的方面关注对用户评论的互动,使得用户评论的热门度的计算方式更全面准确。
在一个实施例中,该装置还包括:显示时间确定模块。该显示时间确定模块用于:获取针对视频的用户评论,根据用户评论生成对应的弹幕信息;根据生成的弹幕信息和视频中的各视频片段之间的相关度,确定与生成的弹幕信息符合相关性匹配条件的目标视频片段;基于目标视频片段在视频中的播放时间,确定弹幕信息的弹幕显示时间。
在本实施例中,将针对视频的用户评论生成对应的弹幕信息,能够将用户评论信息以弹幕形式呈现给用户。根据生成的弹幕信息和视频中的各视频片段之间的相关程度,能够准确确定与弹幕信息相关的目标视频片段,使得弹幕信息更贴合所播放的视频片段。基于目标视频片段在视频中的播放时间,确定弹幕信息的弹幕显示时间,使得在目标视频片段的播放过程中显示对应的弹幕信息,使得用户在观看视频时能够关注到以弹幕形式呈现的用户评论,提高用户评论的共享率。
在一个实施例中,该装置还包括:弹幕生成模块。该弹幕生成模块用于:获取针对视频的用户评论;当所获取的用户评论的文本格式匹配弹幕格式时,将所获取的用户评论直接确定为弹幕信息;当所获取的用户评论的文本格式不匹配弹幕格式时,将用户评论转化为匹配弹幕格式的弹幕信息。
在本实施例中,当针对视频的用户评论的文本格式匹配弹幕格式时,将所获取的用户评论直接确定为弹幕信息,能够减少不必要的处理步骤,节省将用户评论生成弹幕信息的资源。对于文本格式不匹配弹幕格式的用户评论,将用户评论转化为匹配弹幕格式的弹幕信息,以保证以弹幕形式呈现的用户评论符合弹幕的呈现风格。
在一个实施例中,该弹幕生成模块还用于:获取获取的用户评论的文本长度和词性特征;基于文本长度和词性特征,确定用户评论的文本格式与弹幕格式的匹配概率;当匹配概率大于匹配阈值时,判定用户评论的文本格式与弹幕格式匹配;当匹配概率小于或等于匹配阈值时,判定用户评论的文本格式与弹幕格式不匹配。
在一个实施例中,该装置还包括:相关度确定模块。该相关度确定模块用于:对弹幕信息和视频中的各视频片段进行特征提取,并对所提取的特征进行特征编码处理,得到弹幕信息对应的弹幕特征,以及各视频片段分别对应的视频特征;对弹幕特征和各视频片段分别对应的视频特征进行注意力分配处理,得到弹幕信息对应的特征表示和各视频片段分别对应的特征表示;基于弹幕信息对应的特征表示和各视频片段分别对应的特征表示,确定弹幕信息和各视频片段之间的相关度。
本实施例中,通过对弹幕信息和各视频片段进行特征提取和特征编码,能够提取对弹幕信息和各视频片段中的关键信息。对弹幕特征和各视频特征进行注意力分配处理,以对弹幕特征和各视频特征分配不同的注意力,从而区别重要特征和非重要特征。基于注意力分配所区分的重要特征和非重要特征,能够准确计算出弹幕信息和各视频片段之间的相关度。
在一个实施例中,该相关度确定模块还用于:对视频中的各视频片段进行识别,得到各视频片段分别对应的目标文本;目标文本包含对视频片段的字幕进行识别所获得的字幕文本,以及对视频片段中的对象的对白进行识别所获得的对白文本的至少一种;对各目标文本和弹幕信息进行特征提取,并对所提取的特征进行特征编码处理,得到弹幕信息对应的弹幕特征,以及各目标文本分别对应的视频特征。
本实施例中,对视频中的各视频片段进行识别,得到各视频片段分别对应的包括字幕文本和对白文本中的至少一种的目标文本,提供了多种获得视频片段的目标文本的方式。对各目标文本和弹幕信息进行特征提取,并对所提取的特征进行特征编码处理,以准确提取目标文本的关键特征和弹幕信息中的关键特征。
在一个实施例中,该装置还包括:更新模块;该更新模块用于:每隔预设时长,基于更新的用户评论生成对应的目标弹幕信息;基于目标弹幕信息,更新目标视频片段对应的弹幕信息,并对更新后的弹幕信息在目标视频片段中的预设画面区域的弹幕显示位置进行调整;
该显示模块1206还用于:在预设画面区域的调整后的弹幕显示位置,对应显示更新后的弹幕信息。
本实施例中,每隔预设时长,基于更新的用户评论生成对应的目标弹幕信息,并基于目标弹幕信息更新目标视频片段对应的弹幕信息,能够通过弹幕形式向用户呈现最新的用户评论。基于更新的弹幕信息调整弹幕信息的弹幕显示位置,使得高质量的弹幕信息更能够吸引用户的关注,提高高质量弹幕信息的共享率,从而实现用户评论的共享。
在一个实施例中,该显示时间确定模块还用于:获取针对视频的用户评论,通过已训练的弹幕生成模型将用户评论转换生成对应的弹幕信息。
该装置还包括第一训练模块;该第一训练模块用于:获取训练用户评论和训练用户评论对应的标签;通过待训练的弹幕生成模型对训练用户评论进行特征提取,得到评论特征;将评论特征转换为对应的特征表示,并对特征表示进行注意力分配处理,得到特征表示对应的注意力权重;基于上一时刻输出的弹幕词和当前时刻的特征表示对应的注意力权重,获得当前时刻输出的弹幕词;基于各时刻输出的弹幕词生成用户评论对应的预测弹幕信息;根据预测弹幕信息和训练用户评论对应的标签之间的差异,调整弹幕生成模型的参数,当满足训练停止条件时得到已训练的弹幕生成模型。
本实施例中,通过训练用户评论和训练用户评论对应的标签对弹幕生成模型进行训练,并基于弹幕生成模型针对训练用户评论生成的预测弹幕信息和标签所表示的真实弹幕信息之间的差异调整弹幕生成模型的参数,以提高弹幕生成模型的精度和准确性。通过训练好的弹幕生成模型能够快速准确地将用户评论转换成生成对应的弹幕信息。
在一个实施例中,该装置还包括第二训练模块;该第二训练模块用于:获取训练视频片段和训练弹幕信息的组合,以及对应的组合标签;通过待训练的预测模型对训练弹幕信息和训练视频片段进行特征提取,得到训练弹幕信息对应的训练弹幕特征,以及训练视频片段对应的训练视频特征;对训练弹幕特征和训练视频特征进行注意力分配处理,得到训练弹幕信息对应的特征表示和训练视频片段对应的特征表示;对训练弹幕信息对应的特征表示和训练视频片段对应的特征表示进行融合处理,得到训练弹幕信息和训练视频片段之间的预测相关度;根据预测相关度和组合标签之间的差异,调整预测模型的参数,当满足训练停止条件时得到已训练的预测模型。
本实施例中,通过训练视频片段和训练弹幕信息的组合,以及对应的组合标签对预测模型进行训练,并基于预测模型输出的训练视频片段和训练弹幕信息之间的预测相关度和组合标签之间的差异调整预测模型的参数,以提高预测模型的精度和准确性。通过训练好的预测模型能够快速准确地预测出弹幕信息和视频片段之间的相关度。
关于弹幕信息显示装置的具体限定可以参见上文中对于弹幕信息显示方法的限定,在此不再赘述。上述弹幕信息显示装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种弹幕信息显示方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (24)
1.一种弹幕信息显示方法,其特征在于,所述方法包括:
播放视频,所述视频包括多个视频片段;
当播放到所述视频中目标视频片段对应的弹幕显示时间时,获取根据针对所述视频的用户评论所生成的弹幕信息;所述目标视频片段与所述弹幕信息符合相关性匹配条件;
当所述目标视频片段对应至少两条弹幕信息时,在所播放的所述目标视频片段中的预设画面区域,按照基于所述至少两条弹幕信息各自的质量得分所确定的相应的弹幕显示位置,显示所述至少两条弹幕信息;
所述质量得分表征基于相应的弹幕信息在至少一个维度的得分所确定的综合得分,所述至少一个维度包括相应的弹幕信息与所述目标视频片段间的相关度维度、相应的弹幕信息所对应用户评论的热门度维度以及相应的弹幕信息匹配弹幕格式的匹配概率维度中的至少一种。
2.根据权利要求1所述的方法,其特征在于,所述至少两条弹幕信息的质量得分是通过得分确定步骤得到的,所述得分确定步骤包括:
针对所述至少两条弹幕信息中的每条弹幕信息,分别获取每条弹幕信息至少一个维度的评价值;所述至少一个维度的评价值包括所述每条弹幕信息与所述目标视频片段间的相关度、所述每条弹幕信息所对应用户评论的热门度以及所述每条弹幕信息匹配弹幕格式的匹配概率中的至少一种;
融合所述每条弹幕信息的不同维度的评价值,得到所述每条弹幕信息的质量得分。
3.根据权利要求2所述的方法,其特征在于,所述热门度是通过热门度确定步骤得到的,所述热门度确定步骤包括:
获取所述至少两条弹幕信息中每条弹幕信息对应的用户评论;
针对获取的每个所述用户评论,统计至少一种评论互动方式的互动次数;
基于所述至少一种评论互动方式的互动次数,确定每个所述用户评论的热门度。
4.根据权利要求1所述的方法,其特征在于,所述弹幕显示时间是通过弹幕显示时间确定步骤得到的,所述弹幕显示时间确定步骤包括:
获取针对视频的用户评论,根据所述用户评论生成对应的弹幕信息;
根据生成的所述弹幕信息和所述视频中的各视频片段之间的相关度,确定与生成的所述弹幕信息符合相关性匹配条件的目标视频片段;
基于所述目标视频片段在所述视频中的播放时间,确定所述弹幕信息的弹幕显示时间。
5.根据权利要求1所述的方法,其特征在于,所述弹幕信息是通过弹幕信息生成步骤生成的,所述弹幕信息生成步骤包括:
获取针对视频的用户评论;
当所获取的所述用户评论的文本格式匹配弹幕格式时,将所获取的所述用户评论直接确定为弹幕信息;
当所获取的所述用户评论的文本格式不匹配弹幕格式时,将所述用户评论转化为匹配弹幕格式的弹幕信息。
6.根据权利要求5所述的方法,其特征在于,所述弹幕信息生成步骤还包括:
获取所述获取的用户评论的文本长度和词性特征;
基于所述文本长度和词性特征,确定所述用户评论的文本格式与弹幕格式的匹配概率;
当所述匹配概率大于匹配阈值时,判定所述用户评论的文本格式与所述弹幕格式匹配;
当所述匹配概率小于或等于所述匹配阈值时,判定所述用户评论的文本格式与所述弹幕格式不匹配。
7.根据权利要求4所述的方法,其特征在于,所述相关度是通过相关度确定步骤得到的,所述相关度确定步骤包括:
对所述弹幕信息和所述视频中的各视频片段进行特征提取,并对所提取的特征进行特征编码处理,得到所述弹幕信息对应的弹幕特征,以及所述各视频片段分别对应的视频特征;
对所述弹幕特征和所述各视频片段分别对应的视频特征进行注意力分配处理,得到所述弹幕信息对应的特征表示和所述各视频片段分别对应的特征表示;
基于所述弹幕信息对应的特征表示和所述各视频片段分别对应的特征表示,确定所述弹幕信息和所述各视频片段之间的相关度。
8.根据权利要求7所述的方法,其特征在于,所述对所述弹幕信息和所述视频中的各视频片段进行特征提取,并对所提取的特征进行特征编码处理,得到所述弹幕信息对应的弹幕特征,以及所述各视频片段分别对应的视频特征,包括:
对所述视频中的各视频片段进行识别,得到所述各视频片段分别对应的目标文本;所述目标文本包括对视频片段的字幕进行识别所获得的字幕文本,以及对所述视频片段中的对象的对白进行识别所获得的对白文本中的至少一种;
对各目标文本和所述弹幕信息进行特征提取,并对所提取的特征进行特征编码处理,得到所述弹幕信息对应的弹幕特征,以及所述各目标文本分别对应的视频特征。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
每隔预设时长,基于更新的用户评论生成对应的目标弹幕信息;
基于所述目标弹幕信息,更新所述目标视频片段对应的弹幕信息,并对更新后的弹幕信息在所述目标视频片段中的预设画面区域的弹幕显示位置进行调整;
所述在所播放的所述目标视频片段中的预设画面区域,显示所述弹幕信息,包括:
在所述预设画面区域的调整后的弹幕显示位置,对应显示更新后的弹幕信息。
10.根据权利要求4所述的方法,其特征在于,所述获取针对视频的用户评论,根据所述用户评论生成对应的弹幕信息,包括:
获取针对视频的用户评论,通过已训练的弹幕生成模型将所述用户评论转换生成对应的弹幕信息;
所述已训练的弹幕生成模型是通过第一训练步骤得到的,所述第一训练步骤包括:
获取训练用户评论和所述训练用户评论对应的标签;
通过待训练的弹幕生成模型对所述训练用户评论进行特征提取,得到评论特征;
将所述评论特征转换为对应的特征表示,并对所述特征表示进行注意力分配处理,得到所述特征表示对应的注意力权重;
基于上一时刻输出的弹幕词和当前时刻的特征表示对应的注意力权重,获得所述当前时刻输出的弹幕词;
基于各时刻输出的弹幕词生成所述训练用户评论对应的预测弹幕信息;
根据所述预测弹幕信息和所述训练用户评论对应的标签之间的差异,调整所述弹幕生成模型的参数,当满足训练停止条件时得到已训练的弹幕生成模型。
11.根据权利要求4所述的方法,其特征在于,所述相关度是通过已训练的预测模型确定的;所述已训练的预测模型是通过第二训练步骤得到的,所述第二训练步骤包括:
获取训练视频片段和训练弹幕信息的组合,以及对应的组合标签;
通过待训练的预测模型对所述训练弹幕信息和所述训练视频片段进行特征提取,得到所述训练弹幕信息对应的训练弹幕特征,以及所述训练视频片段对应的训练视频特征;
对所述训练弹幕特征和所述训练视频特征进行注意力分配处理,得到所述训练弹幕信息对应的特征表示和所述训练视频片段对应的特征表示;
对所述训练弹幕信息对应的特征表示和所述训练视频片段对应的特征表示进行融合处理,得到所述训练弹幕信息和所述训练视频片段之间的预测相关度;
根据所述预测相关度和所述组合标签之间的差异,调整所述预测模型的参数,当满足训练停止条件时得到已训练的预测模型。
12.一种弹幕信息显示装置,其特征在于,所述装置包括:
播放模块,用于播放视频,所述视频包括多个视频片段;
弹幕获取模块,用于当播放到所述视频中目标视频片段对应的弹幕显示时间时,获取根据针对所述视频的用户评论所生成的弹幕信息;所述目标视频片段与所述弹幕信息符合相关性匹配条件;
显示模块,用于当所述目标视频片段对应至少两条弹幕信息时,在所播放的所述目标视频片段中的预设画面区域,按照基于所述至少两条弹幕信息各自的质量得分所确定的相应的弹幕显示位置,显示所述至少两条弹幕信息;所述质量得分表征基于相应的弹幕信息在至少一个维度的得分所确定的综合得分,所述至少一个维度包括相应的弹幕信息与所述目标视频片段间的相关度维度、相应的弹幕信息所对应用户评论的热门度维度以及相应的弹幕信息匹配弹幕格式的匹配概率维度中的至少一种。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括得分确定模块,所述得分确定模块,用于针对所述至少两条弹幕信息中的每条弹幕信息,分别获取每条弹幕信息至少一个维度的评价值;所述至少一个维度的评价值包括所述每条弹幕信息与所述目标视频片段间的相关度、所述每条弹幕信息所对应用户评论的热门度以及所述每条弹幕信息匹配弹幕格式的匹配概率中的至少一种;融合所述每条弹幕信息的不同维度的评价值,得到所述每条弹幕信息的质量得分。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括热门度确定模块,所述热门度确定模块,用于获取所述至少两条弹幕信息中每条弹幕信息对应的用户评论;针对获取的每个所述用户评论,统计至少一种评论互动方式的互动次数;基于所述至少一种评论互动方式的互动次数,确定每个所述用户评论的热门度。
15.根据权利要求12所述的装置,其特征在于,所述装置还包括显示时间确定模块,所述显示时间确定模块,用于获取针对视频的用户评论,根据所述用户评论生成对应的弹幕信息;根据生成的所述弹幕信息和所述视频中的各视频片段之间的相关度,确定与生成的所述弹幕信息符合相关性匹配条件的目标视频片段;基于所述目标视频片段在所述视频中的播放时间,确定所述弹幕信息的弹幕显示时间。
16.根据权利要求12所述的装置,其特征在于,所述装置还包括弹幕生成模块,所述弹幕生成模块,用于获取针对视频的用户评论;当所获取的所述用户评论的文本格式匹配弹幕格式时,将所获取的所述用户评论直接确定为弹幕信息;当所获取的所述用户评论的文本格式不匹配弹幕格式时,将所述用户评论转化为匹配弹幕格式的弹幕信息。
17.根据权利要求16所述的装置,其特征在于,所述弹幕生成模块,还用于获取所述获取的用户评论的文本长度和词性特征;基于所述文本长度和词性特征,确定所述用户评论的文本格式与弹幕格式的匹配概率;当所述匹配概率大于匹配阈值时,判定所述用户评论的文本格式与所述弹幕格式匹配;当所述匹配概率小于或等于所述匹配阈值时,判定所述用户评论的文本格式与所述弹幕格式不匹配。
18.根据权利要求15所述的装置,其特征在于,所述装置还包括相关度确定模块,所述相关度确定模块,用于对所述弹幕信息和所述视频中的各视频片段进行特征提取,并对所提取的特征进行特征编码处理,得到所述弹幕信息对应的弹幕特征,以及所述各视频片段分别对应的视频特征;对所述弹幕特征和所述各视频片段分别对应的视频特征进行注意力分配处理,得到所述弹幕信息对应的特征表示和所述各视频片段分别对应的特征表示;基于所述弹幕信息对应的特征表示和所述各视频片段分别对应的特征表示,确定所述弹幕信息和所述各视频片段之间的相关度。
19.根据权利要求18所述的装置,其特征在于,所述相关度确定模块,还用于对所述视频中的各视频片段进行识别,得到所述各视频片段分别对应的目标文本;所述目标文本包括对视频片段的字幕进行识别所获得的字幕文本,以及对所述视频片段中的对象的对白进行识别所获得的对白文本中的至少一种;
对各目标文本和所述弹幕信息进行特征提取,并对所提取的特征进行特征编码处理,得到所述弹幕信息对应的弹幕特征,以及所述各目标文本分别对应的视频特征。
20.根据权利要求12所述的装置,其特征在于,所述装置还包括更新模块,所述更新模块,用于每隔预设时长,基于更新的用户评论生成对应的目标弹幕信息;基于所述目标弹幕信息,更新所述目标视频片段对应的弹幕信息,并对更新后的弹幕信息在所述目标视频片段中的预设画面区域的弹幕显示位置进行调整;
所述显示模块,还用于在所述预设画面区域的调整后的弹幕显示位置,对应显示更新后的弹幕信息。
21.根据权利要求15所述的装置,其特征在于,所述装置还包括第一训练模块;
所述显示时间确定模块,还用于获取针对视频的用户评论,通过已训练的弹幕生成模型将所述用户评论转换生成对应的弹幕信息;
所述第一训练模块,用于获取训练用户评论和所述训练用户评论对应的标签;通过待训练的弹幕生成模型对所述训练用户评论进行特征提取,得到评论特征;将所述评论特征转换为对应的特征表示,并对所述特征表示进行注意力分配处理,得到所述特征表示对应的注意力权重;基于上一时刻输出的弹幕词和当前时刻的特征表示对应的注意力权重,获得所述当前时刻输出的弹幕词;
基于各时刻输出的弹幕词生成所述训练用户评论对应的预测弹幕信息;根据所述预测弹幕信息和所述训练用户评论对应的标签之间的差异,调整所述弹幕生成模型的参数,当满足训练停止条件时得到已训练的弹幕生成模型。
22.根据权利要求15所述的装置,其特征在于,所述装置还包括第二训练模块,所述第二训练模块,还用于获取训练视频片段和训练弹幕信息的组合,以及对应的组合标签;通过待训练的预测模型对所述训练弹幕信息和所述训练视频片段进行特征提取,得到所述训练弹幕信息对应的训练弹幕特征,以及所述训练视频片段对应的训练视频特征;对所述训练弹幕特征和所述训练视频特征进行注意力分配处理,得到所述训练弹幕信息对应的特征表示和所述训练视频片段对应的特征表示;对所述训练弹幕信息对应的特征表示和所述训练视频片段对应的特征表示进行融合处理,得到所述训练弹幕信息和所述训练视频片段之间的预测相关度;根据所述预测相关度和所述组合标签之间的差异,调整所述预测模型的参数,当满足训练停止条件时得到已训练的预测模型。
23.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
24.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011357358.1A CN112533051B (zh) | 2020-11-27 | 2020-11-27 | 弹幕信息显示方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011357358.1A CN112533051B (zh) | 2020-11-27 | 2020-11-27 | 弹幕信息显示方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112533051A CN112533051A (zh) | 2021-03-19 |
CN112533051B true CN112533051B (zh) | 2023-05-23 |
Family
ID=74994237
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011357358.1A Active CN112533051B (zh) | 2020-11-27 | 2020-11-27 | 弹幕信息显示方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112533051B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115134652A (zh) * | 2021-03-22 | 2022-09-30 | 阿里巴巴新加坡控股有限公司 | 视频动态字幕生成方法、装置、电子设备及存储介质 |
CN113038185B (zh) * | 2021-04-02 | 2022-09-09 | 上海哔哩哔哩科技有限公司 | 弹幕处理方法及装置 |
CN113505267B (zh) * | 2021-06-18 | 2023-12-05 | 中国科学院信息工程研究所 | 一种自回归弹幕生成方法和系统 |
CN113490062B (zh) * | 2021-07-01 | 2023-08-29 | 北京达佳互联信息技术有限公司 | 视频弹幕排序方法、装置、服务器及存储介质 |
CN113673414B (zh) * | 2021-08-18 | 2023-09-01 | 北京奇艺世纪科技有限公司 | 弹幕生成方法、装置、电子设备及存储介质 |
CN114339362B (zh) * | 2021-12-08 | 2023-06-13 | 腾讯科技(深圳)有限公司 | 视频弹幕匹配方法、装置、计算机设备和存储介质 |
CN114466204B (zh) * | 2021-12-15 | 2024-03-15 | 北京快乐茄信息技术有限公司 | 一种视频弹幕的显示方法、装置、电子设备及存储介质 |
CN115243111A (zh) * | 2022-07-05 | 2022-10-25 | 腾讯科技(北京)有限公司 | 视频弹幕生成方法、装置、存储介质及电子设备 |
CN115361595A (zh) * | 2022-07-28 | 2022-11-18 | 华中科技大学 | 一种视频弹幕生成方法 |
CN116306514B (zh) * | 2023-05-22 | 2023-09-08 | 北京搜狐新媒体信息技术有限公司 | 一种文本处理方法及装置、电子设备、存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015100039A (ja) * | 2013-11-19 | 2015-05-28 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置 |
US9966112B1 (en) * | 2013-04-18 | 2018-05-08 | Gracenote, Inc. | Systems and methods to associate multimedia tags with user comments and generate user modifiable snippets around a tag time for efficient storage and sharing of tagged items |
CN111385606A (zh) * | 2018-12-28 | 2020-07-07 | Tcl集团股份有限公司 | 一种视频预览方法、装置及智能终端 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103607659A (zh) * | 2013-11-25 | 2014-02-26 | 小米科技有限责任公司 | 在智能显示设备上显示节目评论的方法、装置及服务器 |
CN104754396B (zh) * | 2015-03-12 | 2018-02-23 | 腾讯科技(北京)有限公司 | 弹幕数据的显示方法及装置 |
CN112019909B (zh) * | 2016-11-10 | 2023-01-24 | 阿里巴巴集团控股有限公司 | 播放对象评论信息处理方法及装置 |
CN110069620A (zh) * | 2019-04-30 | 2019-07-30 | 上海掌门科技有限公司 | 评论信息展示方法、装置、电子设备及介质 |
CN110781428A (zh) * | 2019-09-10 | 2020-02-11 | 深圳壹账通智能科技有限公司 | 评论展示方法、装置、计算机设备及存储介质 |
CN111246275B (zh) * | 2020-02-07 | 2021-04-23 | 北京字节跳动网络技术有限公司 | 评论信息的展示及交互方法、装置、电子设备、存储介质 |
CN111294660B (zh) * | 2020-03-12 | 2021-11-16 | 咪咕文化科技有限公司 | 视频片段定位方法、服务器、客户端及电子设备 |
CN111479169A (zh) * | 2020-04-17 | 2020-07-31 | 广州华多网络科技有限公司 | 一种视频评论显示方法、电子设备以及计算机存储介质 |
-
2020
- 2020-11-27 CN CN202011357358.1A patent/CN112533051B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9966112B1 (en) * | 2013-04-18 | 2018-05-08 | Gracenote, Inc. | Systems and methods to associate multimedia tags with user comments and generate user modifiable snippets around a tag time for efficient storage and sharing of tagged items |
JP2015100039A (ja) * | 2013-11-19 | 2015-05-28 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置 |
CN111385606A (zh) * | 2018-12-28 | 2020-07-07 | Tcl集团股份有限公司 | 一种视频预览方法、装置及智能终端 |
Also Published As
Publication number | Publication date |
---|---|
CN112533051A (zh) | 2021-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112533051B (zh) | 弹幕信息显示方法、装置、计算机设备和存储介质 | |
CN110582025B (zh) | 用于处理视频的方法和装置 | |
CN111143610B (zh) | 一种内容推荐方法、装置、电子设备和存储介质 | |
US11409791B2 (en) | Joint heterogeneous language-vision embeddings for video tagging and search | |
CN110263150B (zh) | 文本生成方法、装置、计算机设备及存储介质 | |
CN107704525A (zh) | 视频搜索方法和装置 | |
EP1840764A1 (en) | Hybrid audio-visual categorization system and method | |
CN109657054A (zh) | 摘要生成方法、装置、服务器及存储介质 | |
CN108205684B (zh) | 图像消歧方法、装置、存储介质和电子设备 | |
CN110234018B (zh) | 多媒体内容描述生成方法、训练方法、装置、设备及介质 | |
CN113094552A (zh) | 视频模板的搜索方法、装置、服务器及可读存储介质 | |
US11120268B2 (en) | Automatically evaluating caption quality of rich media using context learning | |
JP7394809B2 (ja) | ビデオを処理するための方法、装置、電子機器、媒体及びコンピュータプログラム | |
CN111372141B (zh) | 表情图像生成方法、装置及电子设备 | |
CN110287314B (zh) | 基于无监督聚类的长文本可信度评估方法及系统 | |
US20210141867A1 (en) | Translating texts for videos based on video context | |
CN111723784A (zh) | 一种风险视频识别方法、装置和电子设备 | |
EP3340069A1 (en) | Automated characterization of scripted narratives | |
CN110263218A (zh) | 视频描述文本生成方法、装置、设备和介质 | |
CN113590810A (zh) | 摘要生成模型训练方法、摘要生成方法、装置及电子设备 | |
CN113704507A (zh) | 数据处理方法、计算机设备以及可读存储介质 | |
CN111859925B (zh) | 一种基于概率情感词典的情感分析系统及方法 | |
CN115269919A (zh) | 一种短视频质量的确定方法、装置、电子设备及存储介质 | |
CN113821677A (zh) | 一种生成封面图像的方法、装置、设备及存储介质 | |
CN113642329A (zh) | 术语识别模型的建立方法及装置、术语识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40043391 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |