CN117221669B - 一种弹幕生成方法及装置 - Google Patents
一种弹幕生成方法及装置 Download PDFInfo
- Publication number
- CN117221669B CN117221669B CN202311480619.2A CN202311480619A CN117221669B CN 117221669 B CN117221669 B CN 117221669B CN 202311480619 A CN202311480619 A CN 202311480619A CN 117221669 B CN117221669 B CN 117221669B
- Authority
- CN
- China
- Prior art keywords
- data
- information
- target
- video
- barrage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种弹幕生成方法及装置,该方法包括:获取待处理的目标视频数据;提取目标视频数据中的当前检测帧对应的视频画面中的视频特征数据;基于视频特征数据,确定目标标签;在目标弹幕数据库中检测得到与目标标签相匹配的第一数据信息;基于第一数据信息,生成目标弹幕信息,以使得在播放目标视频数据的同时展示目标弹幕信息。在本发明中能够基于目标视频数据中的视频特征数据与目标弹幕数据库中的弹幕数据进行匹配,使得能够自动生成足够数量的弹幕,提升了用户的体验效果。
Description
技术领域
本发明涉及计算机技术领域,特别是涉及一种弹幕生成方法及装置。
背景技术
伴随着计算机技术的发展,越来越多的用户通过该网络观看视频,如,游戏视频、直播视频或者影视视频等。用户可以在观看视频时写下评论,而这些评论会像“子弹”一样飞过屏幕,或者在屏幕右侧滚动,因此,被称作“弹幕”。弹幕是用户观看视频时重要的交流方式,通常弹幕源于用户的输入,但是对于新的视频或者而用户输入较少的视频,其对应的弹幕数量较少,不能吸引用户观看。
通常为了增加弹幕的数量,会将已有的弹幕进行重复发送,或者自动播放预设的弹幕消息,但是这种弹幕较为固定,会导致生成的弹幕与视频的相关性较低,无法提升用户的体验效果。
发明内容
针对于上述问题,本发明提供一种弹幕生成方法及装置,提升了能够自动生成与视频匹配的弹幕的数量,以及用户的体验效果。
为了实现上述目的,本发明提供了如下技术方案:
一种弹幕生成方法,所述方法包括:
获取待处理的目标视频数据;
提取所述目标视频数据中的当前检测帧对应的视频画面中的视频特征数据;
基于所述视频特征数据,确定目标标签;
在目标弹幕数据库中检测得到与所述目标标签相匹配的第一数据信息;
基于所述第一数据信息,生成目标弹幕信息,以使得在播放所述目标视频数据的同时展示所述目标弹幕信息。
可选地,所述提取所述目标视频数据中的当前检测帧对应的视频画面中的视频特征数据,包括:
对所述目标视频数据中的当前检测帧对应的视频画面进行人脸特征识别,确定目标对象;
生成与所述目标对象相匹配的对象特征数据;
对所述目标视频数据中的当前检测帧对应的视频画面进行物体检测,确定目标物品;
生成与所述目标物品相匹配的物品特征数据;
获取与所述目标视频数据中的当前检测帧对应的文本信息,并对所述文本信息进行提取,得到文本特征数据。
可选地,所述基于所述视频特征数据,确定目标标签,包括:
基于所述对象特征数据,确定对象标签;
基于所述物品特征数据,确定物品标签;
基于所述文本特征数据,确定文本标签。
可选地,所述目标标签包括背景音乐标签和对话文本标签,所述方法还包括:
提取所述目标视频数据中的音频数据;
将所述音频数据中的背景音频数据进行音频特征提取,并基于提取到的背景音乐的音频特征确定背景音乐标签;
将所述音频数据中的对话音频转换为文本信息,并对所述文本信息进行分词,确定对话文本标签。
可选地,所述方法还包括:
获取弹幕样本数据;
对所述弹幕样本数据中的每一条弹幕进行分词处理,并基于分词结果建立与每一条弹幕信息对应的索引信息;
获取目标对象的人脸特征数据,并将所述人脸特征数据与角色进行关联,得到对象关联信息;
获取视频样本数据对应的物品特征数据;
建立所述对象关联信息、所述物品特征数据与所述索引信息的关联关系;
基于所述关联关系、所述索引信息和所述弹幕样本数据生成目标弹幕数据库。
可选地,所述基于所述第一数据信息,生成目标弹幕信息,包括:
获取与每一目标标签相匹配的第一数据信息;
对各个所述第一数据信息进行去重和语义校正处理,得到目标弹幕信息。
可选地,所述基于所述第一数据信息,生成目标弹幕信息,包括:
确定目标视频数据对应的视频类型信息;
基于所述视频类型信息确定每一第一数据信息的权重信息;
基于所述权重信息,对每一所述第一数据信息进行处理,得到目标弹幕信息。
可选地,所述基于所述第一数据信息,生成目标弹幕信息,包括:
确定每一第一数据信息之间的关联信息;
基于所述关联信息,对所述第一数据信息进行处理,得到目标弹幕信息。
可选地,所述方法还包括:
基于所述目标弹幕信息对应的数量,确定每一目标弹幕信息对应的展示频率,以使得在播放所述目标视频数据的同时基于所述展示频率对每一所述目标弹幕信息进行展示。
一种弹幕生成装置,所述装置包括:
获取单元,用于获取待处理的目标视频数据;
提取单元,用于提取所述目标视频数据中的当前检测帧对应的视频画面中的视频特征数据;
确定单元,用于基于所述视频特征数据,确定目标标签;
检测单元,用于在目标弹幕数据库中检测得到与所述目标标签相匹配的第一数据信息;
生成单元,用于基于所述第一数据信息,生成目标弹幕信息,以使得在播放所述目标视频数据的同时展示所述目标弹幕信息。
一种电子设备,包括:
存储器,用于存储程序;
处理器,用于执行所述程序,所述程序具体用于实现如上述中任意一项所述的弹幕生成方法。
相较于现有技术,本发明提供了一种弹幕生成方法及装置,该方法包括:获取待处理的目标视频数据;提取目标视频数据中的当前检测帧对应的视频画面中的视频特征数据;基于视频特征数据,确定目标标签;在目标弹幕数据库中检测得到与目标标签相匹配的第一数据信息;基于第一数据信息,生成目标弹幕信息,以使得在播放目标视频数据的同时展示目标弹幕信息。在本发明中能够基于目标视频数据中的视频特征数据与目标弹幕数据库中的弹幕数据进行匹配,使得能够自动生成足够数量的弹幕,提升了用户的体验效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种弹幕生成方法的流程示意图;
图2为本发明实施例提供的一种弹幕生成装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
在本发明实施例中提供了一种弹幕生成方法,该方法可以为视频数据自动生成与之对应的大量的弹幕信息,并在视频数据播放时同时展示该弹幕信息,提升了用户的体验效果。
参见图1,为本发明实施例提供的一种弹幕生成方法的流程示意图,该方法可以包括以下步骤:
S101、获取待处理的目标视频数据。
目标视频数据为要生成弹幕信息的视频数据,其可以是影视视频数据,也可以是游戏视频数据或者是直播视频数据。该目标视频数据可以是没有任何弹幕信息的视频数据,也可以是有少量即小于弹幕数量阈值的视频数据。需要说明的是,目标视频数据可以是完整的视频数据,如某个完整的电影视频,也可以是部分视频数据,如某个视频10分钟到15分钟播放时长对应的视频片段。
S102、获取目标视频数据中的当前检测帧对应的视频画面中的视频特征数据。
其中,在生成目标视频数据对应的弹幕信息的过程中,处理器可以对目标视频数据进行逐帧处理,即提取每一帧视频画面中所包括的视频特征数据。也可以是按照对应的检测单位进行提取,如五个视频帧为一个检测单位,即当前检测帧为1-5帧对应的视频画面。
视频特征数据是指基于当前的视频画面进行分析,提取出该视频画面包括的各种特征,如视频画面包括的人物特征,物品特征、文本特征等,具体的,文本特征可以是视频画面中包括的字幕等文本信息,还可以是与当前视频画面对应的已公开的文本描述信息,如剧情介绍信息等。
在本发明实施例的一种实施方式中,所述提取目标视频数据中的当前检测帧对应的视频画面中的视频特征数据,包括:
对所述目标视频数据中的当前检测帧对应的视频画面进行人脸特征识别,确定目标对象;
生成与所述目标对象相匹配的对象特征数据;
对所述目标视频数据中的当前检测帧对应的视频画面进行物体检测,确定目标物品;
生成与所述目标物品相匹配的物品特征数据;
获取与所述目标视频数据中的当前检测帧对应的文本信息,并对所述文本信息进行提取,得到文本特征数据。
在该实施方式中,通过人脸特征识别来获得对象特征数据,其中,对象特征数据即指当前视频画面中包括的人物的特征数据,可以是与当前视频画面匹配的角色人物的特征数据,如,当前角色为“小乔”,可以是小乔对应的特征数据,还可以是当前角色对应的扮演者的人物特征数据,如当前小乔这个角色的扮演者为张三,则可以是张三对应的特征数据。还可以通过物体检测,确定对应的目标物品的物品特征数据,其中,物体检测主要是针对视频中常见的道具、虚拟武器、景物等进行检测,如,对人物的武器、特定背景如桥、宫殿等进行检测。还可以是对文本进行识别,得到对应的文本特征数据。其中,文本包括字幕信息,以及对应关联的剧情信息、人物介绍信息等。
S103、基于所述视频特征数据,确定目标标签。
可以根据每一视频特征数据的类型,来确定与视频特征数据对应的目标标签,具体的,可以每一视频特征数据对应一个目标标签,也可以是仅筛选出当前热度较大的视频特征数据对应的目标标签。在一种实现方式中,所述基于视频特征数据,确定目标标签,包括:基于对象特征数据,确定对象标签;基于物品特征数据,确定物品标签;基于文本特征数据,确定文本标签。其中,对象标签为人物标签,如包括的角色人物还可以是实际扮演者人物。
S104、在目标弹幕数据库中检测得到与目标标签相匹配的第一数据信息。
目标弹幕数据库为预先生成的数据库,其主要是根据已有的弹幕样本数据以及相关的目标对象的信息和物品信息以及文本信息生成的数据库。
将目标标签作为检测索引,可以在目标弹幕数据中检测得到对应的信息,记为第一数据信息。其中,第一数据信息可以包括多条数据,每一数据与对应的目标标签相匹配,如目标标签包括对象标签和物品标签,具体的,对象标签是包括张三,物品标签包括桥,检测到的第一数据信息可以包括“张三的演技一直在线”、“我站在桥上也看不到她”。
还可以根据目标标签的热度进行检索,如某个演员最近热度较高,则对应该演员的对象标签的优先级会大于其他标签的优先级,对应检测到的与该对象标签的信息会多于其他标签的信息,以使得最终生成的弹幕信息能够更加吸引用户的关注。
在本发明实施例中还提供了一种生成目标弹幕数据库的方法,该方法可以包括以下步骤:
获取弹幕样本数据;
对所述弹幕样本数据中的每一条弹幕进行分词处理,并基于分词结果建立与每一条弹幕信息对应的索引信息;
获取目标对象的人脸特征数据,并将所述人脸特征数据与角色进行关联,得到对象关联信息;
获取视频样本数据对应的物品特征数据;
建立所述对象关联信息、所述物品特征数据与所述索引信息的关联关系;
基于所述关联关系、所述索引信息和所述弹幕样本数据生成目标弹幕数据库。
通过对已有的弹幕信息进行抓取,建立全网基础弹幕数据库,其中,可以包括十几亿基础数据,对每一条弹幕进行分词处理,可以按照名词、动词、形容词等进行分词,然后根据分词结果进行关联存储,基于分词结果提取其中的关键词作为索引信息,可以根据建立的索引进行快速查询。使得最终生成的目标弹幕数据库中能够包括已有的弹幕信息。
同时,建立演员关联角色弹幕库,存储演员演过的热度较高的角色,角色排名可参照影视剧评分,例如,将大于8分且演员是主演则建立演员关联角色,如,某个演员饰演过三国中的曹操,其三国评分为9分,则该演员的关联角色就是曹操。
进一步,还可以收集各个影视平台的演员信息,对演员对应的图片通过人间检测算法,提取出对应的人脸特征数据,并将该人脸特征数据与该演员以及演员的角色进行关联,得到对象关联信息,以使得后续可以以演员或者相关角色进行检索,均得到该演员的相关信息。
还可以收集视频样本数据对应的物品特征数据,如收集影视剧中经常出现的物品,用具如服装、武器等制作相关的样本库,可以使得对应的模型进行训练,得到物品特征数据。
最后可以根据演员与角色之间的对象关联关系、物品特征数据,建立对应的索引信息,或者与已有的索引数据进行关联,从而生成目标弹幕数据库。
需要说明的是,可以基于该目标弹幕数据库进行与当前视频画面相匹配的相关信息的检索,得到对应的弹幕信息,还可以根据已有的信息生成对应的弹幕信息。
S105、基于第一数据信息,生成目标弹幕信息,以使得在播放所述目标视频数据的同时展示所述目标弹幕信息。
通过目标标签检索得到第一数据信息后,可以根据第一数据直接生成目标弹幕信息,也可以对第一数据信息进行相关的处理后再生成目标弹幕信息。
在一种实施方式中,所述基于第一数据信息,生成目标弹幕信息,包括:获取与每一目标标签相匹配的第一数据信息;对各个第一数据信息进行去重和语义校正处理,得到目标弹幕信息。可能存在不同的目标标签对应的弹幕信息相同,则会对这种进行去重合并,还可以根据当前视频数据对检测得到的已有的弹幕信息进行语义校正,以使得最终得到的目标弹幕信息更能匹配当前的视频数据。
在另一种实施方式中,所述基于第一数据信息,生成目标弹幕信息,包括:确定目标视频数据对应的视频类型信息;基于所述视频类型信息确定每一第一数据信息的权重信息;基于所述权重信息,对每一第一数据信息进行处理,得到目标弹幕信息。其中,视频类型信息可以包括喜剧、历史剧、正剧、谍战剧等。同一个目标标签可以对应多个第一数据信息,可以通过当前视频类型对各个第一数据信息的重要程度或者匹配程度进行排序,得到对应的权重信息。从而根据权重信息,确定最终作为目标弹幕信息的第一数据信息。例如,当前视频类型为喜剧,则选取出的目标弹幕信息也更多倾向快乐欢快的评论信息。
在又一种实施方式中,所述基于第一数据信息,生成目标弹幕信息,包括:确定每一第一数据信息之间的关联信息,基于所述关联信息,对第一数据进行处理,得到目标弹幕信息。其中,第一数据信息可以是基于目标弹幕数据库检索得到的信息,然后通过语义分析,得到各个第一数据信息之间的关联信息,可以利用该关联信息生成新的弹幕信息。关联信息可以包括角色与演员之间的评价关联信息,视频画面背景与人物之间的关联信息等。
对应的,还包括:基于所述目标弹幕信息对应的数量,确定每一目标弹幕信息对应的展示频率,以使得在播放所述目标视频数据的同时基于所述展示频率对每一所述目标弹幕信息进行展示。
若生成的目标弹幕信息的数量较多,可以在目标视频数据播放的时候不重复的展示。若生成的目标弹幕信息的数量小于不重复展示的阈值,可以设定展示频率,即在一个展示周期内该某条弹幕信息出现的次数,然后基于该展示频率进行展示。
本发明实施例提供了一种弹幕生成方法,该方法包括:获取待处理的目标视频数据;提取目标视频数据中的当前检测帧对应的视频画面中的视频特征数据;基于视频特征数据,确定目标标签;在目标弹幕数据库中检测得到与目标标签相匹配的第一数据信息;基于第一数据信息,生成目标弹幕信息,以使得在播放目标视频数据的同时展示目标弹幕信息。在本发明中能够基于目标视频数据中的视频特征数据与目标弹幕数据库中的弹幕数据进行匹配,使得能够自动生成足够数量的弹幕,提升了用户的体验效果。
下面以具体的应用场景对本发明的弹幕生成方法进行说明,首先下载待处理的视频数据,检测该视频数据中当前帧画面中是否存在明星,可以通过scrfd算法进行人脸检测,使用arcface算法对检测到的人脸进行特征提取,并与预先建立的数据库中的明星样本进行比对,如果符合阈值,则认为画面中存在某个明星,使用明星的名字在预先创建的目标弹幕数据库中进行查询,将查询到的和该明星相关联的弹幕信息,可以选取只包含明星一个名词的弹幕句子,通常会有很多,可以随机选取两条,另外选取一条明星关联角色弹幕,共三条作为当前帧明星的弹幕输出。由于影视剧中通常都是某个明星占据大段的时间,为了避免对明星评价次数过多,可以限制1分钟内同一明星评价时长不超过10秒。
其次,可以检测画面中是否存在一直的符合目标检测的物体,提取相关的名称,使用该名字在预建立的目标弹幕数据库中进行查询,将查询到的和该名词相关联弹幕,选取只包含一个名词的弹幕句子,通常会有很多,随机选取1条。
再次,对视频字幕进行提取,提取后进行分词,将名词在目标弹幕数据库中进行查询,选取只包含一个名词的弹幕句子,通常会有很多,随机选取1条。
最后可通过对获得与当前视频数据对应的剧情介绍或者相关信息简介中,按照句号进行拆段,如果拆段后的长度大于50个字则这一句按照逗号进行拆段。通过句法分析模型(如DDP模型)。将句法集里的句子,去除“助词”,如“的、了”等,然后放到句法库里;然后将实际遇到的句子也作同样处理,进行“模糊匹配”,如果匹配上,就输出句子的原句,作为弹幕随机添加到视频中。通过以上操作可以生成大量和视频相关联的弹幕,供用户观看。
在该场景中,通过抓取全网的基础弹幕库,对视频每秒钟的当前画面进行明星检测,目标检测,文本识别检测,输出相应的关联弹幕库合适的弹幕,并且以电视猫分集剧情作为补充,产生大量和视频相关弹幕,供用户观看,大大提升了用户体验效果。
在本申请实施例中除了可以利用目标视频数据中的画面特征以及字幕特征等确定的目标标签,来获得对应的弹幕信息之外,还可以是基于目标音频数据中的音频数据来确定目标标签。在本申请实施例的一种实施方式中,所述目标标签包括背景音乐标签和对话文本标签,所述方法还包括:
提取所述目标视频数据中的音频数据;
将所述音频数据中的背景音频数据进行音频特征提取,并基于提取到的背景音乐的音频特征确定背景音乐标签;
将所述音频数据中的对话音频转换为文本信息,并对所述文本信息进行分词,确定对话文本标签。
具体的,可以通过音频识别模型将目标视频数据中的音频数据划分为背景音频数据和对话音频两部分。对于背景音频数据,可以通过音频特征提取组件提取音频特征,建立背景音乐样本库,为每一类型背景音乐设置特定的背景音乐标签,该背景音乐标签可以表征背景音乐代表的情绪特征,如,安静、轻快、感人、紧张、浪漫、悲伤、悬念、恐怖等等。如,背景音乐标签为感人时,则对应的弹幕信息可以是“音乐好感人”等。进一步地,在将背景音频数据与背景音乐样本库中的音频进行比对时,可以采用比对算法,设置满足比对结果的阈值,将满足一定阈值即可匹配到对应的音频样本对应的标签确定为当前的背景音乐标签,从而可以输出与该标签对应的情绪化弹幕。
将音频数据中的对话音频转换为文本信息时,可以采用音频文本转换算法完成,并在得到文本后进行分词处理,将得到的名词作为对话文本标签,在弹幕信息库中进行查询,选取包含该名词的弹幕句子,若该弹幕句子有很多时,可以随机选取一条作为目标弹幕信息,也可以是将匹配度最高的弹幕句子确定为目标弹幕信息,如将包含对话音频中名词最多的弹幕信息确定为目标弹幕信息。其中,通过音频特征对应的音频标签确定目标弹幕信息时,也是将对应的音频标签在目标弹幕数据库中进行匹配,来确定最终输出的目标弹幕信息。该目标弹幕数据库就是如前面所述是通过对海量的弹幕信息进行抓取并处理得到的,其可以根据不同类型的弹幕信息进行存储,在以音频标签进行确定弹幕信息时主要是利用了该目标弹幕数据库中基于音频特征产生的弹幕信息为基础,并与当前的音频信息相匹配来确定目标弹幕信息的。
在本申请实施例中不仅能够根据视频画面特征、视频字幕特征还可以根据视频中包括的音频数据的特征,来生成弹幕信息,使得最终输出的目标弹幕信息能够更加匹配当前视频数据,并且准确性更高,提升了用户的体验效果。
对应的,参见图2,在本发明实施例中还提供了一种弹幕生成装置,该装置可以包括:
获取单元201,用于获取待处理的目标视频数据;
提取单元202,用于提取所述目标视频数据中的当前检测帧对应的视频画面中的视频特征数据;
确定单元203,用于基于所述视频特征数据,确定目标标签;
检测单元204,用于在目标弹幕数据库中检测得到与所述目标标签相匹配的第一数据信息;
生成单元205,用于基于所述第一数据信息,生成目标弹幕信息,以使得在播放所述目标视频数据的同时展示所述目标弹幕信息。
可选地,所述提取单元包括:
第一确定子单元,用于对所述目标视频数据中的当前检测帧对应的视频画面进行人脸特征识别,确定目标对象;
第一生成子单元,用于生成与所述目标对象相匹配的对象特征数据;
第一检测子单元,用于对所述目标视频数据中的当前检测帧对应的视频画面进行物体检测,确定目标物品;
第二生成子单元,用于生成与所述目标物品相匹配的物品特征数据;
第一获取子单元,用于获取与所述目标视频数据中的当前检测帧对应的文本信息,并对所述文本信息进行提取,得到文本特征数据。
进一步地,所述确定单元具体用于:
基于所述对象特征数据,确定对象标签;
基于所述物品特征数据,确定物品标签;
基于所述文本特征数据,确定文本标签。
进一步地,所述装置还包括:音频数据处理单元;
所述音频数据处理单元,用于提取所述目标视频数据中的音频数据;将所述音频数据中的背景音频数据进行音频特征提取,并基于提取到的背景音乐的音频特征确定背景音乐标签;将所述音频数据中的对话音频转换为文本信息,并对所述文本信息进行分词,确定对话文本标签。
可选地,所述装置还包括:数据库生成单元,所述数据库生成单元具体用于:
获取弹幕样本数据;
对所述弹幕样本数据中的每一条弹幕进行分词处理,并基于分词结果建立与每一条弹幕信息对应的索引信息;
获取目标对象的人脸特征数据,并将所述人脸特征数据与角色进行关联,得到对象关联信息;
获取视频样本数据对应的物品特征数据;
建立所述对象关联信息、所述物品特征数据与所述索引信息的关联关系;
基于所述关联关系、所述索引信息和所述弹幕样本数据生成目标弹幕数据库。
可选地,所述生成单元包括:
第二获取子单元,用于获取与每一目标标签相匹配的第一数据信息;
第一处理子单元,用于对各个第一数据信息进行去重和语义校正处理,得到目标弹幕信息。
可选地,所述生成单元包括:
第二确定子单元,用于确定目标视频数据对应的视频类型信息;
第三确定子单元,用于基于所述视频类型信息确定每一第一数据信息的权重信息;
第二处理子单元,用于基于所述权重信息,对每一第一数据信息进行处理,得到目标弹幕信息。
进一步地,所述生成单元包括:
第三确定子单元,用于确定每一第一数据信息之间的关联信息;
第三处理子单元,用于基于所述关联信息,对所述第一数据信息进行处理,得到目标弹幕信息。
可选地,所述装置还包括:
频率确定单元,用于基于所述目标弹幕信息对应的数量,确定每一目标弹幕信息对应的展示频率,以使得在播放所述目标视频数据的同时基于所述展示频率对每一所述目标弹幕信息进行展示。
本发明实施例提供了一种弹幕生成装置,包括:获取单元获取待处理的目标视频数据;提取单元提取目标视频数据中的当前检测帧对应的视频画面中的视频特征数据;确定单元基于视频特征数据,确定目标标签;检测单元在目标弹幕数据库中检测得到与目标标签相匹配的第一数据信息;生成单元基于第一数据信息,生成目标弹幕信息,以使得在播放目标视频数据的同时展示目标弹幕信息。在本发明中能够基于目标视频数据中的视频特征数据与目标弹幕数据库中的弹幕数据进行匹配,使得能够自动生成足够数量的弹幕,提升了用户的体验效果。
基于前述实施例,本申请的实施例提供一种计算机可读存储介质,计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现如上任一项的弹幕生成方法的步骤。
本发明实施例还提供了一种电子设备,包括:
存储器,用于存储程序;
处理器,用于执行所述程序,所述程序具体用于实现如上述中任意一项所述的弹幕生成方法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种弹幕生成方法,其特征在于,所述方法包括:
获取待处理的目标视频数据;
提取所述目标视频数据中的当前检测帧对应的视频画面中的视频特征数据;
基于所述视频特征数据,确定目标标签;
在目标弹幕数据库中检测得到与所述目标标签相匹配的第一数据信息;
基于所述第一数据信息,生成目标弹幕信息,以使得在播放所述目标视频数据的同时展示所述目标弹幕信息;
其中,所述基于所述第一数据信息,生成目标弹幕信息,包括:
确定每一第一数据信息之间的关联信息;其中,对所述第一数据信息进行语义分析,得到各个所述第一数据信息之间的关联信息,所述关联信息包括角色与演员之间的评价关联信息、视频画面背景与人物之间的关联信息;
基于所述关联信息,生成新的弹幕信息,得到目标弹幕信息;
其中,所述目标标签包括背景音乐标签和对话文本标签,所述方法还包括:
提取所述目标视频数据中的音频数据;
将所述音频数据中的背景音频数据进行音频特征提取,并基于提取到的背景音乐的音频特征确定背景音乐标签;
将所述音频数据中的对话音频转换为文本信息,并对所述文本信息进行分词,确定对话文本标签。
2.根据权利要求1所述的方法,其特征在于,所述提取所述目标视频数据中的当前检测帧对应的视频画面中的视频特征数据,包括:
对所述目标视频数据中的当前检测帧对应的视频画面进行人脸特征识别,确定目标对象;
生成与所述目标对象相匹配的对象特征数据;
对所述目标视频数据中的当前检测帧对应的视频画面进行物体检测,确定目标物品;
生成与所述目标物品相匹配的物品特征数据;
获取与所述目标视频数据中的当前检测帧对应的文本信息,并对所述文本信息进行提取,得到文本特征数据。
3.根据权利要求2所述的方法,其特征在于,所述基于所述视频特征数据,确定目标标签,包括:
基于所述对象特征数据,确定对象标签;
基于所述物品特征数据,确定物品标签;
基于所述文本特征数据,确定文本标签。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取弹幕样本数据;
对所述弹幕样本数据中的每一条弹幕进行分词处理,并基于分词结果建立与每一条弹幕信息对应的索引信息;
获取目标对象的人脸特征数据,并将所述人脸特征数据与角色进行关联,得到对象关联信息;
获取视频样本数据对应的物品特征数据;
建立所述对象关联信息、所述物品特征数据与所述索引信息的关联关系;
基于所述关联关系、所述索引信息和所述弹幕样本数据生成目标弹幕数据库。
5.根据权利要求1所述的方法,其特征在于,所述基于所述第一数据信息,生成目标弹幕信息,包括:
获取与每一目标标签相匹配的第一数据信息;
对各个所述第一数据信息进行去重和语义校正处理,得到目标弹幕信息。
6.根据权利要求1所述的方法,其特征在于,所述基于所述第一数据信息,生成目标弹幕信息,包括:
确定目标视频数据对应的视频类型信息;
基于所述视频类型信息确定每一第一数据信息的权重信息;
基于所述权重信息,对每一所述第一数据信息进行处理,得到目标弹幕信息。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述目标弹幕信息对应的数量,确定每一目标弹幕信息对应的展示频率,以使得在播放所述目标视频数据的同时基于所述展示频率对每一所述目标弹幕信息进行展示。
8.一种弹幕生成装置,其特征在于,所述装置包括:
获取单元,用于获取待处理的目标视频数据;
提取单元,用于提取所述目标视频数据中的当前检测帧对应的视频画面中的视频特征数据;
确定单元,用于基于所述视频特征数据,确定目标标签;
检测单元,用于在目标弹幕数据库中检测得到与所述目标标签相匹配的第一数据信息;
生成单元,用于基于所述第一数据信息,生成目标弹幕信息,以使得在播放所述目标视频数据的同时展示所述目标弹幕信息;
其中,所述基于所述第一数据信息,生成目标弹幕信息,包括:
确定每一第一数据信息之间的关联信息;其中,对所述第一数据信息进行语义分析,得到各个所述第一数据信息之间的关联信息,所述关联信息包括角色与演员之间的评价关联信息、视频画面背景与人物之间的关联信息;
基于所述关联信息,生成新的弹幕信息,得到目标弹幕信息;
其中,所述目标标签包括背景音乐标签和对话文本标签,还包括:
提取所述目标视频数据中的音频数据;
将所述音频数据中的背景音频数据进行音频特征提取,并基于提取到的背景音乐的音频特征确定背景音乐标签;
将所述音频数据中的对话音频转换为文本信息,并对所述文本信息进行分词,确定对话文本标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311480619.2A CN117221669B (zh) | 2023-11-08 | 2023-11-08 | 一种弹幕生成方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311480619.2A CN117221669B (zh) | 2023-11-08 | 2023-11-08 | 一种弹幕生成方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117221669A CN117221669A (zh) | 2023-12-12 |
CN117221669B true CN117221669B (zh) | 2024-03-08 |
Family
ID=89046585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311480619.2A Active CN117221669B (zh) | 2023-11-08 | 2023-11-08 | 一种弹幕生成方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117221669B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108989875A (zh) * | 2018-07-04 | 2018-12-11 | 北京奇艺世纪科技有限公司 | 一种生成弹幕文件的方法及装置 |
CN110166811A (zh) * | 2019-05-15 | 2019-08-23 | 口碑(上海)信息技术有限公司 | 弹幕信息的处理方法、装置及设备 |
CN112804582A (zh) * | 2020-03-02 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 弹幕处理方法、装置、电子设备及存储介质 |
CN113079417A (zh) * | 2021-03-25 | 2021-07-06 | 北京百度网讯科技有限公司 | 生成弹幕的方法、装置、设备和存储介质 |
CN114245222A (zh) * | 2021-12-16 | 2022-03-25 | 网易(杭州)网络有限公司 | 一种弹幕展示方法、装置、电子设备和介质 |
CN115426522A (zh) * | 2022-11-02 | 2022-12-02 | 北京搜狐新动力信息技术有限公司 | 信息推荐方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180032898A1 (en) * | 2016-07-27 | 2018-02-01 | Facebook, Inc. | Systems and methods for comment sampling |
-
2023
- 2023-11-08 CN CN202311480619.2A patent/CN117221669B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108989875A (zh) * | 2018-07-04 | 2018-12-11 | 北京奇艺世纪科技有限公司 | 一种生成弹幕文件的方法及装置 |
CN110166811A (zh) * | 2019-05-15 | 2019-08-23 | 口碑(上海)信息技术有限公司 | 弹幕信息的处理方法、装置及设备 |
CN112804582A (zh) * | 2020-03-02 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 弹幕处理方法、装置、电子设备及存储介质 |
CN113079417A (zh) * | 2021-03-25 | 2021-07-06 | 北京百度网讯科技有限公司 | 生成弹幕的方法、装置、设备和存储介质 |
CN114245222A (zh) * | 2021-12-16 | 2022-03-25 | 网易(杭州)网络有限公司 | 一种弹幕展示方法、装置、电子设备和介质 |
CN115426522A (zh) * | 2022-11-02 | 2022-12-02 | 北京搜狐新动力信息技术有限公司 | 信息推荐方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117221669A (zh) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111143610B (zh) | 一种内容推荐方法、装置、电子设备和存储介质 | |
CN110119711B (zh) | 一种获取视频数据人物片段的方法、装置及电子设备 | |
KR102068790B1 (ko) | 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체 | |
CN111683209B (zh) | 混剪视频的生成方法、装置、电子设备及计算机可读存储介质 | |
CN110020437B (zh) | 一种视频和弹幕相结合的情感分析及可视化方法 | |
CN110740387B (zh) | 一种弹幕编辑方法、智能终端及存储介质 | |
US8750681B2 (en) | Electronic apparatus, content recommendation method, and program therefor | |
US20150082331A1 (en) | Methods for identifying video segments and displaying contextually targeted content on a connected television | |
CN110582025A (zh) | 用于处理视频的方法和装置 | |
CN113709384A (zh) | 基于深度学习的视频剪辑方法、相关设备及存储介质 | |
CN109408672B (zh) | 一种文章生成方法、装置、服务器及存储介质 | |
CN110287375B (zh) | 视频标签的确定方法、装置及服务器 | |
Kim et al. | Toward a conceptual framework of key‐frame extraction and storyboard display for video summarization | |
CN114845149A (zh) | 视频片段的剪辑方法、视频推荐方法、装置、设备及介质 | |
CN117221669B (zh) | 一种弹幕生成方法及装置 | |
JP6760987B2 (ja) | 違法コンテンツ探索装置、違法コンテンツ探索方法およびプログラム | |
CN113965806B (zh) | 视频推荐方法、装置和计算机可读存储介质 | |
Tapu et al. | TV news retrieval based on story segmentation and concept association | |
JP6530002B2 (ja) | コンテンツ探索装置、コンテンツ探索方法、プログラム | |
JP6830917B2 (ja) | 違法コンテンツ探索装置、違法コンテンツ探索方法およびプログラム | |
CN108153863B (zh) | 一种视频信息的表示方法及装置 | |
JP6632564B2 (ja) | 違法コンテンツ探索装置、違法コンテンツ探索方法、及びプログラム | |
JP6621437B2 (ja) | 違法コンテンツ探索装置、違法コンテンツ探索方法、及びプログラム | |
JP6625087B2 (ja) | 違法コンテンツ探索装置及び違法コンテンツ探索方法 | |
CN115909122A (zh) | 视频处理方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |