CN116975358A - 视频识别方法、装置、电子设备及存储介质 - Google Patents
视频识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116975358A CN116975358A CN202210418816.0A CN202210418816A CN116975358A CN 116975358 A CN116975358 A CN 116975358A CN 202210418816 A CN202210418816 A CN 202210418816A CN 116975358 A CN116975358 A CN 116975358A
- Authority
- CN
- China
- Prior art keywords
- video
- interaction data
- data
- title
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 117
- 230000003993 interaction Effects 0.000 claims abstract description 628
- 230000002452 interceptive effect Effects 0.000 claims abstract description 162
- 238000012216 screening Methods 0.000 claims abstract description 62
- 238000004590 computer program Methods 0.000 claims abstract description 26
- 230000002596 correlated effect Effects 0.000 claims abstract description 9
- 230000000875 corresponding effect Effects 0.000 claims description 122
- 230000004927 fusion Effects 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 30
- 238000010219 correlation analysis Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000002457 bidirectional effect Effects 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 238000007405 data analysis Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000012015 optical character recognition Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000006403 short-term memory Effects 0.000 description 5
- 230000007787 long-term memory Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/735—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种视频识别方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。该方法包括:获取待识别视频的对象互动数据以及视频标题;从所述对象互动数据中筛选与目标信息相关的相关互动数据;根据所述相关互动数据,确定所述待识别视频与所述视频标题的相关性;根据所述相关性和相关性阈值的比对结果,确定所述待识别视频是否为目标视频。在本申请中,由于相关互动数据可以更准确的反映待识别视频的视频内容与视频标题的相关性,进而可以提高目标视频的识别准确性。
Description
技术领域
本申请涉及互联网信息处理技术领域,更具体地,涉及一种视频识别方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。
背景技术
随着互联网的发展,涌现出了越来越多的新型内容传播方式。以视频内容为例,出现了很多在各种新媒体平台上播放的、适合在移动状态和短时休闲状态下观看的、高频推送的视频内容。用户在选择感兴趣的视频时,通常先通过标题进行筛选,内容提供者为了吸引用户眼球会推出一些标题党视频。标题党视频通过夸大视频内容的标题、提高用户的观看预期来吸引用户观看,但其视频内容往往与用户期望偏差较大,会给用户带来较差的观看体验。
发明内容
有鉴于此,本申请实施例提出了一种视频识别方法、装置、电子设备、计算机可读存储介质以及计算机程序产品,能够准确的识别目标视频。
第一方面,本申请实施例提供了一种视频识别方法,方法包括:获取待识别视频的对象互动数据以及视频标题;从所述对象互动数据中筛选与目标信息相关的相关互动数据,所述目标信息用于指示所述待识别视频的视频内容,和/或,所述目标信息用于指示所述待识别视频为目标视频;根据所述相关互动数据,确定所述待识别视频与所述视频标题的相关性;根据所述相关性和相关性阈值的比对结果,确定所述待识别视频是否为目标视频。
第二方面,本申请实施例提供了一种视频识别装置,装置包括:获取模块,用于获取待识别视频的对象互动数据以及视频标题;筛选模块,用于从所述对象互动数据中筛选与目标信息相关的相关互动数据,所述目标信息用于指示所述待识别视频的视频内容,和/或,所述目标信息用于指示所述待识别视频为目标视频;相关性确定模块,用于根据所述相关互动数据,确定所述待识别视频与所述视频标题的相关性;视频确定模块,用于根据所述相关性和相关性阈值的比对结果,确定所述待识别视频是否为目标视频。
可选地,所述筛选模块,还用于获取所述待识别视频的视频内容数据,作为所述目标信息;从所述对象互动数据中筛选与所述视频内容数据相关的互动数据,作为所述相关互动数据;所述相关性确定模块,还用于根据所述视频标题,确定对应所述相关互动数据的标题相关概率,所述标题相关概率用于表征所述待识别视频与所述视频标题的相关性。
可选地,所述筛选模块,还用于根据所述视频内容数据,确定对应所述对象互动数据的内容相关概率,所述内容相关概率用于表征所述对象互动数据与所述视频内容数据的相关性;确定所述对象互动数据的互动热度,所述互动热度用于表征所述对象互动数据自身的互动性;根据所述内容相关概率和所述互动热度,确定所述对象互动数据的关键信息概率;从所述对象互动数据中筛选关键信息概率较高的前N个对象互动数据,作为所述相关互动数据,N正整数。
可选地,所述对象互动数据包括至少一个对象互动数据;所述筛选模块,还用于获取每个所述对象互动数据的点赞量和回复量;根据每个所述对象互动数据的点赞量和回复量,确定所述至少一个对象互动数据的整体互动量;对每个所述对象互动数据的所述点赞量和所述回复量进行加权求和,得到每个所述对象互动数据各自的加权和;计算每个所述对象互动数据各自的加权和分别与所述整体互动量的比值,得到每个所述对象互动数据对应的互动热度。
可选地,所述筛选模块,还用于根据所述视频内容数据,确定所述待识别视频的媒体特征;获取所述对象互动数据的文本特征;对所述文本特征和所述媒体特征进行融合,得到第一融合特征;通过第一相关性分析模型对所述第一融合特征进行分析,得到对应所述对象互动数据的内容相关概率。
可选地,所述相关性确定模块,还用于获取所述相关互动数据的关键信息概率,所述关键信息概率用于表征所述相关互动数据在所述待识别视频对应的全部对象互动数据中的重要性;根据所述相关互动数据以及所述关键信息概率,从所述相关互动数据中筛选目标互动数据;获取所述视频标题的标题特征以及所述目标互动数据的文本特征;对所述标题特征与所述目标互动数据的文本特征进行融合,得到第二融合特征;通过第二相关性分析模型对所述第二融合特征进行分析,得到对应所述相关互动数据的标题相关概率。
可选地,所述视频确定模块,还用于在所述标题相关概率小于所述相关性阈值时,确定所述待识别视频为目标视频。
可选地,所述筛选模块,还用于获取目标关键词作为所述目标信息,所述目标关键词是根据已标注标注信息的样本互动数据获得的,所述标注信息用于表征所述样本互动数据指示样本视频为目标视频,所述样本视频为对应所述样本互动数据的视频;从所述对象互动数据中筛选出命中所述目标关键词的互动数据,作为相关互动数据;所述相关性确定模块,还用于确定对应所述相关互动数据的标题命中概率,所述标题命中概率用于表征所述待识别视频与所述视频标题的相关性。
可选地,所述装置还包括:关键词获取模块,用于获取所述样本互动数据;对所述样本互动数据进行关键词提取,得到多个初选关键词;确定多个所述初选关键词在所述样本互动数据中的出现频率;从多个所述初选关键词中筛选出现频率超过预设频率的目标关键词。
可选地,所述相关互动数据包括至少一个相关互动数据;所述所述相关性确定模块,还用于确定每个所述相关互动数据的文本特征和互动热度,所述互动热度用于表征所述相关互动数据自身的互动性;通过标题命中分析模型对每个所述相关互动数据的文本特征进行分析,得到对应所述相关互动数据的初始标题命中概率;根据每个所述相关互动数据的初始标题命中概率和互动热度,得到所述标题命中概率。
可选地,所述视频确定模块,还用于在所述标题命中概率超过所述相关性阈值时,确定所述待识别视频为目标视频。
可选地,所述筛选模块,还用于获取所述待识别视频的视频内容数据和目标关键词作为所述目标信息,所述目标关键词是根据已标注标注信息的样本互动数据获得的,所述标注信息用于表征所述样本互动数据指示样本视频为目标视频,所述样本视频为对应所述样本互动数据的视频;从所述对象互动数据中筛选与所述视频内容数据相关的第一互动数据;从所述对象互动数据中筛选出命中所述目标关键词的互动数据,作为第二互动数;将所述第一互动数据以及所述第二互动数据作为相关互动数据;所述相关性确定模块,还用于根据所述视频标题,确定对应所述第一互动数据的标题相关概率,所述标题相关概率用于表征所述待识别视频与所述视频标题的相关性;确定对应所述第二互动数据的标题命中概率,所述标题命中概率用于表征所述待识别视频与所述视频标题的相关性;所述视频确定模块,还用于对所述标题命中概率和所述标题相关概率进行加权求和;根据求和的结果与所述相关性阈值的比对结果,确定所述待识别视频是否为目标视频。
可选地,所述装置还包括:提示信息发送模块,用于若确定所述待识别视频为目标视频,则发送提示信息,或者停止分发所述目标视频。
第三方面,本申请实施例提供了一种电子设备,包括处理器以及存储器;所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。
第五方面,本申请实施例提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述的方法。
本申请实施例提供的一种视频识别方法、装置、电子设备及存储介质,通过从待识别视频的对象互动数据中筛选与目标信息相关的相关互动数据,根据相关互动数据确定待识别视频与视频标题的相关性,并进一步根据相关性确定待识别视频是否为目标视频。由于相关互动数据可以更准确的反映待识别视频的视频内容与视频标题的相关性,进而可以提高目标视频的识别准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例示出的应用场景的示意图;
图2示出了本申请一个实施例提出的一种视频识别方法的流程图;
图3示出了本申请又一个实施例提出的一种视频识别方法的流程图;
图4示出了本申请实施例中第一互动数据的一种筛选方法的流程图;
图5示出了本申请实施例中互动热度的一种获取方法的流程图;
图6示出了本申请实施例中内容相关概率的一种获取方法的流程图;
图7示出了本申请实施例中内容相关概率的获取过程示意图;
图8示出了本申请实施例中标题相关概率的一种获取方法的流程图;
图9示出了本申请实施例中标题相关概率的获取过程示意图;
图10示出了本申请再一个实施例提供的一种视频识别方法的流程图;
图11示出了本申请实施例中标题命中概率的一种获取方法的流程图;
图12示出了本申请实施例中标题命中概率的获取过程示意图;
图13示出了本申请再一个实施例提供的一种视频识别方法的流程图;
图14示出了本申请实施例中待识别视频的识别过程示意图;
图15示出了本申请再一个实施例提供的一种视频识别方法的流程图;
图16示出了本申请一个实施例提出的一种视频识别装置的框图;
图17示出了用于执行根据本申请实施例的视频识别方法的电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。根据本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在以下的描述中,所涉及的术语“第一\第二”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
图1是根据本申请实施例示出的应用场景的示意图。如图1所示,该应用场景包括终端101和服务端102,终端101和服务端102通过有线网络或者无线网络通信连接。终端101可以是智能手机、平板电脑、笔记本电脑、台式电脑、智能家电、车载终端、飞行器、可穿戴设备终端、虚拟现实设备以及其他可以进行视频播放的终端设备,该终端上可以运行视频播放应用或者运行其他可以调用视频播放应用的其他应用(例如即时通讯应用、购物应用、搜索应用、游戏应用、论坛应用、地图交通应用等)。
服务端102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务端102可以用于为终端101运行的应用提供服务。
其中,终端101可以向服务端102发送对象的需求,对象可以是用户,由此,服务端102可以根据该对象的需求反馈对应的视频内容,或者由服务端102直接发送视频内容给终端101,或者服务端102根据与终端101绑定的对象信息发送对象定制的视频内容,或者与对象兴趣相关的视频内容。
针对背景技术提到的问题,服务端102可以通过视频识别方法,对待发送的视频进行识别,将明显是标题党视频的识别出来,向终端101反馈更符合对象需求的视频。发明人经过研究发现,如果通过视频本身的内容(例如视频中的台词或者作者增加的旁白)与视频标题的相关性来确定是否为标题党视频,在视频标题的表达比较隐晦时,可以准确的确定出待识别视频是否为标题党视频。
基于此,发明人提出了本申请提供的视频识别方法、装置、电子设备及存储介质,通过获取待识别视频的对象互动数据以及视频标题;从所述对象互动数据中筛选与目标信息相关的相关互动数据,所述目标信息用于指示所述待识别视频的视频内容,和/或,所述目标信息用于指示所述待识别视频为目标视频;根据所述相关互动数据,确定所述待识别视频与所述视频标题的相关性;根据所述相关性和相关性阈值的比对结果,确定所述待识别视频是否为目标视频。相关互动数据可以更准确的反映待识别视频的视频内容与视频标题的相关性,进而可以提高目标视频的识别准确性。
请参阅图2,图2示出了本申请一个实施例提出的一种视频识别方法的流程图,该方法可以应用于电子设备,该电子设备可以为图1所示的终端101或服务端102,该方法包括:
S110、获取待识别视频的对象互动数据以及视频标题。
待识别视频可以是指任何需要确定是否为目标视频的视频,例如可以是响应对象需求反馈的视频,或者待分发的视频,或者根据对象的对象身份信息、历史数据或者对象订阅信息待发送给终端101的视频。
本申请实施例中的目标视频可以是指标题党视频,也可以是其他具有可识别特征的视频。待识别视频可以是MKV、MP4或AVI等格式的视频,本申请不做限定。待识别视频可以是与电子设备连接的服务器(或其他多媒体设备)发送至电子设备的,待识别视频也可以是电子设通过网络地址从网站上获取的视频。
待识别视频的视频标题可以是视频发布者或者视频编辑者等用户,对待识别视频添加的名称或描述信息等。示例性的,电影视频的发布者为电影视频添加的电影名称可以作为视频标题,短视频的发布者为短视频添加的用于描述短视频的内容的描述信息也可以作为视频标题。也可以是平台根据描述信息或者视频内容提取出来的作为标题的信息。例如,电影《功夫》的视频标题为“功夫”,短视频的简介为教你如何3分钟学会300个单词,对应的视频标题为“3分钟学会300个单词”。
在本申请中,对象互动数据可以是指用户互动数据,用户互动数据可以是用户针对待识别视频发布的互动数据,例如可以是弹幕和评论等,对象互动数据中可以包括字符、图片、表情等信息中的至少一种。
本申请中的对象互动数据可以是指原始的对象互动数据对应的文本数据,在原始的对象互动数据中包括非文本数据时,需要将非文本数据转换为对应的文本数据,转换后的结果作为本申请的对象互动数据。例如原始的非文本数据可以是由对象的语音互动数据转换的文字信息,例如对象为用户时,对象的语音互动数据可以是用户针对视频发布的语音评论或者语音弹幕等。
在原始的对象互动数据包括字符时,对象互动数据可以至原始的对象互动数据本身;当原始的对象互动数据包括表情时,若表情中包括字符,可以通过光学字符识别技术(Optical Character Recognition,OCR,通过字符识别将待识别文件中的文字转换成文本格式的过程)在表情中提取文字,并将提取的文字作为对象互动数据;当原始的对象互动数据包括表情时,若表情中不包括字符,可以获取表情对应的表情内容信息(例如哭泣、开心、衰等),表情内容信息作为对象互动数据;当对象互动数据包括图片时,可以通过光学字符识别技术在图片中提取文字,作为对象互动数据,或,直接对图片进行对象识别,将识别出的对象的名称作为对象互动数据。
在本申请中,针对某一个待识别视频,对其进行识别时,可以获取全部的评论和弹幕作为对象互动数据。在另一些实施例中,针对某一个待识别视频,对其进行识别时,可以获取全部的评论和弹幕,然后对获取的全部的评论和弹幕进行筛选,筛选出弹幕字数较多、弹幕重复字数较少或包含非字符较少的一部分弹幕和评论作为对象互动数据。
若某一待识别视频在历史时刻曾经通过本申请的方法进行识别,随着时间的推移和浏览量的改变,该待识别视频的对象互动数据随着对象的发送操作(可以是弹幕发送操作和评论发送操作),数量越来越多时,可以在新增的对象互动数据的数量超过预设更新数量时,获取全部的对象互动数据,按照本申请的方法再次进行该待识别视频的识别过程。其中,预设更新数量可以是根据待识别视频长度、待识别视频的观看量或用户需求设定的。
S120、从所述对象互动数据中筛选与目标信息相关的相关互动数据,所述目标信息用于指示所述待识别视频的视频内容,和/或,所述目标信息用于指示所述待识别视频为目标视频。
目标信息可以用于指示所述待识别视频的视频内容,目标信息也可以指示所述待识别视频为目标视频,目标信息还可以是指示所述待识别视频的视频内容以及指示所述待识别视频为目标视频。目标视频可以是指标题党视频。
需要说明的是,当目标信息指示所述待识别视频的视频内容时,目标信息与待识别视频的内容契合度极高,目标信息可以作为待识别视频的内容的替代数据,当目标信息指示所述待识别视频为目标视频时,待识别视频为目标视频的可能性较大,待识别视频不为目标视频的可能性较小。
在目标信息用于指示所述待识别视频的视频内容时,目标信息可以是基于待识别视频的视频描述信息(例如视频简介)、字幕数据和对白数据等获得的。在目标信息用于指示所述待识别视频为目标视频时,目标信息可以是基于被确定为目标视频的视频所对应的目标视频互动数据获得的,例如目标视频互动数据可以是“这个标题太夸张了”、“这个标题和视频简直驴唇不对马嘴”、“这个标题太假了吧”等弹幕数据。
当目标信息用于指示所述待识别视频的视频内容时,筛选出的相关互动数据可以是与视频内容具有较高的相关性的对象互动数据;当目标信息用于指示待识别视频为目标视频时,筛选出的相关互动数据可以是指示待识别视频为目标视频的对象互动数据;当目标信息指示所述待识别视频的视频内容以及指示所述待识别视频为目标视频时,筛选出的相关互动数据包括与视频内容具有较高的相关性的对象互动数据以及指示待识别视频为目标视频的对象互动数据。
S130、根据所述相关互动数据,确定所述待识别视频与所述视频标题的相关性。
当相关互动数据均为与视频内容具有较高的相关性的对象互动数据时,对于任意一个相关互动数据,确定该相关互动数据与视频标题的相关性,作为一个子相关性,然后将全部的相关互动数据的子相关性进行汇总(汇总方式可以是加权求和等算法),得到相关性汇总结果,将相关性汇总结果作为待识别视频与所述视频标题的相关性。
当相关互动数据均为指示待识别视频为目标视频的对象互动数据时,对于任意一个相关互动数据,当该相关互动数据为指示待识别视频为目标视频的对象互动数据时,确定该相关互动数据指示待识别视频为目标视频的概率,然后将各个相关互动数据的概率进行汇总(汇总方式可以是加权求和等算法),得到概率汇总结果,将概率汇总结果作为待识别视频与所述视频标题的相关性。
当相关互动数据包括与视频内容具有较高的相关性的对象互动数据以及指示待识别视频为目标视频的对象互动数据两种数据时,对于每一个与视频内容具有较高的相关性的相关互动数据,确定该相关互动数据与视频标题的相关性,作为一个子相关性,然后将全部的与视频内容具有较高的相关性的相关互动数据的子相关性进行汇总(汇总方式可以是加权求和等算法),得到相关性汇总结果;对于任意一个指示待识别视频为目标视频的相关互动数据,确定该相关互动数据指示待识别视频为目标视频的概率,然后将各个指示待识别视频为目标视频的相关互动数据的概率进行汇总(汇总方式可以是加权求和等算法),得到概率汇总结果,再将相关性汇总结果和概率汇总结果进行汇总(可以是加权求和等算法),得到总相关性,该总相关性作为所述待识别视频与所述视频标题的相关性,总相关性越高,表示待识别视频的视频内容与视频标题越相似,待识别视频为目标视频的概率越低。
在一些实施方式中,针对每一个与视频内容具有较高的相关性的相关互动数据,可以确定相关互动数据的文本特征,作为第一文本特征,确定视频标题的文本特征,作为第二文本特征,将第一文本特征和第二文本特征进行融合,再对融合后的结果进行分析,得到每个相关互动数据与所述视频标题的相关性,作为一个子相关性,然后将全部的对象互动数据对应的子相关性汇总(汇总方式可以是加权求和等算法),得到相关性汇总结果,将相关性汇总结果作为待识别视频与所述视频标题的相关性,相关性汇总结果越高,相关互动数据与视频标题越相似,表示待识别视频的视频内容与视频标题越相似,待识别视频为目标视频的概率越低。
需要说明的是,在一种可能的实现方式中,可以利用训练后的语言模型,得到相关互动数据和视频标题的文本特征。其中,语言模型例如可以是预训练模型(BidirectionalEncoder Representation from Transformers,简称BERT)、双向长短时记忆网络模型(Bi-directional Long Short-Term Memory,简称BiLSTM)、双向门控循环单元网络模型(Bi-direction Gated Recurrent Unit,简称BiGRU)等,也可以是其他神经网络模型,本实施例对此不做限定。
在一种可能的实现方式中,确定相关互动数据的文本特征的方式可以是通过将相关互动数据进行分词,得到每个词的词向量,然后将词向量序列输入语言模型,将语言模型的输出作为文本特征;同理,确定视频标题的文本特征的方式可以是通过将视频标题进行分词,得到每个词的词向量,然后将词向量序列输入语言模型,将语言模型的输出作为文本特征。
另外,可以是将第一文本特征和第二文本特征融合后的结果输入训练后的分类模型,得到每个相关互动数据与视频标题的子相关性,然后将全部的对象互动数据的子相关性加权求和,得到相关性汇总结果。
在另一些实施方式中,针对每个指示待识别视频为目标视频的相关互动数据,可以将相关互动数据对应的第一文本特征输入训练后的标题命中分析模型,得到标题命中分析模型输出的该个相关互动数据对应的概率(该概率表示该相关互动数据指示待识别视频为目标视频的概率),然后将全部的相关互动数据对应的概率汇总,得到概率汇总结果,概率汇总结果越高,待识别视频为目标视频的可能性越高。其中,标题命中分析模型可以是通过训练样本对神经网络模型(例如BiLSTM、BiGRU、BERT等)进行训练后获得,训练样本可以包括作为样本的对象互动数据以及作为样本的对象互动数据与视频标题的相关性。
根据筛选出的相关互动数据进行视频识别,可以大大减少数据处理时间,提高视频分析效率。
S140、根据所述相关性和相关性阈值的比对结果,确定所述待识别视频是否为目标视频。
当相关互动数据仅包括与视频内容具有较高的相关性的对象互动数据时,将各个相关互动数据的子相关性汇总后得到的相关性汇总结果低于对应的第一阈值,确定待识别视频为目标视频;当相关互动数据仅包括指示待识别视频为目标视频的对象互动数据时,各个相关互动数据对应的概率汇总后的概率汇总结果达到对应的第二阈值,确定待识别视频为目标视频;当相关互动数据包括与视频内容具有较高的相关性的对象互动数据以及指示待识别视频为目标视频的对象互动数据两种数据时,确定各个与视频内容具有较高的相关性的对象互动数据各自的子相关性汇总后的相关性汇总结果,并确定各个指示待识别视频为目标视频的对象互动数据各自的概率汇总后的概率汇总结果,将将相关性汇总结果和概率汇总结果进行汇总,得到总相关性,总相关性未达到对应的第三阈值,确定待识别视频为目标视频。
上述三种情况对应的三种阈值不同,可以是基于待识别视频的视频内容、对象互动数据的数据量以及需求确定对应的阈值。
本实施例提供的视频识别方法,通过获取待识别视频的对象互动数据以及视频标题;从所述对象互动数据中筛选与目标信息相关的相关互动数据,所述目标信息用于指示所述待识别视频的视频内容,和/或,所述目标信息用于指示所述待识别视频为目标视频;根据所述相关互动数据,确定所述待识别视频与所述视频标题的相关性;根据所述相关性和相关性阈值的比对结果,确定所述待识别视频是否为目标视频。相关互动数据可以更准确的反映待识别视频的视频内容与视频标题的相关性,进而可以提高目标视频的识别准确性。上述方法充分利用了对象互动数据,如评论与弹幕,用户发表的评论与弹幕是用户基于当前视频内容的观看反馈,既能增补视频内容的表征能力,同时也能直接反应出视频标题党的倾向,通过对对象互动数据进行信息挖掘,在保证计算效率同时,可提升视频内容的建模理解效果,同时结合对象互动数据直接进行目标视频的识别,进一步提升识别的效果,为视频平台用户观看体验提升提供有效支撑。同时,由于对象互动数据的数据量一般情况下比视频内容的数据量少,因此减少了视频分析过程中的数据处理量,提高了视频分析效率。
请参阅图3,图3示出了本申请又一个实施例提出的一种视频识别方法的流程图,该方法可以应用于电子设备,该电子设备可以为图1所示的终端101或服务端102,该方法包括:
S210、获取待识别视频的对象互动数据以及视频标题。
其中,S210的描述参照S110的描述,此处不再赘述。
S220、获取所述待识别视频的视频内容数据,作为所述目标信息。
本申请中,待识别视频的视频内容数据可以包括待识别视频的字幕数据和待识别视频的对白数据。可以通过OCR技术在待识别的视频帧中提取字幕数据,可以通过自动语音识别技术(Automatic Speech Recognition,简称ASR)对待识别视频中的对白进行识别得到对白数据。
可以理解的是,待识别视频中的部分视频帧对应有字幕数据,通过OCR技术可以对该携带有字幕数据的视频帧进行字幕数据提取,并不需要对全部的视频帧进行字幕提取,同时,有些字幕可能存在与多个不同的视频帧,对于多个携带相同字幕的视频帧,只取其中一个视频帧进行字幕提取即可。
在一些实施方式中,待识别视频可以内置或外挂字幕数据,直接获取内置或外挂的字幕数据,可以不对视频帧进行字幕数据的提取。
一个字幕数据、一句对白对应的对白数据可以作为一个视频内容数据,一个待识别视频可以对应有多个视频内容数据。
S230、从所述对象互动数据中筛选与所述视频内容数据相关的互动数据,作为所述相关互动数据。
从待识别视频的全部对象互动数据筛选出与视频内容数据相关的对象互动数据,作为相关互动数据。相关互动数据与视频内容数据具有较高相似度,相关互动数据可以作为用于指示待识别视频的视频内容的数据。
相关互动数据可以通过对象互动数据与视频内容的相关性进行筛选,也可以通过对象互动数据的互动热度进行筛选,或者结合相关性与互动热度进行筛选。其中,互动热度用于表征对象对该数据的关注度和/或认可度。例如,筛选出的相关互动数据可以是对象互动数据中点赞量和/或回复量较高的对象互动数据。一个对象互动数据中点赞量和/或回复量越高,该对象互动数据的互动热度越高,表明该对象互动数据越能体现待识别视频的具体内容,该对象互动数据与视频内容数据的相关性也就越高。
S240、根据所述视频标题,确定对应所述相关互动数据的标题相关概率,所述标题相关概率用于表征所述待识别视频与所述视频标题的相关性。
得到相关互动数据之后,根据所述视频标题确定对应所述相关互动数据的标题相关概率,通过标题相关概率体现待识别视频与所述视频标题的相关性。标题相关概率越高,表明相关互动数据与所述视频标题的相关性越高,视频内容数据与视频标题越匹配,待识别视频与视频标题越相关,反之,标题相关概率越低,表明相关互动数据与所述视频标题的相关性越低,视频内容数据与视频标题越不匹配,待识别视频与视频标题越不相关。
在一些实施方式中,相关互动数据可能包括多个,针对每一个相关互动数据,根据视频标题确定对应的标题相关概率,然后可以对全部的相关互动户数据的标题相关概率进行加权求和、取最大值等方法,确定最终的标题相关概率,该最终的标题相关概率作为表征待识别视频与所述视频标题的相关性。
S250、在所述标题相关概率小于所述相关性阈值时,确定所述待识别视频为目标视频。
标题相关概率越低,表明相关互动数据与所述视频标题的相关性越低,视频内容数据与视频标题越不匹配,待识别视频与视频标题越不相关。当标题相关概率低于相关性阈值时,表明相关互动数据与所述视频标题的相关性低,视频内容数据与视频标题不匹配,待识别视频为目标视频,即待识别视频为标题党视频。其中,相关性阈值可以是根据需求或视频内容确定的。
同理,当标题相关概率达到相关性阈值时,表明相关互动数据与所述视频标题的相关性较高,视频内容数据与视频标题匹配,待识别视频不为目标视频,即待识别视频不为标题党视频。
在本实施例中,筛选与所述视频内容数据相关的相关互动数据作为识别待识别视频是否为目标视频的依据,相关互动数据较准确的反映待识别视频的具体内容,对应相关互动数据的相关性可以准确的反映待识别视频与视频标题的相关性,进而提高了待识别视频的识别精度。
同时,仅对筛选出的相关互动数据进行分析,不需要对全部的对象互动数据进行处理,减少了对象互动数据处理量,提高了数据处理效率,进而提高了视频识别效率。
请参阅图4,图4示出了本申请实施例中第一互动数据的一种筛选方法的流程图,可用于获取上述实施例中的第一互动数据,方法可以用于电子设备,该电子设备可以为图1所示的终端101或服务端102,方法包括:
S310、根据所述视频内容数据,确定对应所述对象互动数据的内容相关概率,所述内容相关概率用于表征所述对象互动数据与所述视频内容数据的相关性。
不同的对象互动数据与视频内容数据的相关性不同,根据所述视频内容数据,确定对应所述对象互动数据的内容相关概率。针对一个对象互动数据,内容相关概率越高,表明该对象互动数据与视频内容数据的相关性越高,反之,内容相关概率越低,表明该对象互动数据与视频内容数据的相关性越低。
当对象互动数据包括多个时,可针对每个对象互动数据,确定各自对应的内容相关概率,从而获得全部的对象互动数据各自的内容相关概率。
S320、确定所述对象互动数据的互动热度,所述互动热度用于表征所述对象互动数据自身的互动性。
每一个对象互动数据对应自身的互动热度。针对每一个对象互动数据,互动热度越高,表明该对象互动数据得到对象的关注度和认可度越高,该对象互动数据与视频内容数据越匹配,反之,互动热度越低,表明该对象互动数据得到对象的关注度和认可度越低,该对象互动数据与视频内容数据越不匹配。
当对象互动数据包括多个时,可针对每个对象互动数据,确定各自的互动热度,从而获得全部的对象互动数据各自的互动热度。
S330、根据所述内容相关概率和所述互动热度,确定所述对象互动数据的关键信息概率。
针对每一个对象互动数据,根据该对象互动数据对应的内容相关概率和互动热度,确定该对象互动数据的关键信息概率,关键信息概率用于表征对象互动数据在所述待识别视频对应的全部对象互动数据中的重要性。关键信息概率越高,对象互动数据越重要,关键信息概率越低,对象互动数据越不重要。
在本申请具体实施时,可针对每个对象互动数据,计算该对象互动数据的内容相关概率与互动热度的乘积,将该乘积作为该对象互动数据的关键信息概率,从而获得全部的对象互动数据各自的关键信息概率。
S340、从所述对象互动数据中筛选关键信息概率较高的前N个对象互动数据,作为所述相关互动数据,N正整数。
由于,关键信息概率越高,对象互动数据越重要,关键信息概率越低,对象互动数据越不重要,因此,筛选的相关互动数据是关键信息概率较高的前N个对象互动数据,用户可以继续实际需求、待识别视频长度等信息确定N的具体取值。其中,可以是筛选关键信息概率超过预设关键信息概率,且关键信息概率较高的前N个对象互动数据,预设关键信息概率可以是基于需求设定的,本申请不做限定。
在本实施例中,通过关键信息概率表示对象互动数据的重要性,筛选重要性较高的对象互动数据作为相关互动数据,使得相关互动数据与待识别视频的视频内容更加契合,进一步提高对象互动数据与视频标题相关性的准确率。
请参阅图5,图5示出了本申请实施例中互动热度的一种获取方法的流程图,可用于获取上述实施例中的互动热度,方法可以用于电子设备,该电子设备可以为图1所示的终端101或服务端102,方法包括:
S410、获取每个所述对象互动数据的点赞量和回复量。
在本申请中,待识别视频的对象互动数据包括至少一个,对于每个对象互动数据,可以具有点赞按钮,可以点击点赞按钮对该对象互动数据进行点赞,点赞按钮的周围可以显示该对象互动数据的点赞量,点赞量可以是该对象互动数据的全部点赞量,也可以是该对象互动数据在固定时长(例如一个月)内的点赞量,本申请不做限定。
对于每个对象互动数据,还可以具有回复框和发送按钮,可以在回复框中针对该对象互动数据编辑回复信息,然后点击对应的发送按钮发送该回复信息,发送的该回复信息作为一个回复信息,一个回复信息可以包括多段文字,文字数量可不限。对于回复信息,每次编辑非空的回复内容,再点击发送键之后发送信息的作为一个回复信息,回复量可以是指针对对象互动数据的回复信息的数量。
S420、根据每个所述对象互动数据的点赞量和回复量,确定所述至少一个对象互动数据的整体互动量。
可以根据每个所述对象互动数据的点赞量和回复量,确定该对象互动数据自身的互动量,具体的,可以是将该对象互动数据点赞量和回复量进行加权求和,得到该对象互动数据的自身的互动量,其中,点赞量和回复量权重可以是基于需求设定的,例如均为0.5。
然后将全部的对象互动数据的自身的互动量求和,得到全部的对象互动数据的整体互动量。
S430、对每个所述对象互动数据的所述点赞量和所述回复量进行加权求和,得到每个所述对象互动数据各自的加权和。
其中,对每个所述对象互动数据的点赞量和回复量进行加权求和,得到每个所述对象互动数据各自的加权和,该加权和也可以是该对象互动数据的自身的互动量。
S440、计算将每个所述对象互动数据各自的加权和分别与所述整体互动量的比值,得到每个所述对象互动数据对应的互动热度。
确定出每个所述对象互动数据各自的加权和之后,将该加权和与确定出的整体互动量作比,比值作为该对象互动数据的互动热度,对于全部的对象互动数据,确定出各自的互动热度。可以是将每个对象互动数据的自身的互动量与整体互动量的比值作为该对象互动数据的互动热度。
请参阅图6,图6示出了本申请实施例中内容相关概率的一种获取方法的流程图,可用于获取上述实施例中的内容相关概率,方法用于电子设备,该电子设备可以为图1所示的终端101或服务端102,方法包括:
S510、根据所述视频内容数据,确定所述待识别视频的媒体特征。
可以是将视频内容数据输入训练后的媒体特征分析模型,得到媒体特征分析模型输出的对应视频内容数据的文本特征,作为媒体特征。其中,媒体特征分析模型可以是预训练模型(BERT模型)、双向长短时记忆网络模型(BiLSTM模型)、双向门控循环单元网络模型(BiGRU模型)等,也可以是其他神经网络模型,本实施例对此不做限定。
针对每一个视频内容数据,可以将该视频内容数据输入媒体特征分析模型,得到该视频内容数据的媒体特征。
S520、获取所述对象互动数据的文本特征。
可以是将对象互动数据输入训练后的互动数据分析模型,得到互动数据分析模型输出的对应对象互动数据的文本特征,作为媒体特征。其中,媒体特征分析模型可以是预训练模型(BERT模型)、双向长短时记忆网络模型(BiLSTM模型)、双向门控循环单元网络模型(BiGRU模型)等,也可以是其他神经网络模型,本实施例对此不做限定。
针对每一个对象互动数据,可以将该对象互动数据输入互动数据分析模型,得到该对象互动数据的文本特征。
S530、对所述文本特征和所述媒体特征进行融合,得到第一融合特征。
可以将得到的每一个视频内容数据的媒体特征与每一个对象互动数据的文本特征分别融合,得到对应的第一融合特征。例如,3个视频内容数据对应3个媒体特征,3个对象互动数据对应3个文本特征,得到的第一融合特征包括9个第一融合特征。
具体的,对视频内容数据的媒体特征和对象互动数据的文本特征进行融合的方式可以是通过双向注意力(Attention)机制对视频内容数据的媒体特征和对象互动数据的文本特征进行融合,具体的,通过对象互动数据的文本特征对媒体特征做Attention,通过媒体特征对对象互动数据的文本特征做Attention,然后将两个Attention表示进行拼接作为第一融合特征。
S540、通过第一相关性分析模型对所述第一融合特征进行分析,得到对应所述对象互动数据的内容相关概率。
第一相关性分析模型中包括归一化指数(softmax)层,softmax层可以对第一融合特征进行二分类,得到输出概率,该输出概率作为内容相关概率。
第一相关性分析模型是预先训练得到的,第一相关性分析模型的一种可能的训练方式为获取目标样本视频的对象互动数据的文本特征和目标样本视频的视频内容数据的媒体特征,以及他们的相关性;目标样本视频包括对象互动数据与视频内容数据相关的样本,他们的标签为相关,对应的类别概率为1,目标样本视频还包括户互动数据与视频内容数据不相关的样本,他们不具有标签或标签为不相关,对应的类别概率为0。根据目标样本视频的对象互动数据的文本特征和目标样本视频的视频内容数据的媒体特征,以及他们的标签训练得到第一相关性分析模型。
请参阅图7,图7示出了本申请实施例中内容相关概率的获取过程示意图。
通过媒体特征分析模型对视频内容数据进行分析,得到对应的媒体特征,并通过互动数据分析模型,对对象互动数据(是指每一个对象互动数据)进行分析,得到对应的文本特征,然后将得到的媒体特征与对象互动数据的文本特征进行特征融合(特征融合可以是指上文中的通过双向注意力机制进行融合)得到第一融合特征,然后,通过第一相关性分析模型对第一融合特征进行分析,得到第一相关性分析模型输出的对应该对象互动数据的内容相关概率。
在本实施例中,将对象互动数据的文本特征与视频内容数据的媒体特征做融合,然后对融合后的特征进行分析,得到用于表示视频内容与对象互动数据的相关性的内容相关概率,以便根据内容相关概率得到准确率较高的关键信息概率。
请参阅图8,图8示出了本申请实施例中标题相关概率的一种获取方法的流程图,可用于获取上述实施例中的标题相关概率,方法用于电子设备,该电子设备可以为图1所示的终端101或服务端102,方法包括:
S610、获取所述相关互动数据的关键信息概率,所述关键信息概率用于表征所述相关互动数据在所述待识别视频对应的全部对象互动数据中的重要性。
其中,相关互动数据的关键信息概率的获取方法参照上文S330的描述,此处不在赘述。
S620、根据所述相关互动数据以及所述关键信息概率,从所述相关互动数据中筛选目标互动数据。
筛选出的相关互动数据可以包括多个,多个相关互动数据一一对应各自的关键信息概率,根据多个相关互动数据及其一一对应的关键信息概率,在相关互动数据中筛选一个目标互动数据。
可以是确定相关互动数据的文本特征(确定方法参照对象互动数据的文本特征的确定方法,不再赘述),然后将相互动数据的文本特征与对应的关键信息概率做乘积,得到处理后的文本特征,然后对处理后的文本特征做MaxPooling运算,得到最终的文本特征,该最终的文本特征所对应的相关互动数据作为目标互动数据。
S630、获取所述视频标题的标题特征以及所述目标互动数据的文本特征。
可以是将视频标题输入视频标题分析模型,得到视频标题分析模型输出的对应视频标题的文本特征,作为标题特征。其中,视频标题分析模型可以是预训练模型(BERT模型)、双向长短时记忆网络模型(BiLSTM模型)、双向门控循环单元网络模型(BiGRU模型)等,也可以是其他神经网络模型,本实施例对此不做限定。
目标互动数据的文本特征的获取方式参照S620的描述,不在赘述。
S640、对所述标题特征与所述目标互动数据的文本特征进行融合,得到第二融合特征。
可以是通过双向注意力(Attention)机制对标题特征与所述目标互动数据的文本特征进行融合,得到融合后的特征,作为第二融合特征。具体的,通过目标互动数据的文本特征对标题特征做Attention,通过标题特征对目标互动数据的文本特征做Attention,然后将两个Attention表示进行拼接作为第二融合特征。
S650、通过第二相关性分析模型对所述第二融合特征进行分析,得到对应所述相关互动数据的标题相关概率。
第一相关性分析模型中包括归一化指数(softmax)层,softmax层可以对第二融合特征进行二分类,得到输出概率,该输出概率作为标题相关概率。
第一相关性分析模型是预先训练得到的,第一相关性分析模型的训练方式参照第一相关性分析模型的训练方式,不再赘述。第二相关性分析模型的训练样本可以包括新的目标样本视频,新的目标样本视频包括对象互动数据与视频标题相关的样本,他们的标签为相关,对应的类别概率为1,新的目标样本视频还包括户互动数据与视频标题不相关的样本,他们不具有标签或标签为不相关,对应的类别概率为0。
请参阅图9,图9示出了本申请实施例中标题相关概率的获取过程示意图。
根据各相关互动数据的关键信息概率筛选M个相关互动数据,其中,M为大于1的整数。根据互动数据分析模型对每个相关互动数据进行分析,得到对应的文本特征,将得到的文本特征与各自的相关互动数据的关键信息概率做运算(可以是相乘),得到处理后的文本特征,并在各个相关互动数据对应的处理后的文本特征中筛选目标互动数据,其中,筛选方法可以是MaxPooling运算。
根据视频标题分析模型确定视频标题的文本特征,作为标题特征,将标题特征与确定的目标互动数据的文本特征进行特征融合(特征融合可以是指上文中的通过双向注意力机制进行融合),得到第二融合特征,然后将第二融合特征输入第二相关性分析模型,得到第二相关性分析模型输出的对应相关互动数据的标题相关概率。
在本实施例中,在相关互动数据中筛选与视频内容最相关的目标互动数据,将目标互动数据的文本特征与视频标题的标题特征做融合,然后对融合后的特征进行分析,得到用于表示对象互动数据与视频标题的相关性的标题相关概率,标题相关概率具有较高的准确率,同时,代表对象互动数据的目标互动数据与视频内容的相关性较高,使得标题相关概率可以准确的反映视频内容与视频标题的相关性。
请参阅图10,图10示出了本申请再一个实施例提供的一种视频识别方法的流程图;方法可以用于电子设备,该电子设备可以为图1所示的终端101或服务端102,方法包括:
S710、获取待识别视频的对象互动数据以及视频标题。
其中,S710的描述参照S110的描述,此处不在赘述。
S720、获取目标关键词作为所述目标信息,所述目标关键词是根据已标注标注信息的样本互动数据获得的,所述标注信息用于表征所述样本互动数据指示样本视频为目标视频,所述样本视频为对应所述样本互动数据的视频。
S730、从所述对象互动数据中筛选出命中所述目标关键词的互动数据,作为相关互动数据。
目标关键词可以包括多个,多个目标关键词可以构成关键词表,关键词表包括全部的目标关键词。将每个对象互动数据与关键词表作比对,确定该对象互动数据是否命中关键词表中某一个目标关键词,若命中,将该对象互动数据作为一个相关互动数据。
样本视频可以是指被确定为目标视频的视频,即样本视频为标题党视频,样本视频包括大量的对象互动数据,该大量的对象互动数据中存在被标注了标注信息的对象互动数据,被标注了标注信息的对象互动数据作为样本互动数据,其中,标注信息用于表征所述样本互动数据指示与所述样本互动数据对应的样本视频为目标视频,标注信息可以是任何标识,数字、字母或数字与字母的组合均可。例如,一个弹幕内容为“这标题实数浮夸”的弹幕可以被标注标注信息1,其中标注信息1表示弹幕指示该视频为标题党视频,又如,一个弹幕内容为“这标题是在太准确了”的弹幕可以被标注标注信息0,其中标注信息0表示弹幕指示该视频不为标题党视频。
根据样本视频的样本互动数据中的关键词确定目标关键词,具体的,目标关键词的确定方法包括:获取所述样本互动数据;对所述样本互动数据进行关键词提取,得到多个初选关键词;确定多个所述初选关键词在所述样本互动数据中的出现频率;从多个所述初选关键词中筛选出现频率超过预设频率的目标关键词。其中,预设频率可以是基于多个初选关键词的数量确定的,本申请不做限定。
筛选出的相关互动数据命中标题党视频的对象互动数据对应的目标关键词,相关互动数据指示待识别视频为标题党视频。
S740、确定对应所述相关互动数据的标题命中概率,所述标题命中概率用于表征所述待识别视频与所述视频标题的相关性。
确定出的标题命中概率表达相关互动数据指示待识别视频为目标的概率,标题命中概率越高,表明相关互动数据指示待识别视频为目标的概率越高,待识别视频为目标视频的概率越高,反之,标题命中概率越低,表明相关互动数据指示待识别视频为标题党视频的概率越低,待识别视频为目标视频的概率越低。
S750、在所述标题命中概率超过所述相关性阈值时,确定所述待识别视频为目标视频。
在标题命中概率超过相关性阈值时,标题命中概率高,表明相关互动数据指示待识别视频为目标视频的概率高,待识别视频为目标视频;在标题命中概率未超过相关性阈值时,标题命中概率低,表明相关互动数据指示待识别视频为目标视频的概率低,待识别视频不为目标视频,其中,相关性阈值值可以是基于需求设定的,例如0.3。
在本实施例中,筛选一部分对象互动数据作为相关互动数据,仅对相关互动数据进行分析,减少了对象互动数据的数据分析量,提高了数据分析效率,进而提高了视频识别效率。
请参阅图11,图11示出了本申请实施例中标题命中概率的一种获取方法的流程图,可用于获取上述实施例中的标题命中概率,方法可以用于电子设备,该电子设备可以为图1所示的终端101或服务端102,方法包括:
S810、确定每个所述相关互动数据的文本特征和互动热度,所述互动热度用于表征所述相关互动数据自身的互动性。
其中,相关互动数据的文本特征参照上文对象互动数据的文本特征的获取方法,不再赘述。
可以根据每个相关互动数据的点赞量和回复量,确定该相关互动数据自身的互动量,具体的,可以是将该相关互动数据点赞量和回复量进行加权求和,得到该相关互动数据的自身的互动量,其中,点赞量和回复量权重可以是基于需求设定的,例如均为0.5。然后将全部的对象互动数据的自身的互动量求和,得到全部的相关互动数据的整体互动量。
计算将每个相关互动数据各自的加权和分别与相关互动数据的整体互动量的比值,得到每个相关互动数据对应的互动热度。确定出每个相关互动数据各自的加权和之后,将该加权和与确定出的相关互动数据的整体互动量作比,比值作为该相关互动数据的互动热度,对于全部的相关互动数据,确定出各自的互动热度。可以是将每个相关互动数据的自身的互动量与相关互动数据的整体互动量的比值作为该相关互动数据的互动热度。
S820、通过标题命中分析模型对每个所述相关互动数据的文本特征进行分析,得到对应所述相关互动数据的初始标题命中概率。
将每个相关互动数据的文本特征输入标题命中分析模型,得到标题命中分析模型输出的对应该相关互动数据的初始标题命中概率。标题命中分析模型可以是对神经网络模型进行训练后获得的,该神经网络模型可以是预训练模型(BERT模型)、双向长短时记忆网络模型(BiLSTM模型)、双向门控循环单元网络模型(BiGRU模型)等。用于训练的训练样本可以包括为指示视频为标题党视频的对象互动数据与对应的类别概率1,用于训练的训练样本还可以包括为指示视频不为标题党视频的对象互动数据与对应的类别概率0。
S830、根据每个所述相关互动数据的初始标题命中概率和互动热度,得到所述标题命中概率。
可以将每个相关互动数据的初始标题命中概率和互动热度做乘积,然后将全部相关互动数据的乘积做加权和,得到最终的标题命中概率,其中,各个相关互动数据的乘积的权重可以根据各个相关互动数据的互动热度确定,各个相关互动数据的乘积的权重也可以根据用户的不同需求确定,本申请不做限定。
请参阅图12,图12示出了本申请实施例中标题命中概率的获取过程示意图。
在对象互动数据中筛选出相关互动数据之后,将每个相关互动数据输入互动数据分析模型,得到互动数据分析模型输出的对应该相关互动数据的文本特征,并按照本申请中对象互动数据的互动热度确定方法,确定该相关互动数据的互动热度,将该相关互动数据的文本特征输入标题命中分析模型,得到该相关互动数据对应的初始标题命中概率。计算确定出的每个相关互动数据的初始标题命中概率和互动热度的乘积,并将全部相关互动数据的乘积做加权和,得到最终的标题命中概率。
相关互动数据是最能指示视频为标题党视频的对象互动数据,进而使得确定出的相关互动数据对应的标题命中概率可以准确的反映待识别视频为标题党视频的概率,提高了识别结果的准确率。
请参阅图13,图13示出了本申请再一个实施例提供的一种视频识别方法的流程图,方法可以用于电子设备,该电子设备可以为图1所示的终端101或服务端102,方法包括:
S910、获取待识别视频的对象互动数据以及视频标题。
S920、获取所述待识别视频的视频内容数据和目标关键词作为所述目标信息,所述目标关键词是根据已标注标注信息的样本互动数据获得的,所述标注信息用于表征所述样本互动数据指示样本视频为目标视频,所述样本视频为对应所述样本互动数据的视频。
S930、从所述对象互动数据中筛选与所述视频内容数据相关的第一互动数据。
S940、从所述对象互动数据中筛选出命中所述目标关键词的互动数据,作为第二互动数。
S950、将所述第一互动数据以及所述第二互动数据作为相关互动数据。
S960、根据所述视频标题,确定对应所述第一互动数据的标题相关概率,所述标题相关概率用于表征所述待识别视频与所述视频标题的相关性。
S970、确定对应所述第二互动数据的标题命中概率,所述标题命中概率用于表征所述待识别视频与所述视频标题的相关性。
其中,S910的描述参照S110描述、S920的描述参照S220以及S720的描述、S930的描述参照S230的描述、S940的描述参照S730的描述、S960的描述参照S240的描述、S970的描述参照S740的描述,本申请在此不做赘述。
其中,在本实施例中,相关互动数据包括与所述视频内容数据相关的第一互动数据以及命中目标关键词的第二互动数据两种数据。
S980、对所述标题命中概率和所述标题相关概率进行加权求和。
S990、根据求和的结果与所述相关性阈值的比对结果,确定所述待识别视频是否为目标视频。
在本申请中,所述标题命中概率和所述标题相关概率的权重可以是根据实际的待识别视频的视频长短、待识别视频的视频类别以及用户需求确定的,所述标题命中概率和所述标题相关概率的权重和可以是1。
所述标题命中概率和所述标题相关概率进行加权求和的结果越高表明待识别视频为目标视频的可能性越低,所述标题命中概率和所述标题相关概率进行加权求和的结果越低表明待识别视频为目标视频的可能性越高。可以通过相关性阈值来判定待识别视频是否为目标视频。
所述标题命中概率和所述标题相关概率进行加权求和结果达到相关性阈值,待识别视频不为目标视频,否则为目标视频,相关性阈值可以是0.6等。
需要说明的,上述S140、S250、S750以及S990中的相关性阈值可以是不同的,可以根据需求和不同的实施例场景,确定对应的相关性阈值。
请参阅图14,图14示出了本申请实施例中待识别视频的识别过程示意图。
确定对应对象互动数据的内容相关概率和互动热度,进一步确定出对象互动数据的关键信息概率,根据对象互动数据的关键信息概率筛选第一互动数据;并在对象互动数据中筛选命中目标关键词的第二互动数据。
根据确定的每个第一互动数据的关键信息概率,筛选目标互动数据,然后将目标互动数据的文本特征与视频标题的标题特征进行特征融合,并将特征融合后的结果输入第二相关性分析模型,得到标题相关概率。
将确定的每个第二互动数据输入互动数据分析模型,得到第二互动数据的文本特征,将第二互动数据的文本特征输入标题命中分析模型,得到初始标题命中概率,然后计算各个第二互动数据的初始标题命中概率与互动热度的乘积,并将各个第二互动数据的乘积进行加权求和,得到标题命中概率。
最后,将标题命中概率和标题相关概率加权求和,得到求和结果,并将求和结果与相关性阈值比对,确定待识别视频的识别结果:待识别视频是为目标视频或待识别视频不为目标视频。
在本实施例中,通过两种方式进行待识别视频的识别,并将两个分析结果进行结合,使得结合后的分析结果更加准确。
为了更方便理解本方案,接下来,将结合具体应用场景对本申请实施例提供的视频识别方法进行举例说明。在该场景中,目标视频为标题党视频。
1.获取待识别视频的对象互动数据;
对象互动数据包括多个(可以是多个弹幕、多个评论或弹幕与评论的组合)。其中,该待识别视频的对象互动数据未发生改变时(无新增对象互动数据时),可不必重新对该待识别视频进行识别。
得到的待识别视频的对象互动数据量很大,可能有上万个评论、几万个弹幕,同时,发布的弹幕、评论中存在较多噪音数据,需要对发布的评论、弹幕等对象互动数据进行筛选,以筛选出与视频内容数据相关的第一互动数据以及指示待识别视频为目标视频的第二互动数据。
2.第一互动数据的筛选;
首先,可以通过ASR技术对待识别视频中的对白进行识别,并通过OCR提取待识别视频中的字幕数据,得到视频内容数据,视频内容数据可以包括对白对应的文本数据和字幕数据,然后可以将视频内容数据输入对应的BERT模型进行深度表示,得到媒体特征;将对象互动数据输入对应的BERT模型进行深度表示,得到对象互动数据的文本特征,通过Attention机制对媒体特征和对象互动数据的文本特征进行融合,并将融合后的结果输入第一相关性分析模型,得到内容相关概率,内容相关概率用于表示视频内容数据与对象互动数据的相关性。
统计每个对象互动数据的点赞量和回复量,并将每个对象互动数据的点赞量和回复量进行加权求和(点赞量和回复量的权重可以均是0.5),得到每个对象互动数据自身的互动量,将各个对象互动数据自身的互动量求和,得到待识别视频的整体互动量;然后将每个对象互动数据自身的互动量与整体互动量的比值,作为该对象互动数据的互动热度。
针对一个对象互动数据,将他的内容相关概率与他的互动热度的乘积作为该对象互动数据的关键信息概率。确定全部对象互动数据的关键信息概率之后,在对象互动数据中筛选关键信息概率超过预设关键信息概率,且关键信息概率较高的前K个对象互动数据作为第一互动数据,K为不为0的整数。
3.第二互动数据的筛选;
平台已经对大量的对象互动数据进行了标注,标注出了对象互动数据是否表达了视频为标题党视频,比如弹幕“这标题简直太夸张了”、评论“标题完全是驴唇不对马嘴”为表达标视频为标题党视频,评论“视频的画面真美”为未表达视频为标题党视频,可对这些标注好的对象互动数据进行关键词挖掘,挖掘出频率较高(例如关键词的出现频率大于预设频率的关键词)的关键词构建目标关键词,并通过目标关键词构建关键词表,通过此关键词表可对待识别视频的对象互动数据进行初步筛选,将命中关键词表中的目标关键词的对象互动数据确定为第二互动数据。
4.确定对应第一互动数据的标题相关概率;
针对每个第一互动数据,将其输入对应的BERT模型得到每个第一互动数据的文本特征,将该第一互动数据的文本特征与对应的关键信息概率做乘积处理,得到处理后的结果;得到全部第一互动数据的处理后的结果之后,根据MaxPooling算法在全部第一互动数据对应的处理后的结果中筛选一个结果,该筛选出的结果所对应的第一互动数据确定为目标互动数据。
将视频标题输入对应的BERT模型的到标题特征,并获取目标互动数据的文本特征,对标题特征与目标互动数据的文本特征进行融合,并将融合后的结果输入第二相关性分析模型,得到对应的标题相关概率。
可以在标题相关概率小于对应的阈值时,确定待识别视频为标题党视频。
5.确定对应第二互动数据的标题命中概率;
将每个第二互动数据输入对应的BERT模型得到对应的文本特征,并按照上述对象互动数据的互动热度的确定方法,确定每个第二互动数据的互动热度。将第二互动数据的文本特征输入标题命中分析模型,得到标题命中分析模型输出的对应该第二互动数据的初始标题命中概率。然后将每个第二互动数据的初始标题命中概率与互动热度做乘积,并对全部第二互动数据对应的乘积进行加权求和(各个第二互动数据对应的乘积的权重可以是根据需求设定,不做限定),得到标题命中概率。
可以在标题相关概率超过对应的阈值时,确定待识别视频为标题党视频。
6.结合标题命中概率和标题相关概率进行视频识别;
按照上述方法,得到标题相关概率和标题命中概率,将标题相关概率和标题命中概率加权求和(标题相关概率和标题命中概率的权重可以是根据待识别视频和用户需求设定),得到求和结果,根据求和结果与预设相关性阈值的比对结果,确定待识别视频是否为标题党视频。
当求和结果小于对应的阈值时,待识别视频确定为标题党视频,当求和结果不小于对应的阈值时,待识别视频确定不为标题党视频。
通过对待识别视频的对象互动数据进行挖掘,构建出能表征视频内容的第一互动数据,提升视频内容的表征能力,同时,结合直接基于表征待识别视频为标题党视频的第二互动数据,提升视频标题党的识别召回与精确度,特别是可提升单从视频标题与视频内容难以判别标题党情况的识别效果。
请参阅图15,图15示出了本申请再一个实施例提供的一种视频识别方法的流程图,方法可以用于电子设备,方法包括:
S1010、获取待识别视频的对象互动数据以及视频标题。
S1020、从所述对象互动数据中筛选与目标信息相关的相关互动数据,所述目标信息用于指示所述待识别视频的视频内容,和/或,所述目标信息用于指示所述待识别视频为目标视频。
S1030、根据所述相关互动数据,确定所述待识别视频与所述视频标题的相关性。
S1040、根据所述相关性和相关性阈值的比对结果,确定所述待识别视频是否为目标视频。
其中,S1010-S1040的描述参照S110-S140的描述,此处不在赘述。
S1050、若确定所述待识别视频为目标视频,则发送提示信息,或者停止分发所述目标视频。
确定待识别视频为目标视频后,目标视频可能带来不好的观看体验,可以发送提示信息,以便于用户基于提示信息确定是否继续观看待识别视频,也可以直接停止分发所述待识别视频,用户就不会观看到该目标视频,进一步提高用户的观看体验。
在一些可能的实施方式中,视频服务器可以内置本申请的视频识别方法,视频服务器从其他平台或服务器获取到待识别视频之后,根据本申请的方法确定待识别视频为目标视频之后,对确定为目标视频的待识别视频添加提示信息,并将该添加提示信息的待识别视频发送至视频服务器的视频平台,以便于用于通过视频平台观看该添加提示信息的待识别视频时,通过提示信息确定该视频是目标视频。
在另一些可能的实现方式中,视频服务器可根据本申请的方法确定待识别视频为目标视频之后,直接停止分发该待识别视频,用户就不会观看到该目标视频。
在本实施例中,确定待识别视频为目标视频后,输出提示信息或停止分发待识别视频,进而可辅助视频平台进行分发决策,从而降低了用户观看到目标视频的可能性,提高了用户的视频观看体验。
请参阅图16,图16示出了本申请一个实施例提出的一种视频识别装置的框图,所述装置1100包括:
获取模块1110,用于获取待识别视频的对象互动数据以及视频标题;
筛选模块1120,用于从所述对象互动数据中筛选与目标信息相关的相关互动数据,所述目标信息用于指示所述待识别视频的视频内容,和/或,所述目标信息用于指示所述待识别视频为目标视频;
相关性确定模块1130,用于根据所述相关互动数据,确定所述待识别视频与所述视频标题的相关性;
视频确定模块1140,用于根据所述相关性和相关性阈值的比对结果,确定所述待识别视频是否为目标视频。
可选地,所述筛选模块1120,还用于获取所述待识别视频的视频内容数据,作为所述目标信息;从所述对象互动数据中筛选与所述视频内容数据相关的互动数据,作为所述相关互动数据;所述相关性确定模块1130,还用于根据所述视频标题,确定对应所述相关互动数据的标题相关概率,所述标题相关概率用于表征所述待识别视频与所述视频标题的相关性。
可选地,所述筛选模块1120,还用于根据所述视频内容数据,确定对应所述对象互动数据的内容相关概率,所述内容相关概率用于表征所述对象互动数据与所述视频内容数据的相关性;确定所述对象互动数据的互动热度,所述互动热度用于表征所述对象互动数据自身的互动性;根据所述内容相关概率和所述互动热度,确定所述对象互动数据的关键信息概率;从所述对象互动数据中筛选关键信息概率较高的前N个对象互动数据,作为所述相关互动数据,N正整数。
可选地,所述对象互动数据包括至少一个对象互动数据;所述筛选模块1120,还用于获取每个所述对象互动数据的点赞量和回复量;根据每个所述对象互动数据的点赞量和回复量,确定所述至少一个对象互动数据的整体互动量;对每个所述对象互动数据的所述点赞量和所述回复量进行加权求和,得到每个所述对象互动数据各自的加权和;计算每个所述对象互动数据各自的加权和分别与所述整体互动量的比值,得到每个所述对象互动数据对应的互动热度。
可选地,所述筛选模块1120,还用于根据所述视频内容数据,确定所述待识别视频的媒体特征;获取所述对象互动数据的文本特征;对所述文本特征和所述媒体特征进行融合,得到第一融合特征;通过第一相关性分析模型对所述第一融合特征进行分析,得到对应所述对象互动数据的内容相关概率。
可选地,所述相关性确定模块1130,还用于获取所述相关互动数据的关键信息概率,所述关键信息概率用于表征所述相关互动数据在所述待识别视频对应的全部对象互动数据中的重要性;根据所述相关互动数据以及所述关键信息概率,从所述相关互动数据中筛选目标互动数据;获取所述视频标题的标题特征以及所述目标互动数据的文本特征;对所述标题特征与所述目标互动数据的文本特征进行融合,得到第二融合特征;通过第二相关性分析模型对所述第二融合特征进行分析,得到对应所述相关互动数据的标题相关概率。
可选地,所述视频确定模块1140,还用于在所述标题相关概率小于所述相关性阈值时,确定所述待识别视频为目标视频。
可选地,所述筛选模块1120,还用于获取目标关键词作为所述目标信息,所述目标关键词是根据已标注标注信息的样本互动数据获得的,所述标注信息用于表征所述样本互动数据指示样本视频为目标视频,所述样本视频为对应所述样本互动数据的视频;从所述对象互动数据中筛选出命中所述目标关键词的互动数据,作为相关互动数据;所述相关性确定模块1130,还用于确定对应所述相关互动数据的标题命中概率,所述标题命中概率用于表征所述待识别视频与所述视频标题的相关性。
可选地,所述装置还包括:关键词获取模块,用于获取所述样本互动数据;对所述样本互动数据进行关键词提取,得到多个初选关键词;确定多个所述初选关键词在所述样本互动数据中的出现频率;从多个所述初选关键词中筛选出现频率超过预设频率的目标关键词。
可选地,所述第二互动数据包括至少一个第二互动数据;所述相关性确定模块1130,还用于确定每个所述相关互动数据的文本特征和互动热度,所述互动热度用于表征所述相关互动数据自身的互动性;通过标题命中分析模型对每个所述相关互动数据的文本特征进行分析,得到对应所述相关互动数据的初始标题命中概率;根据每个所述相关互动数据的初始标题命中概率和互动热度,得到所述标题命中概率。
可选地,所述视频确定模块1140,还用于在所述标题命中概率超过所述相关性阈值时,确定所述待识别视频为目标视频。
可选地,所述筛选模块1120,还用于获取所述待识别视频的视频内容数据和目标关键词作为所述目标信息,所述目标关键词是根据已标注标注信息的样本互动数据获得的,所述标注信息用于表征所述样本互动数据指示样本视频为目标视频,所述样本视频为对应所述样本互动数据的视频;从所述对象互动数据中筛选与所述视频内容数据相关的第一互动数据;从所述对象互动数据中筛选出命中所述目标关键词的互动数据,作为第二互动数;将所述第一互动数据以及所述第二互动数据作为相关互动数据;所述相关性确定模块1130,还用于根据所述视频标题,确定对应所述第一互动数据的标题相关概率,所述标题相关概率用于表征所述待识别视频与所述视频标题的相关性;确定对应所述第二互动数据的标题命中概率,所述标题命中概率用于表征所述待识别视频与所述视频标题的相关性;所述视频确定模块1140,还用于对所述标题命中概率和所述标题相关概率进行加权求和;根据求和的结果与所述相关性阈值的比对结果,确定所述待识别视频是否为目标视频。
可选地,所述装置还包括:提示信息发送模块,用于若确定所述待识别视频为目标视频,则发送提示信息,或者停止分发所述目标视频。
图17示出了用于执行根据本申请实施例的视频识别方法的电子设备的结构框图。该电子设备可以是图1中的终端101或服务端102等,需要说明的是,图17示出的电子设备的计算机系统1200仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图17所示,计算机系统1200包括中央处理单元(Central Processing Unit,CPU)1201,其可以根据存储在只读存储器(Read-Only Memory,ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(Random Access Memory,RAM)1203中的程序而执行各种适当的动作和处理,例如执行上述实施例中的方法。在RAM 1203中,还存储有系统操作所需的各种程序和数据。CPU1201、ROM1202以及RAM 1203通过总线1204彼此相连。输入/输出(Input/Output,I/O)接口1205也连接至总线1204。
在一些实施例中,以下部件连接至I/O接口1205:包括键盘、鼠标等的输入部分1206;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid CrystalDisplay,LCD)等以及扬声器等的输出部分1207;包括硬盘等的存储部分1208;以及包括诸如LAN(Local Area Network,局域网)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1210上,以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1209从网络上被下载和安装,和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读存储介质上存储有计算机程序,当该计算机程序被处理器执行时,实现上述任一实施例中的方法。
根据本申请的一个方面,还提供了一种电子设备,其包括:处理器;存储器,存储器上存储有计算机程序,计算机程序被处理器执行时,实现上述任一实施例中的方法。
根据本申请实施例的一个方面,提供了计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该电子设备执行上述任一实施例中的方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台电子设备执行根据本申请实施方式的方法。
需要说明的是,在本申请中,对象互动数据、对象的身份信息以及对象的订阅信息等信息需要获取该对象的授权,在得到该对象对对象互动数据、对象的身份信息以及对象的订阅信息等信息的授权之后,可以对上述信息进行处理,从而符合相关法律的规定。
本领域技术人员在考虑说明书及实践这里公开的实施方式后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (17)
1.一种视频识别方法,其特征在于,所述方法包括:
获取待识别视频的对象互动数据以及视频标题;
从所述对象互动数据中筛选与目标信息相关的相关互动数据,所述目标信息用于指示所述待识别视频的视频内容,和/或,所述目标信息用于指示所述待识别视频为目标视频;
根据所述相关互动数据,确定所述待识别视频与所述视频标题的相关性;
根据所述相关性和相关性阈值的比对结果,确定所述待识别视频是否为目标视频。
2.根据权利要求1所述的方法,其特征在于,所述从所述对象互动数据中筛选与目标信息相关的相关互动数据,包括:
获取所述待识别视频的视频内容数据,作为所述目标信息;
从所述对象互动数据中筛选与所述视频内容数据相关的互动数据,作为所述相关互动数据;
所述根据所述相关互动数据,确定所述待识别视频与所述视频标题的相关性,包括:
根据所述视频标题,确定对应所述相关互动数据的标题相关概率,所述标题相关概率用于表征所述待识别视频与所述视频标题的相关性。
3.根据权利要求2所述的方法,其特征在于,所述从所述对象互动数据中筛选与所述视频内容数据相关的互动数据,作为所述相关互动数据,包括:
根据所述视频内容数据,确定对应所述对象互动数据的内容相关概率,所述内容相关概率用于表征所述对象互动数据与所述视频内容数据的相关性;
确定所述对象互动数据的互动热度,所述互动热度用于表征所述对象互动数据自身的互动性;
根据所述内容相关概率和所述互动热度,确定所述对象互动数据的关键信息概率;
从所述对象互动数据中筛选关键信息概率较高的前N个对象互动数据,作为所述相关互动数据,N正整数。
4.根据权利要求3所述的方法,其特征在于,所述对象互动数据包括至少一个对象互动数据;所述确定所述对象互动数据的互动热度,包括:
获取每个所述对象互动数据的点赞量和回复量;
根据每个所述对象互动数据的点赞量和回复量,确定所述至少一个对象互动数据的整体互动量;
对每个所述对象互动数据的所述点赞量和所述回复量进行加权求和,得到每个所述对象互动数据各自的加权和;
计算每个所述对象互动数据各自的加权和分别与所述整体互动量的比值,得到每个所述对象互动数据对应的互动热度。
5.根据权利要求3所述的方法,其特征在于,所述根据所述视频内容数据,确定对应所述对象互动数据的内容相关概率,包括:
根据所述视频内容数据,确定所述待识别视频的媒体特征;
获取所述对象互动数据的文本特征;
对所述文本特征和所述媒体特征进行融合,得到第一融合特征;
通过第一相关性分析模型对所述第一融合特征进行分析,得到对应所述对象互动数据的内容相关概率。
6.根据权利要求2所述的方法,其特征在于,所述根据所述视频标题,确定对应所述相关互动数据的标题相关概率,包括:
获取所述相关互动数据的关键信息概率,所述关键信息概率用于表征所述相关互动数据在所述待识别视频对应的全部对象互动数据中的重要性;
根据所述相关互动数据以及所述关键信息概率,从所述相关互动数据中筛选目标互动数据;
获取所述视频标题的标题特征以及所述目标互动数据的文本特征;
对所述标题特征与所述目标互动数据的文本特征进行融合,得到第二融合特征;
通过第二相关性分析模型对所述第二融合特征进行分析,得到对应所述相关互动数据的标题相关概率。
7.根据权利要求2所述的方法,其特征在于,所述根据所述相关性和相关性阈值的比对结果,确定所述待识别视频是否为目标视频,包括:
在所述标题相关概率小于所述相关性阈值时,确定所述待识别视频为目标视频。
8.根据权利要求1所述的方法,其特征在于,所述从所述对象互动数据中筛选与所述待识别视频的视频内容相关的相关互动数据,包括:
获取目标关键词作为所述目标信息,所述目标关键词是根据已标注标注信息的样本互动数据获得的,所述标注信息用于表征所述样本互动数据指示样本视频为目标视频,所述样本视频为对应所述样本互动数据的视频;
从所述对象互动数据中筛选出命中所述目标关键词的互动数据,作为相关互动数据;
所述根据所述相关互动数据,确定所述待识别视频与所述视频标题的相关性,包括:
确定对应所述相关互动数据的标题命中概率,所述标题命中概率用于表征所述待识别视频与所述视频标题的相关性。
9.根据权利要求8所述的方法,其特征在于,所述目标关键词的获取方法,包括:
获取所述样本互动数据;
对所述样本互动数据进行关键词提取,得到多个初选关键词;
确定多个所述初选关键词在所述样本互动数据中的出现频率;
从多个所述初选关键词中筛选出现频率超过预设频率的目标关键词。
10.根据权利要求8所述的方法,其特征在于,所述相关互动数据包括至少一个相关互动数据;所述确定对应所述相关互动数据的标题命中概率,包括:
确定每个所述相关互动数据的文本特征和互动热度,所述互动热度用于表征所述相关互动数据自身的互动性;
通过标题命中分析模型对每个所述相关互动数据的文本特征进行分析,得到对应所述相关互动数据的初始标题命中概率;
根据每个所述相关互动数据的初始标题命中概率和互动热度,得到所述标题命中概率。
11.根据权利要求8所述的方法,其特征在于,所述根据所述相关性和相关性阈值的比对结果,确定所述待识别视频是否为目标视频,包括:
在所述标题命中概率超过所述相关性阈值时,确定所述待识别视频为目标视频。
12.根据权利要求1所述的方法,其特征在于,所述从所述对象互动数据中筛选与目标信息相关的相关互动数据,包括:
获取所述待识别视频的视频内容数据和目标关键词作为所述目标信息,所述目标关键词是根据已标注标注信息的样本互动数据获得的,所述标注信息用于表征所述样本互动数据指示样本视频为目标视频,所述样本视频为对应所述样本互动数据的视频;
从所述对象互动数据中筛选与所述视频内容数据相关的第一互动数据;
从所述对象互动数据中筛选出命中所述目标关键词的互动数据,作为第二互动数;
将所述第一互动数据以及所述第二互动数据作为相关互动数据;
所述根据所述相关互动数据,确定所述待识别视频与所述视频标题的相关性,包括:
根据所述视频标题,确定对应所述第一互动数据的标题相关概率,所述标题相关概率用于表征所述待识别视频与所述视频标题的相关性;
确定对应所述第二互动数据的标题命中概率,所述标题命中概率用于表征所述待识别视频与所述视频标题的相关性;
所述根据所述相关性和相关性阈值的比对结果,确定所述待识别视频是否为目标视频,包括:
对所述标题命中概率和所述标题相关概率进行加权求和;
根据求和的结果与所述相关性阈值的比对结果,确定所述待识别视频是否为目标视频。
13.根据权利要求1至12任一项所述的方法,其特征在于,所述根据所述相关性和相关性阈值的比对结果,确定所述待识别视频是否为目标视频之后,所述方法还包括:
若确定所述待识别视频为目标视频,则发送提示信息,或者停止分发所述目标视频。
14.一种视频识别装置,其特征在于,所述装置包括:
获取模块,用于获取待识别视频的对象互动数据以及视频标题;
筛选模块,用于从所述对象互动数据中筛选与目标信息相关的相关互动数据,所述目标信息用于指示所述待识别视频的视频内容,和/或,所述目标信息用于指示所述待识别视频为目标视频;
相关性确定模块,用于根据所述相关互动数据,确定所述待识别视频与所述视频标题的相关性;
视频确定模块,用于根据所述相关性和相关性阈值的比对结果,确定所述待识别视频是否为目标视频。
15.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至13中任一项所述的方法的步骤。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤。
17.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210418816.0A CN116975358A (zh) | 2022-04-20 | 2022-04-20 | 视频识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210418816.0A CN116975358A (zh) | 2022-04-20 | 2022-04-20 | 视频识别方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116975358A true CN116975358A (zh) | 2023-10-31 |
Family
ID=88478234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210418816.0A Pending CN116975358A (zh) | 2022-04-20 | 2022-04-20 | 视频识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116975358A (zh) |
-
2022
- 2022-04-20 CN CN202210418816.0A patent/CN116975358A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10824874B2 (en) | Method and apparatus for processing video | |
CN111143610B (zh) | 一种内容推荐方法、装置、电子设备和存储介质 | |
KR101944469B1 (ko) | 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체 | |
CN112533051B (zh) | 弹幕信息显示方法、装置、计算机设备和存储介质 | |
CN109543058B (zh) | 用于检测图像的方法、电子设备和计算机可读介质 | |
EP3996373A2 (en) | Method and apparatus of generating bullet comment, device, and storage medium | |
CN111611436A (zh) | 一种标签数据处理方法、装置以及计算机可读存储介质 | |
CN112163122A (zh) | 确定目标视频的标签的方法、装置、计算设备及存储介质 | |
CN108509611B (zh) | 用于推送信息的方法和装置 | |
CN106354861A (zh) | 电影标签自动标引方法及自动标引系统 | |
CN109255037B (zh) | 用于输出信息的方法和装置 | |
CN113469298B (zh) | 模型训练方法及资源推荐方法 | |
US20200409998A1 (en) | Method and device for outputting information | |
CN112818224B (zh) | 信息推荐方法、装置、电子设备及可读存储介质 | |
CN111372141B (zh) | 表情图像生成方法、装置及电子设备 | |
CN109582825B (zh) | 用于生成信息的方法和装置 | |
CN114845149B (zh) | 视频片段的剪辑方法、视频推荐方法、装置、设备及介质 | |
CN110019948B (zh) | 用于输出信息的方法和装置 | |
CN111859973A (zh) | 用于生成解说词的方法和装置 | |
CN110888896A (zh) | 数据搜寻方法及其数据搜寻系统 | |
WO2024188044A1 (zh) | 视频标签生成方法、装置、电子设备及存储介质 | |
CN114338586A (zh) | 一种消息推送方法、装置、电子设备及存储介质 | |
CN113407775B (zh) | 视频搜索方法、装置及电子设备 | |
CN113537215A (zh) | 一种视频标签标注的方法及设备 | |
CN116976354A (zh) | 情感分析方法、装置、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |