CN114417890A - 一种评论内容回复方法、装置、电子设备及存储介质 - Google Patents
一种评论内容回复方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114417890A CN114417890A CN202210050043.5A CN202210050043A CN114417890A CN 114417890 A CN114417890 A CN 114417890A CN 202210050043 A CN202210050043 A CN 202210050043A CN 114417890 A CN114417890 A CN 114417890A
- Authority
- CN
- China
- Prior art keywords
- video
- target
- frame
- utilized
- comment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 239000013598 vector Substances 0.000 claims description 78
- 238000000605 extraction Methods 0.000 claims description 50
- 238000004891 communication Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 15
- 230000007704 transition Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 11
- 238000012552 review Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000004927 fusion Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000013604 expression vector Substances 0.000 description 2
- 230000009193 crawling Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/735—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种评论内容回复方法、装置、电子设备及存储介质,涉及视频处理技术领域。该方法包括:识别目标短视频的评论区中,是否存在咨询类评论;若识别结果为是,对所述目标短视频进行视频帧抽取,得到待利用视频帧;基于指定数据库,确定与所述待利用视频帧匹配的目标视频帧;基于查找到的目标视频帧所关联的视频信息,确定所述目标短视频所属正片视频的视频信息;利用所述目标短视频所属正片视频的视频信息,对所述咨询类评论进行回复。通过本方案,以实现对用户针对正片视频的咨询类评论进行有效回复的目的。
Description
技术领域
本发明涉及视频处理技术领域,特别是涉及一种评论内容回复方法、装置、电子设备及存储介质。
背景技术
随着视频软件越来越丰富,越来越多属于影视剧、综艺、动漫等剪辑的短视频呈现在用户眼前。当用户在查看短视频且产生兴趣时,会想知道短视频所属正片视频的视频信息,例如:视频名称和/或视频观看地址。此时,用户通常会在短视频的评论区中,给出针对正片视频的咨询类评论,以询问短视频所属正片视频的视频信息。
相关技术中,当用户在短视频的评论区中,给出针对正片视频的咨询类评论时,如果其他用户知道,可能会在评论下方回复进而带来用户进一步观看。
但是很多情况下,其他用户并不知道或者无意回复,导致用户针对正片视频的咨询类评论无法得到有效回复,最终影响用户体验。
发明内容
本发明实施例的目的在于提供一种评论回复方法,以实现对用户针对正片视频的咨询类评论进行有效回复的目的。具体技术方案如下:
第一方面,本发明实施例提供了一种评论内容回复方法,所述方法包括:
识别目标短视频的评论区中,是否存在咨询类评论;其中,所述咨询类评论为用于询问所述目标短视频所属正片视频的视频信息的评论内容;
若识别结果为是,对所述目标短视频进行视频帧抽取,得到待利用视频帧;
基于指定数据库,确定与所述待利用视频帧匹配的目标视频帧;其中,所述指定数据库中记录有对多个备选正片视频进行抽帧所得的目标视频帧的帧信息,且每一目标视频帧关联有所属备选正片视频的视频信息;
基于查找到的目标视频帧所关联的视频信息,确定所述目标短视频所属正片视频的视频信息;
利用所述目标短视频所属正片视频的视频信息,对所述咨询类评论进行回复。
可选地,所述识别目标短视频的评论区中,是否存在咨询类评论,包括:
识别所述目标短视频的评论区的各条评论中,是否存在包含有指定关键字的评论,若是,识别到目标短视频的评论区中,存在咨询类评论;
其中,所述指定关键字为用于表征询问视频信息的关键字。
可选地,所述对所述目标短视频进行视频帧抽取,得到待利用视频帧,包括:
按照预定的抽帧策略,对所述目标短视频进行视频帧抽取,得到待利用视频帧;其中,所述预定的抽帧策略包括:若所述目标短视频的视频场景变换次数大于等于预定次数阈值或视频自身时长大于等于预定时长阈值,则采用转场抽帧方式,抽取视频帧;否则,则采用均匀抽帧方式,抽取视频帧。
可选地,所述指定数据库中记录有多个备选正片视频的目标视频帧的图像特征向量;
所述基于指定数据库,确定与所述待利用视频帧匹配的目标视频帧,包括:
生成所述待利用视频帧的图像特征向量,作为目标向量;
基于图索引检索的方式,从各个备选正片视频的目标视频帧的图像特征向量中,检索与所述目标向量的相似度排序靠前的多个图像特征向量;
从所述多个图像特征向量所属的目标视频帧中,选取与所述待利用视频帧的相似度大于预定阈值的目标视频帧,得到与所述待利用视频帧相匹配的目标视频帧。
可选地,所述查找到的目标视频帧的数量为多个;
所述基于查找到的目标视频帧所关联的视频信息,确定所述目标短视频所属正片视频的视频信息,包括:
确定所述待利用视频帧所对应的各个备选视频信息;其中,各个备选视频信息包括对查找到的目标视频帧所关联的各个视频信息,进行去重后的视频信息;
针对所述待利用视频帧对应的每一备选视频信息,确定该备选视频信息对应的目标视频帧,与所述待利用视频帧的相似度,将所确定的相似度进行求和,得到该备选视频信息的相似度;其中,该备选视频信息对应的目标视频帧为查找到的目标视频帧中,关联有该备选视频信息的目标视频帧;
基于所述待利用视频帧对应的每一备选视频信息的相似度,确定所述目标短视频所属正片视频的视频信息。
可选地,所述待利用视频帧的数量为多个;
所述基于所述待利用视频帧对应的每一备选视频信息的相似度,确定所述目标短视频所属正片视频的视频信息,包括:
确定各个待利用视频信息;其中,各个待利用视频信息包括对各个待利用视频帧所对应的备选视频信息,进行去重后得到的视频信息;
针对每一待利用视频信息,对该待利用视频信息的各个相似度进行求和,得到该待利用视频信息的相似度;
选取相似度最高的待利用视频信息,作为所述目标短视频所属正片视频的视频信息。
可选地,所述利用所述目标短视频所属正片视频的视频信息,对所述咨询类评论进行回复,包括:
将所述目标短视频所属正片视频的视频信息作为所述咨询类评论的回复内容,利用所述回复内容,更新所述目标短视频的评论区所涉及的评论内容。
可选地,利用所述目标短视频所属正片视频的视频信息,对所述咨询类评论进行回复之后,还包括:
向发出所述咨询类评论的用户推送提醒消息;其中,所述提醒消息用于提示所述用户所述咨询类评论已被回复。
第二方面,本发明实施例提供了一种评论内容回复装置,包括:
识别模块,用于识别目标短视频的评论区中,是否存在咨询类评论;其中,所述咨询类评论为用于询问所述目标短视频所属正片视频的视频信息的评论内容;
抽取模块,用于若识别结果为是,对所述目标短视频进行视频帧抽取,得到待利用视频帧;
第一确定模块,用于基于指定数据库,确定与所述待利用视频帧匹配的目标视频帧;其中,所述指定数据库中记录有对多个备选正片视频进行抽帧所得的目标视频帧的帧信息,且每一目标视频帧关联有所属备选正片视频的视频信息;
第二确定模块,用于基于查找到的目标视频帧所关联的视频信息,确定所述目标短视频所属正片视频的视频信息;
回复模块,用于利用所述目标短视频所属正片视频的视频信息,对所述咨询类评论进行回复。
可选地,所述识别模块,具体用于:
识别目标短视频的评论区的各条评论中,是否存在包含有指定关键字的评论,若是,识别到目标短视频的评论区中,存在咨询类评论;
其中,指定关键字为用于表征询问视频信息的关键字。
可选地,所述抽取模块具体用于:按照预定的抽帧策略,对所述目标短视频进行视频帧抽取,得到待利用视频帧;其中,所述预定的抽帧策略包括基于视频场景变化次数和/或视频时长,所设定的策略。
可选地,所述预定的抽帧策略包括:
若目标短视频的视频场景变换次数大于等于预定次数阈值或视频自身时长大于等于预定时长阈值,则采用转场抽帧方式,抽取视频帧;
否则,则采用均匀抽帧方式,抽取视频帧。
可选地,所述指定数据库中记录有多个备选正片视频的目标视频帧的图像特征向量;
第一确定模块,包括:
生成子模块,用于生成所述待利用视频帧的图像特征向量,作为目标向量;
检索子模块,用于基于图索引检索的方式,从各个备选正片视频的目标视频帧的图像特征向量中,检索与所述目标向量的相似度排序靠前的多个图像特征向量;
选取子模块,用于从所述多个图像特征向量所属的目标视频帧中,选取与所述待利用视频帧的相似度大于预定阈值的目标视频帧,得到与所述待利用视频帧相匹配的目标视频帧。
可选地,所述查找到的目标视频帧的数量为多个;
第二确定模块,具体用于:确定所述待利用视频帧所对应的各个备选视频信息;其中,各个备选视频信息包括对查找到的目标视频帧所关联的各个视频信息,进行去重后的视频信息;
针对所述待利用视频帧对应的每一备选视频信息,确定该备选视频信息对应的目标视频帧,与所述待利用视频帧的相似度,将所确定的相似度进行求和,得到该备选视频信息的相似度;其中,该备选视频信息对应的目标视频帧为查找到的目标视频帧中,关联有该备选视频信息的目标视频帧;
基于所述待利用视频帧对应的每一备选视频信息的相似度,确定所述目标短视频所属正片视频的视频信息。
可选地,所述待利用视频帧的数量为多个;
第二确定模块,包括:
第二确定子模块,用于:
确定各个待利用视频信息;其中,各个待利用视频信息包括对各个待利用视频帧所对应的备选视频信息,进行去重后得到的视频信息;
针对每一待利用视频信息,对该待利用视频信息的各个相似度进行求和,得到该待利用视频信息的相似度;
选取相似度最高的待利用视频信息,作为所述目标短视频所属正片视频的视频信息。
可选地,回复模块具体用于:
通过调用所述目标短视频所属视频客户端的智能机器人,利用所述目标短视频所属正片视频的视频信息,对所述咨询类评论进行回复。
可选地,所述装置还包括:
消息发送模块,用于在利用所述目标短视频所属正片视频的视频信息,对所述咨询类评论进行回复之后,向发出所述咨询类评论的用户推送提醒消息;其中,所述提醒消息用于提示所述用户所述咨询类评论已被回复。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现任一评论内容回复的方法步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的评论内容回复方法。
第五方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的评论内容回复方法。
本发明实施例有益效果:
本发明提供的方案,可以识别目标短视频的评论区是否存在咨询类评论,若存在咨询类评论,则对目标短视频进行视频帧抽取,得到待利用视频帧;在指定数据库中,确定与待利用视频帧匹配的目标视频帧;然后基于查找到的目标视频帧关联的视频信息,确定目标短视频所属正片视频的视频信息,并利用目标短视频所属正片视频的视频信息,对咨询类评论进行回复。可见,通过本方案,当用户对短视频产生兴趣并且咨询视频信息时,可以对用户针对正片视频的咨询类评论进行有效回复,从而提高了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的一种评论内容回复方法的流程图;
图2为本发明实施例提供的一种评论内容回复的示意图;
图3为本发明实施例提供的一种评论内容回复实施例的流程示意图;
图4为本发明实施例提供的一种评论内容回复装置的结构示意图;
图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
当用户在给出针对正片视频的咨询类评论时,希望得到回复内容。相关技术中,当用户在短视频的评论区中,给出针对正片视频的咨询类评论时,在其他用户知道该用户针对正片视频的咨询类评论对应的视频信息时,可以在该用户的咨询类评论下方点击回复按钮,回复短视频所属的正片视频的视频信息,从而完成评论内容回复。
然而,很多情况下,其他用户并不知道或根本不想回复,此时,用户针对正片视频的咨询类评论无法得到回复,导致该用户无法观看正片,从而给用户带来了不友好的体验。
基于此,本发明实施例提供了一种评论内容回复方法、装置、电子设备及存储介质,从而实现对用户针对正片视频的咨询类评论进行有效回复,提高用户体验。
下面首先对本发明实施例提供的一种评论内容回复方法进行介绍。
本发明实施例提供的一种评论内容回复方法可以应用于电子设备。
其中,该电子设备可以为服务器,当然也可以为终端设备,示例性的,终端设备可以为智能手机、平板电脑、台式电脑等。
具体而言,该评论内容回复方法的执行主体可以为评论内容回复装置。示例性的,当评论内容回复方法应用于服务器时,该评论内容回复装置可以为运行于服务器中的、视频客户端对应的服务端程序中的功能模块。示例性的,当评论内容回复方法应用于终端设备时,该评论内容回复装置可以为运行于终端设备中的、视频客户端中的功能模块,那么,针对该种情况,该评论内容回复方法可以具体应用于终端设备中的视频客户端。
可以理解的是,本发明实施例中的视频客户端可以为短视频客户端,即专门用于提供短视频的客户端,当然,也可以为能够提供短视频服务的非短视频客户端,当然并不局限于此。
为了解决相关技术所具有的问题,本发明实施例提供的一种评论内容回复方法可以包括如下步骤:
识别目标短视频的评论区中,是否存在咨询类评论;其中,所述咨询类评论为用于询问所述目标短视频所属正片视频的视频信息的评论内容;
若识别结果为是,对所述目标短视频进行视频帧抽取,得到待利用视频帧;
基于指定数据库,确定与所述待利用视频帧匹配的目标视频帧;其中,所述指定数据库中记录有对多个备选正片视频进行抽帧所得的目标视频帧的帧信息,且每一目标视频帧关联有所属备选正片视频的视频信息;
基于查找到的目标视频帧所关联的视频信息,确定所述目标短视频所属正片视频的视频信息;
利用所述目标短视频所属正片视频的视频信息,对所述咨询类评论进行回复。
本发明提供的方案,可以识别目标短视频的评论区是否存在咨询类评论,若存在咨询类评论,则对目标短视频进行视频帧抽取,得到待利用视频帧;在指定数据库中,确定与待利用视频帧匹配的目标视频帧;然后基于查找到的目标视频帧关联的视频信息,确定目标短视频所属正片视频的视频信息,并利用目标短视频所属正片视频的视频信息,对咨询类评论进行回复。可见,通过本方案,当用户对短视频产生兴趣并且咨询视频信息时,可以对用户针对正片视频的咨询类评论进行有效回复,从而提高了用户体验。
下面,结合附图,对本发明实施例提供的一种评论内容回复方法进行具体说明。
图1为本发明实施例提供的一种评论内容回复方法的流程示意图,如图1所示,该方法可以包括如下步骤S101-S105;
S101:识别目标短视频的评论区中,是否存在咨询类评论;
其中,咨询类评论为用于询问所述目标短视频所属正片视频的视频信息的评论内容。并且,目标短视频所属正片视频,即为剪辑前完整的视频;所谓的视频信息包含了正片视频的信息,例如:视频名称和/或视频观看地址,当然并不限于此。可以理解的是,针对任一短视频,可以识别该短视频是否为剪辑视频,若是,则将该短视频确定为目标短视频,此时,目标短视频可以为属于影视剧、综艺、动漫等剪辑视频。当然,针对任一短视频,也可以直接将该短视频确定为目标短视频,此时,目标短视频为发布到视频客户端的任一短视频。其中,在识别任一短视频是否为剪辑视频时,可以通过短视频的标题,来识别该短视频是否为剪辑视频。另外,需要说明的是,若目标短视频不是剪辑视频,则后续通常不会检测到评论区存在咨询类评论,从而可以不对此种短视频的评论进行回复。
另外,需要说明的是,短视频客户端为专门用于提供短视频服务的客户端,也就是,通过短视频客户端所发布的视频的时长均小于预定时长阈值,例如:60秒或90秒等,因此,通过短视频客户端所发布的任一视频,可以直接作为短视频。而非短视频客户端通常可以提供短视频服务,也可以提供非短视频服务,例如:正片视频服务,因此,针对通过非短视频客户端所发布的任一视频而言,可以分析该视频的时长是否小于预定时长阈值,若小于,则判定该视频属于短视频,当然也可以分析该视频是否位于短视频服务频道/主题,若是,则判定该视频属于短视频,等等;其中,短视频服务频道/主题为:非短视频客户端所提供的用于进行短视频服务的频道/主题。
针对任一视频客户端的用户而言,如果用户在视频客户端观看短视频并且产生兴趣,那么用户通常会在评论区发出询问在哪可以看正片视频的评论,即咨询类评论;如果可以对用户这一咨询类评论进行回复,则有助于用户使用播放该短视频的视频客户端频次,进一步提升该视频客户端日活跃用户量和用户在客户端的留存;其中,所谓留存是指:假设某一时间有100个用户使用了该视频客户端,再一段时间后,还在使用该视频客户端的用户只有60个,则这60个用户为该视频客户端的留存用户,该60个用户便发生了留存。例如:假设一内容制作者在视频客户端中发布了某一电影剪辑而成的短视频,用户查看了该短视频且产生兴趣,并询问如何观影,那么如果此时可以对用户咨询类的评论进行回复,用户可以进一步观看该电影的正片视频;这样,不仅可以鼓励短视频的内容制作者,还有助于提高用户的观影体验。
基于上述思路,为了解决相关技术存在的问题,在用户查看短视频并给出针对正片视频的咨询类评论时,并非等待其他用户回复,而是,识别目标短视频的评论区中,是否存在咨询类评论,从而根据不同的识别结果,可以执行不同的处理。其中,识别目标短视频的评论区中,是否存在咨询类评论,具体可以是识别目标短视频的评论区中的各条评论中,是否存在咨询类评论,其中,各条评论为待识别的评论内容。
可以理解的是,当评论内容回复装置是视频客户端对应的服务端程序中的功能模块时,目标短视频可以为任一用户通过视频客户端发布的短视频;并且,评论内容回复装置可以基于用于记录各个短视频的评论区的评论内容的日志数据或数据库,来获得目标短视频的评论区的评论内容,得到待识别的评论内容。而当评论内容回复装置是视频客户端中的功能模块时,目标短视频可以为用户通过视频客户端正在观看的短视频;并且,评论内容回复装置可以将该用户所发出的评论内容,作为待识别的评论内容。
另外,可以理解的是,识别目标短视频的评论区中,是否存在咨询类评论的方式可以存在多种。
可选的,在一种实现方式中,识别目标短视频的评论区中,是否存在咨询类评论可以包括:识别目标短视频的评论区的各条评论中,是否存在包含有指定关键字的评论,若是,识别到目标短视频的评论区中,存在咨询类评论;其中,指定关键字为用于表征询问视频信息的关键字。
其中,指定关键字的数量可以为至少一个,若包含有任一指定关键字,则可以判定为属于咨询类评论,其中,每一指定关键字为用于询问视频信息的关键字,例如:是啥电影、这部剧叫什么、在哪看、第几集等关键字。可以理解的是,指定关键字可以为预定的关键字列表中的关键字,也就是,至少一个指定关键字以列表形式存储。
示例性的,在一种实现方式中,关键字列表的构建方式可以包括:获取多个初始关键字,其中,初始关键字为用于表征询问视频信息的关键字;以各个初始关键字均作为指定关键字,形成关键字列表。
在另一种实现方式中,为了丰富指定关键字,关键字列表的构建方式可以包括:获取多个初始关键字,其中,初始关键字为用于表征询问视频信息的关键字;对所述多个初始关键字进行同义词扩展,得到扩展关键字;其中,所谓同义词扩展即获取多个初始关键字的同义词;当然,获取多个初始关键字的同义词的方式可以有多种,例如:将初始关键字输入能够完成同义词查找功能的软件或模型中,或者,人工查找初始关键字的同义词;将所述多个初始关键字和所得到的扩展关键字均作为指定关键字,形成关键字列表。
需要说明的是,初始关键字的获取方式可以为人工维护或爬虫程序爬取所得。上述针对指定关键字的获取方式仅仅作为示例,并不应构成对本发明实施例的限定。
另外,上述的识别目标短视频的评论区中,是否存在咨询类评论的具体实现方式仅仅作为示例,并不应该构成对本发明实施例的限定。在具体应用中,例如还可以通过预先训练的机器学习模型,来对评论内容进行是否属于咨询类评论的分析,得到识别结果。
S102:若识别结果为是,对目标短视频进行视频帧抽取,得到待利用视频帧;
由于在对用户咨询类评论回复之前,需要确定目标短视频所属正片视频的视频信息,因此可以对目标短视频进行视频帧抽取,得到待利用的视频帧,从而依据待利用的视频帧执行后续的操作。其中,待利用视频帧的数量可以是一个或多个。
可选的,在一种实现方式中,对目标短视频进行视频帧抽取,得到待利用视频帧的方式可以包括:按照预定的抽帧策略,对目标短视频进行视频帧抽取,得到待利用视频帧。其中,所述预定的抽帧策略可以包括:基于视频场景变化次数和/或视频时长,所设定的策略;当然,也可以包括:每隔一段指定时间对目标短视频抽取一次视频帧,或者,随机抽取视频帧,这都是合理的。
示例性的,若预定的抽帧策略包括基于视频场景变化次数和视频时长,所设定的策略,那么,预定的抽帧策略可以包括:若目标短视频的视频场景变换次数大于等于预定次数阈值或视频自身时长大于等于预定时长阈值,则采用转场抽帧方式,抽取视频帧;否则,则采用均匀抽帧方式,抽取视频帧。例如:某一目标短视频场景变化次数为M1,预定次数阈值为M0,若M1大于等于M0,或者,目标短视频的视频时长为N1,预定时长阈值为N0,若N1大于等于N0,则采用转场抽帧的方式抽取视频帧;否则采用均匀抽帧的方式抽取视频帧。
需要说明的是,所谓的转场抽帧包括:选取视频场景变化前后最相近的两个帧,进行视频帧抽取;由于视频中可能存在多个发生变化的场景,因此可以对每个发生变化的场景进行转场抽帧,或者,随机选取指定数量个发生变化的场景,进行转场抽帧;所谓的均匀抽帧包括:对各个视频帧采取每隔指定数量个视频帧抽取一个视频帧,例如:每隔三个视频帧抽取一个视频帧。
若预定的抽帧策略包括基于视频场景变化次数,所设定的策略,那么,预定的抽帧策略可以包括:若目标短视频的视频场景变换次数大于等于预定次数阈值则采用转场抽帧方式,抽取视频帧;否则,则采用均匀抽帧方式,抽取视频帧。需要说明的是,任一种能够确定视频场景变化次数的方式均可以应用于本方案,例如:可以基于FFMPEG(一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序)框架来确定视频场景变化次数。
若预定的抽帧策略包括基于视频时长所设定的策略,那么,预定的抽帧策略可以包括:若目标短视频的视频自身时长大于等于预定时长阈值,则采用转场抽帧方式,抽取视频帧;否则,则采用均匀抽帧方式,抽取视频帧。
需要说明的是,上述对于视频帧抽取的方式仅仅作为示例,并不应作为对本发明的限定。
为了方案清楚及布局清晰,指定数据库的构建方式,后续结合其他实施例进行介绍。
S103:基于指定数据库,确定与待利用视频帧匹配的目标视频帧;
其中,所述指定数据库中记录有对多个备选正片视频进行抽帧所得的目标视频帧的帧信息,且每一目标视频帧关联有所属备选正片视频的视频信息。示例性的,备选正片视频可以为服务端能够访问或获取到的正片视频。
其中,可以预先确定出多个备选正片视频,此时,识别目标短视频所属正片视频的视频信息,实质是从多个备选正片视频中选出目标短视频所属的正片视频。可以理解的是,若目标短视频属于一备选正片视频的剪辑内容,那么,目标短视频与该备选正片视频会存在相匹配的视频帧。因此,为了识别目标短视频所属正片视频的视频信息,可以基于指定数据库,确定与待利用视频帧匹配的目标视频帧,从而利用目标视频所关联的视频信息,进行后续的处理。其中,查找到的目标视频帧可以是一个或多个。
其中,目标视频帧的帧信息可以包括:目标视频帧的图像特征向量,从而,在进行视频帧匹配分析时,可以具有较高的分析速率。当然,目标视频帧的帧信息也可以包括:目标视频帧的图像帧本身,此时,通过将待利用视频帧与各个视频帧进行相似度的分析,从而得到与待利用视频帧相匹配的目标视频帧。可以理解的是,任何一种图像相似度的计算方式,均可以用于待利用视频帧与各个视频帧的相似度的分析。
为了方案清楚及布局清晰,在目标视频帧的帧信息包括:目标视频帧的图像特征向量的情况下,基于指定数据库,确定与待利用视频帧匹配的目标视频帧的具体实现方式,后续结合其他实施例进行介绍。
S104:基于查找到的目标视频帧所关联的视频信息,确定目标短视频所属正片视频的视频信息;
在查到目标视频帧后,由于查找到的目标视频帧与待利用视频帧是相匹配的,因此,查找到的目标视频帧中,存在与待利用视频属于同一正片视频的视频帧,因此,基于查找到的目标视频帧所关联的视频信息,确定目标短视频所属正片视频的视频信息。
可选地,查找到的目标视频帧的数量为一个,此时,目标视频帧所关联的视频信息可以作为目标短视频所属的正片视频的视频信息。
可以理解的是,查找到的目标视频帧的数量为多个,示例性的,在一种实现方式中,基于查找到的目标视频帧所关联的视频信息,确定目标短视频所属正片视频的视频信息的方式可以包括步骤A1-步骤A3:
步骤A1,确定所述待利用视频帧所对应的各个备选视频信息;其中,各个备选视频信息包括对查找到的目标视频帧所关联的各个视频信息,进行去重后的视频信息;
步骤A2,针对所述待利用视频帧对应的每一备选视频信息,确定该备选视频信息对应的目标视频帧,与所述待利用视频帧的相似度,将所确定的相似度进行求和,得到该备选视频信息的相似度;其中,该备选视频信息对应的目标视频帧为查找到的目标视频帧中,关联有该备选视频信息的目标视频帧;需要说明的是,可以通过目标视频帧的特征向量与待利用视频帧的特征向量之间的欧几里得距离确定目标视频帧与待利用视频帧的相似度,或者,任何一种图像相似度的计算方式,确定待利用视频帧与目标视频帧的相似度;
示例性的,一个待利用视频帧对应的目标视频帧包括:目标视频帧A、B、C、D,其中,目标视频帧A、C所关联的视频信息均为视频信息1,目标视频帧B所关联的视频信息为视频信息2,目标视频帧D所关联的视频信息为视频信息3,此时,对各个目标视频帧所关联的各个视频信息进行去重后的视频信息为:视频信息1、视频信息2和视频信息3;进而,将目标视频帧A、C与待利用视频帧的相似度相加,得到该待利用视频帧对应的一组融合结果:视频信息1:对应目标视频帧A、C与待利用视频帧相似度之和;视频信息2:对应目标视频帧B与待利用视频帧相似度;视频信息3:对应目标视频帧D与待利用视频帧相似度。
步骤A3,基于所述待利用视频帧对应的每一备选视频信息的相似度,确定所述目标短视频所属正片视频的视频信息。
可选地,待利用视频帧的数量为一个时,则该待利用视频帧对应相似度最高的备选视频信息,即为短视频所属正片的视频信息。
可选的,待利用视频帧的数量为多个,此时,基于所述待利用视频帧对应的每一备选视频信息的相似度,确定所述目标短视频所属正片视频的视频信息的方式可以包括:
确定各个待利用视频信息;其中,各个待利用视频信息包括对各个待利用视频帧所对应的备选视频信息,进行去重后得到的视频信息;
针对每一待利用视频信息,对该待利用视频信息的各个相似度进行求和,得到该待利用视频信息的相似度;选取相似度最高的待利用视频信息,作为所述目标短视频所属正片视频的视频信息。
示例性的,待利用视频帧包含待利用视频帧X、Y、Z,其中,待利用视频帧X对应的备选视频信息包括视频信息1、2,待利用视频帧Y对应的备选视频信息包括视频信息2、3,待利用视频帧Z对应的备选视频信息包括视频信息4;此时,对各个待利用视频帧所对应的备选视频信息,进行去重后得到的视频信息为:视频信息1、视频信息2、视频信息3和视频信息4;进而,将待利用视频帧X对应的视频信息2的相似度,与待利用视频帧Y对应的视频信息2的相似度进行相加,得到去重后的融合结果:
视频信息1:对应待利用视频帧X对应的视频信息1的相似度;视频信息2:对应待利用视频帧X、Y对应的视频信息2的相似度相加后的相似度;视频信息3:对应待利用视频帧Y对应的视频信息3的相似度;视频信息4:对应待利用视频帧Z对应的视频信息4的相似度。
需要说明的是,在待利用视频帧的数量为多个时,需要对各个待利用视频帧确定出的所属正片视频的视频信息再次进行去重,从而保证得到目标短视频所属正片视频的视频信息的准确性。
S105:利用目标短视频所属正片视频的视频信息,对咨询类评论进行回复;
可以理解的是,在得到目标短视频所属正片视频的视频信息后,对用户咨询类评论进行回复的方式可以存在多种。示例性的,在一种实现方式中,通过调用所述目标短视频所属视频客户端的智能机器人,利用所述目标短视频所属正片视频的视频信息,对所述咨询类评论进行回复。示例性的,在另一种实现方式中,评论内容回复装置可以自行利用所述目标短视频所属正片视频的视频信息,对所述咨询类评论进行回复。这样,可以实现对用户咨询类评论进行实时回复,及时引导用户进行进一步观看正片视频,从而提高用户对视频客户端的粘性,增加视频客户端的留存。
可选的,利用所述目标短视频所属正片视频的视频信息,对该咨询类评论进行回复的回复过程可以包括:将该目标短视频所属正片视频的视频信息作为该咨询类评论的回复内容,利用该回复内容,更新该目标短视频的评论区所涉及的评论内容,以使得该目标短视频展示于客户端时,包含有上述回复内容的评论内容能够展示出来。
需要说明的是,上述对咨询类评论回复的方式仅仅作为示例,并不应构成对本发明的限定。
图2为本发明实施例提供的一种评论内容回复方法的界面示意图,如图2所示该方法包括:
用户可以在短视频平台查看短视频,其中,短视频平台,即播放短视频的平台,也就是上述的视频客户端。当用户进入短视频平台时,短视频平台可以播放短视频,用户可以在短视频评论区给出各式各样的评论,例如:在哪看全集啊、这个真好看、这个不好看等,当用户发出类似“在哪看全集啊”的咨询类评论时,短视频平台可以自动识别出短视频对应的正片视频的视频信息,并对用户的咨询类评论进行自动回复。
需要说明的是,在对用户评论内容进行回复之后,可以向发出所述咨询类评论的用户推送提醒消息;其中,所述提醒消息用于提示所述用户所述咨询类评论已被回复。这样,用户可以及时知晓自己所咨询的正片视频的视频信息,从而完成进一步观看。
本发明提供的方案,可以识别目标短视频的评论区是否存在咨询类评论,若存在咨询类评论,则对目标短视频进行视频帧抽取,得到待利用视频帧;在指定数据库中,确定与待利用视频帧匹配的目标视频帧;然后基于查找到的目标视频帧关联的视频信息,确定目标短视频所属正片视频的视频信息,并利用目标短视频所属正片视频的视频信息,对咨询类评论进行回复。可见,通过本方案,当用户对短视频产生兴趣并且咨询视频信息时,可以对用户针对正片视频的咨询类评论进行有效回复,从而提高了用户体验。
可选地,在本发明的另一实施例中,各个目标视频帧的帧信息包括:图像特征向量;此时,指定数据库的构建方式可以包括:
对各个备选正片视频进行视频帧抽取,得到多个目标视频帧,记录抽取的各个目标视频帧对应的视频信息;生成各个目标视频帧的图像特征向量;将各个目标视频帧的图像特征向量以及目标视频帧所属备选正片视频的视频信息,对应保存至指定数据库。
示例性的,生成各个目标视频帧的图像特征向量的方式可以包括:将各个目标视频帧输入预先训练完成的特征提取网络,得到目标视频帧的图像特征向量。其中,预先训练完成的特征提取网络的介绍内容可以参见下文中的相应介绍内容。
可以理解的是,各个目标视频帧的帧信息也可以包括:目标视频帧本身;此时,指定数据库的构建方式与上述的构建方式的区别在于:在得到各个目标视频帧后,可以直接将各个目标视频帧以及对应的视频信息,对应保存至指定数据库中。
本实施例,当用户对短视频产生兴趣并且咨询视频信息时,可以对用户针对正片视频的咨询类评论进行有效回复,从而提高了用户体验。并且,指定数据库中记录有各个目标视频帧的图像特征向量以及对应的视频信息,使得在进行评论内容回复过程中,可以基于指定数据库快速查找到与待利用视频帧相匹配的目标视频帧。
可选地,在本发明的另一实施例中,目标视频帧的帧信息可以包括:目标视频帧的图像特征向量,此时,指定数据库中可以记录有多个备选正片视频的目标视频帧的图像特征向量。
基于指定数据库,确定与待利用视频帧匹配的目标视频帧的方式可以包括步骤B1-步骤B2:
步骤B1,生成待利用视频帧的图像特征向量,作为目标向量;
步骤B2,基于目标向量,以及各个备选正片视频的目标视频帧的图像特征向量,确定与待利用视频帧匹配的目标视频帧。
可以理解的是,生成待利用视频帧的图像特征向量,作为目标向量的方式可以有多种。示例性的,可以将待利用视频帧输入预先训练的特征提取网络,得到待利用视频帧的图像特征向量。可以理解的是,特征提取网络可以是图像分类网络中的一部分,图像分类网络还可以包括全连接层网络等;在图像分类网络训练完成后,可以将图像分类网络中的特征提取网络,用于图像特征向量的生成过程。其中,图像分类网络可以利用样本图像和样本图像对应的类别标签信息,进行训练得到,本发明实施例对于具体的训练过程不做限定。并且,不同的分类场景,所对应的类别标签信息可以不同,示例性的,图像分类网络可以是用于进行人脸分类的网络,此时,该类别标签信息可以为人员A、人员B等等。
示例性的,在一种实现方式中,基于目标向量,以及各个备选正片视频的目标视频帧的图像特征向量,确定与待利用视频帧匹配的目标视频帧的方式可以包括:
基于图索引检索的方式,从各个备选正片视频的目标视频帧的图像特征向量中,检索与目标向量的相似度排序靠前的多个图像特征向量;
从多个图像特征向量所属的目标视频帧中,选取与待利用视频帧的相似度大于预定阈值的目标视频帧,得到与待利用视频帧相匹配的目标视频帧。
可以理解的是,分析两个向量之间的相似度时,可以使用欧几里得距离,具体而言:可以通过分析两个向量之间的欧几里得距离从而分析两个向量的相似度,欧几里得距离越小,则相似度越大。从多个图像特征向量所属的目标视频帧中,选取与待利用视频帧的相似度大于预定阈值的目标视频帧的过程中,可以设置欧几里得距离的阈值为0.5,若检索出的图像特征向量与目标向量欧几里得距离值小于0.5,则认为所述检索出的图像特征向量所属的目标视频帧与待利用视频帧的相似度大于预定阈值,将符合条件的目标视频帧筛选,得到与待利用视频帧相匹配的目标视频帧。
通过在本实施例中检索出与目标向量相似度较高的多个图像特征向量,然后将相似度与预定阈值比较,就可以从多个图像特征向量所属的目标视频帧中得到与待利用视频帧相匹配的目标视频帧。通过该种方式,可以保证所确定出的与待利用视频帧相匹配的目标视频帧的有效性以及准确性。
示例性的,所述图索引的方式可以是HNSW图索引的方式。本领域技术人员应知晓,HNSW(Hierarchical Navigable Small World,分层的可导航小世界)图索引检索的方式,较传统的NSW(可导航小世界)网络而言,引入了层级的概念,NSW算法基于六度分离理论将小世界的特性用于近邻检索,提出了基于图结构的检索方案。在NSW算法的基础上,HNSW利用多层的图结构来完成图的构建和检索,使得通过将节点随机划分到不同的层,从上层图到下层图的检索中,越往下层节点之间的距离越近,随机性也越差,聚类系数越高。HNSW通过从上到下的检索,完成了NSW中Long Link(高速公路)快速检索的作用,通过最后底层的近邻检索,完成局部最近邻的查找。
其中,所述基于HNSW图索引检索的方式,包括:
以连续插入目标视频帧的特征向量的方式构建网络图,对于每一个待插入的目标视频帧的特征向量,采用指数衰变概率分布函数来计算其可以达到的最大层,以获得分层的网络图;
以目标特征向量作为进入点,从各层网络图中获取K个相似度超过预设阈值的相似视频帧。
这样,通过基于HNSW图索引检索的方式,网络图的构建可以预先完成,这样,每次进行检索时,可以直接进行检索,以加快检索速度。可以理解的是,由于HNSW检索方式具有检索速度快并且准确率高的特点,通过HNSW图索引检索的方式,可以提高相似视频帧的检索速度。
示例性的,在另一种实现方式中,基于目标向量,以及各个备选正片视频的目标视频帧的图像特征向量,确定与待利用视频帧匹配的目标视频帧的方式可以包括:
基于目标向量以及各个备选正片视频的目标视频帧的图像特征向量,计算各个目标视频帧与待利用视频帧的相似度,将相似度超过预设阈值的目标视频帧,作为与待利用视频帧匹配的目标视频帧。本实施例中,当用户对短视频产生兴趣并且咨询视频信息时,可以对用户针对正片视频的咨询类评论进行有效回复,从而提高了用户体验。并且,利用目标向量,即待利用视频帧的图像特征向量,以及各个备选正片视频的目标视频帧的图像特征向量,确定与待利用视频帧匹配的目标视频帧,可以具有较高的匹配效率。
为了方便理解方案,下面结合一个具体实施例介绍本发明实施例所提供的评论内容回复方法。
如图3所示,该实施例所提供的方案所涉及的处理过程具体如下:
(1)评论内容回复装置获取APP端实时日志流(对应上述各个短视频的评论区的评论内容的日志数据或数据库);
其中,短视频APP(对应于上述的视频客户端)的服务端程序可以记录出现的各种评论,当用户发出评论时,记录该评论为实时评论。
(2)评论内容回复装置可以通过关键字匹配的方式,识别目标短视频的评论中是否存在咨询类评论(对应上述识别目标短视频的评论区的各条评论中,是否存在包含有指定关键字的评论);
其中,评论内容回复装置可以将记录的APP端实时评论进行关键字匹配:识别APP端实时评论中的关键字是否与关键字列表中的关键字匹配;其中,关键字列表中的关键字可以为:是啥电影、是啥电视剧、这部剧叫什么、在哪看、第几集等;当然,关键字列表也可以进行拓展,例如:对关键字列表中的关键字进行同义词替换,将原关键字与同义词替换后的关键字进行记录,作为拓展后的关键字。
(3)评估内容回复装置在关键字匹配后,可以识别到咨询类评论,也可以称为识别到符合条件的日志流。(4)评论内容回复装置在识别到咨询类评论(即符合条件的日志流)后,可以执行短视频识别算法,以确定目标短视频所属正片视频的正片名称(对应上述基于指定数据库,确定与所述待利用视频帧匹配的目标视频帧;基于查找到的目标视频帧所关联的视频信息,确定所述目标短视频所属正片视频的视频信息);
短视频识别算法:基于CV(计算机数视觉)算法,识别短视频所属正片;
将符合条件的评论所属的短视频通过短视频识别算法,识别短视频对应的正片名称。
短视频识别算法可以分为两个阶段:离线阶段和在线阶段;
离线阶段包括:(a)基于FFMPEG(一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序)框架对服务端或短视频APP所能够访问的各个备选正片视频进行视频帧抽取,得到多个目标视频帧,具体而言,针对场景变换次数大于等于预设次数阈值或视频自身时长大于等于预设时间阈值的视频,采用转场抽帧抽取视频帧,得到目标视频帧;否则,采用均匀抽帧抽取视频帧,得到目标视频帧,其中,每一目标视频帧即为一个图片;同时,记录抽取每一目标视频帧对应的正片名称,形成帧-正片名称的数据形式;(b)将(a)中所抽取到的目标视频帧进行图片预处理,例如:图像大小变换、减均值等,利用训练完成的mobileNet网络(一组移动端优先的计算机视觉模型)进行图像特征提取,得到每个目标视频帧的图像特征向量;(c)保存每个目标视频帧的图像特征向量。
在线阶段包括:当识别到咨询类评论时,将目标短视频进行转场抽帧或均匀抽帧得到多个查询帧(对应上述待利用视频帧),利用离线训练好的mobileNet网络,提取每个查询帧的特征表示向量(对应上述目标向量);将得到的查询帧的特征表示向量,利用HNSW算法在,从各个目标视频帧的图像特征向量中,召回K个相似帧并计算相似度。基于预先设置的相似度阈值,对每个查询帧的召回结果作出过滤,即剔除低于预设相似度阈值的召回帧,得到关于与查询帧相匹配的召回帧,以及召回帧对应的相似度的结果对:召回帧-相似度;将结果对映射为:正片名称-相似度;基于映射结果对正片名称进行去重,并对正片名称重复的结果进行相似度相加,即可得到每个查询帧对应的一组融合结果(数量大于等于0),每个融合结果包括:正片名称-加权相似度),加权相似度即为相加后的相似度;最后,把多个查询帧的融合结果进行正片名称去重,以及正片名称对应的加权相似度进行相加;选取相似度最高的正片名称,作为目标短视频所属正片视频的正片名称。
(5)若识别成功(即识别出目标短视频所属正片视频的正片名称)则可以回复对应评论并以push消息的形式及时提醒用户;若识别失败,则可以Pass,也就是,跳过该咨询类评论。基于短视频识别算法识别出的目标短视频对应正片视频的视频信息,对用户咨询类评论进行回复,可以调用平台智能机器人进行回复,也可以通过客户端进行回复,这都是合理的。然后向用户push消息,提醒用户,咨询类评论已经得到回复,可以继续观影。
本发明提供的方案,可以识别目标短视频的评论区是否存在咨询类评论,若存在咨询类评论,则对目标短视频进行视频帧抽取,得到待利用视频帧;在指定数据库中,确定与待利用视频帧匹配的目标视频帧;然后基于查找到的目标视频帧关联的视频信息,确定目标短视频所属正片视频的视频信息,并利用目标短视频所属正片视频的视频信息,对咨询类评论进行回复。可见,通过本方案,当用户对短视频产生兴趣并且咨询视频信息时,可以对用户针对正片视频的咨询类评论进行有效回复,从而提高了用户体验。
基于上述方法实施例,本发明实施例还提供了一种评论内容回复装置,如图4所示,所述装置包括:
识别模块410,用于识别目标短视频的评论区中,是否存在咨询类评论;其中,咨询类评论为用于询问目标短视频所属正片视频的视频信息的评论内容;
抽取模块420,用于若识别结果为是,对目标短视频进行视频帧抽取,得到待利用视频帧;
第一确定模块430,用于基于指定数据库,确定与待利用视频帧匹配的目标视频帧;其中,指定数据库中记录有对多个备选正片视频进行抽帧所得的目标视频帧的帧信息,且每一目标视频帧关联有所属备选正片视频的视频信息;
第二确定模块440,用于基于查找到的目标视频帧所关联的视频信息,确定目标短视频所属正片视频的视频信息;
回复模块450,用于利用目标短视频所属正片视频的视频信息,对咨询类评论进行回复。
本发明提供的方案,可以识别目标短视频的评论区是否存在咨询类评论,若存在咨询类评论,则对目标短视频进行视频帧抽取,得到待利用视频帧;在指定数据库中,确定与待利用视频帧匹配的目标视频帧;然后基于查找到的目标视频帧关联的视频信息,确定目标短视频所属正片视频的视频信息,并利用目标短视频所属正片视频的视频信息,对咨询类评论进行回复。可见,通过本方案,当用户对短视频产生兴趣并且咨询视频信息时,可以对用户针对正片视频的咨询类评论进行有效回复,从而提高了用户体验。
可选地,所述识别模块,具体用于:
识别目标短视频的评论区的各条评论中,是否存在包含有指定关键字的评论,若是,识别到目标短视频的评论区中,存在咨询类评论;
其中,指定关键字为用于表征询问视频信息的关键字。
可选地,所述抽取模块具体用于:按照预定的抽帧策略,对所述目标短视频进行视频帧抽取,得到待利用视频帧;其中,所述预定的抽帧策略包括:若目标短视频的视频场景变换次数大于等于预定次数阈值或视频自身时长大于等于预定时长阈值,则采用转场抽帧方式,抽取视频帧;否则,则采用均匀抽帧方式,抽取视频帧。
可选地,所述指定数据库中记录有多个备选正片视频的目标视频帧的图像特征向量;
第一确定模块,包括:
生成子模块,用于生成所述待利用视频帧的图像特征向量,作为目标向量;
检索子模块,用于基于图索引检索的方式,从各个备选正片视频的目标视频帧的图像特征向量中,检索与所述目标向量的相似度排序靠前的多个图像特征向量;
选取子模块,用于从所述多个图像特征向量所属的目标视频帧中,选取与所述待利用视频帧的相似度大于预定阈值的目标视频帧,得到与所述待利用视频帧相匹配的目标视频帧。
可选地,所述查找到的目标视频帧的数量为多个;
第二确定模块,具体用于:确定所述待利用视频帧所对应的各个备选视频信息;其中,各个备选视频信息包括对查找到的目标视频帧所关联的各个视频信息,进行去重后的视频信息;
针对所述待利用视频帧对应的每一备选视频信息,确定该备选视频信息对应的目标视频帧,与所述待利用视频帧的相似度,将所确定的相似度进行求和,得到该备选视频信息的相似度;其中,该备选视频信息对应的目标视频帧为查找到的目标视频帧中,关联有该备选视频信息的目标视频帧;
基于所述待利用视频帧对应的每一备选视频信息的相似度,确定所述目标短视频所属正片视频的视频信息。
可选地,所述待利用视频帧的数量为多个;
第二确定模块,包括:
第二确定子模块,用于:
确定各个待利用视频信息;其中,各个待利用视频信息包括对各个待利用视频帧所对应的备选视频信息,进行去重后得到的视频信息;
针对每一待利用视频信息,对该待利用视频信息的各个相似度进行求和,得到该待利用视频信息的相似度;
选取相似度最高的待利用视频信息,作为所述目标短视频所属正片视频的视频信息。
可选地,回复模块具体用于:
将所述目标短视频所属正片视频的视频信息作为所述咨询类评论的回复内容,利用所述回复内容,更新所述目标短视频的评论区所涉及的评论内容。
可选地,所述装置还包括:
消息发送模块,用于在利用所述目标短视频所属正片视频的视频信息,对所述咨询类评论进行回复之后,向发出所述咨询类评论的用户推送提醒消息;其中,所述提醒消息用于提示所述用户所述咨询类评论已被回复。
本发明实施例还提供了一种电子设备,如图5所示,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信,
存储器503,用于存放计算机程序;
处理器501,用于执行存储器503上所存放的程序时,实现任一种评论内容回复的方法步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中任一所述的评论内容回复方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的评论内容回复方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (11)
1.一种评论内容回复方法,其特征在于,所述方法包括:
识别目标短视频的评论区中,是否存在咨询类评论;其中,所述咨询类评论为用于询问所述目标短视频所属正片视频的视频信息的评论内容;
若识别结果为是,对所述目标短视频进行视频帧抽取,得到待利用视频帧;
基于指定数据库,确定与所述待利用视频帧匹配的目标视频帧;其中,所述指定数据库中记录有对多个备选正片视频进行抽帧所得的目标视频帧的帧信息,且每一目标视频帧关联有所属备选正片视频的视频信息;
基于查找到的目标视频帧所关联的视频信息,确定所述目标短视频所属正片视频的视频信息;
利用所述目标短视频所属正片视频的视频信息,对所述咨询类评论进行回复。
2.根据权利要求1所述的方法,其特征在于,所述识别目标短视频的评论区中,是否存在咨询类评论,包括:
识别所述目标短视频的评论区的各条评论中,是否存在包含有指定关键字的评论,若是,识别到目标短视频的评论区中,存在咨询类评论;
其中,所述指定关键字为用于表征询问视频信息的关键字。
3.根据权利要求1所述的方法,其特征在于,所述对所述目标短视频进行视频帧抽取,得到待利用视频帧,包括:
按照预定的抽帧策略,对所述目标短视频进行视频帧抽取,得到待利用视频帧;
其中,所述预定的抽帧策略包括:若所述目标短视频的视频场景变换次数大于等于预定次数阈值或视频自身时长大于等于预定时长阈值,则采用转场抽帧方式,抽取视频帧;否则,则采用均匀抽帧方式,抽取视频帧。
4.根据权利要求1所述的方法,其特征在于,所述指定数据库中记录有多个备选正片视频的目标视频帧的图像特征向量;
所述基于指定数据库,确定与所述待利用视频帧匹配的目标视频帧,包括:
生成所述待利用视频帧的图像特征向量,作为目标向量;
基于图索引检索的方式,从各个备选正片视频的目标视频帧的图像特征向量中,检索与所述目标向量的相似度排序靠前的多个图像特征向量;
从所述多个图像特征向量所属的目标视频帧中,选取与所述待利用视频帧的相似度大于预定阈值的目标视频帧,得到与所述待利用视频帧相匹配的目标视频帧。
5.根据权利要求1所述的方法,其特征在于,所述查找到的目标视频帧的数量为多个;
所述基于查找到的目标视频帧所关联的视频信息,确定所述目标短视频所属正片视频的视频信息,包括:
确定所述待利用视频帧所对应的各个备选视频信息;其中,各个备选视频信息包括对查找到的目标视频帧所关联的各个视频信息,进行去重后的视频信息;
针对所述待利用视频帧对应的每一备选视频信息,确定该备选视频信息对应的目标视频帧,与所述待利用视频帧的相似度,将所确定的相似度进行求和,得到该备选视频信息的相似度;其中,该备选视频信息对应的目标视频帧为查找到的目标视频帧中,关联有该备选视频信息的目标视频帧;
基于所述待利用视频帧对应的每一备选视频信息的相似度,确定所述目标短视频所属正片视频的视频信息。
6.根据权利要求5所述的方法,其特征在于,所述待利用视频帧的数量为多个;
所述基于所述待利用视频帧对应的每一备选视频信息的相似度,确定所述目标短视频所属正片视频的视频信息,包括:
确定各个待利用视频信息;其中,各个待利用视频信息包括对各个待利用视频帧所对应的备选视频信息,进行去重后得到的视频信息;
针对每一待利用视频信息,对该待利用视频信息的各个相似度进行求和,得到该待利用视频信息的相似度;
选取相似度最高的待利用视频信息,作为所述目标短视频所属正片视频的视频信息。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述利用所述目标短视频所属正片视频的视频信息,对所述咨询类评论进行回复,包括:
将所述目标短视频所属正片视频的视频信息作为所述咨询类评论的回复内容,利用所述回复内容,更新所述目标短视频的评论区所涉及的评论内容。
8.根据权利要求1-6任一项所述的方法,其特征在于,利用所述目标短视频所属正片视频的视频信息,对所述咨询类评论进行回复之后,还包括:
向发出所述咨询类评论的用户推送提醒消息;其中,所述提醒消息用于提示所述用户所述咨询类评论已被回复。
9.一种评论内容回复装置,其特征在于,所述装置包括:
识别模块,用于识别目标短视频的评论区中,是否存在咨询类评论;其中,所述咨询类评论为用于询问所述目标短视频所属正片视频的视频信息的评论内容;
抽取模块,用于若识别结果为是,对所述目标短视频进行视频帧抽取,得到待利用视频帧;
第一确定模块,用于基于指定数据库,确定与所述待利用视频帧匹配的目标视频帧;其中,所述指定数据库中记录有对多个备选正片视频进行抽帧所得的目标视频帧的帧信息,且每一目标视频帧关联有所属备选正片视频的视频信息;
第二确定模块,用于基于查找到的目标视频帧所关联的视频信息,确定所述目标短视频所属正片视频的视频信息;
回复模块,用于利用所述目标短视频所属正片视频的视频信息,对所述咨询类评论进行回复。
10.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-8任一所述的方法步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210050043.5A CN114417890A (zh) | 2022-01-17 | 2022-01-17 | 一种评论内容回复方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210050043.5A CN114417890A (zh) | 2022-01-17 | 2022-01-17 | 一种评论内容回复方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114417890A true CN114417890A (zh) | 2022-04-29 |
Family
ID=81273520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210050043.5A Pending CN114417890A (zh) | 2022-01-17 | 2022-01-17 | 一种评论内容回复方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114417890A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111294660A (zh) * | 2020-03-12 | 2020-06-16 | 咪咕文化科技有限公司 | 视频片段定位方法、服务器、客户端及电子设备 |
CN112287171A (zh) * | 2019-07-24 | 2021-01-29 | 北京字节跳动网络技术有限公司 | 信息处理方法、装置和电子设备 |
CN113395584A (zh) * | 2020-10-10 | 2021-09-14 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法、装置、设备以及介质 |
-
2022
- 2022-01-17 CN CN202210050043.5A patent/CN114417890A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112287171A (zh) * | 2019-07-24 | 2021-01-29 | 北京字节跳动网络技术有限公司 | 信息处理方法、装置和电子设备 |
CN111294660A (zh) * | 2020-03-12 | 2020-06-16 | 咪咕文化科技有限公司 | 视频片段定位方法、服务器、客户端及电子设备 |
CN113395584A (zh) * | 2020-10-10 | 2021-09-14 | 腾讯科技(深圳)有限公司 | 一种视频数据处理方法、装置、设备以及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10657985B2 (en) | Systems and methods for manipulating electronic content based on speech recognition | |
US10515133B1 (en) | Systems and methods for automatically suggesting metadata for media content | |
CN106331778B (zh) | 视频推荐方法和装置 | |
WO2017096877A1 (zh) | 一种推荐方法和装置 | |
US20200226133A1 (en) | Knowledge map building system and method | |
US20080168070A1 (en) | Method and apparatus for classifying multimedia artifacts using ontology selection and semantic classification | |
CN111008321A (zh) | 基于逻辑回归推荐方法、装置、计算设备、可读存储介质 | |
US9489626B2 (en) | Systems and methods for identifying and notifying users of electronic content based on biometric recognition | |
CN106484774B (zh) | 一种多源视频元数据的关联方法及系统 | |
CN107977678B (zh) | 用于输出信息的方法和装置 | |
CN108197336B (zh) | 一种视频查找的方法及装置 | |
CN110287375B (zh) | 视频标签的确定方法、装置及服务器 | |
KR20210006662A (ko) | 지능정보기술기반 애니메이션 콘텐츠 리소스 서비스 시스템 및 방법 | |
JP7395377B2 (ja) | コンテンツ検索方法、装置、機器、および記憶媒体 | |
KR101780237B1 (ko) | 온라인 상에 공개된 질의응답 데이터를 기초로 한 사용자 질의에 대한 응답 방법 및 장치 | |
CN113505291A (zh) | 基于用户行为数据的内容智能推荐系统 | |
CN110569447B (zh) | 一种网络资源的推荐方法、装置及存储介质 | |
TWI725375B (zh) | 資料搜尋方法及其資料搜尋系統 | |
TW201435627A (zh) | 搜索優化系統及方法 | |
Sánchez-Nielsen et al. | A multimedia system to produce and deliver video fragments on demand on parliamentary websites | |
Mirhasani et al. | Alleviation of cold start in movie recommendation systems using sentiment analysis of multi-modal social networks | |
CN114417890A (zh) | 一种评论内容回复方法、装置、电子设备及存储介质 | |
JP4755122B2 (ja) | 画像辞書生成方法及び装置及びプログラム | |
Ventura et al. | Automatic keyframe selection based on mutual reinforcement algorithm | |
CN115630170B (zh) | 一种文档推荐方法、系统、终端机及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |