CN117037012A - 投票信息生成方法、投票信息显示方法及装置 - Google Patents
投票信息生成方法、投票信息显示方法及装置 Download PDFInfo
- Publication number
- CN117037012A CN117037012A CN202210473861.6A CN202210473861A CN117037012A CN 117037012 A CN117037012 A CN 117037012A CN 202210473861 A CN202210473861 A CN 202210473861A CN 117037012 A CN117037012 A CN 117037012A
- Authority
- CN
- China
- Prior art keywords
- voting
- text content
- video
- text
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 163
- 230000003993 interaction Effects 0.000 claims description 144
- 230000010076 replication Effects 0.000 claims description 63
- 238000004590 computer program Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 16
- 230000000875 corresponding effect Effects 0.000 description 139
- 230000008569 process Effects 0.000 description 62
- 238000012549 training Methods 0.000 description 28
- 238000000605 extraction Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 20
- 238000013473 artificial intelligence Methods 0.000 description 18
- 230000002452 interceptive effect Effects 0.000 description 17
- 239000012634 fragment Substances 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 101100129590 Schizosaccharomyces pombe (strain 972 / ATCC 24843) mcp5 gene Proteins 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请实施例公开了一种投票信息生成方法、投票信息显示方法及装置,属于计算机技术领域。该投票信息生成方法包括:获取目标视频中的视频片段关联的文本内容,文本内容包括第一文本内容或第二文本内容的至少一种,第一文本内容为视频片段包含的文本内容,第二文本内容为视频片段的弹幕包含的文本内容;基于所获取的文本内容中的关键词,生成视频片段的投票主题;基于关键词和投票主题,生成视频片段的至少两个投票候选项;基于投票主题和至少两个投票候选项,生成视频片段的投票信息。本申请实施例提供了自动生成视频片段的投票信息的方法,无需人工创建投票信息,提高了操作效率,节省了时间。
Description
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种投票信息生成方法、投票信息显示方法及装置。
背景技术
投票是一种常用的互动方式,广泛应用于各种场景中。而随着视频的广泛传播,目前提供了一种在视频中进行投票的方法,由视频网站的运营人员或者视频的制作者在视频中人为创建投票信息,在播放视频的过程中通过显示该投票信息吸引观看视频的对象进行投票。但是,这种方式需要人工在视频中创建投票信息,操作效率很低,且这种方式难以覆盖大量的视频,导致视频的投票互动不够充分。
发明内容
本申请实施例提供了一种投票信息生成方法、投票信息显示方法及装置,无需人工创建投票信息,提高了操作效率,节省了时间,且这种方法能够有效覆盖大量的视频,提高了投票互动的覆盖率。所述技术方案如下:
一方面,提供了一种投票信息生成方法,所述方法包括:
获取目标视频中的视频片段关联的文本内容,所述文本内容包括第一文本内容或第二文本内容的至少一种,所述第一文本内容为所述视频片段包含的文本内容,所述第二文本内容为所述视频片段的弹幕包含的文本内容;
基于所获取的文本内容中的关键词,生成所述视频片段的投票主题;
基于所述关键词和所述投票主题,生成所述视频片段的至少两个投票候选项;
基于所述投票主题和所述至少两个投票候选项,生成所述视频片段的投票信息。
可选地,所述第一生成模型的训练过程包括:
获取正样本视频片段关联的样本文本内容,所述正样本视频片段为包含样本投票信息且所述样本投票信息的参与率达到目标阈值的视频片段;
获取所述样本投票信息中包含的样本投票主题;
基于所述样本文本内容和所述样本投票主题,调整所述第一生成模型中的模型参数。
可选地,所述第二生成模型的训练过程包括:
获取正样本视频片段关联的样本文本内容,所述正样本视频片段为包含样本投票信息且所述样本投票信息的参与率达到目标阈值的视频片段;
获取所述样本投票信息中包含的样本投票主题和至少两个样本投票候选项;
基于每个所述样本文本内容与每个所述样本投票候选项之间的关联度,确定每个所述样本投票候选项对应的文本类别,所述文本类别包括所述样本投票候选项关联的样本文本内容;
分别从每个所述样本投票候选项对应的所述文本类别中抽取样本关键词;
基于所述样本文本内容、所述样本投票主题、所述至少两个样本投票候选项以及每个所述样本投票候选项对应的样本关键词,调整所述第二生成模型中的模型参数。
可选地,投票判定模型包括第一特征提取子模型、第一拼接层和第二分类层,所述投票判定模型还包括热度特征表,所述热度特征表包含至少一种热度参数对应的热度特征;
所述获取所述第一文本内容对应的第一文本特征和所述第二文本内容对应的第二文本特征,包括:调用所述第一特征提取子模型,获取所述第一文本内容对应的第一文本特征和所述第二文本内容对应的第二文本特征;
所述获取所述第一热度参数对应的第一热度特征和所述第二热度参数对应的第二热度特征,包括:基于所述第一热度参数和所述第二热度参数查询所述热度特征表,得到所述第一热度特征和所述第二热度特征;
所述将所述第一文本特征、所述第二文本特征、所述第一热度特征和所述第二热度特征进行拼接,得到视频片段特征,包括:调用所述第一拼接层,将所述第一文本特征、所述第二文本特征、所述第一热度特征和所述第二热度特征进行拼接,得到所述视频片段特征;
所述基于所述视频片段特征进行分类,得到所述投票标识,包括:调用所述第二分类层,基于所述视频片段特征进行分类,得到所述投票标识。
可选地,所述投票判定模型的训练过程包括:
获取样本视频片段、所述样本视频片段关联的样本文本内容及所述样本文本内容的热度参数,所述样本视频片段包括正样本视频片段或负样本视频片段的至少一种,所述正样本视频片段为包含样本投票信息且所述样本投票信息的参与率达到目标阈值的视频片段,所述负样本视频片段为:包含样本投票信息且所述样本投票信息的参与率未达到所述目标阈值的视频片段,或不包含样本投票信息的视频片段的至少一种;
基于所述样本视频片段、所述样本视频片段关联的样本文本内容及所述样本文本内容的热度参数,调整所述投票判定模型中的模型参数,所述模型参数包括所述热度特征表。
可选地,所述基于所述投票主题和所述至少两个投票候选项,生成所述视频片段的投票信息之后,所述方法还包括:
基于目标账号的兴趣标签和所述投票信息,确定互动参数,所述互动参数表示所述目标账号基于所述投票信息进行投票操作的可能性;
在所述互动参数满足互动条件的情况下,向所述目标账号对应的目标终端发送所述投票信息,所述投票信息用于在所述目标终端播放所述视频片段时展示。
另一方面,提供了一种投票信息显示方法,所述方法包括:
基于目标视频中的视频片段,获取所述视频片段的投票信息,所述投票信息基于投票主题和至少两个投票候选项生成,所述投票主题基于所述视频片段关联的文本内容中的关键词生成,所述至少两个投票候选项基于所述关键词和所述投票主题生成;
基于当前登录的目标账号的兴趣标签和所述投票信息,确定互动参数,所述互动参数表示所述目标账号基于所述投票信息进行投票操作的可能性;
在所述互动参数满足互动条件的情况下,在播放所述视频片段时显示所述投票信息;
其中,所述文本内容包括第一文本内容或第二文本内容的至少一种,所述第一文本内容为所述视频片段包含的文本内容,所述第二文本内容为所述视频片段的弹幕包含的文本内容。
可选地,所述投票信息包括投票主题和至少两个投票候选项,所述基于当前登录的目标账号的兴趣标签和所述投票信息,确定互动参数,包括:
获取所述目标账号的兴趣标签对应的兴趣特征、所述投票主题对应的投票主题特征和所述至少两个投票候选项分别对应的投票候选项特征;
将所述兴趣特征、所述投票主题特征和至少两个投票候选项特征进行拼接,得到互动特征;
基于所述互动特征进行分类,得到所述互动参数。
可选地,投票互动模型包括第二特征提取子模型、第二拼接层和第三分类层;
所述获取所述目标账号的兴趣标签对应的兴趣特征、所述投票主题对应的投票主题特征和所述至少两个投票候选项分别对应的投票候选项特征,包括:调用所述第二特征提取子模型,获取所述兴趣标签对应的兴趣特征、获取所述投票主题对应的投票主题特征和所述至少两个投票候选项分别对应的投票候选项特征;
所述将所述兴趣特征、所述投票主题特征和至少两个投票候选项特征进行拼接,得到互动特征,包括:调用所述第二拼接层,将所述兴趣特征、所述投票主题特征和所述至少两个投票候选项特征进行拼接,得到所述互动特征;
所述基于所述互动特征进行分类,得到所述互动参数,包括:调用所述第三分类层,基于所述互动特征进行分类,得到所述互动参数。
可选地,所述投票互动模型的训练过程包括:
获取样本账号对应的样本兴趣标签以及样本视频片段中的样本投票信息,其中,所述样本账号已执行基于所述样本投票信息进行投票操作;
基于所述样本兴趣标签、所述样本投票信息中的样本投票主题和至少两个样本投票候选项,调整所述投票互动模型中的模型参数。
另一方面,提供了一种投票信息生成装置,所述装置包括:
文本内容获取模块,用于获取目标视频中的视频片段关联的文本内容,所述文本内容包括第一文本内容或第二文本内容的至少一种,所述第一文本内容为所述视频片段包含的文本内容,所述第二文本内容为所述视频片段的弹幕包含的文本内容;
主题生成模块,用于基于所获取的文本内容中的关键词,生成所述视频片段的投票主题;
候选项生成模块,用于基于所述关键词和所述投票主题,生成所述视频片段的至少两个投票候选项;
投票信息生成模块,用于基于所述投票主题和所述至少两个投票候选项,生成所述视频片段的投票信息。
可选地,所述主题生成模块,包括:
编码单元,用于对所述关键词进行编码,得到所述关键词对应的关键词特征;
解码单元,用于对所述关键词特征进行解码,得到至少两个投票主题词语,所述至少两个投票主题词语构成所述投票主题。
可选地,第一生成模型包括第一编码子模型和第一解码子模型;
所述编码单元,用于:调用所述第一编码子模型,对N个所述关键词进行编码,得到N个所述关键词分别对应的关键词特征,N为大于1的整数;
所述解码单元,用于:
调用所述第一解码子模型,对N个所述关键词特征进行解码,得到第1个解码特征,基于所述第1个解码特征和N个所述关键词特征,确定第一投票主题词语;
调用所述第一解码子模型,对N个所述关键词特征和所述第一投票主题词语进行解码,得到第2个解码特征,基于所述第2个解码特征和N个所述关键词特征,确定当前的投票主题,所述当前的投票主题包括所述第一投票主题词语和第二投票主题词语,直至通过N次解码后确定所述视频片段的投票主题。
可选地,所述第一生成模型还包括第一分类层和预设词语库,所述预设词语库包括至少两个词语,所述解码单元,用于:
基于所述第1个解码特征和N个所述关键词特征确定N个第一复制概率,第j个所述第一复制概率为在投票主题中复制第j个所述关键词的概率,j为正整数,且j不大于N;
在第j个所述第一复制概率满足复制条件的情况下,将第j个所述关键词确定为所述第一投票主题词语;
在每个所述第一复制概率不满足所述复制条件的情况下,调用所述第一分类层基于所述第1个解码特征和所述预设词语库进行分类,得到所述预设词语库中的每个词语的分类概率,基于所述每个词语的分类概率,确定所述第一投票主题词语。
可选地,所述解码单元,用于:
基于所述第2个解码特征和N个所述关键词特征确定N个第二复制概率,第j个所述第二复制概率为在投票主题中复制第j个所述关键词的概率,j为正整数,且j不大于N;
在第j个所述第二复制概率满足所述复制条件的情况下,将第j个所述关键词确定为所述第二投票主题词语;
在每个所述第二复制概率不满足所述复制条件的情况下,调用所述第一分类层基于所述第2个解码特征和所述预设词语库进行分类,得到多个候选投票主题的分类概率,每个候选投票主题包括一个所述第一投票主题词语和一个所述第二投票主题词语;
基于所述每个候选投票主题的分类概率,确定所述当前的投票主题。
可选地,所述第一生成模型的训练过程包括:
获取正样本视频片段关联的样本文本内容,所述正样本视频片段为包含样本投票信息且所述样本投票信息的参与率达到目标阈值的视频片段;
获取所述样本投票信息中包含的样本投票主题;
基于所述样本文本内容和所述样本投票主题,调整所述第一生成模型中的模型参数。
可选地,所述文本内容包括所述第一文本内容和所述第二文本内容,所述候选项生成模块,包括:
第一获取单元,用于获取所述第一文本内容中的第一关键词;
聚类单元,用于对所述第二文本内容进行聚类,得到多个文本类别,每个文本类别包含至少一条所述第二文本内容;
第二获取单元,用于分别从每个所述文本类别中抽取第二关键词;
生成单元,用于基于所述第一关键词、所述投票主题和每个所述文本类别对应的第二关键词,分别生成与每个所述文本类别对应的投票候选项。
可选地,所述生成单元,用于:
对所述第一关键词、所述投票主题和第i个所述文本类别对应的第二关键词进行编码,得到关键词特征,i为正整数,i不大于所述文本类别的数量;
对所述关键词特征进行解码,得到至少两个投票候选项词语,所述至少两个投票候选项词语构成第i个投票候选项。
可选地,第二生成模型包括第二编码子模型和第二解码子模型;所述生成单元,用于:
调用所述第二编码子模型,对所述第一关键词、所述投票主题和第i个所述文本类别对应的第二关键词进行编码,得到所述关键词特征;
调用所述第二解码子模型,对M个所述关键词特征进行解码,得到第1个解码特征,基于所述第1个解码特征和M个所述关键词特征,确定第一投票候选项词语,M为大于1的整数;
调用所述第二解码子模型,对M个所述关键词特征和所述第一投票候选项词语进行解码,得到第2个解码特征,基于所述第2个解码特征和M个所述关键词特征,确定当前的投票候选项,所述当前的投票候选项包括所述第一投票候选项词语和第二投票候选项词语,直至通过M次解码后确定所述视频片段的第i个投票候选项。
可选地,所述第二生成模型的训练过程包括:
获取正样本视频片段关联的样本文本内容,所述正样本视频片段为包含样本投票信息且所述样本投票信息的参与率达到目标阈值的视频片段;
获取所述样本投票信息中包含的样本投票主题和至少两个样本投票候选项;
基于每个所述样本文本内容与每个所述样本投票候选项之间的关联度,确定每个所述样本投票候选项对应的文本类别,所述文本类别包括所述样本投票候选项关联的样本文本内容;
分别从每个所述样本投票候选项对应的所述文本类别中抽取样本关键词;
基于所述样本文本内容、所述样本投票主题、所述至少两个样本投票候选项以及每个所述样本投票候选项对应的样本关键词,调整所述第二生成模型中的模型参数。
可选地,所述文本内容获取模块,用于:
获取所述第一文本内容、所述第二文本内容、第一热度参数和第二热度参数,所述第一热度参数表示所述视频片段的热门程度,所述第二热度参数表示所述视频片段的弹幕的热门程度;
所述主题生成模块,用于:
基于所述第一文本内容、所述第二文本内容、所述第一热度参数和所述第二热度参数,确定所述视频片段的投票标识,所述投票标识表示是否为所述视频片段生成投票信息;
在所述投票标识表示为所述视频片段生成投票信息的情况下,基于所获取的文本内容中的关键词,生成所述视频片段的投票主题。
可选地,所述主题生成模块,用于:
获取所述第一文本内容对应的第一文本特征和所述第二文本内容对应的第二文本特征;
获取所述第一热度参数对应的第一热度特征和所述第二热度参数对应的第二热度特征;
将所述第一文本特征、所述第二文本特征、所述第一热度特征和所述第二热度特征进行拼接,得到视频片段特征;
基于所述视频片段特征进行分类,得到所述投票标识。
可选地,投票判定模型包括第一特征提取子模型、第一拼接层和第二分类层,所述投票判定模型还包括热度特征表,所述热度特征表包含至少一种热度参数对应的热度特征;
所述主题生成模块,用于:
调用所述第一特征提取子模型,获取所述第一文本内容对应的第一文本特征和所述第二文本内容对应的第二文本特征;
基于所述第一热度参数和所述第二热度参数查询所述热度特征表,得到所述第一热度特征和所述第二热度特征;
调用所述第一拼接层,将所述第一文本特征、所述第二文本特征、所述第一热度特征和所述第二热度特征进行拼接,得到所述视频片段特征;
调用所述第二分类层,基于所述视频片段特征进行分类,得到所述投票标识。
可选地,所述投票判定模型的训练过程包括:
获取样本视频片段、所述样本视频片段关联的样本文本内容及所述样本文本内容的热度参数,所述样本视频片段包括正样本视频片段或负样本视频片段的至少一种,所述正样本视频片段为包含样本投票信息且所述样本投票信息的参与率达到目标阈值的视频片段,所述负样本视频片段为:包含样本投票信息且所述样本投票信息的参与率未达到所述目标阈值的视频片段,或不包含样本投票信息的视频片段的至少一种;
基于所述样本视频片段、所述样本视频片段关联的样本文本内容及所述样本文本内容的热度参数,调整所述投票判定模型中的模型参数,所述模型参数包括所述热度特征表。
可选地,所述装置还包括:
互动参数确定模块,用于基于目标账号的兴趣标签和所述投票信息,确定互动参数,所述互动参数表示所述目标账号基于所述投票信息进行投票操作的可能性;
发送模块,用于在所述互动参数满足互动条件的情况下,向所述目标账号对应的目标终端发送所述投票信息,所述投票信息用于在所述目标终端播放所述视频片段时展示。
另一方面,提供了一种投票信息显示装置,所述装置包括:
信息获取模块,用于基于目标视频中的视频片段,获取所述视频片段的投票信息,所述投票信息基于投票主题和至少两个投票候选项生成,所述投票主题基于所述视频片段关联的文本内容中的关键词生成,所述至少两个投票候选项基于所述关键词和所述投票主题生成;
参数确定模块,用于基于当前登录的目标账号的兴趣标签和所述投票信息,确定互动参数,所述互动参数表示所述目标账号基于所述投票信息进行投票操作的可能性;
信息显示模块,用于在所述互动参数满足互动条件的情况下,在播放所述视频片段时显示所述投票信息;
其中,所述文本内容包括第一文本内容或第二文本内容的至少一种,所述第一文本内容为所述视频片段包含的文本内容,所述第二文本内容为所述视频片段的弹幕包含的文本内容。
可选地,所述投票信息包括投票主题和至少两个投票候选项,所述参数确定模块,包括:
特征获取单元,用于获取所述目标账号的兴趣标签对应的兴趣特征、所述投票主题对应的投票主题特征和所述至少两个投票候选项分别对应的投票候选项特征;
拼接单元,用于将所述兴趣特征、所述投票主题特征和至少两个投票候选项特征进行拼接,得到互动特征;
分类单元,用于基于所述互动特征进行分类,得到所述互动参数。
可选地,投票互动模型包括第二特征提取子模型、第二拼接层和第三分类层;
所述特征获取单元,用于:调用所述第二特征提取子模型,获取所述兴趣标签对应的兴趣特征、获取所述投票主题对应的投票主题特征和所述至少两个投票候选项分别对应的投票候选项特征;
所述拼接单元,用于:调用所述第二拼接层,将所述兴趣特征、所述投票主题特征和所述至少两个投票候选项特征进行拼接,得到所述互动特征;
所述分类单元,用于:调用所述第三分类层,基于所述互动特征进行分类,得到所述互动参数。
可选地,所述投票互动模型的训练过程包括:
获取样本账号对应的样本兴趣标签以及样本视频片段中的样本投票信息,其中,所述样本账号已执行基于所述样本投票信息进行投票操作;
基于所述样本兴趣标签、所述样本投票信息中的样本投票主题和至少两个样本投票候选项,调整所述投票互动模型中的模型参数。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行以实现如上述方面所述的投票信息生成方法所执行的操作,或者以实现如上述方面所述的投票信息显示方法所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现如上述方面所述的投票信息生成方法所执行的操作,或者以实现如上述方面所述的投票信息显示方法所执行的操作。
另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述方面所述的投票信息生成方法所执行的操作,或者实现如上述方面所述的投票信息显示方法所执行的操作。
本申请实施例提供了自动生成视频片段的投票信息的方法,能够基于视频片段关联的文本内容,自动地为视频片段生成投票信息,无需人工创建投票信息,提高了操作效率,节省了时间,且这种方法能够有效覆盖大量的视频,提高了投票互动的覆盖率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图。
图2是本申请实施例提供的一种投票信息生成方法的流程图。
图3是本申请实施例提供的另一种投票信息生成方法的流程图。
图4是本申请实施例提供的一种投票信息的示意图。
图5是本申请实施例提供的一种基于第一生成模型生成投票主题的流程示意图。
图6是本申请实施例提供的一种第一生成模型的示意图。
图7是本申请实施例提供的一种基于第二生成模型生成投票候选项的流程示意图。
图8是本申请实施例提供的一种第二生成模型的示意图。
图9是本申请实施例提供的一种生成投票信息的整体流程的示意图。
图10是本申请实施例提供的一种投票信息生成方法的流程图。
图11是本申请实施例提供的一种投票判定模型的示意图。
图12是本申请实施例提供的一种投票信息显示方法的流程图。
图13是本申请实施例提供的另一种投票信息显示方法的流程图。
图14是本申请实施例提供的一种投票互动模型的示意图。
图15是本申请实施例提供的一种投票信息生成装置的结构示意图。
图16是本申请实施例提供的一种投票信息显示装置的结构示意图。
图17是本申请实施例提供的一种终端的结构示意图。
图18是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一文本内容称为第二文本内容,将第二文本内容称为第一文本内容。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”等,至少一个包括一个、两个或两个以上,多个包括两个或两个以上,每个是指对应的多个中的每一个,任一是指多个中的任意一个。举例来说,多个关键词包括3个关键词,而每个关键词是指这3个关键词中的每一个关键词,任一是指这3个关键词中的任意一个,可以是第一个,可以是第二个,也可以是第三个。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的投票信息生成方法和投票信息显示方法,利用人工智能中的计算机视觉技术以及机器学习等技术,能够生成视频片段的投票信息,并在播放视频片段时显示投票信息。
本申请实施例提供的投票信息生成方法和投票信息显示方法的执行主体为计算机设备,该计算机设备为终端或服务器。在一种可能实现方式中,该投票信息生成方法由服务器执行,该投票信息显示方法由终端执行,则本申请实施例提供如下图1所示的实施环境。
图1是本申请实施例提供的一种实施环境的示意图,参见图1,该实施环境包括:服务器101和终端102。服务器101以及终端102可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
服务器101用于存储或下发视频,并且还用于为视频中的视频片段自动生成投票信息,而终端102用于访问服务器101,播放服务器101下发的视频,并在播放视频时展示当前视频片段的投票信息,从而发起了针对当前视频片段的投票互动,吸引用户进行投票操作,参与到投票互动中。
在一种可能实现方式中,服务器101是独立的物理服务器,或者是多个物理服务器构成的服务器集群或者分布式系统,或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能电视、智能车载终端等,但并不局限于此。
在另一种可能实现方式中,终端102上安装由服务器101提供服务的目标应用,终端102能够通过该目标应用实现例如视频播放、投票等功能。例如,目标应用为视频分享应用,该视频分享应用具有视频分享的功能,当然,该视频分享应用还能够具有其他功能,例如,发布弹幕的功能、进行投票的功能等。
图2是本申请实施例提供的一种投票信息生成方法的流程图。本申请实施例的执行主体为计算机设备,该计算机设备为终端或服务器,本申请实施例对生成视频片段的投票信息的过程进行说明。参见图2,该方法包括:
201、计算机设备获取目标视频中的视频片段关联的文本内容。
其中,目标视频为计算机设备中的任一视频,例如,计算机设备为终端,目标视频为终端下载的任一视频或者拍摄的任一视频等,或者计算机设备为服务器,服务器具有视频分享功能,能存储任一设备上传的视频,并将该视频发送给任一设备进行播放,而目标视频为服务器存储的任一视频。
该目标视频中包括一个或多个视频片段,视频片段的播放时长不大于该目标视频的总播放时长。例如,该目标视频按照固定时长被划分为多个视频片段,每个视频片段的播放时长等于该固定时长。
该视频片段关联的文本内容包括第一文本内容或第二文本内容的至少一种。第一文本内容为视频片段包含的文本内容,例如,该第一文本内容包括视频片段中的字幕文本内容,或者包括从该视频片段中的语音数据中识别出的文本内容,该第一文本内容能够表示该视频片段本身所包含的内容,如该视频片段中出现过的人物、事物或者该视频片段中发生的情节等。
该第二文本内容为视频片段的弹幕包含的文本内容,可称为弹幕文本内容。在播放该视频片段时,播放该视频片段的终端可以发布针对该视频片段的弹幕,弹幕中包含的文本内容能够表示终端用户对该视频片段的看法或观点,因此弹幕文本内容可以看做视频片段的互动数据。其中,在目标视频中的每个视频片段具有对应的播放时间段,而视频片段的播放时间段包括弹幕的发布时间点,则表示该弹幕是该视频片段的弹幕。
终端在获取到文本内容后,即可自动地基于该文本内容生成视频片段的投票信息,无需技术人员手动生成,而且在播放该视频片段时显示该投票信息,还能够吸引用户参与到投票互动中,有助于提高目标视频的互动覆盖率。其中生成投票信息的过程详见下述步骤202-204。
202、计算机设备基于所获取的文本内容中的关键词,生成视频片段的投票主题。
203、计算机设备基于关键词和投票主题,生成视频片段的至少两个投票候选项。
投票信息包括投票主题和至少两个投票候选项,投票主题代表了询问用户的问题,而至少两个投票候选项代表了为用户提供的候选答案,显示投票信息时,用户通过查看投票主题了解问题,通过从至少两个投票候选项中选取一个投票候选项,选择自己的答案,也即是实现了投票操作。
文本内容中包括至少一个词语,该文本内容中的关键词可以包括该文本内容中的每个词语,或者仅包括通过关键词抽取算法从该文本内容中抽取的词语。由于该关键词能够表示该视频片段的内容,因此基于该关键词生成的投票主题,与该视频片段的内容相关。而且基于关键词和投票主题生成的至少两个投票候选项,也与该视频片段的内容相关,且与所生成的投票主题相符。
204、计算机设备基于投票主题和至少两个投票候选项,生成视频片段的投票信息。
需要说明的是,本申请实施例仅是以一个视频中的一个视频片段为例进行说明,而生成其他的视频片段的投票信息的过程与本申请实施例类似,在此不再赘述。
相关技术中,视频中的投票信息主要是由视频站点的运营人员创建,或者由视频的创作者创建,需要花费较长的时间,操作效率较低,且这种方式难以覆盖大量的视频,导致视频的投票互动不够充分,禁锢了用户参与投票互动。
本申请实施例提供了自动生成视频片段的投票信息的方法,能够基于视频片段关联的文本内容,自动地为视频片段生成投票信息,无需人工创建投票信息,提高了操作效率,节省了时间,且这种方法能够有效覆盖大量的视频,提高了投票互动的覆盖率。
在上述图2所示实施例的基础上,本申请实施例还提供了另一种投票信息生成方法,对生成投票主题和投票候选项的具体过程进行了说明。图3是本申请实施例提供的另一种投票信息生成方法的流程图。本申请实施例的执行主体为计算机设备,该计算机设备为终端或服务器。参见图3,该方法包括:
301、计算机设备获取目标视频中的视频片段关联的文本内容。
可选地,该文本内容包括第一文本内容,第一文本内容为视频片段包含的文本内容。获取第一文本内容的过程包括如下至少一项:
(1)从该视频片段中提取字幕文本内容。
例如,从该视频片段中提取一个或多个视频帧,采用OCR(Optical CharacterRecognition,光学字符识别)算法,从该一个或多个视频帧中提取字幕文本内容。
(2)从该视频片段中提取语音数据,对该语音数据进行文本识别,得到该语音数据对应的文本内容。
例如,采用ASR(Automatic Speech Recognition,自动语音识别)算法,对语音数据进行识别,得到语音数据对应的文本内容,该文本内容即为该视频片段中的对白的文本内容。
可选地,该文本内容包括第二文本内容,第二文本内容为视频片段的弹幕包含的文本内容,获取第二文本内容的过程包括:从目标视频的弹幕集合中,提取视频片段的弹幕,从视频片段的弹幕中提取文本内容。
投票信息包括投票主题和至少两个投票候选项,计算机设备在获取到文本内容之后,首先需要生成投票主题,生成投票主题的具体步骤详见下述步骤302-303。
302、计算机设备对所获取的文本内容中的关键词进行编码,得到关键词对应的关键词特征。
其中,该关键词特征用于描述关键词,将关键词转换为关键词特征的形式,方便后续基于可量化的关键词特征进行处理,能够生成与该关键词相关的投票信息。
可选地,采用编码算法对该关键词进行编码,得到关键词特征,或者调用编码模型对该关键词进行编码,得到关键词特征。其中,该编码模型可以为Transformer模型(一种基于自注意力机制的模型)或者其他类型的模型。
而在对关键词进行编码之前,首先需要从文本内容中抽取关键词。可选地,采用关键词抽取算法抽取关键词,或者调用关键词抽取模型抽取关键词。其中,该关键词抽取模型可以为TextRank模型(一种基于文本排名抽取关键词的模型)或者其他类型的模型。
303、计算机设备对关键词特征进行解码,得到至少两个投票主题词语,至少两个投票主题词语构成投票主题。
可选地,计算机设备每次对关键词特征进行解码,得到一个投票主题词语,之后继续对关键词特征和已确定的最后一个投票主题词语进行解码,得到下一个投票主题词语,直至得到目标数量的投票主题词语,该目标数量的投票主题词语构成投票主题。
计算机设备生成至少两个投票候选项的具体步骤详见下述步骤304-306。
304、计算机设备获取第一文本内容中的第一关键词。
在本申请实施例中,计算机设备获取到第一文本内容和第二文本内容,其中第一文本内容中的关键词称为第一关键词,第二文本内容中的关键词称为第二关键词。
其中,获取第一文本内容中的第一关键词的步骤与上述步骤302中抽取关键词的方式类似,在此不再赘述。
305、计算机设备对第二文本内容进行聚类,得到多个文本类别,每个文本类别包含至少一条第二文本内容,分别从每个文本类别中抽取第二关键词。
目标视频中可以包括多个弹幕,相应地,计算机设备会获取到多个弹幕分别包括的第二文本内容,从而从多个第二文本内容中抽取第二关键词。而为了避免抽取到重复的关键词,且为了节省处理量,可以先对多个第二文本内容进行聚类,将语义相关的第二文本内容划分到一个文本类别中,之后再按照不同的文本类别,分别抽取每个文本类别中的第二关键词。
306、计算机设备基于第一关键词、投票主题和每个文本类别对应的第二关键词,分别生成与每个文本类别对应的投票候选项。
在划分不同的文本类别后,由于不同文本类别对应的第二关键词的语义相差较大,而同一文本类别对应的第二关键词的语义相差较小,因此可以按照不同的文本类别,分别生成不同的投票候选项。则所生成的投票候选项的数量等于聚类得到的文本类别的数量。
以生成第i个投票候选项的过程为例,i为正整数,i不大于文本类别的数量,生成第i个投票候选项的过程包括:对第一关键词、投票主题和第i个文本类别对应的第二关键词进行编码,得到关键词特征,对关键词特征进行解码,得到至少两个投票候选项词语,至少两个投票候选项词语构成第i个投票候选项。其具体过程与上述步骤302-303类似,区别在于:本次确定的关键词特征用于描述第一关键词、投票主题中的关键词和第二关键词,根据该关键词特征得到的至少两个投票候选项词语综合考虑了第一关键词、投票主题中的关键词和第二关键词的影响,保证了投票候选项词语是与第一关键词、投票主题和第二关键词相关。
307、计算机设备基于投票主题和至少两个投票候选项,生成视频片段的投票信息。
可选地,将投票主题和至少两个投票候选项构成视频片段的投票信息。或者,将投票主题和至少两个投票候选项以及关联信息构成视频片段的投票信息。该关联信息包括用于提示用户进行投票的文本或图像等,也可以包括其他类型的信息。
如图4所示,在播放视频片段时,播放界面中显示有视频片段的视频画面以及投票信息,该投票信息分为两部分,一部分是投票主题“你是来看什么的?”,另一部分是三个投票候选项,供用户选择。
生成投票信息之后,计算机设备将视频片段与投票信息关联存储,在播放视频片段时显示投票信息,或者在每次向其他设备下发视频片段时下发投票信息。或者,计算机设备将投票信息添加到视频片段中,以便在播放视频片段时显示投票信息。其中,显示投票信息的具体过程详见下述图12和图13所示的实施例,在此暂不进行说明。
需要说明的是,本申请实施例仅是以视频片段的一个投票信息为例进行说明,而在另一实施例中,计算机设备通过重复执行上述步骤,可以生成多个投票主题和每个投票主题对应的投票候选项,从而构成多个投票信息,那么在播放视频片段时可以显示该多个投票信息,或者显示该多个投票信息中的一个或多个,本申请实施例对此不做限定。
本申请实施例提供了自动生成视频片段的投票信息的方法,能够基于视频片段关联的文本内容,自动地为视频片段生成投票信息,无需人工创建投票信息,提高了操作效率,节省了时间,且这种方法能够有效覆盖大量的视频,提高了投票互动的覆盖率。而且所生成的投票信息与视频片段的文本内容相关,满足了目标视频的互动功能需求,有助于提升用户在观看视频片段过程中参与投票互动的积极性,进而提升了互动氛围。采用上述方式便于覆盖大量的视频,提升了视频的互动覆盖率与丰富度,提高了视频平台上的用户互动活跃度。
在上述图3所示实施例的基础上,在一种可能实现方式中,上述步骤302-303中生成投票主题的过程可以基于第一生成模型执行,该第一生成模型包括第一编码子模型和第一解码子模型,其中,第一编码子模型用于将关键词编码为关键词特征,第一解码子模型用于将关键词特征解码为投票主题词语。如图5所示,基于第一生成模型生成投票主题的过程包括:
501、计算机设备调用第一编码子模型,对N个关键词进行编码,得到N个关键词分别对应的关键词特征,N为大于1的整数。
其中,第一编码子模型为Transformer Encoder模型(Transformer模型中的编码器)或者其他类型的编码模型。
其中,N个关键词包括第一文本内容中的第一关键词,如视频片段的对白文本关键词或字母文本关键词等,还包括第二文本内容中的第二关键词,如视频片段的弹幕中的文本关键词。
本申请实施例中,计算机设备获取到了视频片段的N个关键词,需要综合考虑这N个关键词来生成投票主题。则将N个关键词输入至第一生成模型的第一编码子模型中,从而基于第一编码子模型对N个关键词分别进行编码,得到N个关键词特征。
502、计算机设备调用第一解码子模型,对N个关键词特征进行解码,得到第1个解码特征,基于第1个解码特征和N个关键词特征,确定第一投票主题词语。
其中,第一解码子模型为TransformerDecoder模型(Transformer模型中的解码器)或者其他类型的编码模型。
503、计算机设备调用第一解码子模型,对N个关键词特征和第一投票主题词语进行解码,得到第2个解码特征,基于第2个解码特征和N个关键词特征,确定当前的投票主题,当前的投票主题包括第一投票主题词语和第二投票主题词语,直至通过N次解码后确定视频片段的投票主题。
在本申请实施例中,采用了逐次解码生成投票主题词语的方式,每进行一次解码,确定当前的投票主题词语,当前的投票主题词语与之前确定的投票主题词语按照顺序组合,即可得到当前的投票主题。随着解码的多次进行,投票主题中包含的投票主题词语逐渐增多,直至进行N次解码后,确定了包含N个投票主题词语的投票主题。
且每次解码时不仅考虑N个关键词特征,还会考虑之前确定的投票主题词语,这样能保证本次确定的投票主题词语与之前确定的投票主题词语之间相关联,从而保证基于所确定的N个投票主题词语构成的投票主题中的不同投票主题词语关联,能够组合构成一条语义清楚的语句。
可选地,第一生成模型还包括第一分类层和预设词语库,预设词语库包括至少两个词语,基于第1个解码特征和N个关键词特征,确定第一投票主题词语,包括:
(1)基于第1个解码特征和N个关键词特征确定N个第一复制概率,第j个第一复制概率为在投票主题中复制第j个关键词的概率,j为正整数,且j不大于N。
(2)在第j个第一复制概率满足复制条件的情况下,将第j个关键词确定为第一投票主题词语。
(3)在每个第一复制概率不满足复制条件的情况下,调用第一分类层基于第1个解码特征和预设词语库进行分类,得到预设词语库中的每个词语的分类概率,基于每个词语的分类概率,确定第一投票主题词语。
本申请实施例中提供了两种确定投票主题词语的方式,一种是采用复制机制,将关键词复制为投票主题词语,另一种是根据预设词语库生成新的投票主题词语。则在第一解码子模型每次进行解码时,首先确定复制概率,根据复制概率是否满足复制条件,确定是要复制关键词还是要生成新的投票主题词语。
可选地,复制条件包括复制概率阈值,在第j个第一复制概率大于复制概率阈值的情况下,将第j个关键词确定为第一投票主题词语,其中在多个第一复制概率均大于复制概率阈值的情况下,将最大的第一复制概率对应的关键词确定为第一投票主题词语,而在每个第一复制概率不大于复制概率阈值的情况下,再确定预设词语库中的每个词语的分类概率,该分类概率表示将该词语确定为投票主题词语的可能性,则基于每个词语的分类概率,能够从多个词语中选取出第一投票主题词语。
可选地,基于每个词语的分类概率,确定第一投票主题词语,包括:从预设词语库中的多个词语中,选取分类概率最大的词语,作为第一投票主题词语,或者,从预设词语库中的多个词语中,选取分类概率最大的目标数量个词语,分别作为候选的第一投票主题词语。其中,目标数量大于1。
可选地,基于第2个解码特征和N个关键词特征,确定当前的投票主题,当前的投票主题包括第一投票主题词语和第二投票主题词语,包括:
(1)基于第2个解码特征和N个关键词特征确定N个第二复制概率,第j个第二复制概率为在投票主题中复制第j个关键词的概率,j为正整数,且j不大于N。
(2)在第j个第二复制概率满足复制条件的情况下,将第j个关键词确定为第二投票主题词语。
(3)在每个第二复制概率不满足复制条件的情况下,调用第一分类层基于第2个解码特征和预设词语库进行分类,得到多个候选投票主题的分类概率,每个候选投票主题包括一个第一投票主题词语和一个第二投票主题词语。
(4)基于每个候选投票主题的分类概率,确定当前的投票主题。
可选地,基于每个候选投票主题的分类概率,确定当前的投票主题,包括:从多个候选投票主题中,选取分类概率最大的候选投票主题,作为当前的投票主题,或者,从多个候选投票主题中,选取分类概率最大的目标数量个候选投票主题,分别作为投票主题。其中,目标数量大于1。后续可以针对每个投票主题生成对应的投票候选项,进而构成目标数量个投票信息。
第二次解码的过程与第一次解码的过程类似,区别在于:在第二次进行解码时,会将第一次解码得到的第一投票主题词语也输入到第一解码子模型中,从而将第一投票主题词语,与预设词语库中的每个词语构成了候选投票主题,通过确定多个候选投票主题的分类概率,从多个候选投票主题中确定当前的投票主题,这样能保证考虑到预设词语库中的词语与第一投票主题词语之间的关联性,而候选投票主题的分类概率也能体现预设词语库中的词语与第一投票主题词语组合得到的候选投票主题的合理程度,从而保证能生成语义清楚、逻辑通顺的投票主题。
需要说明的是,本申请实施例仅是对第一次解码和第二次解码进行说明,而在N大于2的情况下,在第二次解码之后的解码过程均与第二次解码过程类似,在此不再赘述。
而在解码过程中,基于解码特征和N个关键词特征,采用如下公式确定第i个复制概率:
Pi=e^(X*wi*svi)/sumj(e^(X*wi*svi)),其中,Pi表示第i个复制概率,X表示当前的解码特征,wi表示第i个关键词特征对应的权重参数,svi表示第i个关键词特征,j为任一正整数,j不大于N,Xj表示第j个解码特征,wj表示第j个关键词特征对应的权重参数,svj表示第j个关键词特征。
图6是本申请实施例提供的一种第一生成模型的示意图,参见图6,计算机设备获取到的N个关键词包括对白文本关键词及字幕文本关键词,以及弹幕文本关键词,将N个关键词输入到第一编码子模型中,通过调用第一编码子模型得到了N个关键词特征:关键词特征1、关键词特征2…关键词特征N,而在每次解码时,可以选择是复制文本关键词,还是重新确定新的投票主题词语。如图6右半部分所示,如果确定要复制文本关键词,可直接将对应的文本关键词确定为投票主题词语,如果确定不复制文本关键词,则根据上一次确定的投票主题词语,确定当前的投票主题词语。
可选地,第一生成模型的训练过程包括:
获取正样本视频片段关联的样本文本内容,正样本视频片段为包含样本投票信息且样本投票信息的参与率达到目标阈值的视频片段;获取样本投票信息中包含的样本投票主题;基于样本文本内容和样本投票主题,调整第一生成模型中的模型参数。
其中,正样本视频片段为已创建好样本投票信息的视频片段,而且在播放该正样本视频片段时显示该样本投票信息的情况下,该样本投票信息的参与率达到了目标阈值,表示有很多用户在观看该正样本视频片段时参与了投票,该样本投票信息与该正样本视频片段具有较强的关联性,则该样本投票信息中包含的样本投票主题与该正样本视频片段也具有较强的关联性,因此基于正样本视频片段关联的样本文本内容和该样本投票主题训练第一生成模型,能够提高第一生成模型的准确性,以使第一生成模型基于文本内容生成投票主题的功能得到提升。
其中,该第一生成模型中的模型参数可以包括该第一生成模型中各个层中的权重参数或其他参数等,如该模型参数包括用于确定复制概率的权重参数w,通过一次或多次训练调整模型参数,能够提高权重参数w的准确性,提高所确定的复制概率的准确性,进而提高最终确定的投票主题的准确性。
可选地,训练第一生成模型时还可以引入负样本视频片段,负样本视频片段为已创建好样本投票信息但参与率未达到目标阈值的视频片段,或者未创建样本投票信息的视频片段。
若是在播放该负样本视频片段时显示该样本投票信息的情况下,该样本投票信息的参与率未达到目标阈值,表示有很多用户在观看该负样本视频片段时未参与投票,该样本投票信息与该负样本视频片段关联性不强,则该样本投票信息中包含的样本投票主题与该负样本视频片段的关联性也不强,该样本投票主题不应当作为该负样本视频片段对应的投票主题,因此基于负样本视频片段关联的样本文本内容和该样本投票主题训练第一生成模型,能够提高第一生成模型的准确性,以避免第一生成模型基于文本内容生成不合适的投票主题。
本申请实施例提供了自动生成视频片段的投票主题的方法,通过对视频片段的文本内容和投票主题进行建模,从而训练出第一生成模型,基于第一生成模型生成投票主题,能够对视频片段的内容进行深度理解,基于深度表示的特征生成投票主题,,所生成的投票主题与视频片段的文本内容相关,满足了目标视频的互动功能需求,有助于提升用户在观看视频片段过程中参与投票互动的积极性,进而提升了互动氛围。
在上述图3所示实施例的基础上,在一种可能实现方式中,上述步骤304-306中生成投票候选项的过程可以基于第二生成模型执行,该第二生成模型包括第二编码子模型和第二解码子模型,其中,第二编码子模型用于将关键词编码为关键词特征,第二解码子模型用于将关键词特征解码为投票候选项词语。如图7所示,基于第二生成模型生成投票候选项的过程包括:
701、计算机设备获取第一文本内容中的第一关键词,对第二文本内容进行聚类,得到多个文本类别,每个文本类别包含至少一条第二文本内容,分别从每个文本类别中抽取第二关键词。
本步骤701的具体过程与上述步骤304-305类似,在此不再赘述。
702、计算机设备调用第二编码子模型,对第一关键词、投票主题和第i个文本类别对应的第二关键词进行编码,得到关键词特征。
其中,第二编码子模型为Transformer Encoder模型或者其他类型的编码模型。
本申请实施例中,计算机设备获取到了视频片段的第一关键词、投票主题和第i个文本类别对应的第二关键词,需要综合考虑这些关键词来生成第i个投票候选项。则将第一关键词、投票主题和第i个文本类别对应的第二关键词输入至第二生成模型的第二编码子模型中,且以所输入的关键词的数量为M为例,从而能够基于第二编码子模型对M个关键词分别进行编码,得到M个关键词特征。
703、计算机设备调用第二解码子模型,对M个关键词特征进行解码,得到第1个解码特征,基于第1个解码特征和M个关键词特征,确定第一投票候选项词语。
704、计算机设备调用第二解码子模型,对M个关键词特征和第一投票候选项词语进行解码,得到第2个解码特征,基于第2个解码特征和M个关键词特征,确定当前的投票候选项,当前的投票候选项包括第一投票候选项词语和第二投票候选项词语,直至通过M次解码后确定视频片段的第i个投票候选项。
在本申请实施例中,采用了逐次解码生成投票候选项词语的方式,每进行一次解码,确定当前的投票候选项词语,当前的投票候选项词语与之前确定的投票候选项词语按照顺序组合,即可得到当前的投票候选项。随着解码的多次进行,投票候选项中包含的投票候选项词语逐渐增多,直至进行M次解码后,确定了包含M个投票候选项词语的投票候选项。
且每次解码时不仅考虑M个关键词特征,还会考虑之前确定的投票候选项词语,这样能保证本次确定的投票候选项词语与之前确定的投票候选项词语之间相关联,从而保证基于所确定的M个投票候选项词语构成的投票候选项中的不同投票候选项词语关联,能够组合构成一条语义清楚的语句。
可选地,第二生成模型还包括第二分类层和预设词语库,预设词语库包括至少两个词语,基于第1个解码特征和M个关键词特征,确定第一投票候选项词语,包括:
(1)基于第1个解码特征和M个关键词特征确定M个第三复制概率,第j个第三复制概率为在投票候选项中复制第j个关键词的概率,j为正整数,且j不大于M。
(2)在第j个第三复制概率满足复制条件的情况下,将第j个关键词确定为第一投票候选项词语。
(3)在每个第三复制概率不满足复制条件的情况下,调用第二分类层基于第1个解码特征和预设词语库进行分类,得到预设词语库中的每个词语的分类概率,基于每个词语的分类概率,确定第一投票候选项词语。
本申请实施例中提供了两种确定投票候选项词语的方式,一种是采用复制机制,将关键词复制为投票候选项词语,另一种是根据预设词语库生成新的投票候选项词语。则在第一解码子模型每次进行解码时,首先确定复制概率,根据复制概率是否满足复制条件,确定是要复制关键词还是要生成新的投票候选项词语。
可选地,复制条件包括复制概率阈值,在第j个第三复制概率大于复制概率阈值的情况下,将第j个关键词确定为第一投票候选项词语,其中在多个第三复制概率均大于复制概率阈值的情况下,将最大的第三复制概率对应的关键词确定为第一投票主题词语,而在每个第三复制概率不大于复制概率阈值的情况下,再确定预设词语库中的每个词语的分类概率,该分类概率表示将该词语确定为投票候选项词语的可能性,则基于每个词语的分类概率,能够从多个词语中选取出第一投票候选项词语。
可选地,基于每个词语的分类概率,确定第一投票候选项词语,包括:从预设词语库中的多个词语中,选取分类概率最大的词语,作为第一投票候选项词语,或者,从预设词语库中的多个词语中,选取分类概率最大的目标数量个词语,分别作为候选的第一投票候选项词语。其中,目标数量大于1。
可选地,基于第2个解码特征和M个关键词特征,确定当前的投票候选项,当前的投票候选项包括第一投票候选项词语和第二投票候选项词语,包括:
(1)基于第2个解码特征和M个关键词特征确定M个第四复制概率,第j个第四复制概率为在投票候选项中复制第j个关键词的概率,j为正整数,且j不大于N。
(2)在第j个第四复制概率满足复制条件的情况下,将第j个关键词确定为第二投票候选项词语。
(3)在每个第四复制概率不满足复制条件的情况下,调用第一分类层基于第2个解码特征和预设词语库进行分类,得到多个候选投票候选项的分类概率,每个候选投票候选项包括一个第一投票候选项词语和一个第二投票候选项词语。
(4)基于每个候选投票候选项的分类概率,确定当前的投票候选项。
可选地,基于每个候选投票候选项的分类概率,确定当前的投票候选项,包括:从多个候选投票候选项中,选取分类概率最大的候选投票候选项,作为当前的投票候选项,或者,从多个候选投票候选项中,选取分类概率最大的目标数量个候选投票候选项,分别作为投票候选项。其中,目标数量大于1。后续可以针对每个投票候选项生成对应的投票候选项,进而构成目标数量个投票信息。
第二次解码的过程与第一次解码的过程类似,区别在于:在第二次进行解码时,会将第一次解码得到的第一投票候选项词语也输入到第一解码子模型中,从而将第一投票候选项词语,与预设词语库中的每个词语构成了备选的投票候选项,通过确定多个备选的投票候选项的分类概率,从多个备选的投票候选项中确定当前的投票候选项,这样能保证考虑到预设词语库中的词语与第一投票候选项词语之间的关联性,而备选的投票候选项的分类概率也能体现预设词语库中的词语与第一投票候选项词语组合得到的备选的投票候选项的合理程度,从而保证能生成语义清楚、逻辑通顺的投票候选项。
需要说明的是,本申请实施例仅是对第一次解码和第二次解码进行说明,而在N大于2的情况下,在第二次解码之后的解码过程均与第二次解码过程类似,在此不再赘述。
而在解码过程中,基于第i个解码特征和M个关键词特征,采用如下公式确定第i个复制概率:
Pi=e^(X*wi*svi)/sumj(e^(X*wi*svi)),其中,Pi表示第i个复制概率,X表示当前的解码特征,wi表示第i个关键词特征对应的权重参数,svi表示第i个关键词特征,j为任一正整数,j不大于M,Xj表示第j个解码特征,wj表示第j个关键词特征对应的权重参数,svj表示第j个关键词特征。
图8是本申请实施例提供的一种第二生成模型的示意图,参见图8,计算机设备对弹幕文本内容进行聚类得到多个文本类别,从每个文本类别中抽取的第二关键词,即为弹幕文本关键词。计算机设备获取到的M个关键词包括对白文本关键词及字幕文本关键词,投票主题中的关键词以及第i个文本类别对应的弹幕文本关键词,将M个关键词输入到第二编码子模型中,通过调用第二编码子模型得到了M个关键词特征:关键词特征1、关键词特征2…关键词特征M,而通过调用第二解码子模型,在每次解码时,可以选择是复制文本关键词,还是重新确定新的投票候选项词语。如图8右半部分所示,如果确定要复制文本关键词,可直接将对应的文本关键词确定为投票候选项词语,如果确定不复制文本关键词,则根据上一次确定的投票候选项词语,确定当前的投票候选项词语。
可选地,第二生成模型的训练过程包括:
获取正样本视频片段关联的样本文本内容,正样本视频片段为包含样本投票信息且样本投票信息的参与率达到目标阈值的视频片段;获取样本投票信息中包含的样本投票主题和至少两个样本投票候选项;基于每个样本文本内容与每个样本投票候选项之间的关联度,确定每个样本投票候选项对应的文本类别,文本类别包括样本投票候选项关联的样本文本内容;分别从每个样本投票候选项对应的文本类别中抽取样本关键词;基于样本文本内容、样本投票主题、至少两个样本投票候选项以及每个样本投票候选项对应的样本关键词,调整第二生成模型中的模型参数。
其中,正样本视频片段为已创建好样本投票信息的视频片段,而且在播放该正样本视频片段时显示该样本投票信息的情况下,该样本投票信息的参与率达到了目标阈值,表示有很多用户在观看该正样本视频片段时参与了投票,该样本投票信息与该正样本视频片段具有较强的关联性,则该样本投票信息中包含的样本投票主题和至少两个样本投票候选项与该正样本视频片段也具有较强的关联性,因此基于正样本视频片段关联的样本文本内容和该样本投票信息训练第二生成模型,能够提高第二生成模型的准确性,以使第二生成模型基于文本内容生成投票主题的功能得到提升。
而且,正样本视频片段关联的样本文本内容中包含与每个样本投票候选项关联的文本内容,通过确定每个样本文本内容与每个样本投票候选项之间的关联度,将每个样本文本内容划分到每个样本投票候选项对应的文本类别,能够区分出不同文本类别的样本文本内容,从而按照不同的文本类别,分别抽取出每个样本投票候选项对应的样本关键词,避免受到其他文本类别的干扰,以使第二生成模型具备根据不同文本类别对应的关键词生成对应的投票候选项的功能。
其中,该第二生成模型中的模型参数可以包括该第二生成模型中各个层中的权重参数或其他参数等。
可选地,训练第二生成模型时还可以引入负样本视频片段,负样本视频片段为已创建好样本投票信息但参与率未达到目标阈值的视频片段,或者未创建样本投票信息的视频片段。
若是在播放该负样本视频片段时显示该样本投票信息的情况下,该样本投票信息的参与率未达到目标阈值,表示有很多用户在观看该负样本视频片段时未参与投票,该样本投票信息与该负样本视频片段关联性不强,则该样本投票信息中包含的样本投票主题以及样本投票候选项与该负样本视频片段的关联性也不强,该样本投票候选项不应当作为该负样本视频片段对应的投票候选项,或者,该样本投票候选项不应该作为该样本投票主题的候选项,因此基于负样本视频片段关联的样本文本内容、该样本投票主题和该至少两个样本投票候选项训练第二生成模型,能够提高第二生成模型的准确性,以避免第二生成模型基于文本内容和投票主题生成不合适的投票候选项。
本申请实施例提供了自动生成视频片段的投票候选项的方法,通过对视频片段的文本内容和投票候选项进行建模,从而训练出第一生成模型,基于第一生成模型生成投票候选项,能够对视频片段的内容进行深度理解,基于深度表示的特征生成投票信息,提高了投票信息的准确性。所生成的投票信息与视频片段的文本内容相关,满足了目标视频的互动功能需求,有助于提升用户在观看视频片段过程中参与投票互动的积极性,进而提升了互动氛围。
在上述实施例的基础上,本申请实施例还提供了另一种投票信息生成方法,图9是本申请实施例提供的一种生成投票信息的整体流程的示意图,参见图9,该投票信息生成方法中可以先判定是否需要为视频片段生成投票信息,只有在确定需要为视频片段生成投票信息的情况下,才会执行生成投票信息的步骤,包括生成投票主题和生成投票候选项。在生成投票信息之后再基于登录账号进行个性化的投票信息显示。其中,下述图10所示的实施例将对判定是否需要生成投票信息的过程进行说明,而基于登录账号进行个性化的投票信息显示的过程详见下述图12和图13所示的实施例,下述图10所示的实施例暂不进行说明。
图10是本申请实施例提供的一种投票信息生成方法的流程图。本申请实施例的执行主体为计算机设备,该计算机设备为终端或服务器。参见图10,该方法包括:
1001、计算机设备获取第一文本内容、第二文本内容、第一热度参数和第二热度参数。
第一文本内容为视频片段包含的文本内容,第二文本内容为视频片段的弹幕包含的文本内容。获取第一文本内容和第二文本内容的过程详见上述步骤301,在此不再赘述。
第一热度参数表示视频片段的热门程度,第二热度参数表示视频片段的弹幕的热门程度。
其中,该第一热度参数可以根据视频片段的播放次数确定,如该第一热度参数与该视频片段的播放次数正相关。或者,为了准确衡量在多个视频片段中该视频片段的热门程度,可以根据该视频片段的播放次数以及该计算机设备的多个视频片段的最大播放次数,确定该视频片段的第一热度参数。
例如,采用以下公式确定第一热度参数:
Q1=log(1.0+num1)/log(1.0+num2),或者,Q1=log(1.0+num1)/log(1.0+num2)/R1;
其中,Q1表示第一热度参数,num1表示该视频片段的播放次数,num2表示最大播放次数,R1表示第一热度参数区间的最大值。其中R1为预先设定的数值,如R1为0.1,表示将热度参数区间划分成了10个等级,采用上述公式Q1=log(1.0+num1)/log(1.0+num2)/R1所确定的第一热度参数Q1即为该视频片段的热度等级。
其中,该第二热度参数可以根据视频片段包括的弹幕数量或弹幕点赞次数中的至少一个确定,如该第二热度参数与该视频片段包括的弹幕数量或弹幕点赞次数中的至少一个正相关。或者,为了准确衡量在多个视频片段中该视频片段的热门程度,可以根据该视频片段包括的弹幕数量或弹幕点赞次数中的至少一个,以及该计算机设备的多个视频片段中的最大弹幕数量或最大弹幕点赞次数中的至少一个,确定第二热度参数。其中,视频片段的弹幕点赞次数为视频片段的弹幕的点赞次数的总和或视频片段的弹幕的点赞次数中的最大值。
例如,采用以下公式确定第二热度参数:
Q2=log(1.0+num3+num4)/log(1.0+num5+num6);
或者,Q2=log(1.0+num3+num4)/log(1.0+num5+num6)/R2;
其中,Q2表示第二热度参数,num3表示该视频片段包括的弹幕数量,num4表示视频片段的弹幕点赞次数,num5表示多个视频片段中的最大弹幕数量,即包含弹幕最多的视频片段包括的弹幕数量,num6表示多个视频片段中的最大弹幕点赞次数,即多个视频片段的弹幕点赞次数中的最大值,R2表示第二热度参数区间的最大值。其中R2为预先设定的数值,如R2为0.1,表示将第二热度参数区间划分成了10个等级,采用上述公式Q2=log(1.0+num3+num4)/log(1.0+num5+num6)/R2所确定的第二热度参数Q2即为该视频片段的弹幕热度等级。
1002、计算机设备基于第一文本内容、第二文本内容、第一热度参数和第二热度参数,确定视频片段的投票标识,投票标识表示是否为视频片段生成投票信息。
在本申请实施例中,第一文本内容和第二文本内容表示视频片段的内容,第一热度参数和第二热度参数表示视频片段的热门程度,基于第一文本内容、第二文本内容、第一热度参数和第二热度参数确定视频片段的投票标识,综合考虑了视频片段的内容和热门程度,所确定的投票标识更能体现出一般用户是否会参与该视频片段的投票互动,是否会基于投票信息进行投票操作,从而保证所确定的投票标识能够准确地表示是否要为该视频片段生成投票信息。
可选地,步骤1002包括:
获取第一文本内容对应的第一文本特征和第二文本内容对应的第二文本特征,该第一文本特征和该第二文本特征分别用于描述第一文本内容和第二文本内容,之后获取第一热度参数对应的第一热度特征和第二热度参数对应的第二热度特征,该第一热度特征和该第二热度特征分别用于描述该第一热度参数和该第二热度参数,将第一文本特征、第二文本特征、第一热度特征和第二热度特征进行拼接,得到视频片段特征,以使该视频片段特征能够准确描述该视频片段,则基于视频片段特征进行分类,得到投票标识。
其中,计算机设备可以先确定热度特征表,热度特征表包含至少一种热度参数对应的热度特征。通过查询该热度特征表即可确定第一热度参数对应的第一热度特征和第二热度参数对应的第二热度特征。例如,该热度特征表包括第一热度特征表和第二热度特征表,第一热度特征表包含视频片段的热度参数对应的热度特征,通过查询该第一热度特征表即可确定第一热度参数对应的第一热度特征,第二热度特征表包含视频片段的弹幕的热度参数对应的热度特征,通过查询该第二热度特征表即可确定第二热度参数对应的第二热度特征。
1003、计算机设备在投票标识表示为视频片段生成投票信息的情况下,基于所获取的文本内容中的关键词,生成视频片段的投票主题,基于关键词和投票主题,生成视频片段的至少两个投票候选项,基于投票主题和至少两个投票候选项,生成视频片段的投票信息。
可选地,投票标识包括第一投票标识和第二投票标识,第一投票标识表示为视频片段生成投票信息,第二投票标识表示不为视频片段生成投票信息。则在所确定的投票标识为第一投票标识的情况下执行生成投票信息的步骤。例如第一投票标识为1,第二投票标识为0。或者,投票标识为生成投票信息的概率,所确定的概率大于概率阈值表示为视频片段生成投票信息,所确定的概率不大于概率阈值,表示不为视频片段生成投票信息。
其中,生成该视频片段的投票信息的步骤包括生成投票主题、生成至少两个投票候选项以及基于视频主题和投票候选项生成投票信息的步骤,具体过程详见上述实施例,在此不再赘述。
本申请实施例提供的方法,基于第一文本内容、第二文本内容、第一热度参数和第二热度参数对应的特征确定视频片段的投票标识,综合考虑了视频片段的内容和热门程度,即充分捕获了视频片段的内容特征同时还兼顾了视频片段的互动数据,所确定的投票标识更能体现出一般用户是否会参与该视频片段的投票互动,是否会基于投票信息进行投票操作,从而有效地确定是否要为该视频片段生成投票信息,避免了直接为目标视频的每个视频片段生成投票信息,在提升视频互动性的基础上还节省了处理量,减小了目标视频的数据量。
在上述图10所示的实施例的基础上,确定投票标识的过程可以基于投票判定模型执行,投票判定模型包括第一特征提取子模型、第一拼接层和第二分类层,投票判定模型还包括热度特征表,热度特征表包含至少一种热度参数对应的热度特征。可选地,该热度特征表包括上述第一热度特征表和第二热度特征表。
相应地,确定投票标识的过程包括:
调用第一特征提取子模型,获取第一文本内容对应的第一文本特征和第二文本内容对应的第二文本特征;基于第一热度参数和第二热度参数查询热度特征表,得到第一热度特征和第二热度特征;调用第一拼接层,将第一文本特征、第二文本特征、第一热度特征和第二热度特征进行拼接,得到视频片段特征;调用第二分类层,基于视频片段特征进行分类,得到投票标识。
可选地,该第一特征提取子模型为BERT(Bidirectional EncoderRepresentations from Transformers,基于变换的双向编码表示)模型或者其他类型的模型。
可选地,该视频片段包括多条弹幕的情况下,可以获取到多条弹幕文本内容,从而获取到多条弹幕文本内容对应的弹幕文本特征,对该多个弹幕文本特征进行最大值池化,得到第二文本特征,再将该第二文本特征与第一文本特征、第一热度特征和第二热度特征进行拼接,得到视频片段特征。
图11是本申请实施例提供的一种投票判定模型的示意图,参见图11,以第一特征提取子模型为BERT模型为例,投票判定模型包括BERT模型、第一拼接层和第二分类层。计算机设备获取到视频片段的对白文本内容和字幕文本内容,以及第一热度参数,还获取到了视频片段的K条弹幕文本内容以及第二热度参数,K为大于1的整数。通过BERT模型提取对白文本内容和字幕文本内容对应的第一文本特征,以及K个弹幕文本内容对应的弹幕文本特征,对K个弹幕文本特征进行最大值池化得到第二文本特征。投票判定模型还包括第一热度特征表和第二热度特征表,通过查询第一热度特征表和第二热度特征表分别确定第一热度特征和第二热度特征。之后即可将获取到的特征进行拼接和分类,从而确定投票标识。
投票判定模型的训练过程包括:
获取样本视频片段、样本视频片段关联的样本文本内容及样本文本内容的热度参数,样本视频片段包括正样本视频片段或负样本视频片段的至少一种,正样本视频片段为包含样本投票信息且样本投票信息的参与率达到目标阈值的视频片段,负样本视频片段为:包含样本投票信息且样本投票信息的参与率未达到目标阈值的视频片段,或不包含样本投票信息的视频片段的至少一种;基于样本视频片段、样本视频片段关联的样本文本内容及样本文本内容的热度参数,调整投票判定模型中的模型参数,模型参数包括热度特征表。
通过对视频片段的文本内容和热度参数进行建模,从而训练出投票判定模型,能够使投票判定模型学习视频片段的文本内容及热度参数对是否要生成投票信息的结果的影响,从而提升投票判定模型的准确性,以便基于投票判定模型准确地确定投票标识,避免了直接为目标视频的每个视频片段生成投票信息,在提升视频互动性的基础上还节省了处理量,减小了目标视频的数据量。
需要说明的是,热度特征表也作为投票判定模型的其中一种模型参数,则在投票判定模型的训练过程中,会基于训练样本调整热度特征表,以使热度特征表随着投票判定模型的训练而逐渐更新,提高热度特征表的准确性。
图12是本申请实施例提供的一种投票信息显示方法的流程图。本申请实施例的执行主体为终端,本申请实施例对生成视频片段的投票信息后显示投票信息的过程进行说明。参见图12,该方法包括:
1201、终端基于目标视频中的视频片段,获取视频片段的投票信息。
其中,投票信息基于投票主题和至少两个投票候选项生成,投票主题基于视频片段关联的文本内容中的关键词生成,至少两个投票候选项基于关键词和投票主题生成。而文本内容包括第一文本内容或第二文本内容的至少一种,第一文本内容为视频片段包含的文本内容,第二文本内容为视频片段的弹幕包含的文本内容。生成视频片段的投票信息的过程详见上述投票信息生成方法的实施例,本申请实施例不再赘述。
并且,该投票信息可以由该终端生成,或者由除该终端以外的其他设备生成。例如,用于提供该目标视频的服务器生成一个或多个视频片段的投票信息,在该终端向该服务器请求该目标视频时,该服务器向该终端下发该目标视频以及所生成的投票信息,终端即可获取到待播放的目标视频以及一个或多个视频片段的投票信息。
1202、终端基于当前登录的目标账号的兴趣标签和投票信息,确定互动参数,互动参数表示目标账号基于投票信息进行投票操作的可能性。
终端当前登录有目标账号,该目标账号的兴趣标签表示该目标账号所属用户的兴趣,终端基于该兴趣标签和该投票信息来确定互动参数,可以准确地判断当前用户是否对该投票信息感兴趣,从而保证所确定的互动参数能够准确地衡量当前用户参与投票的可能性,以及是否有为该视频片段生成投票信息的必要性。
1203、终端在互动参数满足互动条件的情况下,在播放视频片段时显示投票信息。
只有在互动参数满足互动条件的情况下,即在当前用户对该投票信息感兴趣,可能会参与投票的情况下,终端才会在播放视频片段时显示投票信息。
而在互动参数不满足互动条件的情况下,即可认为当前用户对该投票信息不感兴趣,参与投票的概率较低,此时为避免对视频片段的播放过程造成干扰,在播放视频片段时不再显示投票信息。
可选地,该互动条件包括互动参数阈值,在互动参数大于互动参数阈值的情况下,在播放视频片段时显示投票信息。而在互动参数不大于互动参数阈值的情况下,在播放该视频片段时不显示投票信息。
需要说明的一点是,本申请实施例仅是以一个视频片段为例,对该视频片段的投票信息的显示过程进行说明,而在该目标视频包括多个视频片段,且至少两个视频信息具有投票信息的情况下,终端播放目标视频的过程中,按照各个视频片段的播放顺序,依次播放每个视频片段,在当前播放的视频片段具有对应的投票信息的情况下,基于该目标账号的兴趣标签和当前播放的视频片段对应的投票信息确定互动参数,在互动参数满足互动条件的情况下显示该投票信息,否则继续进行播放,直至播放到下一个视频片段。
需要说明的另一点是,本申请实施例仅是以一个视频片段具有一个投票信息为例进行说明。而在另一实施例中,一个视频片段具有至少两个投票信息,则从中选取对应的互动参数满足互动条件的投票信息,在播放该视频片段时进行显示。或者,对应的互动参数满足互动条件的投票信息为多个的情况下,选取互动参数最大的投票信息,在播放该视频片段时进行显示。
本申请实施例提供的方法,基于当前登录的目标账号的兴趣标签和投票信息确定能够衡量用户参与投票可能性的互动参数,只有在互动参数满足互动条件的情况下,才会在播放视频片段时显示投票信息,从而更容易吸引用户参与投票,实现了投票信息的个性化显示,提升了用户的互动主动参与性,提升了互动体验,也避免了对参与投票概率较低的用户造成干扰。
在上述图12所示实施例的基础上,本申请实施例还提供了另一种投票信息显示方法,对确定互动参数的过程进行具体说明。图13是本申请实施例提供的另一种投票信息显示方法的流程图。本申请实施例的执行主体为终端。参见图13,该方法包括:
1301、终端基于目标视频中的视频片段,获取视频片段的投票信息。
其中,生成视频片段的投票信息的过程详见上述投票信息生成方法的实施例,本申请实施例不再赘述。
1302、终端获取目标账号的兴趣标签对应的兴趣特征、投票主题对应的投票主题特征和至少两个投票候选项分别对应的投票候选项特征。
其中,该兴趣特征用于描述该兴趣标签,该投票主题特征用于描述该投票主体,该投票候选项特征用于描述对应的投票候选项。且上述各个特征可以为向量、矩阵或其他形式。通过获取兴趣标签、投票主题和至少两个投票候选项分别对应的特征,能够将兴趣标签、投票主题和至少两个投票候选项进行准确量化,以便后续基于量化后的特征进行运算得到互动参数。
1303、终端将兴趣特征、投票主题特征和至少两个投票候选项特征进行拼接,得到互动特征。
1304、终端基于互动特征进行分类,得到互动参数。
由于该互动特征由兴趣标签、投票主题和至少两个投票候选项对应的特征拼接得到,融合了兴趣标签、投票主题和至少两个投票候选项的信息,因此基于互动参数进行分类得到的互动参数能够考虑兴趣标签、投票主题和至少两个投票候选项的信息,更能准确衡量用户对投票信息的感兴趣程度,从而准确确定用户参与投票的可能性。
1305、终端在互动参数满足互动条件的情况下,在播放视频片段时显示投票信息。
该步骤与上述步骤1203类似,在此不再赘述。
本申请实施例提供的方法,基于当前登录的目标账号的兴趣标签和投票信息确定能够衡量用户参与投票可能性的互动参数,只有在互动参数满足互动条件的情况下,才会在播放视频片段时显示投票信息,从而吸引用户参与投票,实现了投票信息的个性化显示,提高了互动覆盖率,也避免了对参与投票概率较低的用户造成干扰。
在一种可能实现方式中,上述步骤1302-1304确定互动参数的过程可以基于投票互动模型执行,该投票互动模型包括第二特征提取子模型、第二拼接层和第三分类层。相应地,确定互动参数的过程包括:
调用第二特征提取子模型,获取兴趣标签对应的兴趣特征、获取投票主题对应的投票主题特征和至少两个投票候选项分别对应的投票候选项特征;调用第二拼接层,将兴趣特征、投票主题特征和至少两个投票候选项特征进行拼接,得到互动特征;调用第三分类层,基于互动特征进行分类,得到互动参数。
该兴趣特征、该投票主题特征和至少两个投票候选项特征分别用于描述当前用户的兴趣标签、投票主题和至少两个投票候选项,而兴趣特征、投票主题特征和至少两个投票候选项特征能够综合考虑当前用户的兴趣标签、投票主题和至少两个投票候选项的影响,从而基于互动特征进行分类得到互动参数,提高了互动参数的准确性。
其中,该第二特征提取子模型为BERT模型或其他类型的模型,本申请实施例对此不做限定。
图14是本申请实施例提供的一种投票互动模型的示意图,参见图14,以第二特征提取子模型为BERT模型为例,投票互动模型包括BERT模型、第二拼接层和第三分类层。计算机设备获取到目标账号的兴趣标签、投票主题和M个投票候选项,M为大于1的整数。通过BERT模型提取兴趣标签、投票主题和M个投票候选项对应的特征,再通过第二拼接层和第三分类层分别进行拼接和分类,从而得到互动参数。
可选地,投票互动模型的训练过程包括:
获取样本账号对应的样本兴趣标签以及样本视频片段中的样本投票信息,其中,样本账号已执行基于样本投票信息进行投票操作;基于样本兴趣标签、样本投票信息中的样本投票主题和至少两个样本投票候选项,调整投票互动模型中的模型参数。
其中,该样本账号为任意账号,该样本兴趣标签表示该样本账号所属用户的兴趣,该样本视频片段包括样本投票信息,且样本账号已执行基于样本投票信息进行投票操作,表示在播放该样本视频片段时显示了该样本投票信息,且该样本账号所属用户对该样本投票信息感兴趣,已经参与了投票互动。因此,基于样本兴趣标签、样本投票信息中的样本投票主题和至少两个样本投票候选项,调整投票互动模型中的模型参数,能够使得投票互动模型学习到样本兴趣标签与样本投票信息之间的关联关系,从而具备基于任一兴趣标签和任一投票信息确定对应的互动参数的功能,提高了投票互动模型的准确性。
需要说明的是,上述可选方案仅是以一次训练为例,而在实际训练过程中,需要获取多组样本数据,每组样本数据包括样本账号对应的样本兴趣标签以及样本视频片段中的样本投票信息,基于该多组样本数据分别对投票互动模型进行迭代训练,从而提高投票互动模型的准确性,进而提高投票互动模型所确定的互动参数的准确性。
图15是本申请实施例提供的一种投票信息生成装置的结构示意图。参见图15,该装置包括:
文本内容获取模块1501,用于获取目标视频中的视频片段关联的文本内容,文本内容包括第一文本内容或第二文本内容的至少一种,第一文本内容为视频片段包含的文本内容,第二文本内容为视频片段的弹幕包含的文本内容;
主题生成模块1502,用于基于所获取的文本内容中的关键词,生成视频片段的投票主题;
候选项生成模块1503,用于基于关键词和投票主题,生成视频片段的至少两个投票候选项;
投票信息生成模块1504,用于基于投票主题和至少两个投票候选项,生成视频片段的投票信息。
可选地,主题生成模块1502,包括:
编码单元,用于对关键词进行编码,得到关键词对应的关键词特征;
解码单元,用于对关键词特征进行解码,得到至少两个投票主题词语,至少两个投票主题词语构成投票主题。
可选地,第一生成模型包括第一编码子模型和第一解码子模型;
编码单元,用于:调用第一编码子模型,对N个关键词进行编码,得到N个关键词分别对应的关键词特征,N为大于1的整数;
解码单元,用于:
调用第一解码子模型,对N个关键词特征进行解码,得到第1个解码特征,基于第1个解码特征和N个关键词特征,确定第一投票主题词语;
调用第一解码子模型,对N个关键词特征和第一投票主题词语进行解码,得到第2个解码特征,基于第2个解码特征和N个关键词特征,确定当前的投票主题,当前的投票主题包括第一投票主题词语和第二投票主题词语,直至通过N次解码后确定视频片段的投票主题。
可选地,第一生成模型还包括第一分类层和预设词语库,预设词语库包括至少两个词语,解码单元,用于:
基于第1个解码特征和N个关键词特征确定N个第一复制概率,第j个第一复制概率为在投票主题中复制第j个关键词的概率,j为正整数,且j不大于N;
在第j个第一复制概率满足复制条件的情况下,将第j个关键词确定为第一投票主题词语;
在每个第一复制概率不满足复制条件的情况下,调用第一分类层基于第1个解码特征和预设词语库进行分类,得到预设词语库中的每个词语的分类概率,基于每个词语的分类概率,确定第一投票主题词语。
可选地,解码单元,用于:
基于第2个解码特征和N个关键词特征确定N个第二复制概率,第j个第二复制概率为在投票主题中复制第j个关键词的概率,j为正整数,且j不大于N;
在第j个第二复制概率满足复制条件的情况下,将第j个关键词确定为第二投票主题词语;
在每个第二复制概率不满足复制条件的情况下,调用第一分类层基于第2个解码特征和预设词语库进行分类,得到多个候选投票主题的分类概率,每个候选投票主题包括一个第一投票主题词语和一个第二投票主题词语;
基于每个候选投票主题的分类概率,确定当前的投票主题。
可选地,第一生成模型的训练过程包括:
获取正样本视频片段关联的样本文本内容,正样本视频片段为包含样本投票信息且样本投票信息的参与率达到目标阈值的视频片段;
获取样本投票信息中包含的样本投票主题;
基于样本文本内容和样本投票主题,调整第一生成模型中的模型参数。
可选地,文本内容包括第一文本内容和第二文本内容,候选项生成模块1503,包括:
第一获取单元,用于获取第一文本内容中的第一关键词;
聚类单元,用于对第二文本内容进行聚类,得到多个文本类别,每个文本类别包含至少一条第二文本内容;
第二获取单元,用于分别从每个文本类别中抽取第二关键词;
生成单元,用于基于第一关键词、投票主题和每个文本类别对应的第二关键词,分别生成与每个文本类别对应的投票候选项。
可选地,生成单元,用于:
对第一关键词、投票主题和第i个文本类别对应的第二关键词进行编码,得到关键词特征,i为正整数,i不大于文本类别的数量;
对关键词特征进行解码,得到至少两个投票候选项词语,至少两个投票候选项词语构成第i个投票候选项。
可选地,第二生成模型包括第二编码子模型和第二解码子模型;生成单元,用于:
调用第二编码子模型,对第一关键词、投票主题和第i个文本类别对应的第二关键词进行编码,得到关键词特征;
调用第二解码子模型,对M个关键词特征进行解码,得到第1个解码特征,基于第1个解码特征和M个关键词特征,确定第一投票候选项词语,M为大于1的整数;
调用第二解码子模型,对M个关键词特征和第一投票候选项词语进行解码,得到第2个解码特征,基于第2个解码特征和M个关键词特征,确定当前的投票候选项,当前的投票候选项包括第一投票候选项词语和第二投票候选项词语,直至通过M次解码后确定视频片段的第i个投票候选项。
可选地,第二生成模型的训练过程包括:
获取正样本视频片段关联的样本文本内容,正样本视频片段为包含样本投票信息且样本投票信息的参与率达到目标阈值的视频片段;
获取样本投票信息中包含的样本投票主题和至少两个样本投票候选项;
基于每个样本文本内容与每个样本投票候选项之间的关联度,确定每个样本投票候选项对应的文本类别,文本类别包括样本投票候选项关联的样本文本内容;
分别从每个样本投票候选项对应的文本类别中抽取样本关键词;
基于样本文本内容、样本投票主题、至少两个样本投票候选项以及每个样本投票候选项对应的样本关键词,调整第二生成模型中的模型参数。
可选地,文本内容获取模块1501,用于:
获取第一文本内容、第二文本内容、第一热度参数和第二热度参数,第一热度参数表示视频片段的热门程度,第二热度参数表示视频片段的弹幕的热门程度;
主题生成模块1502,用于:
基于第一文本内容、第二文本内容、第一热度参数和第二热度参数,确定视频片段的投票标识,投票标识表示是否为视频片段生成投票信息;
在投票标识表示为视频片段生成投票信息的情况下,基于所获取的文本内容中的关键词,生成视频片段的投票主题。
可选地,主题生成模块1502,用于:
获取第一文本内容对应的第一文本特征和第二文本内容对应的第二文本特征;
获取第一热度参数对应的第一热度特征和第二热度参数对应的第二热度特征;
将第一文本特征、第二文本特征、第一热度特征和第二热度特征进行拼接,得到视频片段特征;
基于视频片段特征进行分类,得到投票标识。
可选地,投票判定模型包括第一特征提取层、第一拼接层和第二分类层,投票判定模型还包括热度特征表,热度特征表包含至少一种热度参数对应的热度特征;
主题生成模块1502,用于:
调用第一特征提取子模型,获取第一文本内容对应的第一文本特征和第二文本内容对应的第二文本特征;
基于第一热度参数和第二热度参数查询热度特征表,得到第一热度特征和第二热度特征;
调用第一拼接层,将第一文本特征、第二文本特征、第一热度特征和第二热度特征进行拼接,得到视频片段特征;
调用第二分类层,基于视频片段特征进行分类,得到投票标识。
可选地,投票判定模型的训练过程包括:
获取样本视频片段、样本视频片段关联的样本文本内容及样本文本内容的热度参数,样本视频片段包括正样本视频片段或负样本视频片段的至少一种,正样本视频片段为包含样本投票信息且样本投票信息的参与率达到目标阈值的视频片段,负样本视频片段为:包含样本投票信息且样本投票信息的参与率未达到目标阈值的视频片段,或不包含样本投票信息的视频片段的至少一种;
基于样本视频片段、样本视频片段关联的样本文本内容及样本文本内容的热度参数,调整投票判定模型中的模型参数,模型参数包括热度特征表。
可选地,装置还包括:
互动参数确定模块,用于基于目标账号的兴趣标签和投票信息,确定互动参数,互动参数表示目标账号基于投票信息进行投票操作的可能性;
发送模块,用于在互动参数满足互动条件的情况下,向目标账号对应的目标终端发送投票信息,投票信息用于在目标终端播放视频片段时展示。
图16是本申请实施例提供的一种投票信息显示装置的结构示意图。参见图16,该装置包括:
信息获取模块1601,用于基于目标视频中的视频片段,获取视频片段的投票信息,投票信息基于投票主题和至少两个投票候选项生成,投票主题基于视频片段关联的文本内容中的关键词生成,至少两个投票候选项基于关键词和投票主题生成;
参数确定模块1602,用于基于当前登录的目标账号的兴趣标签和投票信息,确定互动参数,互动参数表示目标账号基于投票信息进行投票操作的可能性;
信息显示模块1603,用于在互动参数满足互动条件的情况下,在播放视频片段时显示投票信息;
其中,文本内容包括第一文本内容或第二文本内容的至少一种,第一文本内容为视频片段包含的文本内容,第二文本内容为视频片段的弹幕包含的文本内容。
可选地,投票信息包括投票主题和至少两个投票候选项,参数确定模块1602,包括:
特征获取单元,用于获取目标账号的兴趣标签对应的兴趣特征、投票主题对应的投票主题特征和至少两个投票候选项分别对应的投票候选项特征;
拼接单元,用于将兴趣特征、投票主题特征和至少两个投票候选项特征进行拼接,得到互动特征;
分类单元,用于基于互动特征进行分类,得到互动参数。
可选地,投票互动模型包括第二特征提取子模型、第二拼接层和第三分类层;
特征获取单元,用于:调用第二特征提取子模型,获取兴趣标签对应的兴趣特征、获取投票主题对应的投票主题特征和至少两个投票候选项分别对应的投票候选项特征;
拼接单元,用于:调用第二拼接层,将兴趣特征、投票主题特征和至少两个投票候选项特征进行拼接,得到互动特征;
分类单元,用于:调用第三分类层,基于互动特征进行分类,得到互动参数。
可选地,投票互动模型的训练过程包括:
获取样本账号对应的样本兴趣标签以及样本视频片段中的样本投票信息,其中,样本账号已执行基于样本投票信息进行投票操作;
基于样本兴趣标签、样本投票信息中的样本投票主题和至少两个样本投票候选项,调整投票互动模型中的模型参数。
需要说明的是:上述实施例提供的投票信息生成装置或投票信息显示装置在生成或显示投票信息时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的投票信息生成装置与投票信息生成方法实施例属于同一构思,上述实施例提供的投票信息显示装置与投票信息显示方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,存储器中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行,以实现上述实施例的投票信息生成方法或投票信息显示方法所执行的操作。
可选地,该计算机设备提供为终端,图17示出了本申请一个示例性实施例提供的终端1700的结构示意图。
终端1700包括有:处理器1701和存储器1702。
处理器1701可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1701可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1701也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(CentralProcessing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1701可以集成有GPU(Graphics Processing Unit,图像处理的交互器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1701还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1702可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1702还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1702中的非暂态的计算机可读存储介质用于存储至少一条计算机程序,该至少一条计算机程序用于被处理器1701所具有以实现本申请中方法实施例提供的投票信息生成方法。
在一些实施例中,终端1700还可选包括有:外围设备接口1703和至少一个外围设备。处理器1701、存储器1702和外围设备接口1703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1703相连。可选地,外围设备包括:射频电路1704、显示屏1705和摄像头组件1706中的至少一种。
外围设备接口1703可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1701和存储器1702。在一些实施例中,处理器1701、存储器1702和外围设备接口1703被集成在同一芯片或电路板上;在一些其他实施例中,处理器1701、存储器1702和外围设备接口1703中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1704用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1704将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1704包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1704可以通过至少一种无线通信协议来与其它设备进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1704还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1705用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1705是触摸显示屏时,显示屏1705还具有采集在显示屏1705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1701进行处理。此时,显示屏1705还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1705可以为一个,设置在终端1700的前面板;在另一些实施例中,显示屏1705可以为至少两个,分别设置在终端1700的不同表面或呈折叠设计;在另一些实施例中,显示屏1705可以是柔性显示屏,设置在终端1700的弯曲表面上或折叠面上。甚至,显示屏1705还可以设置成非矩形的不规则图形,也即异形屏。显示屏1705可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EnittingDiode,有机发光二极管)等材质制备。
摄像头组件1706用于采集图像或视频。可选地,摄像头组件1706包括前置摄像头和后置摄像头。前置摄像头设置在终端1700的前面板,后置摄像头设置在终端1700的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1706还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
本领域技术人员可以理解,图17中示出的结构并不构成对终端1700的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
可选地,该计算机设备提供为服务器。图18是本申请实施例提供的一种服务器的结构示意图,该服务器1800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central Processing Units,CPU)1801和一个或一个以上的存储器1802,其中,所述存储器1802中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器1801加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行,以实现上述实施例的投票信息生成方法所执行的操作。
本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现上述实施例的投票信息生成方法所执行的操作或投票信息显示方法所执行的操作。
在一些实施例中,本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行,分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。
可以理解的是,在本申请的具体实施方式中,涉及到用户信息等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,本申请中涉及到的兴趣标签等都是在充分授权的情况下获取的。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (16)
1.一种投票信息生成方法,其特征在于,所述方法包括:
获取目标视频中的视频片段关联的文本内容,所述文本内容包括第一文本内容或第二文本内容的至少一种,所述第一文本内容为所述视频片段包含的文本内容,所述第二文本内容为所述视频片段的弹幕包含的文本内容;
基于所获取的文本内容中的关键词,生成所述视频片段的投票主题;
基于所述关键词和所述投票主题,生成所述视频片段的至少两个投票候选项;
基于所述投票主题和所述至少两个投票候选项,生成所述视频片段的投票信息。
2.根据权利要求1所述的方法,其特征在于,所述基于所获取的文本内容中的关键词,生成所述视频片段的投票主题,包括:
对所述关键词进行编码,得到所述关键词对应的关键词特征;
对所述关键词特征进行解码,得到至少两个投票主题词语,所述至少两个投票主题词语构成所述投票主题。
3.根据权利要求2所述的方法,其特征在于,第一生成模型包括第一编码子模型和第一解码子模型;
所述对所述关键词进行编码,得到所述关键词对应的关键词特征,包括:调用所述第一编码子模型,对N个所述关键词进行编码,得到N个所述关键词分别对应的关键词特征,N为大于1的整数;
所述对所述关键词特征进行解码,得到至少两个投票主题词语,所述至少两个投票主题词语构成所述投票主题,包括:
调用所述第一解码子模型,对N个所述关键词特征进行解码,得到第1个解码特征,基于所述第1个解码特征和N个所述关键词特征,确定第一投票主题词语;
调用所述第一解码子模型,对N个所述关键词特征和所述第一投票主题词语进行解码,得到第2个解码特征,基于所述第2个解码特征和N个所述关键词特征,确定当前的投票主题,所述当前的投票主题包括所述第一投票主题词语和第二投票主题词语,直至通过N次解码后确定所述视频片段的投票主题。
4.根据权利要求3所述的方法,其特征在于,所述第一生成模型还包括第一分类层和预设词语库,所述预设词语库包括至少两个词语,所述基于所述第1个解码特征和N个所述关键词特征,确定第一投票主题词语,包括:
基于所述第1个解码特征和N个所述关键词特征确定N个第一复制概率,第j个所述第一复制概率为在投票主题中复制第j个所述关键词的概率,j为正整数,且j不大于N;
在第j个所述第一复制概率满足复制条件的情况下,将第j个所述关键词确定为所述第一投票主题词语;
在每个所述第一复制概率不满足所述复制条件的情况下,调用所述第一分类层基于所述第1个解码特征和所述预设词语库进行分类,得到所述预设词语库中的每个词语的分类概率,基于所述每个词语的分类概率,确定所述第一投票主题词语。
5.根据权利要求4所述的方法,其特征在于,所述基于所述第2个解码特征和N个所述关键词特征,确定当前的投票主题,所述当前的投票主题包括所述第一投票主题词语和第二投票主题词语,包括:
基于所述第2个解码特征和N个所述关键词特征确定N个第二复制概率,第j个所述第二复制概率为在投票主题中复制第j个所述关键词的概率,j为正整数,且j不大于N;
在第j个所述第二复制概率满足所述复制条件的情况下,将第j个所述关键词确定为所述第二投票主题词语;
在每个所述第二复制概率不满足所述复制条件的情况下,调用所述第一分类层基于所述第2个解码特征和所述预设词语库进行分类,得到多个候选投票主题的分类概率,每个候选投票主题包括一个所述第一投票主题词语和一个所述第二投票主题词语;
基于所述每个候选投票主题的分类概率,确定所述当前的投票主题。
6.根据权利要求1所述的方法,其特征在于,所述文本内容包括所述第一文本内容和所述第二文本内容,所述基于所述关键词和所述投票主题,生成所述视频片段的至少两个投票候选项,包括:
获取所述第一文本内容中的第一关键词;
对所述第二文本内容进行聚类,得到多个文本类别,每个文本类别包含至少一条所述第二文本内容;
分别从每个所述文本类别中抽取第二关键词;
基于所述第一关键词、所述投票主题和每个所述文本类别对应的第二关键词,分别生成与每个所述文本类别对应的投票候选项。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第一关键词、所述投票主题和每个所述文本类别对应的第二关键词,分别生成与每个所述文本类别对应的投票候选项,包括:
对所述第一关键词、所述投票主题和第i个所述文本类别对应的第二关键词进行编码,得到关键词特征,i为正整数,i不大于所述文本类别的数量;
对所述关键词特征进行解码,得到至少两个投票候选项词语,所述至少两个投票候选项词语构成第i个投票候选项。
8.根据权利要求7所述的方法,其特征在于,第二生成模型包括第二编码子模型和第二解码子模型;
所述对所述第一关键词、所述投票主题和第i个所述文本类别对应的第二关键词进行编码,得到关键词特征,包括:调用所述第二编码子模型,对所述第一关键词、所述投票主题和第i个所述文本类别对应的第二关键词进行编码,得到所述关键词特征;
所述对所述关键词特征进行解码,得到至少两个投票候选项词语,所述至少两个投票候选项词语构成第i个投票候选项,包括:
调用所述第二解码子模型,对M个所述关键词特征进行解码,得到第1个解码特征,基于所述第1个解码特征和M个所述关键词特征,确定第一投票候选项词语,M为大于1的整数;
调用所述第二解码子模型,对M个所述关键词特征和所述第一投票候选项词语进行解码,得到第2个解码特征,基于所述第2个解码特征和M个所述关键词特征,确定当前的投票候选项,所述当前的投票候选项包括所述第一投票候选项词语和第二投票候选项词语,直至通过M次解码后确定所述视频片段的第i个投票候选项。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述获取目标视频中的视频片段关联的文本内容,包括:
获取所述第一文本内容、所述第二文本内容、第一热度参数和第二热度参数,所述第一热度参数表示所述视频片段的热门程度,所述第二热度参数表示所述视频片段的弹幕的热门程度;
所述基于所获取的文本内容中的关键词,生成所述视频片段的投票主题,包括:
基于所述第一文本内容、所述第二文本内容、所述第一热度参数和所述第二热度参数,确定所述视频片段的投票标识,所述投票标识表示是否为所述视频片段生成投票信息;
在所述投票标识表示为所述视频片段生成投票信息的情况下,基于所获取的文本内容中的关键词,生成所述视频片段的投票主题。
10.根据权利要求9所述的方法,其特征在于,所述基于所述第一文本内容、所述第二文本内容、所述第一热度参数和所述第二热度参数,确定所述视频片段的投票标识,包括:
获取所述第一文本内容对应的第一文本特征和所述第二文本内容对应的第二文本特征;
获取所述第一热度参数对应的第一热度特征和所述第二热度参数对应的第二热度特征;
将所述第一文本特征、所述第二文本特征、所述第一热度特征和所述第二热度特征进行拼接,得到视频片段特征;
基于所述视频片段特征进行分类,得到所述投票标识。
11.一种投票信息显示方法,其特征在于,所述方法包括:
基于目标视频中的视频片段,获取所述视频片段的投票信息,所述投票信息基于投票主题和至少两个投票候选项生成,所述投票主题基于所述视频片段关联的文本内容中的关键词生成,所述至少两个投票候选项基于所述关键词和所述投票主题生成;
基于当前登录的目标账号的兴趣标签和所述投票信息,确定互动参数,所述互动参数表示所述目标账号基于所述投票信息进行投票操作的可能性;
在所述互动参数满足互动条件的情况下,在播放所述视频片段时显示所述投票信息;
其中,所述文本内容包括第一文本内容或第二文本内容的至少一种,所述第一文本内容为所述视频片段包含的文本内容,所述第二文本内容为所述视频片段的弹幕包含的文本内容。
12.一种投票信息生成装置,其特征在于,所述装置包括:
文本内容获取模块,用于获取目标视频中的视频片段关联的文本内容,所述文本内容包括第一文本内容或第二文本内容的至少一种,所述第一文本内容为所述视频片段包含的文本内容,所述第二文本内容为所述视频片段的弹幕包含的文本内容;
主题生成模块,用于基于所获取的文本内容中的关键词,生成所述视频片段的投票主题;
候选项生成模块,用于基于所述关键词和所述投票主题,生成所述视频片段的至少两个投票候选项;
投票信息生成模块,用于基于所述投票主题和所述至少两个投票候选项,生成所述视频片段的投票信息。
13.一种投票信息显示装置,其特征在于,所述装置包括:
信息获取模块,用于基于目标视频中的视频片段,获取所述视频片段的投票信息,所述投票信息基于投票主题和至少两个投票候选项生成,所述投票主题基于所述视频片段关联的文本内容中的关键词生成,所述至少两个投票候选项基于所述关键词和所述投票主题生成;
参数确定模块,用于基于当前登录的目标账号的兴趣标签和所述投票信息,确定互动参数,所述互动参数表示所述目标账号基于所述投票信息进行投票操作的可能性;
信息显示模块,用于在所述互动参数满足互动条件的情况下,在播放所述视频片段时显示所述投票信息;
其中,所述文本内容包括第一文本内容或第二文本内容的至少一种,所述第一文本内容为所述视频片段包含的文本内容,所述第二文本内容为所述视频片段的弹幕包含的文本内容。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以实现如权利要求1至10任一项所述的投票信息生成方法所执行的操作,或者以实现如权利要求11所述的投票信息显示方法所执行的操作。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以实现如权利要求1至10任一项所述的投票信息生成方法所执行的操作,或者以实现如权利要求11所述的投票信息显示方法所执行的操作。
16.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的投票信息生成方法所执行的操作,或者实现如权利要求11所述的投票信息显示方法所执行的操作。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210473861.6A CN117037012A (zh) | 2022-04-29 | 2022-04-29 | 投票信息生成方法、投票信息显示方法及装置 |
PCT/CN2023/083979 WO2023207463A1 (zh) | 2022-04-29 | 2023-03-27 | 投票信息生成方法、投票信息显示方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210473861.6A CN117037012A (zh) | 2022-04-29 | 2022-04-29 | 投票信息生成方法、投票信息显示方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117037012A true CN117037012A (zh) | 2023-11-10 |
Family
ID=88517319
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210473861.6A Pending CN117037012A (zh) | 2022-04-29 | 2022-04-29 | 投票信息生成方法、投票信息显示方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117037012A (zh) |
WO (1) | WO2023207463A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104317804B (zh) * | 2014-09-23 | 2017-12-29 | 小米科技有限责任公司 | 发布投票信息的方法和装置 |
US20180211467A1 (en) * | 2017-01-23 | 2018-07-26 | Smartmatic International Corporation | Means to create a physical audit trail verifiable by remote voters in electronic elections |
CN108174247A (zh) * | 2017-12-27 | 2018-06-15 | 优酷网络技术(北京)有限公司 | 视频互动方法及装置 |
CN111708915B (zh) * | 2020-06-12 | 2022-02-01 | 腾讯科技(深圳)有限公司 | 内容推荐方法、装置、计算机设备和存储介质 |
CN112800339B (zh) * | 2021-04-06 | 2021-06-22 | 腾讯科技(深圳)有限公司 | 信息流搜索方法、装置及设备 |
CN112866787B (zh) * | 2021-04-12 | 2022-05-17 | 上海哔哩哔哩科技有限公司 | 弹幕设置方法、装置及系统 |
-
2022
- 2022-04-29 CN CN202210473861.6A patent/CN117037012A/zh active Pending
-
2023
- 2023-03-27 WO PCT/CN2023/083979 patent/WO2023207463A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023207463A1 (zh) | 2023-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113395578B (zh) | 一种提取视频主题文本的方法、装置、设备及存储介质 | |
CN110446063A (zh) | 视频封面的生成方法、装置及电子设备 | |
CN111414506B (zh) | 基于人工智能情绪处理方法、装置、电子设备及存储介质 | |
CN112231347A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
CN114282013A (zh) | 一种数据处理方法、装置及存储介质 | |
CN116935170A (zh) | 视频处理模型的处理方法、装置、计算机设备和存储介质 | |
CN117009503A (zh) | 文本分类方法及装置 | |
CN115510194A (zh) | 问答语句检索方法、装置、电子设备及存储介质 | |
CN117669512B (zh) | 答案生成方法、装置、设备及存储介质 | |
CN116913278B (zh) | 语音处理方法、装置、设备和存储介质 | |
CN113573128A (zh) | 一种音频处理方法、装置、终端以及存储介质 | |
CN116977701A (zh) | 视频分类模型训练的方法、视频分类的方法和装置 | |
CN116740505A (zh) | 图像分类模型的训练、图像分类方法、装置、机器可读介质及设备 | |
CN116956183A (zh) | 多媒体资源推荐方法、模型训练方法、装置及存储介质 | |
CN116977992A (zh) | 文本信息识别方法、装置、计算机设备和存储介质 | |
CN116955707A (zh) | 内容标签的确定方法、装置、设备、介质及程序产品 | |
CN117037012A (zh) | 投票信息生成方法、投票信息显示方法及装置 | |
CN117009577A (zh) | 一种视频数据处理方法、装置、设备及可读存储介质 | |
CN115862794A (zh) | 病历文本生成方法、装置、计算机设备及存储介质 | |
CN115658964B (zh) | 预训练模型以及体感画风识别模型的训练方法及装置 | |
CN118014086B (zh) | 数据处理方法、装置、设备、存储介质及产品 | |
CN116955835B (zh) | 资源筛选方法、装置、计算机设备及存储介质 | |
CN117520504A (zh) | 回复信息生成方法、装置、计算机设备及存储介质 | |
CN116994169A (zh) | 标签预测方法、装置、计算机设备及存储介质 | |
CN116992876A (zh) | 实体标注方法、实体标注模型训练方法、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40099930 Country of ref document: HK |