CN111444387A - 视频分类方法、装置、计算机设备和存储介质 - Google Patents

视频分类方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111444387A
CN111444387A CN202010227866.1A CN202010227866A CN111444387A CN 111444387 A CN111444387 A CN 111444387A CN 202010227866 A CN202010227866 A CN 202010227866A CN 111444387 A CN111444387 A CN 111444387A
Authority
CN
China
Prior art keywords
video
videos
classified
label
text data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010227866.1A
Other languages
English (en)
Inventor
康战辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010227866.1A priority Critical patent/CN111444387A/zh
Publication of CN111444387A publication Critical patent/CN111444387A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种视频分类方法、装置、计算机设备和存储介质。所述方法包括:获取待分类视频,待分类视频中各个视频关联的文本数据、待分类视频的用户观看日志数据;根据待分类视频以及用户观看日志数据,生成各个视频之间的连接图;根据文本数据中携带的标签信息以及预设的传播算法,对连接图中节点进行标签聚类处理,得到聚类节点集合以及各聚类节点集合的标签信息;根据标签信息以及各个视频的文本数据,确定待分类视频的分类结果。采用本方法,基于用户观看日志数据生成连接图,由此反映出视频内容,从视频对应的文本数据和视频内容两种不同的模态实现视频的分类,从而可以提高视频分类的准确度。

Description

视频分类方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种视频分类方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展和应用,各种内容平台不断涌现,包括公众号在内的内容平台呈现出多样化的短视频内容。部分不良短视频创作者受到非法利益的驱使,可能会通过在短视频的标题上增加某些蹭热点、博眼球的文字,吸引用户点击视频观看,此类视频即为作弊视频。
由于上述作弊视频的存在,导致内容平台上的视频质量参差不齐,因此,内容平台很有必要进行监管,对视频进行分类,以筛选作弊视频,保证用户观看到的视频的质量。传统的视频分类方法难以识别作弊视频,即存在视频分类准确度低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高分类准确度的视频分类方法、装置、计算机设备和存储介质。
一种视频分类方法,所述方法包括:
获取待分类视频、所述待分类视频中各个视频关联的文本数据、所述待分类视频的用户观看日志数据;
根据所述待分类视频以及所述用户观看日志数据,生成所述各个视频之间的连接图;
根据所述文本数据中携带的标签信息以及预设的传播算法,对所述连接图中节点进行标签聚类处理,得到聚类节点集合以及各所述聚类节点集合的标签信息;
根据所述标签信息以及所述各个视频的文本数据,确定所述待分类视频的分类结果。
一种视频分类装置,所述装置包括:
数据获取模块,用于获取待分类视频、所述待分类视频中各个视频关联的文本数据、所述待分类视频的用户观看日志数据;
连接图生成模块,用于根据所述待分类视频以及所述用户观看日志数据,生成所述各个视频之间的连接图;
聚类处理模块,用于根据所述文本数据中携带的标签信息以及预设的传播算法,对所述连接图中节点进行标签聚类处理,得到聚类节点集合以及各所述聚类节点集合的标签信息;
视频分类模块,用于根据所述标签信息以及所述各个视频的文本数据,确定所述待分类视频的分类结果。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待分类视频,所述待分类视频中各个视频关联的文本数据、所述待分类视频的用户观看日志数据;
根据所述待分类视频以及所述用户观看日志数据,生成所述各个视频之间的连接图;
根据所述文本数据中携带的标签信息以及预设的传播算法,对所述连接图中节点进行标签聚类处理,得到聚类节点集合以及各所述聚类节点集合的标签信息;根据所述标签信息以及所述各个视频的文本数据,确定所述待分类视频的分类结果。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待分类视频、所述待分类视频中各个视频关联的文本数据、所述待分类视频的用户观看日志数据;
根据所述待分类视频以及所述用户观看日志数据,生成所述各个视频之间的连接图;
根据所述文本数据中携带的标签信息以及预设的传播算法,对所述连接图中节点进行标签聚类处理,得到聚类节点集合以及各所述聚类节点集合的标签信息;根据所述标签信息以及所述各个视频的文本数据,确定所述待分类视频的分类结果。
上述视频分类方法、装置、计算机设备和存储介质,通过获取待分类视频、待分类视频中各个视频关联的文本数据、待分类视频的用户观看日志数据;根据待分类视频以及用户观看日志数据,生成各个视频之间的连接图;根据文本数据中携带的标签信息以及预设的传播算法,对连接图中节点进行标签聚类处理,得到聚类节点集合以及各聚类节点集合的标签信息;根据标签信息以及各个视频的文本数据,确定待分类视频的分类结果,上述视频分类方案,基于用户观看日志数据生成连接图,由此反映出视频内容,通过视频对应的文本数据和传播算法实现各个视频的聚类,从文本数据和视频内容两种不同的模态实现视频的分类,从而有效提高视频分类的准确度。
附图说明
图1为一个实施例中视频分类方法的应用环境图;
图2为一个实施例中视频分类方法的流程示意图;
图3为一个实施例中聚类处理步骤的流程示意图;
图4为一个实施例中距离获取步骤的流程示意图;
图5为一个实施例中关键词提取步骤的流程示意图;
图6为一个实施例中视频分类装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
为了便于本领域技术人员更好地理解本申请实施例中提供的视频分类方法,先对计算机视觉的相关内容予以说明。
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical CharacterRecognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请提供的视频分类方法,属于计算机视觉技术中的视频处理范畴,可以应用于如图1所示的应用环境中。该应用场景包括客户端102和服务器104,客户端102通过网络与服务器104连接。用户可以通过客户端上传视频至服务器104,服务器104获取待分类视频、待分类视频中各个视频关联的文本数据、待分类视频的用户观看日志数据;根据待分类视频以及用户观看日志数据,生成各个视频之间的连接图;根据文本数据中携带的标签信息以及预设的传播算法,对连接图中节点进行标签聚类处理,得到聚类节点集合以及各聚类节点集合的标签信息;根据标签信息以及各个视频的文本数据,确定待分类视频的分类结果。其中,客户端102具体可以是手机、平板电脑、笔记本、台式电脑等,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种视频分类方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取待分类视频、待分类视频中各个视频关联的文本数据、待分类视频的用户观看日志数据。
待分类视频是指用户通过视频生产客户端上传的,内容平台的素材来源。文本数据是指视频的文本字段,包括视频的标题数据、用户评论数据以及视频字幕数据。用户观看日志数据是指用户通过视频消费客户端观看视频,产生的视频观看记录数据,比如某天有50个用户同时观看了视频A和视频B。
步骤204,根据待分类视频以及用户观看日志数据,生成各个视频之间的连接图。
在连接图中,一个视频对应连接图中的一个节点,两个节点通过边连接,边表征两个节点之间的关系,通过用户观看日志数据生成各个视频之间的连接图。比如,待分类视频为某段时间内用户上传的视频集合,根据该视频集合中每个视频对应的文本数据,生成连接图中对应节点的初始标签。以用户观看日志数据包括50个用户同时观看了视频A和视频B为例,连接图中包括节点A和节点B,分别对应视频A和视频B,节点A和节点B之间的边对应的权重为50,表征50个用户同时观看了视频A和视频B。此外,分别对视频A和视频B对应的文本数据进行分词处理,获得对应的关键词集合K1和K2,将K1作为节点A的初始标签,K2作为节点B的初始标签。以此类推,构建各个视频之间的连接图。
步骤206,根据文本数据中携带的标签信息以及预设的传播算法,对连接图中节点进行标签聚类处理,得到聚类节点集合以及各聚类节点集合的标签信息。
预设的传播算法用于对连接图中各个节点进行聚类,将同一类型的节点划分为一类,传播算法具体可以是标签传播算法、DeepWalk算法等。通过传播聚类,将属于同一个类的短视频聚为一类,统计每个类别中不同标签的出现次数,比如按照由高到低排序,取前M个标签作为该聚类下短视频的标签信息。标签信息用于表征节点集合的特征,比如节点集合中相应视频的领域、话题等,节点集合的标签信息可以是一个或多个标签。具体地,连接图中包括节点A、节点B、节点C、节点D和节点E,节点A、节点B、节点C、节点D和节点E分别对应视频A、视频B、视频C、视频D和视频E,根据视频A、视频B、视频C、视频D和视频E的文本数据以及预设的传播算法,对连接图中的节点进行聚类处理,获得聚类后的节点集合以及每个节点集合的标签信息,比如,节点集合1包括节点A、节点B和节点C,节点集合2包括节点D和节点E,同一个节点集合中各个节点的标签信息相同。
步骤208,根据标签信息以及各个视频的文本数据,确定待分类视频的分类结果。
待分类视频的分类结果具体可以是指视频是否属于作弊视频,比如可以用0表示作弊视频,用1表示非作弊视频。具体地,根据标签信息以及各个视频的文本数据,确定待分类视频的分类结果包括:提取各个视频的文本数据对应的关键词;获取各个视频的关键词与对应的标签信息之间的距离;根据各距离确定待分类视频中每个视频的分类结果。承上所述,节点集合1包括节点A、节点B和节点C,节点集合2包括节点D和节点E,节点集合1对应的标签信息为L1,节点集合2对应的标签信息为L2,根据节点A、节点B、节点C、节点D和节点E对应的文本数据,获得对应的关键词依次为K1、K2、K3、K4和K5。计算K1与L1之间的相似度S1,根据相似度S1确定视频A的分类结果;计算K2与L1之间的相似度S2,根据相似度S2确定视频B的分类结果;计算K3与L1之间的相似度S3,根据相似度S3确定视频C的分类结果;计算K4与L2之间的相似度S4,根据相似度S4确定视频D的分类结果;计算K5与L2之间的相似度S5,根据相似度S5确定视频E的分类结果。
上述视频分类方法中,通过获取待分类视频、待分类视频中各个视频关联的文本数据、待分类视频的用户观看日志数据;根据待分类视频以及用户观看日志数据,生成各个视频之间的连接图;根据文本数据中携带的标签信息以及预设的传播算法,对连接图中节点进行标签聚类处理,得到聚类节点集合以及各聚类节点集合的标签信息;根据标签信息以及各个视频的文本数据,确定待分类视频的分类结果,上述视频分类方案,基于用户观看日志数据生成连接图,由此反映出视频内容,通过视频对应的文本数据和传播算法实现各个视频的聚类,从文本数据和视频内容两种不同的模态实现视频的分类,从而有效提高视频分类的准确度。
在一个实施例中,如图3所示,根据文本数据中携带的标签信息以及预设的传播算法,对连接图中节点进行标签聚类处理,得到聚类节点集合以及各聚类节点集合的标签信息包括:步骤302,提取每个文本数据的关键词,将关键词作为连接图中每个节点的初始标签;步骤304,根据预设的传播算法对初始标签进行调整,获得每个节点调整后的标签;步骤306,根据调整后的标签对连接图中的节点进行聚类处理,获得聚类后的节点集合以及各节点集合的标签信息。其中,根据预设的传播算法对初始标签进行调整,获得每个节点调整后的标签包括:获取连接图中节点之间的传播概率矩阵以及标注矩阵,传播概率矩阵用于表征连接图中一个节点的标注传播到另一个节点的概率,标注矩阵用于表征连接图中的节点被标注为每个初始标签的概率;根据传播概率矩阵以及标注矩阵,对连接图中每个节点的初始标签进行调整,直至连接图中每个节点的标签满足预设收敛条件,获得每个节点调整后的标签。标签用于表征节点的特征,一个节点的标签可以是一个或多个,两个标签在含义上可以完全不同,也可以重叠。节点的初始标签由视频对应的文本数据确定,后续可以根据反映视频内容的连接图基于传播算法进行调整,从而提高确定标签的准确度和效率,进而提高视频分类的准确度和效率。
本申请实施例以标签传播算法为例说明,标签传播算法是一种基于连接图的半监督学习方法,其基本思路是通过已标记节点的标签信息,预测未标记节点的标签信息。首先通过各个节点之间的关系建立完全连接图,在完全连接图中,节点包括已标注数据和未标注数据,节点之间的边表示两个节点的相似度,节点的标签按相似度传递至其它节点。标签数据可以对无标签数据进行标注,节点的相似度越大,标签越容易传播,该算法具有执行时间短、复杂度低且分类效果好的特点。令(x1,y1)…(xt,yt)为已标注数据,其中,x1至xt表示视频标识,用于表示不同的视频,y1至yt表示视频分类标识,用于表示不同的视频分类结果。YT={y1…yt}∈{1…C}是类别标签,类别数C已知,且均存在于标签数据中。令(xt+1,yt+1)…(xt+u,yt+u)为未标注数据,YU={yt+1…yt+u}不可观测,t<<u,令数据集X={x1…x1+u}∈R。那么上述问题即为:从数据集X中,利用YT的学习,为未标注数据集YU的每个数据找到对应的标签。将所有数据作为节点,包括已标注数据和未标注数据,创建一个完全连接图,图中两个节点之间的边的权重计算式如下:
Figure BDA0002428304990000071
其中,dij表示节点i与节点j之间的欧式距离,权重wij权重受控于参数σ,该参数根据实验进行设置。
为衡量一个节点的标注通过边传播到其它节点的概率,定义一个(t+u)×(t+u)传播概率矩阵T,如下所示:
Figure BDA0002428304990000081
其中,Tij是指节点j到节点i的传播概率,t的是指已标注节点的个数,n是指未标注节点的个数。
在一个实施例中,如图4所示,获取各个视频的关键词与对应的标签信息之间的距离包括:步骤402,对各个视频对应的关键词和标签信息分别进行向量化表征处理,获得第一向量和第二向量;步骤404,计算第一向量和第二向量之间的相似度,得到各个视频的关键词与对应的标签信息之间的距离。对各个视频对应的关键词和标签信息分别进行向量化表征处理,获得第一向量和第二向量,计算第一向量和第二向量之间的相似度,通过向量计算相似度,可以加快计算速度,在数据量较大时效果更为明显。其中,向量化表征可以借助词向量模型来实现,经过词向量模型的处理,将各个关键词和标签词转换为向量表示,词向量模型具体可以采用独热编码方式对各个关键词和标签词进行编码。计算第一向量和第二向量之间的相似度,具体可以是计算第一向量和第二向量之间的余弦相似度。余弦相似度是指通过计算两个向量的夹角余弦值来评估相似度,余弦相似度将向量根据坐标值,绘制到向量空间中,比如二维空间。余弦值的范围在[-1,1]之间,余弦值越趋近于1,表示两个向量的方向越接近;余弦值越趋近于-1,表示两个向量的方向越相反;余弦值接近于0,表示两个向量近乎于正交。通过余弦相似度计算文本相似度,将两个文本根据分词建立两个向量,计算这两个向量的余弦值,由此确定两个文本的相似度。比如设定阈值G,当向量A与向量H的余弦值小于阈值G时,则认定短视频A的关键词与所属聚类H两者的文本语义相差较大,即短视频A有作弊嫌疑,应予打压或人工审核。
在一个实施例中,如图5所示,提取各个视频的文本数据对应的关键词包括:步骤502,对文本数据进行分词处理,获得文本数据中的实体词和名词;步骤504,获取实体词和名词在文本数据中的权重值;步骤506,将权重值大于预设值的实体词和名词作为文本数据的关键词。本申请实施例中采用分词方法提取关键词,此外,还可以采用DeepText、内容分类等其它方法提取视频文本的关键词。在本申请实施例中,可以将权重值大于预设值的实体词和名词按照词语出现的次数排序,比如按照次数由高到低降序排序,取前K个词语作为文本数据的关键词。获取视频的标题、评论、字幕等文本数据,通过分词工具对文本数据进行分词处理,去除停用词和非名词词语,保留实体词和名词,比如人名、地名、机构名等具有实际含义的词语,从而减少服务器的数据处理量,保证由此确定的关键词的准确度。停用词是指没有实际含义的词语,比如代词、助词、形容词、副词等,去除停用词可以通过将分词处理后的词语在预设的停用词集合中查找,剔除与停用词集合中相同的词语,也可以对分词处理后得到的词语进行词性标记,根据词性去除停用词和非名词词语。可以采用TF-IDF(Term Frequency-Inverse Document Frequency,词频-逆文件频率)方法获取实体词和名词在文本数据中的权重值。TF-IDF是一种统计方法,用来评估某个字词对于一个文件集或一个语料库中的其中一份文件的重要程度,字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。如果某个词或短语在一篇文章中出现的频率高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类。TF-IDF实际上是TF*IDF,给定一份文件,TF(Term Frequency,词频)是指某一个给定词语在该文件中出现的频率,这个数字是对词数的归一化,以防止它偏向长的文件,同一个词语在长文件中可能会比在短文件中有更高的词数,而不管该词语重要与否。对于在某一特定文件的词语来说,其重要性可表示为:
Figure BDA0002428304990000091
其中,ni,j是指某词语在某文件中出现的次数,∑knk,j是指该文件所有词语出现的次数之和。
IDF(Inverse Document Frequency,逆向文件频率)是指如果包含词条t的文档越少,n越小,IDF越大,则说明词条t具有很好的类别区分能力。如果某一类文档C中包含词条t的文档数为m,而其它类包含t的文档总数为k,所有包含t的文档数n=m+k,当m大时,n也大,得到的IDF值小,说明该词条t的类别区分能力不强。实际上,如果一个词条在一个类的文档中频繁出现,则说明该词条能够很好代表这个类的文本特征,这样的词条应该给赋予较高的权重,并选取作为该类文本的特征词,以区别于其它类文档。逆向文件频率是一个词语普遍重要性的度量,某一特定词语的逆向文件频率可以由总文件数目除以包含该词语的文件数目,再将得到的商取对数得到,可表示为:
Figure BDA0002428304990000101
其中,D是指总文件数,{j:ti∈dj}是指包含某词语的文件数。
在一个实施例中,获取待分类视频、待分类视频中各个视频关联的文本数据、待分类视频的用户观看日志数据包括:获取预设的视频集合以及视频集合中各个视频的用户观看量数据,剔除用户观看量数据大于阈值的视频,获得待分类视频;获取待分类视频中各个视频关联的文本数据、待分类视频的用户观看日志数据。获取内容平台预设时段内短视频的用户观看日志数据,从中过滤观看人数过多的日志数据,比如观看量大于100万的短视频,认定该类视频可能是人人关注,甚至是内容平台刻意运营置顶的视频,这类视频往往与用户个人兴趣无关,以保证原始数据的有效性,从而提高后续视频分类的准确度。
本申请还提供一种应用场景,该应用场景应用上述的视频分类方法。具体地,该视频分类方法在该应用场景中的应用如下:用户通过客户端上传视频至服务器,服务器获取预设的视频集合以及视频集合中各个视频的用户观看量数据,剔除用户观看量数据大于阈值的视频,获得待分类视频,获取待分类视频中各个视频关联的文本数据、待分类视频的用户观看日志数据。生成各个视频之间的连接图,一个视频对应连接图中的一个节点,连接图中相互连接的两个节点由用户观看日志数据确定。提取每个文本数据的关键词,将关键词作为连接图中每个节点的初始标签;获取连接图中节点之间的传播概率矩阵以及标注矩阵,传播概率矩阵用于表征连接图中一个节点的标注传播到另一个节点的概率,标注矩阵用于表征连接图中的节点被标注为每个初始标签的概率;根据传播概率矩阵以及标注矩阵,对连接图中每个节点的初始标签进行调整,直至连接图中每个节点的标签满足预设收敛条件,获得每个节点调整后的标签;根据调整后的标签对连接图中的节点进行聚类处理,获得聚类后的节点集合以及每个节点集合的标签信息。对文本数据进行分词处理,获得文本数据中的实体词和名词;获取实体词和名词在文本数据中的权重值,将权重值大于预设值的实体词和名词作为文本数据的关键词;对各个视频对应的关键词和标签信息分别进行向量化表征处理,获得第一向量和第二向量;计算第一向量和第二向量之间的相似度,根据相似度计算结果确定待分类视频中每个视频的分类结果,比如相似度计算结果小于阈值时,判定该视频为作弊视频,将该视频提交至人工审核流程。
应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-5中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种视频分类装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:数据获取模块602、连接图生成模块604、聚类处理模块606和视频分类模块608,其中:
数据获取模块602,用于获取待分类视频、待分类视频中各个视频关联的文本数据、待分类视频的用户观看日志数据;
连接图生成模块604,用于根据待分类视频以及所述用户观看日志数据,生成各个视频之间的连接图;
聚类处理模块606,用于根据文本数据中携带的标签信息以及预设的传播算法,对连接图中节点进行标签聚类处理,得到聚类节点集合以及各聚类节点集合的标签信息;
视频分类模块608,用于根据标签信息以及各个视频的文本数据,确定待分类视频的分类结果。
在一个实施例中,聚类处理模块还用于提取每个文本数据的关键词,将关键词作为连接图中每个节点的初始标签;根据预设的传播算法对初始标签进行调整,获得每个节点调整后的标签;根据调整后的标签对连接图中的节点进行聚类处理,获得聚类后的节点集合以及各节点集合的标签信息。
在一个实施例中,聚类处理模块还用于获取连接图中节点之间的传播概率矩阵以及标注矩阵,传播概率矩阵用于表征连接图中一个节点的标注传播到另一个节点的概率,标注矩阵用于表征连接图中的节点被标注为每个初始标签的概率;根据传播概率矩阵以及标注矩阵,对连接图中每个节点的初始标签进行调整,直至连接图中每个节点的标签满足预设收敛条件,获得每个节点调整后的标签。
在一个实施例中,视频分类模块还用于提取各个视频的文本数据对应的关键词;获取各个视频的关键词与对应的标签信息之间的距离;根据各距离确定待分类视频中每个视频的分类结果。
在一个实施例中,视频分类模块还用于对各个视频对应的关键词和标签信息分别进行向量化表征处理,获得第一向量和第二向量;计算第一向量和第二向量之间的相似度,得到各个视频的关键词与对应的标签信息之间的距离。
在一个实施例中,视频分类模块还用于对文本数据进行分词处理,获得文本数据中的实体词和名词;获取实体词和名词在文本数据中的权重值;将权重值大于预设值的实体词和名词作为文本数据的关键词。
在一个实施例中,数据获取模块还用于获取预设的视频集合以及视频集合中各个视频的用户观看量数据,剔除用户观看量数据大于阈值的视频,获得待分类视频;获取待分类视频中各个视频关联的文本数据、待分类视频的用户观看日志数据。
关于视频分类装置的具体限定可以参见上文中对于视频分类方法的限定,在此不再赘述。上述视频分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待分类视频、用户观看日志数据、连接图、分类结果等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频分类方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频分类方法,其特征在于,所述方法包括:
获取待分类视频、所述待分类视频中各个视频关联的文本数据、所述待分类视频的用户观看日志数据;
根据所述待分类视频以及所述用户观看日志数据,生成所述各个视频之间的连接图;
根据所述文本数据中携带的标签信息以及预设的传播算法,对所述连接图中节点进行标签聚类处理,得到聚类节点集合以及各所述聚类节点集合的标签信息;
根据所述标签信息以及所述各个视频的文本数据,确定所述待分类视频的分类结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述文本数据中携带的标签信息以及预设的传播算法,对所述连接图中节点进行标签聚类处理,得到聚类节点集合以及各所述聚类节点集合的标签信息包括:
提取每个所述文本数据的关键词,将所述关键词作为所述连接图中每个节点的初始标签;
根据预设的传播算法对所述初始标签进行调整,获得所述每个节点调整后的标签;
根据所述调整后的标签对所述连接图中的节点进行聚类处理,获得聚类后的节点集合以及各所述节点集合的标签信息。
3.根据权利要求2所述的方法,其特征在于,所述根据预设的传播算法对所述初始标签进行调整,获得所述每个节点调整后的标签包括:
获取所述连接图中节点之间的传播概率矩阵以及标注矩阵,所述传播概率矩阵用于表征所述连接图中一个节点的标注传播到另一个节点的概率,所述标注矩阵用于表征所述连接图中的节点被标注为每个初始标签的概率;
根据所述传播概率矩阵以及所述标注矩阵,对所述连接图中每个节点的初始标签进行调整,直至所述连接图中每个节点的标签满足预设收敛条件,获得所述每个节点调整后的标签。
4.根据权利要求1所述的方法,其特征在于,所述根据所述标签信息以及所述各个视频的文本数据,确定所述待分类视频的分类结果包括:
提取所述各个视频的文本数据对应的关键词;
获取所述各个视频的关键词与对应的标签信息之间的距离;
根据各所述距离确定所述待分类视频中每个视频的分类结果。
5.根据权利要求4所述的方法,其特征在于,所述获取所述各个视频的关键词与对应的标签信息之间的距离包括:
对所述各个视频对应的关键词和标签信息分别进行向量化表征处理,获得第一向量和第二向量;
计算所述第一向量和所述第二向量之间的相似度,得到所述各个视频的关键词与对应的标签信息之间的距离。
6.根据权利要求4所述的方法,其特征在于,所述提取所述各个视频的文本数据对应的关键词包括:
对所述文本数据进行分词处理,获得所述文本数据中的实体词和名词;
获取所述实体词和所述名词在所述文本数据中的权重值;
将所述权重值大于预设值的实体词和名词作为所述文本数据的关键词。
7.根据权利要求1所述的方法,其特征在于,所述获取待分类视频、所述待分类视频中各个视频关联的文本数据、所述待分类视频的用户观看日志数据包括:
获取预设的视频集合以及所述视频集合中各个视频的用户观看量数据,剔除所述用户观看量数据大于阈值的视频,获得待分类视频;
获取所述待分类视频中各个视频关联的文本数据、所述待分类视频的用户观看日志数据。
8.一种视频分类装置,其特征在于,所述装置包括:
数据获取模块,用于获取待分类视频、所述待分类视频中各个视频关联的文本数据、所述待分类视频的用户观看日志数据;
连接图生成模块,用于根据所述待分类视频以及所述用户观看日志数据,生成所述各个视频之间的连接图;
聚类处理模块,用于根据所述文本数据中携带的标签信息以及预设的传播算法,对所述连接图中节点进行标签聚类处理,得到聚类节点集合以及各所述聚类节点集合的标签信息;
视频分类模块,用于根据所述标签信息以及所述各个视频的文本数据,确定所述待分类视频的分类结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010227866.1A 2020-03-27 2020-03-27 视频分类方法、装置、计算机设备和存储介质 Pending CN111444387A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010227866.1A CN111444387A (zh) 2020-03-27 2020-03-27 视频分类方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010227866.1A CN111444387A (zh) 2020-03-27 2020-03-27 视频分类方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111444387A true CN111444387A (zh) 2020-07-24

Family

ID=71650847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010227866.1A Pending CN111444387A (zh) 2020-03-27 2020-03-27 视频分类方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111444387A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184005A (zh) * 2020-09-25 2021-01-05 中国建设银行股份有限公司 一种运营任务分类方法、装置、设备和存储介质
CN112818171A (zh) * 2020-09-02 2021-05-18 腾讯科技(深圳)有限公司 视频提示信息推送方法、装置、计算机设备和存储介质
CN112948626A (zh) * 2021-05-14 2021-06-11 腾讯科技(深圳)有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN113032342A (zh) * 2021-03-03 2021-06-25 北京车和家信息技术有限公司 一种视频打标签的方法、装置、电子设备及存储介质
CN113554053A (zh) * 2021-05-20 2021-10-26 重庆康洲大数据有限公司 一种比较中药处方相似性的方法
CN114357989A (zh) * 2022-01-10 2022-04-15 北京百度网讯科技有限公司 视频标题生成方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971645B1 (en) * 2012-05-18 2015-03-03 Google Inc. Video categorization using heterogeneous signals
CN109660865A (zh) * 2018-12-17 2019-04-19 杭州柚子街信息科技有限公司 为视频自动打视频标签的方法及装置、介质和电子设备
CN110162669A (zh) * 2019-04-04 2019-08-23 腾讯科技(深圳)有限公司 视频分类处理方法、装置、计算机设备及存储介质
CN110267097A (zh) * 2019-06-26 2019-09-20 北京字节跳动网络技术有限公司 基于分类特征的视频推送方法、装置及电子设备
CN110287977A (zh) * 2018-03-19 2019-09-27 优酷网络技术(北京)有限公司 内容聚类方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971645B1 (en) * 2012-05-18 2015-03-03 Google Inc. Video categorization using heterogeneous signals
CN110287977A (zh) * 2018-03-19 2019-09-27 优酷网络技术(北京)有限公司 内容聚类方法及装置
CN109660865A (zh) * 2018-12-17 2019-04-19 杭州柚子街信息科技有限公司 为视频自动打视频标签的方法及装置、介质和电子设备
CN110162669A (zh) * 2019-04-04 2019-08-23 腾讯科技(深圳)有限公司 视频分类处理方法、装置、计算机设备及存储介质
CN110267097A (zh) * 2019-06-26 2019-09-20 北京字节跳动网络技术有限公司 基于分类特征的视频推送方法、装置及电子设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818171A (zh) * 2020-09-02 2021-05-18 腾讯科技(深圳)有限公司 视频提示信息推送方法、装置、计算机设备和存储介质
CN112184005A (zh) * 2020-09-25 2021-01-05 中国建设银行股份有限公司 一种运营任务分类方法、装置、设备和存储介质
CN113032342A (zh) * 2021-03-03 2021-06-25 北京车和家信息技术有限公司 一种视频打标签的方法、装置、电子设备及存储介质
CN113032342B (zh) * 2021-03-03 2023-09-05 北京车和家信息技术有限公司 一种视频打标签的方法、装置、电子设备及存储介质
CN112948626A (zh) * 2021-05-14 2021-06-11 腾讯科技(深圳)有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN113554053A (zh) * 2021-05-20 2021-10-26 重庆康洲大数据有限公司 一种比较中药处方相似性的方法
CN113554053B (zh) * 2021-05-20 2023-06-20 重庆康洲大数据有限公司 一种比较中药处方相似性的方法
CN114357989A (zh) * 2022-01-10 2022-04-15 北京百度网讯科技有限公司 视频标题生成方法、装置、电子设备及存储介质
CN114357989B (zh) * 2022-01-10 2023-09-26 北京百度网讯科技有限公司 视频标题生成方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109840321B (zh) 文本推荐方法、装置及电子设备
CN107463605B (zh) 低质新闻资源的识别方法及装置、计算机设备及可读介质
CN111444387A (zh) 视频分类方法、装置、计算机设备和存储介质
CN112131350B (zh) 文本标签确定方法、装置、终端及可读存储介质
US9355330B2 (en) In-video product annotation with web information mining
Moran et al. Sparse kernel learning for image annotation
Lee et al. Tag refinement in an image folksonomy using visual similarity and tag co-occurrence statistics
US20230032728A1 (en) Method and apparatus for recognizing multimedia content
Lago et al. Visual and textual analysis for image trustworthiness assessment within online news
CN109740156B (zh) 反馈信息处理方法、装置、电子设备及存储介质
Li et al. Social context-aware person search in videos via multi-modal cues
CN115935049A (zh) 基于人工智能的推荐处理方法、装置及电子设备
CN114329004A (zh) 数字指纹生成、数据推送方法、装置和存储介质
Min et al. Near-duplicate video clip detection using model-free semantic concept detection and adaptive semantic distance measurement
Kusumaningrum et al. WCLOUDVIZ: Word cloud visualization of Indonesian news articles classification based on Latent dirichlet allocation
CN113537206A (zh) 推送数据检测方法、装置、计算机设备和存储介质
CN116756363A (zh) 一种由信息量引导的强相关性无监督跨模态检索方法
Chou et al. Multimodal video-to-near-scene annotation
Demidova et al. Semantic image-based profiling of users’ interests with neural networks
CN113704623B (zh) 一种数据推荐方法、装置、设备及存储介质
Mery Face analysis: state of the art and ethical challenges
CN112417845A (zh) 一种文本评价方法、装置、电子设备及存储介质
Hamano et al. A language-independent ontology construction method using tagged images in folksonomy
Nagasawa et al. Effect of Junk Images on Inter-concept Distance Measurement: Positive or Negative?
Perner Novel Methods for Forensic Multimedia Data Analysis: Part I

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination