CN112883731A - 内容分类方法和装置 - Google Patents

Abstract

本申请的实施例提供了一种内容分类方法和装置，涉及计算机技术领域。该内容分类方法包括：获取候选内容分类标签，以及获取候选内容分类标签整体对应的分类特征向量；基于待分类内容包含的内容，生成内容特征向量；对图像特征向量以及文本特征向量进行特征融合，生成内容特征向量；基于内容特征向量以及分类特征向量，在候选内容分类标签中预测待分类内容所属的内容分类标签。本申请实施例的技术方案实现对待分类内容进行更加精细粒度的分类识别，可以有效提高对待分类内容进行内容分类的准确度。

Description

内容分类方法和装置

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种内容分类方法和装置。

背景技术

目前，在为用户推送包含视频或图片的内容时，需要对包含色情、犯罪等灰色不良内容进行识别过滤，以避免对用户的身心健康造成影响。而在实际的应用场景中，除了需要对灰色不良内容进行识别过滤外，一般也需要针对不包含灰色不良内容但包含对用户造成心理不适的内容也进行识别过滤，如对包含恶心牙齿、痘痘、密恐、蛇、暴力惊悚等图片内容元素的内容也需要进行识别过滤。

相关技术提出的内容识别方法一般通过一些简单的机器学习模型来对那些容易对用户造成心理不适的内容进行分类识别，但是这种分类识别方式直接将内容识别为正常或者会对用户造成心理不适。这种分类识别方式存在识别粒度过粗的问题，即无法对包含不同的图片内容元素的内容进行更加精细粒度的识别的问题，进而无法满足当前对用户进行精准的内容推送的需求。

发明内容

本申请的实施例提供了一种内容分类方法和装置，可以解决相关技术中的方式存在无法对包含不同的图片内容元素的内容进行更加精细粒度的识别的问题。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种内容分类方法，包括：获取候选内容分类标签，以及获取所述候选内容分类标签整体对应的分类特征向量，所述候选内容分类标签是根据图像内容元素划分得到的多个标签，所述分类特征向量是基于多个图像内容元素对应的图像特征向量以及用于表示图像内容元素之间的关联关系的关联矩阵生成的；基于待分类内容包含的内容，生成内容特征向量；基于所述内容特征向量以及所述分类特征向量，在所述候选内容分类标签中预测所述待分类内容所属的内容分类标签。

根据本申请实施例的一个方面，提供了一种内容分类装置，包括：第一获取单元，用于获取候选内容分类标签，以及获取所述候选内容分类标签整体对应的分类特征向量，所述候选内容分类标签是根据图像内容元素划分得到的多个标签，所述分类特征向量是基于多个图像内容元素对应的图像特征向量以及用于表示图像内容元素之间的关联关系的关联矩阵生成的；第一生成单元，用于基于待分类内容包含的内容，生成内容特征向量；预测单元，用于基于所述内容特征向量以及所述分类特征向量，在所述候选内容分类标签中预测所述待分类内容所属的内容分类标签。

在本申请的一些实施例中，基于前述方案，所述第一获取单元被配置为：获取多个图像内容元素对应的图像特征向量，以及获取包含所述多个图像内容元素之间的关联关系的关联矩阵；将多个图像内容元素对应的图像特征向量进行拼接处理，生成图像特征矩阵；基于所述图像特征矩阵以及所述关联矩阵，生成所述候选内容分类标签整体对应的分类特征向量。

在本申请的一些实施例中，基于前述方案，所述第一获取单元被配置为：针对每个图像内容元素，分别获取包含所述图像内容元素的目标样本图像；针对每个图像内容元素，分别对所述目标样本图像进行特征提取，得到所述目标样本图像对应的样本图像特征向量；针对每个图像内容元素，基于所述目标样本图像对应的样本图像特征向量的平均值，生成所述图像内容元素对应的图像特征向量。

在本申请的一些实施例中，基于前述方案，所述第一获取单元被配置为：确定所述多个图像内容元素中每两个图像内容元素之间的关联度；基于所述关联度，生成用于表示图像内容元素之间的关联关系的关联矩阵。

在本申请的一些实施例中，基于前述方案，所述第一生成单元被配置为：基于待分类内容包含的图像内容，生成所述图像内容对应的图像特征向量，以及基于待分类内容包含的文本内容，生成所述文本内容对应的文本特征向量；对所述图像特征向量以及所述文本特征向量进行特征融合，生成内容特征向量。

在本申请的一些实施例中，基于前述方案，所述内容分类装置还包括：第二获取单元，用于获取包含所述候选内容分类标签对应的图像内容元素的候选图像；裁剪单元，用于对所述候选图像进行裁剪处理，生成裁剪后的图像；第二生成单元，用于基于所述裁剪后的图像以及所述候选图像，生成训练集样本数据，所述训练集样本数据中的每条样本数据包含样本图像以及所述样本图像所属的候选内容分类标签；训练单元，用于基于所述训练集样本数据对待训练的机器学习模型进行训练，得到所述预训练的机器学习模型。

在本申请的一些实施例中，基于前述方案，所述第一生成单元被配置为：对所述待分类内容包含的文本内容进行分词处理，得到所述文本内容对应的分词结果以及所述分词结果所包含的各个词汇在所述分词结果所处的位置信息；基于所述分词结果，生成所述各个词汇对应的词汇特征向量，以及基于所述分词结果所包含的各个词汇在所述分词结果所处的位置信息，生成位置特征向量；基于所述位置特征向量对所述各个词汇对应的词汇特征向量进行融合处理，生成包含上下文语义信息的文本特征向量。

在本申请的一些实施例中，基于前述方案，所述预测单元被配置为：基于所述内容特征向量以及所述分类特征向量，预测所述待分类内容属于所述候选内容分类标签时的分类预测概率；基于所述分类预测概率，在所述候选内容分类标签中选取分类预测概率最大的候选内容分类标签；若所选取的候选内容分类标签对应的分类预测概率高于预定分类预测概率阈值，则将所选取的候选内容分类标签作为所述待分类内容所属的内容分类标签。

在本申请的一些实施例中，基于前述方案，所述内容分类装置还包括：第一添加单元，用于若用户的兴趣偏好标签中不存在与所述待分类内容所属的内容分类标签匹配的标签，则将所述待分类内容添加至禁止向所述用户进行推送的内容黑名单；第二添加单元，用于若用户的兴趣偏好标签中存在与所述待分类内容所属的内容分类标签匹配的标签，则将所述待分类内容添加为向所述用户进行推送的内容白名单。

根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的内容分类方法。

根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的内容分类方法。

根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的内容分类方法。

在本申请的一些实施例所提供的技术方案中，通过基于多个图像内容元素对应的图像特征向量以及用于表示图像内容元素之间的关联关系的关联矩阵生成候选内容分类标签整体对应的分类特征向量，并通过待分类内容包含的内容生成内容特征向量，由于内容特征向量反映了待分类内容所具有的特征信息分类，而特征向量是对不同主题类别进行表征的一种特征信息，通过分类特征向量和内容特征向量可以实现对待分类内容进行更加精细粒度的分类识别，有效提高了对待分类内容进行内容分类的准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

图2示出了根据本申请的一个实施例的内容分类方法的流程图。

图3A示出了根据本申请的一个实施例的技术方案的区块链数据共享系统的示意图。

图3B示出了根据本申请的一个实施例的技术方案的区块链的结构示意图。

图3C示出了根据本申请的一个实施例的技术方案产生新区块的示意图。

图4示出了根据本申请的一个实施例的内容分类方法的步骤S210的具体流程图。

图5示出了根据本申请的一个实施例的内容分类方法的步骤S410的具体流程图。

图6示出了根据本申请的一个实施例的内容分类方法的步骤S410的具体流程图。

图7示出了根据本申请的一个实施例的用于表示图像内容元素之间的关联关系的关联矩阵。

图8示出了根据本申请的一个实施例的内容分类方法的步骤S220的具体流程图。

图9示出了根据本申请的一个实施例的内容分类方法的流程图。

图10示出了根据本申请的一个实施例的内容分类方法的步骤S810的具体流程图。

图11示出了根据本申请的一个实施例的内容分类方法的步骤S230的具体流程图。

图12示出了根据本申请的一个实施例的内容分类方法的流程图。

图13示出了根据本申请的一个实施例中的待分类系统的构架示意图。

图14示出了本申请的一个实施例中的通过不适内容模型对视频内容进行内容识别处理的流程示意图。

图15示出了根据本申请的一个实施例的内容分类装置的框图。

图16示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(ML，Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。比如，在本申请实施例中，预训练的机器学习模型来生成分类特征向量、图像特征向量、文本特征向量、内容特征向量及在候选内容分类标签中预测待分类内容所属的内容分类标签。

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

如图1所示，系统架构可以包括客户端101（如图1中所示智能手机、平板电脑和便携式计算机中的一种或多种，当然也可以是台式计算机等等）、网络102和服务器103。网络102用以在客户端101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线通信链路、无线通信链路等等。

应该理解，图1中的客户端101、网络102和服务器103的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端101、网络102和服务器103，比如服务器103为提供内容浏览服务的业务服务器，该业务服务器可以是多个服务器组成的服务器集群等。客户端101是从服务器103中获取内容的智能手机或平板电脑等客户端，客户端101将从服务器103获取的内容在其对应的显示页面中进行显示。客户端101通过网络102与服务器103交互，以接收或发送消息等。

客户端101获取候选内容分类标签，以及获取候选内容分类标签整体对应的分类特征向量，候选内容分类标签是根据图像内容元素划分得到的多个标签，分类特征向量是基于多个图像内容元素对应的图像特征向量以及用于表示图像内容元素之间的关联关系的关联矩阵生成的；基于待分类内容包含的内容，生成内容特征向量；基于内容特征向量以及分类特征向量，在候选内容分类标签中预测待分类内容所属的内容分类标签。

以上可以看出，通过基于多个图像内容元素对应的图像特征向量以及用于表示图像内容元素之间的关联关系的关联矩阵生成候选内容分类标签整体对应的分类特征向量，并通过待分类内容包含的内容生成内容特征向量，由于内容特征向量反映了待分类内容所具有的特征信息分类，而特征向量是对不同主题类别进行表征的一种特征信息，通过分类特征向量和内容特征向量可以实现对待分类内容进行更加精细粒度的分类识别，有效提高了对待分类内容进行内容分类的准确度。

需要说明的是，本申请实施例所提供的内容分类方法一般由客户端101执行，相应地，内容分类装置一般设置于客户端101中。但是，在本申请的其它实施例中，服务器103也可以与客户端101具有相似的功能，从而执行本申请实施例所提供的内容分类方法的方案。

以下对本申请实施例的技术方案的实现细节进行详细阐述。

图2示出了根据本申请的一个实施例的内容分类方法的流程图，该内容分类方法可以由客户端来执行，该客户端可以是图1中所示的客户端101。参照图2所示，该内容分类方法至少包括步骤S210至步骤S230，详细介绍如下：

在步骤S210中，获取候选内容分类标签，以及获取候选内容分类标签整体对应的分类特征向量，候选内容分类标签是根据图像内容元素划分得到的多个标签，分类特征向量是基于多个图像内容元素对应的图像特征向量以及用于表示图像内容元素之间的关联关系的关联矩阵生成的。

在本申请的一个实施例中，待分类内容是提供给用户进行浏览的内容，如提供给用户进行浏览的文章或视频。待分类内容包括图像内容和文本内容，以内容是视频为例，图像内容是指内容视频本身，而文本内容是指为视频所添加的反映该视频内容主题的标题。以内容是文章为例，图像内容为文章中所包含的图片，而文本内容是文章的标题和正文中的至少一个。可以理解，为了更加突出的反映出内容所表达的主题类别，文本内容可以仅限于是文章的标题。

图3A示出了根据本申请的一个实施例的技术方案的区块链数据共享系统的示意图。

参见图3A所示的区块链数据共享系统，区块链数据共享系统300是指用于进行节点与节点之间数据共享的系统，该区块链数据共享系统中可以包括多个节点301，多个节点301可以是指区块链数据共享系统中各个服务器。每个节点301在进行正常工作可以接收到输入信息，并基于接收到的输入信息维护该区块链数据共享系统内的共享数据，该输入信息可以为来自上传至区块链数据共享系统上的各种内容、候选内容分类标签以及候选内容分类标签整体对应的分类特征向量。为了保证区块链数据共享系统内的信息互通，区块链数据共享系统中的每个节点之间可以存在信息连接，节点之间可以通过上述信息连接进行信息传输。例如，当区块链数据共享系统中的任意节点接收到输入信息时，区块链数据共享系统中的其他节点便根据共识算法获取该输入信息，将该输入信息作为区块链共享数据中的数据进行存储，使得区块链数据共享系统中全部节点上存储的数据均一致。

对于区块链数据共享系统中的每个节点，均具有与其对应的节点标识，而且区块链数据共享系统中的每个节点均可以存储有区块链数据共享系统中其他节点的节点标识，以便后续根据其他节点的节点标识，将生成的区块广播至区块链数据共享系统中的其他节点。每个节点中可维护一个如下表所示的节点标识列表，将节点名称和节点标识对应存储至该节点标识列表中。其中，节点标识可为IP（Internet Protocol，网络之间互联的协议）地址以及其他任一种能够用于标识该节点的信息，表1中仅以IP地址为例进行说明。

区块链数据共享系统中的每个节点均存储一条相同的区块链。区块链由多个区块组成，参见图3B，图3B示出了根据本申请的一个实施例的技术方案的区块链的结构示意图，区块链由多个区块组成，创始块中包括区块头和区块主体，区块头中存储有输入信息特征值、版本号、时间戳和难度值，区块主体中存储有输入信息；创始块的下一区块以创始块为父区块，下一区块中同样包括区块头和区块主体，区块头中存储有当前区块的输入信息特征值、父区块的区块头特征值、版本号、时间戳和难度值，并以此类推，使得区块链中每个区块中存储的区块数据均与父区块中存储的区块数据存在关联，保证了区块中输入信息的安全性。

参见图3C，图3C示出了根据本申请的一个实施例的技术方案产生新区块的示意图，在生成区块链中的各个区块时，区块链所在的节点在接收到输入信息时，对输入信息进行校验，完成校验后，将输入信息存储至内存池中，并更新其用于记录输入信息的哈希树；之后，将更新时间戳更新为接收到输入信息的时间，并尝试不同的随机数，多次进行特征值计算，使得计算得到的特征值可以满足下述公式：

其中，SHA256为计算特征值所用的特征值算法；version（版本号）为区块链中相关区块协议的版本信息；prev_hash为当前区块的父区块的区块头特征值；merkle_root为输入信息的特征值；ntime为更新时间戳的更新时间；nbits为当前难度，在一段时间内为定值，并在超出固定时间段后再次进行确定；x为随机数；TARGET为特征值阈值，该特征值阈值可以根据nbits确定得到。

这样，当计算得到满足上述公式的随机数时，便可将信息对应存储，生成区块头和区块主体，得到当前区块。随后，区块链所在节点根据区块链数据共享系统中其他节点的节点标识，将新生成的区块分别发送给其所在的区块链数据共享系统中的其他节点，由其他节点对新生成的区块进行校验，并在完成校验后将新生成的区块添加至其存储的区块链中。

在本申请的一个实施例中，客户端所获取的待分类内容、候选内容分类标签以及候选内容分类标签整体对应的分类特征向量，均可以从多个节点构成的区块链数据共享系统中获取，具体的，可以从区块链数据共享系统中的某个节点服务器上获取上述信息。

在本申请的一个实施例中，候选内容分类标签是指用一些关键词对内容的简单标注，可以起到对内容进行分类的作用。该候选内容分类标签可以是根据图像内容元素划分得到的多个标签，图像内容元素可以是指容易对用户造成心理不适的内容元素，如活物宰杀、恶心牙齿，恶心痘痘、皮肤病、头发头皮特写、人体肢体特写、密集恐惧、孕妇生产、蛇、恶心虫类、软体动物、人体畸形、惊恐惊悚、血腥、医学图片、恶心吃播、恐怖惊悚等内容元素，当然，本实施例中的图像内容元素并不限定于此。候选内容分类标签与图像内容元素之间具有对应关系，如可以是一一对应关系，即一个图像内容元素对应一个候选内容分类标签。

需要指出的是，对于不包含上述任意一项图像内容元素的内容，其候选内容分类标签可以被设置为正常图片。

在本申请的一个实施例中，由于候选内容分类标签反映了内容所属的主题类别，因而，候选内容分类标签整体对应的分类特征向量是指对不同主题类别进行整体表征的一种特征信息，它是基于多个图像内容元素对应的图像特征向量以及用于表示图像内容元素之间的关联关系的关联矩阵生成的。

在本申请的一个实施例中，图像内容元素对应的图像特征向量可以表征该图像内容元素所具有的特性信息。关联矩阵可以用于表示图像内容元素之间的关联关系，如皮肤病和恶心痘痘均属于皮肤问题这一共同特征信息的图像内容元素，因而，两者之间被认为是存在关联的；而恶心痘痘和活物宰杀为不存在共同特征信息的图像内容元素，因而，两者之间被认为是不存在关联的。由于关联矩阵可以有效反映出图像内容元素之间的关联关系，因此可以作为内容分类预测时的一个因素，以提高进行内容分类预测的准确度。

参考图4，图4示出了根据本申请的一个实施例的内容分类方法的步骤S210的具体流程图，步骤S210具体可以包括步骤S410至步骤S430，详细描述如下。

在步骤S410中，获取多个图像内容元素对应的图像特征向量，以及获取包含多个图像内容元素之间的关联关系的关联矩阵。

在本申请的一个实施例中，在生成候选内容分类标签整体对应的分类特征向量之前，需要先获取多个图像内容元素对应的图像特征向量，以及包含多个图像内容元素之间的关联关系的关联矩阵。

在本申请的一个实施例中，每个图像内容元素对应的图像特征向量可以通过对包含该图像内容元素的图像进行特征提取所生成。

参考图5，图5示出了根据本申请的一个实施例的内容分类方法的步骤S410的具体流程图，步骤S410具体可以包括步骤S510至步骤S530，详细描述如下。

在步骤S510中，针对每个图像内容元素，分别获取包含图像内容元素的目标样本图像。

在本申请的一个实施例中，目标样本图像是指包含某一个图像内容元素的图像，以包含蛇的图像内容元素为例，目标样本图像即为包含蛇的图片或视频帧。目标样本图像可以是从包含蛇的图片数据库中获取，而包含蛇的视频帧则是对包含蛇的视频通过视频帧抽取的方式所获取的。

可以理解，针对每个图像内容元素，均会获取包含该图像内容元素的大量目标样本图像，组成该图像内容元素对应的目标样本图像集。

在步骤S520中，针对每个图像内容元素，分别对目标样本图像进行特征提取，得到目标样本图像对应的样本图像特征向量。

在本申请的一个实施例中，针对每个目标样本图像，样本图像特征向量作为对目标样本图像进行特征提取生成的特征信息，语句特征向量可以反映出目标样本图像所具有的特性信息。

在对目标样本图像进行特征提取时，可以是采用机器学习模型来实现，该机器学习模型可以是BIT（Big Transfer)模型。可以理解，对目标样本图像进行特征提取时的机器学习模型，可以是没有采用目标样本图像作为特定的训练集样本进行训练得到的机器学习模型，即采用没有经过微调的BIT模型进行特征提取的。

在步骤S530中，针对每个图像内容元素，基于目标样本图像对应的样本图像特征向量的平均值，生成图像内容元素对应的图像特征向量。

在本申请的一个实施例中，针对每个图像内容元素，在得到目标样本图像对应的样本图像特征向量后，根据目标样本图像对应的样本图像特征向量的平均值，生成该图像内容元素对应的图像特征向量。各个图像内容元素对应的图像特征向量是分别基于包含该图像内容元素的大量目标样本图像生成的，它可以有效反映该图像内容元素所具有的特征信息。

在本申请的一个实施例中，关联矩阵可以是基于多个图像内容元素之间的关联关系所生成。

参考图6，图6示出了根据本申请的一个实施例的内容分类方法的步骤S410的具体流程图，步骤S410具体可以包括步骤S610至步骤S620，详细描述如下。

在步骤S610中，确定多个图像内容元素中每两个图像内容元素之间的关联度。

在本申请的一个实施例中，针对多个图像内容元素中的每两个图像内容元素，若这两个图像内容元素之间存在关联，则可以将其关联度设置为1，若这两个图像内容元素之间不存在关联，则可以将其关联度设置为0。而图像内容元素之间是否存在关联，可以依据各个图像内容元素所反映的内容元素之间的关联关系进行人工设置。表2示出了图像内容元素之间的关联关系的示意表。

通过表2可以确定多个图像内容元素中的每两个图像内容元素之间的关联关系，如皮肤病和恶心痘痘这两个图像内容元素之间的关联度为1，皮肤病和孕妇生产这两个图像内容元素之间的关联度为0。

在步骤S620中，基于关联度，生成用于表示图像内容元素之间的关联关系的关联矩阵。

在本申请的一个实施例中，在确定多个图像内容元素中每两个图像内容元素之间的关联度后，则可以基于确定的关联度，生成用于表示图像内容元素之间的关联关系的关联矩阵。

图7示出了根据本申请的一个实施例的用于表示图像内容元素之间的关联关系的关联矩阵。

还请继续参考图4，在步骤S420中，将多个图像内容元素对应的图像特征向量进行拼接处理，生成图像特征矩阵。

在本申请的一个实施例中，在得到多个图像内容元素对应的图像特征向量后，可以对将多个图像内容元素对应的图像特征向量进行拼接处理生成图像特征矩阵，进行拼接处理的过程实际上是根据多个向量生成一个矩阵的过程，如图像内容元素对应的图像特征向量均为2048维的向量，而图像内容元素的个数为18个，那么生成的图像特征矩阵为18*2048的矩阵。

在步骤S430中，基于图像特征矩阵以及关联矩阵，生成候选内容分类标签整体对应的分类特征向量。

在本申请的一个实施例中，在得到图像特征矩阵以及关联矩阵后，在基于这两个矩阵生成候选内容分类标签整体对应的分类特征向量时，可以是将图像特征矩阵和关联矩阵进行矩阵相乘变换得到一个新的特征向量，所得到的特征向量即为候选内容分类标签整体对应的分类特征向量。

可以理解，分类特征向量既包含各个图像内容元素对应的特征信息，也包含图像内容元素之间的关联特征信息。

在本申请的一个实施例中，步骤S430可以是通过机器学习模型来实现的，该机器学习模型可以是卷积神经网络（CNN，Convolutional Neural Networks）模型，也可以是深度神经网络模型，在此不作限定。

还请继续参考图2，在步骤S220中，基于待分类内容包含的内容，生成内容特征向量。

在本申请的一个实施例中，在获取待分类内容后，通过待分类内容所包含的内容进行特征提取来生成包含该待分类内容的内容特征的内容特征向量。

参考图8，图8示出了根据本申请的一个实施例的内容分类方法的步骤S220的具体流程图，步骤S220具体可以包括步骤S810至步骤S820，详细描述如下。

在步骤S810中，基于待分类内容包含的图像内容，生成图像内容对应的图像特征向量，以及基于待分类内容包含的文本内容，生成文本内容对应的文本特征向量。

在本申请的一个实施例中，在基于待分类内容生成文本特征向量时，针对待分类内容包含的图像内容，可以通过对该图像内容进行特征提取来生成图像内容对应的图像特征向量；针对待分类内容包含的文本内容，可以通过对该文本内容进行特征提取来生成文本内容对应的文本特征向量。

通过对待分类内容包含的图像内容和文本内容分别进行特征提取处理，可以分别提取内容在图像和文本这两种模态下的特征信息，以使得所提取的待分类内容的特征更加丰富，有利于提高对待分类内容进行分类预测的准确度。

在本申请的一个实施例中，对待分类内容包含的图像内容进行特征提取时，可以是采用机器学习模型来实现，该机器学习模型可以是预训练的BIT（Big Transfer)模型，在此不作具体限定。

参考图9，图9示出了根据本申请的一个实施例的内容分类方法的流程图，可以包括步骤S910至步骤S940，详细描述如下。

在步骤S910中，获取包含候选内容分类标签对应的图像内容元素的候选图像。

在本申请的一个实施例中，在对BIT模型进行训练时，为了提升BIT模型针对多种分类场景下的图像进行图像特征提取的效果，需要提升该BIT模型的表征能力，基于此，可以采用目标样本图像作为特定的训练集样本对BIT模型进行训练，其中，目标样本图像是指包含候选内容分类标签对应的图像内容元素的候选图像。

在步骤S920中，对候选图像进行裁剪处理，生成裁剪后的图像。

在本申请的一个实施例中，对BIT模型进行训练，为了提升BIT模型的表征能力，可以采用更大的训练集样本来对BIT模型进行训练。具体而言，可以对获取的训练集样本中的部分或全部的候选图像进行裁剪等数据增强处理，得到裁剪处理后的图像。

在步骤S930中，基于裁剪后的图像以及候选图像，生成训练集样本数据，训练集样本数据中的每条样本数据包含样本图像以及样本图像所属的候选内容分类标签。

在本申请的一个实施例中，在得到裁剪后的图像后，可以将裁剪后的图像和训练集样本原有的候选图像一起作为对应的样本图像，并根据这些训练样本得到训练集样本，进而实现得到更大的训练集样本。此外，在生成训练集样本中的任意一条样本时，可以为样本图像所包含图像内容元素为该样本图像添加对应的候选内容分类标签，即训练集样本数据中的每条样本数据包含样本图像以及该样本图像所属的候选内容分类标签。

在步骤S940中，基于训练集样本数据对待训练的机器学习模型进行训练，得到预训练的机器学习模型。

在本申请的一个实施例中，在得到训练集样本数据后，则基于训练集样本数据对待训练的机器学习模型进行训练，得到预训练的机器学习模型。

在本申请的一个实施例中，对机器学习模型进行训练的过程是调整机器学习模型对应的网络结构中的各项系数的过程。具体的，可以预先为机器学习模型对应的网络结构分配初始系数，对于输入至机器学习模型中的图像内容，机器学习模型对应的网络结构可以对图像内容进行特征提取，得到图像内容对应的图像特征向量，并基于所提取的图像特征向量生成图像内容对应的图像特征向量，以及基于图像内容对应的图像特征向量预测该图像内容属于各个候选内容分类标签时的分类预测概率，并进一步选择分类预测概率最高的候选内容分类标签作为所预测的候选内容分类标签。

为了保证机器学习模型的分类效果，可以计算所预测的候选内容分类标签对应的分类预测概率与预设分类预测概率阈值之间的关系，若所预测的候选内容分类标签对应的分类预测概率与预设分类预测概率阈值之间的差值不处于预定差值范围，则对机器学习模型对应的网络结构分配的初始系数进行调整更新，直至机器学习模型所预测的候选内容分类标签对应的分类预测概率与预设分类预测概率阈值之间的差值处于预定差值范围。满足上述条件的训练后的机器学习模型即可以作为预训练的机器学习模型。

可以理解，本申请的实施例中，仅需要通过预训练的机器学习模型去提取图像内容对应的图像特征向量即可。

图9所示实施例的技术方案中，通过对训练集样进行了数据增强处理，使得BIT模型能更加关注图像的边缘部分，可以增加模型的泛化能力以提升BIT模型的表征能力。

在本申请的一个是实施例中，在选择BIT模型的损失函数时，可以选择labelsmoothing(标签平滑)函数作为损失函数。由于label smoothing函数是一种正则化的方法，它可以减少真实样本的候选内容分类标签在计算损失函数时的权重，起到抑制BIT模型过拟合的作用，因此可以进一步提升BIT模型的表征能力。

在本申请的一个实施例中，对待分类内容包含的文本内容进行特征提取时，可以是采用机器学习模型来实现，该机器学习模型可以是预训练的BERT模型，或者也可以是Word2Vec的模型等，在此不作具体限定。

参考图10，图10示出了根据本申请的一个实施例的内容分类方法的步骤S810的具体流程图，步骤S810可以包括步骤S1010至步骤S1030，详细描述如下。

在步骤S1010中，对待分类内容包含的文本内容进行分词处理，得到文本内容对应的分词结果以及分词结果所包含的各个词汇在分词结果所处的位置信息。

在本申请的一个实施例中，对于待分类内容包含的文本内容，需要先对待分类内容包含的文本内容进行分词处理，得到文本内容对应的分词结果以及分词结果所包含的各个词汇在分词结果所处的位置信息。

具体而言，若文本内容为标题文本，在对标题进行分词处理时，会生成包含多个词汇的一个分词结果。若文本内容为文章正文，在文章正文进行分词处理时，会先对文章正文进行分句处理，如按照标点符号等字符对文章进行分句处理得到多个待处理语句，并进一步对多个待处理语句分别进行分词处理，得到的多个待处理语句分别对应的分词结果。

在步骤S1020中，基于分词结果，生成各个词汇对应的词汇特征向量，以及基于分词结果所包含的各个词汇在分词结果所处的位置信息，生成位置特征向量。

在本申请的一个实施例中，在得到分词结果后，将分词结果所包含的各个词汇转换为一个词向量进行表示，以生成分词结果所包含的各个词汇对应的词汇特征向量。

在基于分词结果所包含的各个词汇在分词结果所处的位置信息生成位置特征向量时，可以通过对分词结果所包含的各个词汇在分词结果所处的位置信息进行位置编码处理，得到位置特征向量。进行位置编码处理的方式可以是根据分词结果所包含的各个词汇在分词结果所处的位置信息生成对应的词向量，并将所生成的词向量作为位置特征向量；当然，也可以采用正弦位置编码（Sinusoidal Position Encoding）算法来生成位置特征向量，在此不作限定。

在步骤S1030中，基于位置特征向量对所述各个词汇对应的词汇特征向量进行融合处理，生成包含上下文语义信息的文本特征向量。

在本申请的一个实施例中，文本特征向量是指包含上下文语义信息的一种特征向量。对词汇特征向量进行融合处理，生成文本特征向量可以通过注意力（attention）网络层来实现，transformer网络层包括注意力（attention）网络层，该注意力网络层可以根据位置特征向量充分挖掘出每个词汇之间的关系，实现充分挖掘出分词结果所包含的词汇之间的上下文语义关系，进而生成包含上下文语义信息的文本特征向量。

可以理解，由于待分类内容包含的文本内容一般特指待分类内容的标题，而待分类内容的标题一般与待分类内容包含的图像内容所表达的主题类别有关，因此，文本特征向量可以作为待分类内容进行分类预测的一个特征因素。

在本申请的一个实施例中，在对图像特征向量以及文本特征向量进行特征融合时，可以将图像特征向量和文本特征向量直接进行拼接，即得到一个向量维度更高的特征向量，作为进行特征融合得到的内容特征向量，内容特征向量反映了内容所具有的特征信息。可以理解，内容特征向量包含图像模态以及文本模态这两种模态下的特征信息。

在本申请的一个实施例中，在对图像特征向量以及文本特征向量进行特征融合时，可以将图像特征向量和文本特征向量之间的乘积，作为进行特征融合得到的内容特征向量，如，可以将图像特征向量和文本特征向量之间的外积作为内容特征向量。

在本申请的一个实施例中，在对图像特征向量以及文本特征向量进行特征融合时，还可以预先为图像特征向量和文本特征向量分配权重，并基于分配的权重，确定图像特征向量和文本特征向量之间的加权和，并将图像特征向量和文本特征向量之间的加权和，作为进行特征融合得到的内容特征向量。通过为图像特征向量和文本特征向量分配不同的权重，可以充分考虑到图像模态以及文本模态这两种不同的模态信息在进行内容分类时的不同作用，将对于进行内容分类的重要因素突出出来，进而提高对待分类内容进行分类预测的准确度。

在本申请的一个实施例中，对图像特征向量以及文本特征向量进行特征融合时，可以是通过先确定图像特征向量以及文本特征向量相对于内容分类的重要性分布概率，在基于所确定的重要性分布概率来实现对图像特征向量以及文本特征向量进行特征融合。通过先确定图像特征向量以及文本特征向量相对于内容分类的重要性分布概率，实现针对任意的待分类内容，都可以从该待分类内容所包含的图像和文本中选取与内容分类的重要性更高的模态信息，以降低对于不重要模态信息的关注程度，进而提高对待分类内容进行分类预测的准确度。

在本申请的一个实施例中，对图像特征向量以及文本特征向量进行特征融合，生成内容特征向量时，可以是基于预训练的机器学习模型来实现。其中，机器学习模型进行训练的过程是调整机器学习模型对应的网络结构中的各项系数，使得对于输入的图像特征向量以及文本特征向量，经过机器学习模型对应的网络结构中的各项系数运算，输出结果为内容特征向量。

图10所示实施例中的技术方案，可以充分挖掘出文本的语义信息，以便于通过待分类内容所包含的文本内容确定内容所反映的主题，由于内容所反映的主题也可以表征出待分类内容所属的分类，相较于仅根据待分类内容所包含的图像内容进行分类预测，通过待分类内容的标题来辅助根据待分类内容所包含的图像内容进行分类预测，可以在一定程度上提高对待分类内容进行分类预测的准确度。

还请继续参考图2，在步骤S230中，基于内容特征向量以及分类特征向量，在候选内容分类标签中预测待分类内容所属的内容分类标签。

在本申请的一个实施例中，由于内容特征向量反映了待分类内容所具有的特征信息，而分类特征向量是指对不同主题类别进行表征的一种特征信息。通过将内容特征向量与分类特征向量进行比较，可以确定待分类内容与各个候选内容分类标签之间的匹配情况，即确定待分类内容是否属于某个候选内容分类标签对应的主题类别，进而在候选内容分类标签中预测待分类内容所属的内容分类标签。

在本申请的一个实施例中，步骤S230可以是通过预训练的机器学习模型来实现的，该机器学习模型可以是卷积神经网络（CNN，Convolutional Neural Networks）模型，也可以是深度神经网络模型，在此不作限定。

参考图11，图11示出了根据本申请的一个实施例的内容分类方法的步骤S230的具体流程图，步骤S230可以包括步骤S1110至步骤S1130，详细描述如下。

在步骤S1110中，基于内容特征向量以及分类特征向量，预测待分类内容属于候选内容分类标签时的分类预测概率。

在本申请的一个实施例中，预训练的机器学习模型在基于内容特征向量以及分类特征向量，在候选内容分类标签中预测待分类内容所属的内容分类标签时，会对内容特征向量以及分类特征向量进行向量相乘，得到一个计算结果，该计算结果即为待分类内容属于各个候选内容分类标签时的分类预测概率。

在步骤S1120中，基于分类预测概率，在候选内容分类标签中选取分类预测概率最大的候选内容分类标签。

在本申请的一个实施例中，分类预测概率越大，则待分类内容属于候选内容分类标签对应的主题类别的可能性较高，反之，分类预测概率越小，则待分类内容属于候选内容分类标签对应的主题类别的可能性较低。

在步骤S1130中，若所选取的候选内容分类标签对应的分类预测概率高于预定分类预测概率阈值，则将所选取的候选内容分类标签作为待分类内容所属的内容分类标签。

在本申请的一个实施例中，为了提高进行内容分类的分类置信度，可以选取分类预测概率最大的候选内容分类标签，并判断所选取的候选内容分类标签对应的分类预测概率是否高于预定分类预测概率阈值。只有当所选取的候选内容分类标签对应的分类预测概率高于预定分类预测概率阈值时，则将所选取的候选内容分类标签作为待分类内容所属的内容分类标签。预定分类预测概率阈值可以是人工预置的参数，也可以是预训练的机器学习模型在进行训练时所确定的参数。

图11所示实施例的技术方案中，通过设置预定分类预测概率阈值，可以避免在待分类内容属于候选内容分类标签对应的主题分类的可能性不高的情况下，将候选内容分类标签错误的预测为待分类内容所属的内容分类标签，从而有效提高了对待分类内容进行分类的准确度。

以上可以看出，通过基于多个图像内容元素对应的图像特征向量以及用于表示图像内容元素之间的关联关系的关联矩阵生成候选内容分类标签整体对应的分类特征向量，并通过待分类内容包含的内容生成内容特征向量，由于内容特征向量反映了待分类内容所具有的特征信息分类，而特征向量是对不同主题类别进行表征的一种特征信息，通过分类特征向量和内容特征向量可以实现对待分类内容进行更加精细粒度的分类识别，有效提高了对待分类内容进行内容分类的准确度。

参考图12，图12示出了根据本申请的一个实施例的内容分类方法的流程图，该实施例中的内容分类方法还可以包括步骤S1210至步骤S1220，详细描述如下。

在步骤S1210中，若用户的兴趣偏好标签中不存在与待分类内容所属的内容分类标签匹配的标签，则将待分类内容添加至禁止向用户进行推送的内容黑名单。

在步骤S1220中，若用户的兴趣偏好标签中存在与待分类内容所属的内容分类标签匹配的标签，则将待分类内容添加为向用户进行推送的内容白名单。

在本申请的一个实施例中，用户的兴趣偏好标签与用户浏览过的内容对应的内容标签有关，内容对应的内容标签可以包括上述候选内容分类标签，还可以包含其它的内容分类标签。

在确定用户的兴趣偏好标签时，具体而言，可以对用户所观看过的内容可以进行统计，如统计同一个内容标签的内容被用户浏览的次数，当用户浏览该内容标签的内容的次数高于预定阈值，则将该内容标签确定为用户的兴趣偏好标签。

在确定待分类内容所属的内容分类标签后，可以将用户的兴趣偏好标签与待分类内容所属的内容分类标签进行匹配，以确定用户的兴趣偏好标签中是否存在与待分类内容所属的内容分类标签相匹配的标签。

当用户的兴趣偏好标签中不存在与待分类内容所属的内容分类标签匹配的标签时，则将待分类内容添加至禁止向用户进行推送的内容黑名单，即待分类内容作为不会向该用户进行推送的内容。当用户的兴趣偏好标签中存在与待分类内容所属的内容分类标签匹配的标签时，则将待分类内容添加为向用户进行推送的内容白名单，即待分类内容可以作为向该用户进行推送的内容。例如，用户经常观看内容标签为蛇的内容，那么该用户的兴趣偏好标签中会包含蛇这个内容标签，当待分类内容所属的内容分类标签为蛇这个内容分类标签时，显然，待分类内容是可以向用户进行推送的。

通过将待分类内容所属的内容分类标签与用户的兴趣偏好标签进行匹配，使得在考虑到待分类内容是否属于容易对用户造成心理健康不适的同时，还基于内容的兴趣爱好去向用户推送内容，避免用户错过感兴趣的内容，提高了进行内容推送的精准度，也提高了向用户推荐的内容被用户点击观览的几率。

下面以检测视频内容是否为包含心理不适的图像内容元素的内容的场景为例，来说明内容分类方法的过程。

图13示出了根据本申请的一个实施例中的待分类系统的构架示意图，图14示出了本申请的一个实施例中的通过不适内容模型对视频内容进行内容识别处理的流程示意图。

以下结合图13和图14，在检测视频内容是否包含心理不适的内容元素的内容，例如，是否为包含活物宰杀、恶心牙齿，恶心痘痘、皮肤病等对用户造成心理不适的内容元素的内容时，需要先获取用于进行检测的视频内容。视频内容可以是用户或者平台管理者等内容生产者上传发布的视频内容，所上传发布的视频内容会被转发至上下行内容接口服务器中进行暂存。

调度中心服务器会对上下行内容接口服务器中存储的视频内容进行排重处理，以确定所上传发布的视频内容是否为已上传过的视频内容，若检测到该视频内容是已上传过的视频内容，则会将该视频内容进行删除；若检测到该视频内容不是已上传过的视频内容，则会将该视频内容对应的源文件存储在内容存储服务器中，进而使得视频内容的内容消费端可以直接从内容存储服务器中获取该视频内容对应的源文件。此外，若检测到该视频内容不是已上传过的视频内容，则该会将已上传过的视频内容添加到内容数据库中，内容数据库中的视频内容可以作为内容分发出口服务器进行内容分发的视频内容。

调度中心服务器在确定该视频内容不是已上传过的视频内容后，会启动对视频内容进行是否包含心理不适的内容元素的内容识别处理，以确定视频内容是否包含心理不适的内容元素。该过程具体可以通过不适内容模型来实现，不适内容模型通过下载文件系统从内容存储服务器下载需要进行检测的视频文件，并对视频文件所包含视频进行抽帧处理得到多个图像帧，作为视频内容所包含的图像内容，并提取视频文件所包含的标题文本，作为视频内容所包含的文本内容。

参考图14所示，不适内容模型具体可以包括预训练的BIT模型1405、预训练的BERT模型1406、多模态融合网络层1409以及分类预测网络层1411。

视频内容所包含的图像内容会被输入至预训练的BIT模型1405中，由预训练的BIT模型1405对视频内容所包含的图像内容进行图像特征提取，得到图像内容对应的图像特征向量1407。

视频内容所包含的文本内容会被输入至预训练的BERT模型1406中，由预训练的BERT模型1406对视频内容所包含的文本内容进行文本特征提取，得到文本内容对应的文本特征向量1408。

多模态融合网络层1409对图像特征向量1407和文本特征向量1408进行特征融合，生成内容特征向量1410。

不适内容模型还获取候选内容分类标签整体对应的分类特征向量1404，该分类特征向量1404是基于多个图像内容元素对应的图像特征向量以及用于表示图像内容元素之间的关联关系的关联矩阵生成的，候选内容分类标签是根据图像内容元素划分得到的多个标签1403，例如，恶心痘痘、皮肤病、密集恐惧、血腥、惊悚。其中，图像特征向量和关联矩阵的生成方式还请参照前述实施例的描述，在此不再赘述。

不适内容模型中的分类预测网络层1411对分类特征向量1404以及内容特征向量1410进行分类预测处理，预测得到视频内容属于各候选内容分类标签时的分类预测概率1412。基于分类预测概率1412，即可以实现在候选内容分类标签中预测视频内容所属的内容分类标签。具体而言，可以基于分类预测概率1412，在候选内容分类标签中选取分类预测概率最大的候选内容分类标签；若所选取的候选内容分类标签对应的分类预测概率1412高于预定分类预测概率阈值，则将所选取的候选内容分类标签作为视频内容所属的内容分类标签。进而实现确定视频内容所属的内容分类标签，由此实现视频内容是否为包含心理不适的内容元素的内容。

若不适内容模型检测到视频内容为包含心理不适的内容元素的内容，则会将内容添加到不适内容库，不适内容库中的视频内容作为不会向内容消费端进行推送或分发的内容。当然，对于不适内容库中所添加的任意一个视频内容，可以由运营人员进行进一步的复核，进而保证内容识别的准确性。

以上可以看出，通过基于多个图像内容元素对应的图像特征向量以及用于表示图像内容元素之间的关联关系的关联矩阵生成候选内容分类标签整体对应的分类特征向量，并通过视频内容包含的图像内容对应的图像特征向量以及视频内容包含的文本内容对应的文本特征向量，生成内容特征向量，由于内容特征向量反映了视频内容所具有的特征信息分类，而特征向量是对不同主题类别进行表征的一种特征信息，由此通过分类特征向量和内容特征向量可以实现对视频内容进行更加精细粒度的分类识别，可以有效提高对视频内容进行内容分类的准确度。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的内容分类方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的内容分类方法的实施例。

图15示出了根据本申请的一个实施例的内容分类装置的框图。

参照图15所示，根据本申请的一个实施例的内容分类装置1500，包括：第一获取单元1510、第一生成单元1520、以及预测单元1530。其中，第一获取单元1510，用于获取候选内容分类标签，以及获取所述候选内容分类标签整体对应的分类特征向量，所述候选内容分类标签是根据图像内容元素划分得到的多个标签，所述分类特征向量是基于多个图像内容元素对应的图像特征向量以及用于表示图像内容元素之间的关联关系的关联矩阵生成的；第一生成单元1520，用于基于待分类内容包含的内容，生成内容特征向量；预测单元1530，用于基于所述内容特征向量以及所述分类特征向量，在所述候选内容分类标签中预测所述待分类内容所属的内容分类标签。

在本申请的一些实施例中，基于前述方案，所述第一获取单元1510被配置为：获取多个图像内容元素对应的图像特征向量，以及获取包含所述多个图像内容元素之间的关联关系的关联矩阵；将多个图像内容元素对应的图像特征向量进行拼接处理，生成图像特征矩阵；基于所述图像特征矩阵以及所述关联矩阵，生成所述候选内容分类标签整体对应的分类特征向量。

在本申请的一些实施例中，基于前述方案，所述第一获取单元1510被配置为：针对每个图像内容元素，分别获取包含所述图像内容元素的目标样本图像；针对每个图像内容元素，分别对所述目标样本图像进行特征提取，得到所述目标样本图像对应的样本图像特征向量；针对每个图像内容元素，基于所述目标样本图像对应的样本图像特征向量的平均值，生成所述图像内容元素对应的图像特征向量。

在本申请的一些实施例中，基于前述方案，所述第一获取单元1510被配置为：确定所述多个图像内容元素中每两个图像内容元素之间的关联度；基于所述关联度，生成用于表示图像内容元素之间的关联关系的关联矩阵。

在本申请的一些实施例中，基于前述方案，所述第一生成单元1520被配置为：基于待分类内容包含的图像内容，生成所述图像内容对应的图像特征向量，以及基于待分类内容包含的文本内容，生成所述文本内容对应的文本特征向量；对所述图像特征向量以及所述文本特征向量进行特征融合，生成内容特征向量。

在本申请的一些实施例中，基于前述方案，所述内容分类装置还包括：第二获取单元，用于获取包含所述候选内容分类标签对应的图像内容元素的候选图像；裁剪单元，用于对所述候选图像进行裁剪处理，生成裁剪后的图像；第二生成单元，用于基于所述裁剪后的图像以及所述候选图像，生成训练集样本数据，所述训练集样本数据中的每条样本数据包含样本图像以及所述样本图像所属的候选内容分类标签；训练单元，用于基于所述训练集样本数据对待训练的机器学习模型进行训练，得到所述预训练的机器学习模型。

在本申请的一些实施例中，基于前述方案，所述第一生成单元1520被配置为：对所述待分类内容包含的文本内容进行分词处理，得到所述文本内容对应的分词结果以及所述分词结果所包含的各个词汇在所述分词结果所处的位置信息；基于所述分词结果，生成所述各个词汇对应的词汇特征向量，以及基于所述分词结果所包含的各个词汇在所述分词结果所处的位置信息，生成位置特征向量；基于所述位置特征向量对所述各个词汇对应的词汇特征向量进行融合处理，生成包含上下文语义信息的文本特征向量。

在本申请的一些实施例中，基于前述方案，所述预测单元1530被配置为：基于所述内容特征向量以及所述分类特征向量，预测所述待分类内容属于所述候选内容分类标签时的分类预测概率；基于所述分类预测概率，在所述候选内容分类标签中选取分类预测概率最大的候选内容分类标签；若所选取的候选内容分类标签对应的分类预测概率高于预定分类预测概率阈值，则将所选取的候选内容分类标签作为所述待分类内容所属的内容分类标签。

在本申请的一些实施例中，基于前述方案，所述内容分类装置还包括：第一添加单元，用于若用户的兴趣偏好标签中不存在与所述待分类内容所属的内容分类标签匹配的标签，则将所述待分类内容添加至禁止向所述用户进行推送的内容黑名单；第二添加单元，用于若用户的兴趣偏好标签中存在与所述待分类内容所属的内容分类标签匹配的标签，则将所述待分类内容添加为向所述用户进行推送的内容白名单。

图16示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图16示出的电子设备的计算机系统1600仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图16所示，计算机系统1600包括中央处理单元（Central Processing Unit，CPU）1601，其可以根据存储在只读存储器（Read-Only Memory，ROM）1602中的程序或者从存储部分1608加载到随机访问存储器（Random Access Memory，RAM）1603中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1603中，还存储有系统操作所需的各种程序和数据。CPU 1601、ROM 1602以及RAM 1603通过总线1604彼此相连。输入/输出（Input/Output，I/O）接口1605也连接至总线1604。

以下部件连接至I/O接口1605：包括键盘、鼠标等的输入部分1606；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分1607；包括硬盘等的存储部分1608；以及包括诸如LAN（Local AreaNetwork，局域网）卡、调制解调器等的网络接口卡的通信部分1609。通信部分1609经由诸如因特网的网络执行通信处理。驱动器1610也根据需要连接至I/O接口1605。可拆卸介质1611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1610上，以便于从其上读出的计算机程序根据需要被安装入存储部分1608。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1609从网络上被下载和安装，和/或从可拆卸介质1611被安装。在该计算机程序被中央处理单元（CPU）1601执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、闪存、光纤、便携式紧凑磁盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、触控终端、或者网络设备等）执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种内容分类方法，其特征在于，包括：

获取候选内容分类标签，以及获取所述候选内容分类标签整体对应的分类特征向量，所述候选内容分类标签是根据图像内容元素划分得到的多个标签，所述分类特征向量是基于多个图像内容元素对应的图像特征向量以及用于表示图像内容元素之间的关联关系的关联矩阵生成的；

基于待分类内容包含的内容，生成内容特征向量；

基于所述内容特征向量以及所述分类特征向量，在所述候选内容分类标签中预测所述待分类内容所属的内容分类标签。

2.根据权利要求1所述的内容分类方法，其特征在于，所述获取所述候选内容分类标签整体对应的分类特征向量，包括：

获取多个图像内容元素对应的图像特征向量，以及获取包含所述多个图像内容元素之间的关联关系的关联矩阵；

将多个图像内容元素对应的图像特征向量进行拼接处理，生成图像特征矩阵；

基于所述图像特征矩阵以及所述关联矩阵，生成所述候选内容分类标签整体对应的分类特征向量。

3.根据权利要求2所述的内容分类方法，其特征在于，所述获取多个图像内容元素对应的图像特征向量，包括：

针对每个图像内容元素，分别获取包含所述图像内容元素的目标样本图像；

针对每个图像内容元素，分别对所述目标样本图像进行特征提取，得到所述目标样本图像对应的样本图像特征向量；

针对每个图像内容元素，基于所述目标样本图像对应的样本图像特征向量的平均值，生成所述图像内容元素对应的图像特征向量。

4.根据权利要求2所述的内容分类方法，其特征在于，所述获取包含所述多个图像内容元素之间的关联关系的关联矩阵，包括：

确定所述多个图像内容元素中每两个图像内容元素之间的关联度；

基于所述关联度，生成用于表示图像内容元素之间的关联关系的关联矩阵。

5.根据权利要求1所述的内容分类方法，其特征在于，所述基于待分类内容包含的内容，生成内容特征向量，包括：

基于待分类内容包含的图像内容，生成所述图像内容对应的图像特征向量，以及基于待分类内容包含的文本内容，生成所述文本内容对应的文本特征向量；

对所述图像特征向量以及所述文本特征向量进行特征融合，生成内容特征向量。

6.根据权利要求5所述的内容分类方法，其特征在于，通过预训练的机器学习模型来生成所述图像内容对应的图像特征向量，所述内容分类方法还包括：

获取包含所述候选内容分类标签对应的图像内容元素的候选图像；

对所述候选图像进行裁剪处理，生成裁剪后的图像；

基于所述裁剪后的图像以及所述候选图像，生成训练集样本数据，所述训练集样本数据中的每条样本数据包含样本图像以及所述样本图像所属的候选内容分类标签；

基于所述训练集样本数据对待训练的机器学习模型进行训练，得到所述预训练的机器学习模型。

7.根据权利要求5所述的内容分类方法，其特征在于，所述基于待分类内容包含的文本内容，生成所述文本内容对应的文本特征向量，包括：

对所述待分类内容包含的文本内容进行分词处理，得到所述文本内容对应的分词结果以及所述分词结果所包含的各个词汇在所述分词结果所处的位置信息；

基于所述分词结果，生成所述各个词汇对应的词汇特征向量，以及基于所述分词结果所包含的各个词汇在所述分词结果所处的位置信息，生成位置特征向量；

基于所述位置特征向量对所述各个词汇对应的词汇特征向量进行融合处理，生成包含上下文语义信息的文本特征向量。

8.根据权利要求1所述的内容分类方法，其特征在于，所述基于所述内容特征向量以及所述分类特征向量，在所述候选内容分类标签中预测所述待分类内容所属的内容分类标签，包括：

基于所述内容特征向量以及所述分类特征向量，预测所述待分类内容属于所述候选内容分类标签时的分类预测概率；

基于所述分类预测概率，在所述候选内容分类标签中选取分类预测概率最大的候选内容分类标签；

若所选取的候选内容分类标签对应的分类预测概率高于预定分类预测概率阈值，则将所选取的候选内容分类标签作为所述待分类内容所属的内容分类标签。

9.根据权利要求1所述的内容分类方法，其特征在于，在所述基于所述内容特征向量以及所述分类特征向量，在所述候选内容分类标签中预测所述待分类内容所属的内容分类标签之后，所述内容分类方法还包括：

若用户的兴趣偏好标签中不存在与所述待分类内容所属的内容分类标签匹配的标签，则将所述待分类内容添加至禁止向所述用户进行推送的内容黑名单；

若用户的兴趣偏好标签中存在与所述待分类内容所属的内容分类标签匹配的标签，则将所述待分类内容添加为向所述用户进行推送的内容白名单。

10.一种内容分类装置，其特征在于，包括：

第一获取单元，用于获取候选内容分类标签，以及获取所述候选内容分类标签整体对应的分类特征向量，所述候选内容分类标签是根据图像内容元素划分得到的多个标签，所述分类特征向量是基于多个图像内容元素对应的图像特征向量以及用于表示图像内容元素之间的关联关系的关联矩阵生成的；

第一生成单元，用于基于待分类内容包含的内容，生成内容特征向量；

预测单元，用于基于所述内容特征向量以及所述分类特征向量，在所述候选内容分类标签中预测所述待分类内容所属的内容分类标签。

Images