CN113836329B - 多媒体内容分类方法、装置、电子设备和存储介质 - Google Patents

多媒体内容分类方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113836329B
CN113836329B CN202111147967.9A CN202111147967A CN113836329B CN 113836329 B CN113836329 B CN 113836329B CN 202111147967 A CN202111147967 A CN 202111147967A CN 113836329 B CN113836329 B CN 113836329B
Authority
CN
China
Prior art keywords
loss
classification
hierarchical
content
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111147967.9A
Other languages
English (en)
Other versions
CN113836329A (zh
Inventor
黄剑辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111147967.9A priority Critical patent/CN113836329B/zh
Publication of CN113836329A publication Critical patent/CN113836329A/zh
Application granted granted Critical
Publication of CN113836329B publication Critical patent/CN113836329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了多媒体内容分类方法、装置、电子设备和存储介质；可获取包括内容样本和内容样本对应的层级分类标签的内容样本集合，采用待训练的层次分类模型对内容样本进行内容分类，得到各层级分类结果，根据各层级分类结果和层级分类标签，计算各分类层级对应的损失，根据基于模型的当前训练次数与预设的总训练次数之间的比例计算得到的各分类层级对应的损失权重和损失计算总损失，根据总损失调整模型，得到训练后的层次分类模型，通过训练后的层次分类模型对待分类内容分类；因此，可以无需人工设置对模型中各层级损失的侧重程度，避免了人为因素影响模型训练，本发明实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。

Description

多媒体内容分类方法、装置、电子设备和存储介质
技术领域
本发明涉及多媒体内容处理领域，具体涉及多媒体内容分类方法、装置、电子设备和存储介质。
背景技术
层次分类(Hierarchical Multi-Label Classification)是自然语言处理(Natural Language Processing，NLP)和计算机视觉(Computer Vision，CV)等领域的多分类中重要的一项任务，其主要的特点在于，层次分类中的类目标签具有上下级的关系，上级标签是下级标签的父级，越往下级层次分类的粒度越细。
目前，在对可以对文本进行分类的层次分类模型进行训练时采取的主要方法是，由人工确认对层级分类模型中各层级的损失的侧重程度，最终综合各层级的损失作为层次分类模型的总损失以调整层次分类模型。但是采用这种方案，不能够保证人工确认的侧重程度是合理的，具有一定的主观性，且由人工设定对各层级损失的侧重程度，则侧重程度不能够自动根据训练情况进行调整。
发明内容
本发明实施例提供一种多媒体内容分类方法、装置、电子设备和存储介质，可以无需人工设置对层级分类模型中各层级的损失的侧重程度，节约人力资源，在保障层次分类模型总损失的准确性的基础上避免人为因素对模型训练过程的影响。
本发明实施例提供一种多媒体内容分类方法，包括：
获取内容样本集合，所述内容样本集合包括内容样本以及所述内容样本对应的至少两个层级分类标签，所述层级分类标签之间具有层级关系；
采用待训练的层次分类模型，对所述内容样本进行内容分类，得到所述内容样本对应的各层级分类结果；
根据所述各层级分类结果以及所述层级分类标签，计算所述待训练的层次分类模型在各分类层级对应的损失；
根据所述各分类层级对应的损失权重以及所述各分类层级对应的损失，计算所述待训练的层次分类模型的总损失，其中，所述各分类层级对应的损失权重基于所述待训练的层次分类模型的当前训练次数与预设的总训练次数之间的比例计算得到；
根据所述总损失，对所述待训练的层次分类模型进行调整，得到训练后的层次分类模型，以使得所述训练后的层次分类模型对待分类内容进行内容分类。
相应的，本发明实施例还提供一种多媒体内容分类装置，包括：
样本获取单元，用于获取内容样本集合，所述内容样本集合包括内容样本以及所述内容样本对应的至少两个层级分类标签，所述层级分类标签之间具有层级关系；
层级分类单元，用于采用待训练的层次分类模型，对所述内容样本进行内容分类，得到所述内容样本对应的各层级分类结果；
分层损失计算单元，用于根据所述各层级分类结果以及所述层级分类标签，计算所述待训练的层次分类模型在各分类层级对应的损失；
总损失计算单元，用于根据所述各分类层级对应的损失权重以及所述各分类层级对应的损失，计算所述待训练的层次分类模型的总损失，其中，所述各分类层级对应的损失权重基于所述待训练的层次分类模型的当前训练次数与预设的总训练次数之间的比例计算得到；
模型调整单元，用于根据所述总损失，对所述待训练的层次分类模型进行调整，得到训练后的层次分类模型，以使得所述训练后的层次分类模型对待分类内容进行内容分类。
可选的，所述层次分类模型包括第一分类模型和所述第一分类模型对应的至少一个第二分类模型，所述第一分类模型与所述第二分类模型之间具有层级关系；
所述层级分类单元，用于采用待训练的第一分类模型，对所述内容样本进行内容分类，得到所述内容样本对应的第一层级分类结果；
采用待训练的第二分类模型，对所述内容样本进行内容分类，得到所述内容样本对应的第二层级分类结果；
将所述第一层级分类结果和所述第二层级分类结果，作为所述内容样本对应的各层级分类结果。
可选的，所述层级分类单元，用于采用待训练的所述第一分类模型，对所述内容样本进行内容分类，得到所述内容样本对应的第一层级分类结果；
基于所述第一层级分类结果以及预设的第一层级分类结果与第二分类任务的对应关系，确定所述第一层级分类结果对应的第二分类任务；
采用待训练的所述第二分类模型，对所述内容样本根据所述第二分类任务进行内容分类，得到所述内容样本对应的第二层级分类结果；
将所述第一层级分类结果和所述第二层级分类结果，作为所述内容样本对应的各层级分类结果。
可选的，所述层级分类标签至少包括第一层级分类标签和第二层级分类标签，所述分层损失计算单元，用于通过所述第一层级分类结果和所述第一层级分类标签，计算所述第一分类模型的第一损失；
通过所述第二层级分类结果和所述第二层级分类标签，计算所述第二分类模型的第二损失；
将所述第一损失和所述第二损失作为所述待训练的层次分类模型在各分类层级对应的损失。
可选的，本发明实施例提供的多媒体内容分类装置还包括权重确定单元，用于基于所述层次分类模型的当前训练次数与预设的总训练次数之间的比例，确定所述待训练的层次分类模型的损失侧重度；
根据所述损失侧重度，确定所述第一损失对应的第一权重和所述第二损失对应的第二权重；
将所述第一权重和所述第二权重作为所述各分类层级对应的损失权重。
可选的，所述权重确定单元，用于从所述第一损失和所述第二损失中确定目标损失；
基于所述损失侧重度，确定所述目标损失对应的目标权重；
根据所述目标权重，确定所述第一损失和所述第二损失中除所述目标损失之外另一损失对应的适应权重；
根据所述目标损失对应的目标权重以及另一损失对应的适应权重，确定所述第一损失对应的第一权重和所述第二损失对应的第二权重。
可选的，所述权重确定单元，用于基于所述损失侧重度以及预设的权重计算第一参数，确定第一参考参数；
比较所述第一参考参数和预设的权重计算第二参数，当所述第一参考参数大于所述权重计算第二参数时，将所述第一参考参数作为所述目标损失对应的目标权重。
可选的，本发明实施例提供的多媒体内容分类装置，还包括内容分类单元，用于获取所述待分类内容；
采用所述训练后的层次分类模型，对所述待分类内容进行内容分类，得到所述待分类内容对应的各层级分类结果。
相应的，本发明实施例还提供一种电子设备，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行本发明实施例所提供的任一种多媒体内容分类方法中的步骤。
相应的，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种多媒体内容分类方法中的步骤。
此外，本发明实施例还提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现本发明实施例所提供的任一种多媒体内容分类方法中的步骤。
采用本发明实施例的方案，可以获取内容样本集合，该内容样本集合包括内容样本以及该内容样本对应的至少两个层级分类标签，该层级分类标签之间具有层级关系，采用待训练的层次分类模型，对该内容样本进行内容分类，得到该内容样本对应的各层级分类结果，根据该各层级分类结果以及该层级分类标签，计算该待训练的层次分类模型在各分类层级对应的损失，根据该各分类层级对应的损失权重以及该各分类层级对应的损失，计算该待训练的层次分类模型的总损失，其中，该各分类层级对应的损失权重基于该待训练的层次分类模型的当前训练次数与预设的总训练次数之间的比例计算得到，根据该总损失，对该待训练的层次分类模型进行调整，得到训练后的层次分类模型，以使得该训练后的层次分类模型对待分类内容进行内容分类；由于层次分类模型的总损失是基于当前训练次数和总训练次数对各分类层级的损失进行综合得到的，因此，在综合各分类层级的损失时，可以根据训练进度自动调整对各层级损失的侧重程度，无需人工对层级分类模型中各层级的损失的侧重程度进行设置，节约人力资源，在保障层次分类模型总损失的准确性的基础上避免了人为因素对模型训练过程的影响。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的多媒体内容分类方法的场景示意图；
图2是本发明实施例提供的多媒体内容分类方法的流程图；
图3是本发明实施例提供的得到层次分类模型的总损失的示意图；
图4是本发明实施例提供的多媒体内容分类方法的另一流程示意图；
图5是本发明实施例提供的提取文本特征向量的流程示意图；
图6是本发明实施例提供的多媒体内容分类装置的结构示意图；
图7是本发明实施例提供的多媒体内容分类装置的另一结构示意图；
图8是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种多媒体内容分类方法、装置、电子设备和计算机可读存储介质。具体地，本发明实施例提供适用于多媒体内容分类装置的多媒体内容分类方法，该多媒体内容分类装置可以集成在电子设备中。
该电子设备可以为终端等设备，包括但不限于移动终端和固定终端，例如移动终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等，其中，固定终端包括但不限于台式电脑、智能电视等。
该电子设备还可以为服务器等设备，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此。
本发明实施例的多媒体内容分类方法，可以由终端实现，可以由服务器实现，也可以由终端和服务器共同实现。本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
下面以终端和服务器共同实现该多媒体内容分类方法为例，对该方法进行说明。
如图1所示，本发明实施例提供的多媒体内容分类系统包括终端10和服务器20等；终端10与服务器20之间通过网络连接，比如，通过有线或无线网络连接等，其中，终端10可以作为用户向服务器20发送待分类的多媒体内容的终端存在。
其中，服务器20，可以用于获取内容样本集合，内容样本集合包括内容样本以及内容样本对应的至少两个层级分类标签，层级分类标签之间具有层级关系，采用待训练的层次分类模型，对内容样本进行内容分类，得到内容样本对应的各层级分类结果，根据各层级分类结果以及层级分类标签，计算待训练的层次分类模型在各分类层级对应的损失，根据各分类层级对应的损失权重以及各分类层级对应的损失，计算待训练的层次分类模型的总损失，其中，各分类层级对应的损失权重基于待训练的层次分类模型的当前训练次数与预设的总训练次数之间的比例计算得到，根据总损失，对待训练的层次分类模型进行调整，得到训练后的层次分类模型。
进一步的，服务器20可以接收终端10发送的待分类的多媒体内容，即待分类内容，通过训练后的层次分类模型，对待分类内容进行内容分类，得到待分类内容对应的各层级分类结果。
或者，也可以将训练后的层次分类模型部署在终端10中，终端10获取待分类内容后，通过训练后的层次分类模型，对待分类内容进行内容分类，得到待分类内容对应的各层级分类结果。
以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本发明实施例将从多媒体内容分类装置的角度进行描述，该多媒体内容分类装置具体可以集成在服务器或终端中。
本发明实施例提供的多媒体内容分类方法涉及人工智能的机器学习(Machinelearning，ML)技术领域，尤其涉及其包括的深度学习(Deep Learning)领域中的人工神经网络(artificial neural network)技术领域，本实施例中的层次分类模型，可以基于人工神经网络的结构构建。
如图2所示，本实施例的多媒体内容分类方法的具体流程可以如下：
201、获取内容样本集合，内容样本集合包括内容样本以及内容样本对应的至少两个层级分类标签，层级分类标签之间具有层级关系。
其中，内容样本集合中包括至少一条多媒体内容样本，例如，多媒体内容样本可以是图像样本、视频样本、文本样本，等等。可以理解的是，为了保证模型的训练效果，内容样本集合中一般会包括大量的内容样本。
其中，层级分类标签是按一定的分类规则对内容样本进行分类后得到的类目标签。同一内容样本对应的层级分类标签之前的层级关系，可以是属于同一层级，也可以是属于不同层级，且不同层级之间具有上下级的层级关系。
层次分类(Hierarchical Multi-Label Classification)是自然语言处理(Natural Language Processing，NLP)和计算机视觉(Computer Vision，CV)等领域的多分类中重要的一项任务，其主要的特点在于，层次分类中的类目标签具有上下级的层级关系，上级标签是下级标签的父级，一般来说，越往下级，层次分类的分类粒度越细。
因此，内容样本集合中的每条内容样本，可以对应标注有至少两个层级分类标签。不同的层级分类标签可以与不同的分类层级对应，例如，对于文本样本“小程序A怎么才能玩的好？”，可以标注有上级标签“游戏”以及上级标签“游戏”对应的下级标签“小游戏”，等等。
相应的，每条内容样本可以对应标注有多个不同层级的分类标签，例如，对于一张狗的图像样本，可以标注有上级标签“动物”、上级标签“动物”对应的下级标签“狗”、标签“狗”对应的下级标签“柯基”，等等。
可以理解的是，在实际应用过程中，有时会出现同一内容按照不同的分类规则进行分类，可能会属于同一层级但是不同类别的现象。因此，每条内容样本也可以对应标注有属于同一层级的分类标签。例如，对于文本样本“小程序A怎么才能玩的好？”，可以标注有上级标签“游戏”以及与上级标签“游戏”同一层级的上级标签“小程序”，等等。
202、采用待训练的层次分类模型，对内容样本进行内容分类，得到内容样本对应的各层级分类结果。
在一些实施例中，可以通过层次分类模型，直接对内容样本进行最下层层次的分类，得到内容样本对应的最下层级的分类结果，基于最下层级的分类结果以及最下层级与上层层级之间的对应关系，确定内容样本对应的至少一个上层层级的分类结果，将上层层级的分类结果和最下层级的分类结果，作为内容样本对应的各层级分类结果。
在另一些实施例中，层次分类模型中可以包括至少两个子模型对内容样本进行内容分类。
可以理解的是，各子模型对内容样本进行内容分类的过程可以是不同的内容分类过程，在一些实施例中，层次分类模型中可以包括至少两个结构不同的子模型，例如一个子模型中可以包括4层卷积层以实现对内容样本的特征提取，另一个子模型中可以包括2层卷积层，等等；层次分类模型中也可以包括至少两个结构完全相同的子模型，例如层次分类模型中包括三个子模型，三个子模型中全卷积层的层数均为3层，但是三个子模型中卷积层的参数不同，等等。
以层次分类模型中包括两个分类模型为例进行说明，层次分类模型可以包括第一分类模型和至少一个与第一分类模型对应的第二分类模型，第一分类模型与第二分类模型之间具有层级关系，此时，步骤“采用待训练的层次分类模型，对内容样本进行内容分类，得到内容样本对应的各层级分类结果”可以包括：
采用待训练的第一分类模型，对内容样本进行内容分类，得到内容样本对应的第一层级分类结果；
采用待训练的第二分类模型，对内容样本进行内容分类，得到内容样本对应的第二层级分类结果；
将第一层级分类结果和第二层级分类结果，作为内容样本对应的各层级分类结果。
在这些实施例中，第一分类模型和第二分类模型对内容样本进行内容分类的过程，可以是同时进行，也可以是先采用待训练的第一分类模型，对内容样本进行内容分类后，再采用待训练的第二分类模型，对内容样本进行内容分类；或者，也可以是先采用待训练的第二分类模型，对内容样本进行内容分类后，再采用待训练的第一分类模型，对内容样本进行内容分类。本发明实施例对此不做限定。
采用不限定层次分类模型中各子模型的内容分类顺序的方案，可以提升层次分类模型进行内容分类的效率。
在另一些实施例中，层次分类模型中的子模型之间可以预先设定执行顺序，即层次分类模型中的子模型是串行关系。也就是说，层次分类模型包括第一分类模型和第一分类模型对应的至少一个第二分类模型，第一分类模型和第二分类模型之间具有层级关系，步骤202可以包括：
采用待训练的第一分类模型，对内容样本进行内容分类，得到内容样本对应的第一层级分类结果；
基于第一层级分类结果以及预设的第一层级分类结果与第二分类任务的对应关系，确定第一层级分类结果对应的第二分类任务；
采用待训练的第二分类模型，对内容样本根据第二分类任务进行内容分类，得到内容样本对应的第二层级分类结果；
将第一层级分类结果和第二层级分类结果，作为内容样本对应的各层级分类结果。
其中，第二分类任务是根据第一层级分类结果确定的。例如，对应文本样本采用第一分类模型进行内容分类后得到的第一层级分类结果为游戏类目，则第二分类任务可以是针对游戏类目，对该文本样本进行进一步的分类。
采用上述方案，可以将第一分类模型预测的第一层级分类结果来对二级分类过程(第二分类模型进行内容分类的过程)做约束，使得二级分类过程更关注与第一层级分类结果相关的类目。
在一些可选的示例中，第一分类模型可以对应设置有至少两个第二分类模型，例如，第一分类模型可以将图像分为动物和植物，对应第一分类模型可以设置有动物对应的第二分类模型和植物对应的第二分类模型，等等。
此时，第一层级分类结果对应的第二分类任务可以理解为第一层级分类结果对应的第二分类模型，步骤“基于第一层级分类结果以及预设的第一层级分类结果与第二分类任务的对应关系，确定第一层级分类结果对应的第二分类任务”，可以包括：
基于第一层级分类结果以及预设的第一层级分类结果与第二分类模型的对应关系，确定第一层级分类结果对应的目标第二分类模型。
对应的，步骤“采用待训练的第二分类模型，对内容样本根据第二分类任务进行内容分类，得到内容样本对应的第二层级分类结果”可以包括：
采用待训练的目标第二分类模型，对内容样本进行内容分类，得到内容样本对应的第二层级分类结果。
在另一些可选的示例中，第一分类模型可以对应设置一个第二分类模型，第二分类模型中可以针对至少一个第二分类任务设置了第二分类任务对应的模型参数，当确定第二分类任务后，则第二分类模型可以根据该第二分类任务对应的模型参数对内容样本进行内容分类，等等。
203、根据各层级分类结果以及层级分类标签，计算待训练的层次分类模型在各分类层级对应的损失。
可以理解的是，本发明实施例可以对多媒体内容进行至少两个不同层级的层次分类。因此，在不同的分类层级会得到该分类层级对应的层级分类结果，根据该分类层级对应的层级分类结果、以及内容样本对应的至少两个层级分类标签中与该分类层级对应的层级分类标签，计算得到层次分类模型在该分类层级对应的损失。
以层次分类模型中包括两个分类模型(第一分类模型和第二分类模型)为例进行说明，此时，层级分类标签至少包括第一层级分类标签和第二层级分类标签，各层级分类结果包括第一层级分类结果和第二层级分类结果，步骤203可以包括：
通过第一层级分类结果和第一层级分类标签，计算第一分类模型的第一损失；
通过第二层级分类结果和第二层级分类标签，计算第二分类模型的第二损失；
将第一损失和第二损失作为待训练的层次分类模型在各分类层级对应的损失。
比如，第一损失为层次分类模型中第一分类层级对应的损失，第二损失为层次分类模型中第二分类层级对应的损失，等等。
具体的，用于计算第一损失和第二损失的损失函数可以是0-1损失函数、平方损失函数、绝对值损失函数、对数损失函数，等等。本发明实施例对于确定各层级对应的损失的方法不做限定，技术人员可以根据实际需求自行设计。
例如，第一损失的计算方式可以如下公式所示：
其中，cls1表示与第一分类模型或者说第一分类层级对应，n是第一层级分类类目的数量，yi取0或者1，代表第一层级分类标签是否为第i类，ai为第一层级分类结果在该类的预测值。
对应的，第二损失的计算方式可以如下公式所示：
其中，cls2表示与第二分类模型或者说第二分类层级对应，m是第二层级分类类目的数量，yj取0或者1，代表第二层级分类标签是否为第j类，aj为第二层级分类结果在该类的预测值。
204、根据各分类层级对应的损失权重以及各分类层级对应的损失，计算待训练的层次分类模型的总损失，其中，各分类层级对应的损失权重基于待训练的层次分类模型的当前训练次数与预设的总训练次数之间的比例计算得到。
可以理解的是，为了提升层次分类模型的分类效果，一般会对层次分类模型进行多次的训练。其中，总训练次数可以是预先设置的层次分类模型总共要训练的次数，当前训练次数可以用于指示层次分类模型当前处在第几次训练过程中。
具体的，各分类层级对应的损失权重可以通过根据层次分类模型的当前训练次数和总训练次数，确定出当前的训练进度，根据训练进度确定出在计算总损失时对于第一损失或者第二损失的侧重程度(权重)。也就是说，步骤204之前，本发明实施例可以包括：
基于层次分类模型的当前训练次数与预设的总训练次数之间的比例，确定待训练的层次分类模型的损失侧重度；
根据损失侧重度，确定第一损失对应的第一权重和第二损失对应的第二权重；
将第一权重和第二权重作为各分类层级对应的损失权重。
在一些可选的实施例中，可以根据第一损失和第二损失分别对第一分类模型和第二分类模型进行调整。或者，可以根据第一损失和第二损失计算层次分类模型的总损失后，从层次分类模型整体进行模型的调整。也就是说，步骤204，可以包括：
基于第一权重和第一损失，计算第一分类模型对应的第一侧重损失；
基于第二权重和第二损失，计算第二分类模型对应的第二侧重损失；
根据第一侧重损失和第二侧重损失，计算待训练的层次分类模型的总损失。例如，总损失的计算过程可以用如下公式表示：
Loss＝λ1losscls1+λ2losscls2
其中，Loss表示层次分类模型的总损失，λ1表示第一权重，λ2表示第二权重。
具体的，确定第一权重和第二权重的过程，可以是确定出任一损失的权重后，再对应确定出另一损失的权重。也就是说，步骤“根据所述损失侧重度，确定所述第一损失对应的第一权重和所述第二损失对应的第二权重”，可以包括：
从第一损失和第二损失中确定目标损失；
基于损失侧重度，确定目标损失对应的目标权重；
根据目标权重，确定第一损失和第二损失中除目标损失之外另一损失对应的适应权重；
根据目标损失对应的目标权重以及另一损失对应的适应权重，确定第一损失对应的第一权重和第二损失对应的第二权重。
例如，目标损失可以为第一损失，此时，目标权重即为第一权重，对应的，另一损失为第二损失，适应权重即为第二损失对应的第二权重。当目标损失为第二损失时，目标权重即为第二权重，另一损失为第一损失，适应权重为第一损失对应的第一权重。
以目标损失为第一损失为例，损失侧重度可以是，在当前训练次数大于总训练次数的1/2时，取总训练次数除当前训练次数的小数部分。此时，目标权重可以直接为损失侧重度，或者，可以是对损失侧重度进行进一步计算得到，等等。
如图3所示，以目标损失为第二损失为例，损失侧重度可以是取当前训练次数除总训练次数。此时，目标权重可以直接为损失侧重度，或者，可以是对损失侧重度进行进一步计算得到，等等。
此时，第一权重可以根据第二权重计算得到，例如，第一权重可以通过如下公式计算得到：
λ1＝1.0-λ2
其中，第一权重的确定方法不限，例如公式中的1.0可以由技术人员根据实际情况自行设置，本发明实施例对此不做限定。或者，第一权重也可以直接为1，等等。
可以理解的是，在总训练次数与当前训练次数之间相差较大时，可以不根据当前训练次数与总训练次数对第一损失和第二损失进行综合，而是将第一损失和第二损失直接相加作为层次分类模型的总损失，等等。
为了保证在模型训练后期，在更侧重来自下层细粒度类目的损失的前提下，仍然会关注上层类目的损失，步骤“基于损失侧重度，确定目标损失对应的目标权重”，可以包括：
基于损失侧重度以及预设的权重计算第一参数，确定第一参考参数；
比较第一参考参数和预设的权重计算第二参数，当第一参考参数大于权重计算第二参数时，将第一参考参数作为目标损失对应的目标权重。
例如，以第二损失为目标损失为例，第二损失的目标权重计算过程可以用如下公式表示：
其中，max表示取两个数值之间较大的数值，step表示当前训练次数，global_step表示总训练次数。表示损失侧重度。0.1表示权重计算第二参数，0.9表示权重计算第一参数。/>表示第一参考参数。
具体的，权重计算第一参数和权重计算第二参数可以由技术人员根据实际情况自行设置，本发明实施例对此不做限定。
通常来说，层次分类过程中，越上层的类目进行分类时的分类粒度越粗，因此拥有的训练数据也越多，训练难度和准确率都相对细粒度的下层类目具有优势。类似于人认知过程，对事物的认识大都是由浅入深，先认识粗粒度，再细究细粒度。
在本发明实施例中，根据层次分类模型的当前训练次数和总训练次数确定对于第一损失或者第二损失的侧重程度后，可以有效的结合模型训练进度，调和多层损失函数的结合方式，类比人类认知事物的过程，随着模型逐步训练加深，由前期关注浅层类目到后期关注下层细粒度类目。
205、根据总损失，对待训练的层次分类模型进行调整，得到训练后的层次分类模型，以使得训练后的层次分类模型对待分类内容进行内容分类。
在实际应用过程中，得到训练后的层次分类模型，即可对待分类的多媒体内容进行多层级的内容分类。
即，本发明实施例提供的多媒体内容分类方法还可以包括：
获取待分类内容；
采用训练后的层次分类模型，对待分类内容进行内容分类，得到待分类内容对应的各层级分类结果。
具体的，层次分类模型可以通过第一分类模型对待分类内容进行内容特征提取，得到待分类内容对应的内容特征；
对内容特征进行特征分类，得到待分类内容对应的第一层级分类结果；
根据第一层级分类结果以及预设的第一层级分类结果与第二分类任务的对应关系，确定第一层级分类结果对应的第二分类任务；
采用层次分类模型中的第二分类模型，对内容特征根据第二分类任务进行内容分类，得到内容样本对应的第二层级分类结果；
将第一层级分类结果和第二层级分类结果，作为待分类内容对应的各层级分类结果。
可以理解的是，层次分类模型中可以包括但不限于两个层级，例如第一层级的第一分类模型可以将图像内容分为动物和植物，第二层级中对应第一分类模型可以设置有动物对应的第二分类模型1和植物对应的第二分类模型2，第二分类模型1可以将图像内容分为猫、狗、猪，等等。第三层级中可以设置狗对应的第三分类模型，第三分类模型可以将图像内容分为金毛、柯基、哈士奇等等。
由上可知，本发明实施例可以获取内容样本集合，该内容样本集合包括内容样本以及该内容样本对应的至少两个层级分类标签，该层级分类标签之间具有层级关系，采用待训练的层次分类模型，对该内容样本进行内容分类，得到该内容样本对应的各层级分类结果，根据该各层级分类结果以及该层级分类标签，计算该待训练的层次分类模型在各分类层级对应的损失，基于该层次分类模型预设的总训练次数、当前训练次数以及该各分类层级对应的损失，计算该层次分类模型的总损失，根据该总损失，对该待训练的层次分类模型进行调整，得到训练后的层次分类模型，以使得该训练后的层次分类模型对待分类内容进行内容分类；由于层次分类模型的总损失是基于当前训练次数和总训练次数对各分类层级的损失进行综合得到的，因此，在综合各分类层级的损失时，可以根据训练进度自动调整对各层级损失的侧重程度，无需人工对层级分类模型中各层级的损失的侧重程度进行设置，节约人力资源，在保障层次分类模型总损失的准确性的基础上避免了人为因素对模型训练过程的影响。
根据前面实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将结合图1的系统，以层次分类模型包括第一分类模型和第二分类模型，内容样本为文本样本为例进行说明。
如图4所示，本实施例的多媒体内容分类方法，具体流程可以如下：
401、服务器获取文本样本集合，文本样本集合包括文本样本以及文本样本对应的第一层级分类标签和第二层级分类标签，第一层级分类标签和第二层级分类标签之间具有层级关系。
例如，文本样本集合中的每条文本样本，可以对应标注有至少两个层级分类标签。不同的层级分类标签可以与不同的分类层级对应，例如，对于样本“广场舞跳一跳更健康”，可以标注有上级标签(第一层级分类标签)“舞蹈”以及上级标签“舞蹈”对应的下级标签(第二层级分类标签)“广场舞”，等等。
402、服务器采用待训练的层次分类模型中的第一分类模型和第二分类模型，分别对文本样本进行文本分类，得到文本样本对应的第一层级分类结果和第二层级分类结果。
具体的，如图5所示，可以先对文本样本进行语义特征提取，将文本样本输入到编码器进行语义编码，这里可以采用预训练好的语义特征提取模型作为文本样本的编码器，编码得到文本样本对应的语义特征。其中，文本样本是否需要进行切词或者直接按照字粒度完成输入，可以由句子的编码器来决定。
例如，可以将BERT(Bidirectional Encoder Representations fromTransformers，自编码语言)模型作为编码器，等等。
进一步的，可以将语义特征分别输入到第一分类模型和第二分类模型，得到文本样本对应的第一层级分类结果和第二层级分类结果。
其中，第一分类模型和第二分类模型可以由全连接层和多分类分类器组成。例如，多分类分类器可以是softmax分类器或者SVM(support vector machines,支持向量机)分类器，等等。
403、服务器根据第一层级分类结果、第二层级分类结果、第一层级分类标签和第二层级分类标签，分别计算待训练的层次分类模型在第一分类层级和第二分类层级对应的损失。
具体的，可以通过第一层级分类结果和第一层级分类标签，计算待训练的层次分类模型在第一分类层级的第一损失；
通过第二层级分类结果和第二层级分类标签，计算待训练的层次分类模型在第二分类层级的第二损失。
404、服务器基于层次分类模型的当前训练次数以及总训练次数，确定第二损失对应的第二权重。
具体的，步骤404可以包括：
服务器计算层次分类模型的当前训练次数除总训练次数的数值，作为第二损失的损失侧重度；
基于损失侧重度以及预设的权重计算第一参数，确定第一参考参数；
比较第一参考参数和预设的权重计算第二参数，当第一参考参数大于权重计算第二参数时，将第一参考参数作为第二损失对应的第二权重。
405、服务器根据第二权重确定第一损失对应的第一权重。
例如，第一权重可以通过如下公式计算得到：
λ1＝1.0-λ2
其中，第一权重的确定方法不限，例如公式中的1.0可以由技术人员根据实际情况自行设置，本发明实施例对此不做限定。或者，第一权重也可以直接为1，等等。
406、服务器基于第一权重、第一损失、第二权重和第二损失，计算层次分类模型的总损失。
其中，总损失的计算过程可以用如下公式表示：
Loss＝λ1losscls1+λ2losscls2
其中，Loss表示层次分类模型的总损失，λ1表示第一权重，λ2表示第二权重。
可以理解的是，在总训练次数与当前训练次数之间相差较大时，可以不根据当前训练次数与总训练次数对第一损失和第二损失进行综合，而是将第一损失和第二损失直接相加作为层次分类模型的总损失，或者采用预设的第一权重和第二权重对第一损失和第二损失进行综合等等。
407、服务器根据总损失，对待训练的层次分类模型进行调整，得到训练后的层次分类模型。
例如，可以对待训练的层次分类模型的隐层维度、隐层数以及超参数等等进行调整。
408、服务器获取待分类文本，采用训练后的层次分类模型对待分类文本进行文本层次分类。
具体的，层次分类模型可以通过语义特征提取模型对待分类文本进行文本特征提取，得到待分类文本对应的语义特征；
采用层次分类模型中的第一分类模型对语义特征进行特征分类，得到待分类文本对应的第一层级分类结果；
采用层次分类模型中的第二分类模型，对语义特征进行文本分类，得到文本样本对应的第二层级分类结果；
将第一层级分类结果和第二层级分类结果，作为待分类文本对应的各层级分类结果。
由上可知，本发明实施例可以无需人工设置对层级分类模型中各层级的损失的侧重程度，节约人力资源，在保障层次分类模型总损失的准确性的基础上避免人为因素对模型训练过程的影响。
为了更好地实施以上方法，相应的，本发明实施例还提供一种多媒体内容分类装置。
参考图6，该装置包括：
样本获取单元601，可以用于获取内容样本集合，内容样本集合可以包括内容样本以及内容样本对应的至少两个层级分类标签，层级分类标签之间具有层级关系；
层级分类单元602，可以用于采用待训练的层次分类模型，对内容样本进行内容分类，得到内容样本对应的各层级分类结果；
分层损失计算单元603，可以用于根据各层级分类结果以及层级分类标签，计算待训练的层次分类模型在各分类层级对应的损失；
总损失计算单元604，可以用于根据各分类层级对应的损失权重以及各分类层级对应的损失，计算待训练的层次分类模型的总损失，其中，各分类层级对应的损失权重基于待训练的层次分类模型的当前训练次数与预设的总训练次数之间的比例计算得到；
模型调整单元605，可以用于根据总损失，对待训练的层次分类模型进行调整，得到训练后的层次分类模型，以使得训练后的层次分类模型对待分类内容进行内容分类。
在一些可选的实施例中，层次分类模型可以包括第一分类模型和第一分类模型对应的至少一个第二分类模型，第一分类模型与第二分类模型之间具有层级关系；
层级分类单元602，可以用于采用待训练的第一分类模型，对内容样本进行内容分类，得到内容样本对应的第一层级分类结果；
采用待训练的第二分类模型，对内容样本进行内容分类，得到内容样本对应的第二层级分类结果；
将第一层级分类结果和第二层级分类结果，作为内容样本对应的各层级分类结果。
在一些可选的实施例中，层级分类单元602，可以用于采用待训练的第一分类模型，对内容样本进行内容分类，得到内容样本对应的第一层级分类结果；
基于第一层级分类结果以及预设的第一层级分类结果与第二分类任务的对应关系，确定第一层级分类结果对应的第二分类任务；
采用待训练的第二分类模型，对内容样本根据第二分类任务进行内容分类，得到内容样本对应的第二层级分类结果；
将第一层级分类结果和第二层级分类结果，作为内容样本对应的各层级分类结果。
在一些可选的实施例中，层级分类标签至少可以包括第一层级分类标签和第二层级分类标签，分层损失计算单元603，可以用于通过第一层级分类结果和第一层级分类标签，计算第一分类模型的第一损失；
通过第二层级分类结果和第二层级分类标签，计算第二分类模型的第二损失；
将第一损失和第二损失作为待训练的层次分类模型在各分类层级对应的损失。
如图7所示，在一些可选的实施例中，本发明实施例提供的多媒体内容分类装置还包括权重确定单元606，用于基于层次分类模型的当前训练次数与预设的总训练次数之间的比例，确定待训练的层次分类模型的损失侧重度；
根据损失侧重度，确定第一损失对应的第一权重和第二损失对应的第二权重；
将第一权重和第二权重作为各分类层级对应的损失权重。
在一些可选的实施例中，权重确定单元606，可以用于从第一损失和第二损失中确定目标损失；
基于损失侧重度，确定目标损失对应的目标权重；
根据目标权重，确定第一损失和第二损失中除目标损失之外另一损失对应的适应权重；
根据目标损失对应的目标权重以及另一损失对应的适应权重，确定第一损失对应的第一权重和第二损失对应的第二权重。
在一些可选的实施例中，权重确定单元606，可以用于基于损失侧重度以及预设的权重计算第一参数，确定第一参考参数；
比较第一参考参数和预设的权重计算第二参数，当第一参考参数大于权重计算第二参数时，将第一参考参数作为目标损失对应的目标权重。
在一些可选的实施例中，本发明实施例提供的多媒体内容分类装置，还可以包括内容分类单元607，可以用于获取待分类内容；
采用训练后的层次分类模型，对待分类内容进行内容分类，得到待分类内容对应的各层级分类结果。
由上可知，通过本发明实施例提供的多媒体内容分类装置，可以无需人工设置对层级分类模型中各层级的损失的侧重程度，节约人力资源，在保障层次分类模型总损失的准确性的基础上避免人为因素对模型训练过程的影响。
此外，本发明实施例还提供一种电子设备，该电子设备可以为终端或者服务器等等，如图8所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括射频(RF，Radio Frequency)电路801、包括有一个或一个以上计算机可读存储介质的存储器802、输入单元803、显示单元804、传感器805、音频电路806、无线保真(WiFi，Wireless Fidelity)模块807、包括有一个或者一个以上处理核心的处理器808、以及电源809等部件。本领域技术人员可以理解，图8中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路801可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器808处理；另外，将涉及上行的数据发送给基站。通常，RF电路801包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路801还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。
存储器802可用于存储软件程序以及模块，处理器808通过运行存储在存储器802的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器802可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器802还可以包括存储器控制器，以提供处理器808和输入单元803对存储器802的访问。
输入单元803可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元803可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器808，并能接收处理器808发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元803还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元804可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元804可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid CrystalDisplay)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器808以确定触摸事件的类型，随后处理器808根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图8中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
电子设备还可包括至少一种传感器805，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在电子设备移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路806、扬声器，传声器可提供用户与电子设备之间的音频接口。音频电路806可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路806接收后转换为音频数据，再将音频数据输出处理器808处理后，经RF电路801以发送给比如另一电子设备，或者将音频数据输出至存储器802以便进一步处理。音频电路806还可能包括耳塞插孔，以提供外设耳机与电子设备的通信。
WiFi属于短距离无线传输技术，电子设备通过WiFi模块807可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块807，但是可以理解的是，其并不属于电子设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器808是电子设备的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器802内的软件程序和/或模块，以及调用存储在存储器802内的数据，执行电子设备的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器808可包括一个或多个处理核心；优选的，处理器808可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器808中。
电子设备还包括给各个部件供电的电源809(比如电池)，优选的，电源可以通过电源管理系统与处理器808逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源809还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，电子设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备中的处理器808会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中，并由处理器808来运行存储在存储器802中的应用程序，从而实现各种功能，如下：
获取内容样本集合，内容样本集合包括内容样本以及内容样本对应的至少两个层级分类标签，层级分类标签之间具有层级关系；
采用待训练的层次分类模型，对内容样本进行内容分类，得到内容样本对应的各层级分类结果；
根据各层级分类结果以及层级分类标签，计算待训练的层次分类模型在各分类层级对应的损失；
根据各分类层级对应的损失权重以及各分类层级对应的损失，计算待训练的层次分类模型的总损失，其中，各分类层级对应的损失权重基于待训练的层次分类模型的当前训练次数与预设的总训练次数之间的比例计算得到；
根据总损失，对待训练的层次分类模型进行调整，得到训练后的层次分类模型，以使得训练后的层次分类模型对待分类内容进行内容分类。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种多媒体内容分类方法中的步骤。例如，该指令可以执行如下步骤：
获取内容样本集合，内容样本集合包括内容样本以及内容样本对应的至少两个层级分类标签，层级分类标签之间具有层级关系；
采用待训练的层次分类模型，对内容样本进行内容分类，得到内容样本对应的各层级分类结果；
根据各层级分类结果以及层级分类标签，计算待训练的层次分类模型在各分类层级对应的损失；
根据各分类层级对应的损失权重以及各分类层级对应的损失，计算待训练的层次分类模型的总损失，其中，各分类层级对应的损失权重基于待训练的层次分类模型的当前训练次数与预设的总训练次数之间的比例计算得到；
根据总损失，对待训练的层次分类模型进行调整，得到训练后的层次分类模型，以使得训练后的层次分类模型对待分类内容进行内容分类。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种多媒体内容分类方法中的步骤，因此，可以实现本发明实施例所提供的任一种多媒体内容分类方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
根据本申请的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述实施例中的各种可选实现方式中提供的方法。
以上对本发明实施例所提供的一种多媒体内容分类方法、装置、电子设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种多媒体内容分类方法，其特征在于，包括：
获取内容样本集合，所述内容样本集合包括内容样本以及所述内容样本对应的至少两个层级分类标签，所述层级分类标签之间具有层级关系；
采用待训练的层次分类模型，对所述内容样本进行内容分类，得到所述内容样本对应的各层级分类结果；
根据所述各层级分类结果以及所述层级分类标签，计算所述待训练的层次分类模型在各分类层级对应的损失；
根据所述各分类层级对应的损失权重以及所述各分类层级对应的损失，计算所述待训练的层次分类模型的总损失，其中，所述各分类层级对应的损失权重基于所述待训练的层次分类模型的当前训练次数与预设的总训练次数之间的比例计算得到；
基于层次分类模型的当前训练次数与预设的总训练次数之间的比例，确定待训练的层次分类模型的损失侧重度；
从第一损失和第二损失中确定目标损失；
基于损失侧重度，确定目标损失对应的目标权重；
根据目标权重，确定第一损失和第二损失中除目标损失之外另一损失对应的适应权重；
根据目标损失对应的目标权重以及另一损失对应的适应权重，确定第一损失对应的第一权重和第二损失对应的第二权重；
基于损失侧重度以及预设的权重计算第一参数，确定第一参考参数；
比较第一参考参数和预设的权重计算第二参数，当第一参考参数大于权重计算第二参数时，将第一参考参数作为目标损失对应的目标权重；
将第一权重和第二权重作为各分类层级对应的损失权重；
根据所述总损失，对所述待训练的层次分类模型进行调整，得到训练后的层次分类模型，以使得所述训练后的层次分类模型对待分类内容进行内容分类。
2.根据权利要求1所述的多媒体内容分类方法，其特征在于，所述层次分类模型包括第一分类模型和所述第一分类模型对应的至少一个第二分类模型，所述第一分类模型与所述第二分类模型之间具有层级关系；
所述采用待训练的层次分类模型，对所述内容样本进行内容分类，得到所述内容样本对应的各层级分类结果，包括：
采用待训练的第一分类模型，对所述内容样本进行内容分类，得到所述内容样本对应的第一层级分类结果；
采用待训练的第二分类模型，对所述内容样本进行内容分类，得到所述内容样本对应的第二层级分类结果；
将所述第一层级分类结果和所述第二层级分类结果，作为所述内容样本对应的各层级分类结果。
3.根据权利要求1所述的多媒体内容分类方法，其特征在于，所述层次分类模型包括第一分类模型和所述第一分类模型对应的至少一个第二分类模型，所述第一分类模型和所述第二分类模型之间具有层级关系；
所述采用待训练的层次分类模型，对所述内容样本进行内容分类，得到所述内容样本对应的各层级分类结果，包括：
采用待训练的所述第一分类模型，对所述内容样本进行内容分类，得到所述内容样本对应的第一层级分类结果；
基于所述第一层级分类结果以及预设的第一层级分类结果与第二分类任务的对应关系，确定所述第一层级分类结果对应的第二分类任务；
采用待训练的所述第二分类模型，对所述内容样本根据所述第二分类任务进行内容分类，得到所述内容样本对应的第二层级分类结果；
将所述第一层级分类结果和所述第二层级分类结果，作为所述内容样本对应的各层级分类结果。
4.根据权利要求2-3任一项所述的多媒体内容分类方法，其特征在于，所述层级分类标签至少包括第一层级分类标签和第二层级分类标签；
所述根据所述各层级分类结果以及所述层级分类标签，计算所述待训练的层次分类模型在各分类层级对应的损失，包括：
通过所述第一层级分类结果和所述第一层级分类标签，计算所述第一分类模型的第一损失；
通过所述第二层级分类结果和所述第二层级分类标签，计算所述第二分类模型的第二损失；
将所述第一损失和所述第二损失作为所述待训练的层次分类模型在各分类层级对应的损失。
5.根据权利要求4所述的多媒体内容分类方法，其特征在于，所述根据所述各分类层级对应的损失权重以及所述各分类层级对应的损失，计算所述待训练的层次分类模型的总损失之前，所述方法还包括：
基于所述层次分类模型的当前训练次数与预设的总训练次数之间的比例，确定所述待训练的层次分类模型的损失侧重度；
根据所述损失侧重度，确定所述第一损失对应的第一权重和所述第二损失对应的第二权重；
将所述第一权重和所述第二权重作为所述各分类层级对应的损失权重。
6.根据权利要求5所述的多媒体内容分类方法，其特征在于，所述根据所述损失侧重度，确定所述第一损失对应的第一权重和所述第二损失对应的第二权重，包括：
从所述第一损失和所述第二损失中确定目标损失；
基于所述损失侧重度，确定所述目标损失对应的目标权重；
根据所述目标权重，确定所述第一损失和所述第二损失中除所述目标损失之外另一损失对应的适应权重；
根据所述目标损失对应的目标权重以及另一损失对应的适应权重，确定所述第一损失对应的第一权重和所述第二损失对应的第二权重。
7.根据权利要求6所述的多媒体内容分类方法，其特征在于，所述基于所述损失侧重度，确定所述目标损失对应的目标权重，包括：
基于所述损失侧重度以及预设的权重计算第一参数，确定第一参考参数；
比较所述第一参考参数和预设的权重计算第二参数，当所述第一参考参数大于所述权重计算第二参数时，将所述第一参考参数作为所述目标损失对应的目标权重。
8.根据权利要求1-3任一项所述的多媒体内容分类方法，其特征在于，所述方法还包括：
获取所述待分类内容；
采用所述训练后的层次分类模型，对所述待分类内容进行内容分类，得到所述待分类内容对应的各层级分类结果。
9.一种多媒体内容分类装置，其特征在于，包括：
样本获取单元，用于获取内容样本集合，所述内容样本集合包括内容样本以及所述内容样本对应的至少两个层级分类标签，所述层级分类标签之间具有层级关系；
层级分类单元，用于采用待训练的层次分类模型，对所述内容样本进行内容分类，得到所述内容样本对应的各层级分类结果；
分层损失计算单元，用于根据所述各层级分类结果以及所述层级分类标签，计算所述待训练的层次分类模型在各分类层级对应的损失；
总损失计算单元，用于根据所述各分类层级对应的损失权重以及所述各分类层级对应的损失，计算所述待训练的层次分类模型的总损失，其中，所述各分类层级对应的损失权重基于所述待训练的层次分类模型的当前训练次数与预设的总训练次数之间的比例计算得到；基于层次分类模型的当前训练次数与预设的总训练次数之间的比例，确定待训练的层次分类模型的损失侧重度；从第一损失和第二损失中确定目标损失；基于损失侧重度，确定目标损失对应的目标权重；根据目标权重，确定第一损失和第二损失中除目标损失之外另一损失对应的适应权重；根据目标损失对应的目标权重以及另一损失对应的适应权重，确定第一损失对应的第一权重和第二损失对应的第二权重；基于损失侧重度以及预设的权重计算第一参数，确定第一参考参数；比较第一参考参数和预设的权重计算第二参数，当第一参考参数大于权重计算第二参数时，将第一参考参数作为目标损失对应的目标权重；将第一权重和第二权重作为各分类层级对应的损失权重；
模型调整单元，用于根据所述总损失，对所述待训练的层次分类模型进行调整，得到训练后的层次分类模型，以使得所述训练后的层次分类模型对待分类内容进行内容分类。
10.一种电子设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至8任一项所述的多媒体内容分类方法中的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的多媒体内容分类方法中的步骤。
CN202111147967.9A 2021-09-29 2021-09-29 多媒体内容分类方法、装置、电子设备和存储介质 Active CN113836329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111147967.9A CN113836329B (zh) 2021-09-29 2021-09-29 多媒体内容分类方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111147967.9A CN113836329B (zh) 2021-09-29 2021-09-29 多媒体内容分类方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113836329A CN113836329A (zh) 2021-12-24
CN113836329B true CN113836329B (zh) 2024-02-02

Family

ID=78967424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111147967.9A Active CN113836329B (zh) 2021-09-29 2021-09-29 多媒体内容分类方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113836329B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115935279B (zh) * 2023-03-14 2023-07-21 有米科技股份有限公司 一种层级分类模型的训练、层级分类的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069321A (zh) * 2020-11-11 2020-12-11 震坤行网络技术(南京)有限公司 用于文本层级分类的方法、电子设备和存储介质
CN112465031A (zh) * 2020-11-27 2021-03-09 江苏云从曦和人工智能有限公司 数据分类方法、装置以及计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210279525A1 (en) * 2020-03-05 2021-09-09 Samsung Electronics Company, Ltd. Hierarchy-preserving learning for multi-label classification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069321A (zh) * 2020-11-11 2020-12-11 震坤行网络技术(南京)有限公司 用于文本层级分类的方法、电子设备和存储介质
CN112465031A (zh) * 2020-11-27 2021-03-09 江苏云从曦和人工智能有限公司 数据分类方法、装置以及计算机可读存储介质

Also Published As

Publication number Publication date
CN113836329A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN108280458B (zh) 群体关系类型识别方法及装置
CN110276075A (zh) 模型训练方法、命名实体识别方法、装置、设备及介质
CN111046227B (zh) 一种视频查重方法及装置
CN110798718B (zh) 一种视频推荐方法以及装置
CN111310079A (zh) 评论信息排序方法、装置、存储介质及服务器
CN110570840B (zh) 一种基于人工智能的智能设备唤醒方法和装置
CN104217717A (zh) 构建语言模型的方法及装置
CN114357278B (zh) 一种话题推荐方法、装置及设备
CN112214605A (zh) 一种文本分类方法和相关装置
CN112685578A (zh) 一种多媒体信息内容提供方法及装置
CN113836329B (zh) 多媒体内容分类方法、装置、电子设备和存储介质
CN113269279B (zh) 一种多媒体内容分类方法和相关装置
CN115981798B (zh) 文件解析方法、装置、计算机设备及可读存储介质
CN116795780A (zh) 文档格式转换方法、装置、存储介质及电子设备
CN116259083A (zh) 一种图像质量识别模型的确定方法和相关装置
CN116933149A (zh) 一种对象意图预测方法、装置、电子设备和存储介质
CN111723783B (zh) 一种内容识别方法和相关装置
CN115841575A (zh) 关键点检测方法、装置、电子设备、存储介质和程序产品
CN113569043A (zh) 一种文本类别确定方法和相关装置
CN110209924B (zh) 推荐参数获取方法、装置、服务器及存储介质
CN110309339B (zh) 图片标签生成方法及装置、终端及存储介质
CN114301864B (zh) 对象识别方法、装置、存储介质及服务器
CN117093779A (zh) 求职岗位个性化推荐方法、装置、存储介质及电子设备
CN116975430A (zh) 一种内容推荐方法、装置、电子设备和存储介质
CN116431886A (zh) 内容查询方法、装置、电子设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant