CN111368138A - 视频类别标签的排序方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开是关于一种视频类别标签的排序方法、装置、电子设备及存储介质，该方法包括：获取视频，以及确定该视频中的目标图像；利用多个不同的模型基于视频中的目标图像，生成视频的多个标签；基于视频的多个标签中的每一个标签的与排序相关的信息，计算视频的每一个标签各自对应的用于排序的权重；根据视频的每一个标签各自对应的用于排序的权重，对视频的多个标签进行排序，得到视频的多个标签的排序结果。实现了在对视频的多个标签进行排序时，同时考虑了标签与视频的内容的关联性、标签自身的置信度等因素，基于标签的关联度信息、标签的置信度信息等与排序相关的信息，对视频的多个标签进行排序，得到视频的多个标签的排序结果。从而，提升视频的多个标签的排序结果的准确性。

Description

视频类别标签的排序方法、装置、电子设备及存储介质

技术领域

本公开涉及视频领域，具体涉及视频类别标签的排序方法、装置、电子设备及存储介质。

背景技术

视频的标签用于标识视频的特征，其用途广泛，例如，视频平台中的视频推荐系统可以基于视频的标签确定视频的推荐策略、视频平台的用户可以根据视频的标签确定视频的特征，确定视频是否为其感兴趣的视频、是否关注发布视频的用户等。

在相关技术中，为了丰富视频的标签，可以采用多个模型生成视频的多个标签，按照生成标签的时间的顺序，对多个标签进行排序，得到视频的多个标签的排序结果。在相关技术中，在对视频的多个标签进行排序时，按照生成标签的时间，对视频的多个标签进行排序导致得到的视频的多个标签的排序结果的准确性低。

发明内容

为克服相关技术中存在的问题，本公开发布一种视频类别标签的排序方法、装置、电子设备及存储介质。

根据本公开实施例的第一方面，发布一种视频类别标签的排序方法，包括：

利用多个不同的模型基于视频中的目标图像，生成视频的多个标签；

获取视频，以及确定所述视频中的目标图像；

基于所述多个标签中的每一个标签的与排序相关的信息，计算每一个标签各自的用于排序的权重，所述标签的与排序相关的信息包括：关联度信息、目标对象占比信息、预设权重值、置信度信息，所述关联度信息指示生成所述标签的模型在生成所述标签的过程中从所述视频中的目标图像中检测出的目标对象的类型与所述视频的内容的关联度，目标对象占比信息指示所述目标对象与所述目标图像的关联度；

根据每一个标签各自的用于排序的权重，对所述多个标签进行排序，得到所述多个标签的排序结果。

在一些实施例中，所述方法还包括：分别计算生成所述标签的模型在生成所述标签的过程中从所述视频中的目标图像中检测出的每一个目标对象占据的区域的大小与所述目标图像的大小的比例；基于每一个目标对象占据的区域的大小与所述目标图像的大小的比例，计算所述标签的目标对象占比信息。

在一些实施例中，所述标签的置信度信息包括：所述标签的第一置信度、所述标签的第二置信度、生成所述标签的模型输出的所述标签的概率；以及所述方法还包括：

基于在预设时间段内所述视频所属的用户发布的视频中的与所述标签的相关联的视频的数量和所述用户发布的视频的总数量，计算所述标签的第一置信度；

确定在生成所述标签的模型针对标注信息为所述标签的图像的多次历史识别中，生成所述标签的模型输出所述标签的次数；

基于确定出的次数和生成所述标签的模型针对标注信息为所述标签的图像的历史识别的次数，计算所述标签的第二置信度。

在一些实施例中，基于在预设时间段内所述视频所属的用户发布的视频中的与所述标签的相关联的视频的数量和所述用户发布的视频的总数量，计算所述标签的第一置信度包括：

计算在预设时间段内所述视频所属的用户发布的视频中具有所述标签的视频的数量与在预设时间段内所述视频所属的用户发布的视频的总数量的比例；基于所述具有所述标签的视频的数量与在预设时间段内所述视频所属的用户发布的视频的总数量的比例，计算所述标签的第一置信度。

在一些实施例中，基于所述多个标签中的每一个标签的与排序相关的信息，计算每一个标签各自的用于排序的权重包括：

对于所述多个标签中的每一个标签，计算所述标签的与排序相关的信息中的所有项的乘积，得到所述标签对应的累乘结果；

基于每一个标签各自对应的累乘结果，计算每一个标签各自的用于排序的权重。

根据本公开实施例的第二方面，发布一种视频类别标签的排序装置，包括：

信息获取模块，被配置为获取视频，以及确定所述视频中的目标图像；

标签生成模块，被配置为利用多个不同的模型基于视频中的目标图像，生成视频的多个标签；

权重计算模块，被配置为基于所述多个标签中的每一个标签的与排序相关的信息，计算每一个标签的用于排序的权重，所述标签的与排序相关的信息包括：关联度信息、目标对象占比信息、预设权重值、置信度信息，所述关联度信息指示生成所述标签的模型在生成所述标签的过程中从所述视频中的目标图像中检测出的目标对象的类型与所述视频的内容的关联度，目标对象占比信息指示所述目标对象与所述目标图像的关联度；

标签排序模块，被配置为根据每一个标签各自的用于排序的权重，对所述多个标签进行排序，得到所述多个标签的排序结果。

在一些实施例中，视频类别标签的排序装置还包括：

目标对象占比信息计算模块，被配置为分别计算生成所述标签的模型在生成所述标签的过程中从所述视频中的目标图像中检测出的每一个目标对象占据的区域的大小与所述目标图像的大小的比例；基于每一个目标对象占据的区域的大小与所述目标图像的大小的比例，计算所述标签的目标对象占比信息。

在一些实施例中，所述标签的置信度信息包括：所述标签的第一置信度、所述标签的第二置信度、生成所述标签的模型输出的所述标签的概率，所述装置还包括：

第一置信度计算模块，被配置为基于在预设时间段内所述视频所属的用户发布的视频中的与所述标签的相关联的视频的数量和所述用户发布的视频的总数量，计算所述标签的第一置信度；

第二置信度计算模块，被配置为确定在生成所述标签的模型针对标注信息为所述标签的图像的多次历史识别中，生成所述标签的模型输出所述标签的次数；基于确定出的次数和生成所述标签的模型针对标注信息为所述标签的图像的历史识别的次数，计算所述标签的第二置信度。

在一些实施例中，第一置信度计算模块进一步被配置为计算在预设时间段内所述视频所属的用户发布的视频中具有所述标签的视频的数量与在预设时间段内所述视频所属的用户发布的视频的总数量的比例；基于所述具有所述标签的视频的数量与在预设时间段内所述视频所属的用户发布的视频的总数量的比例，计算所述标签的第一置信度。

在一些实施例中，权重计算模块包括：

累乘计算子模块，被配置为：对于所述多个标签中的每一个标签，计算所述标签的与排序相关的信息中的所有项的乘积，得到所述标签对应的累乘结果；基于每一个标签各自对应的累乘结果，计算每一个标签各自的用于排序的权重。

本公开的实施例发布的技术方案可以包括以下有益效果：

实现了在对视频的多个标签进行排序时，同时考虑了标签与视频的内容的关联性、标签自身的置信度等因素，基于标签的关联度信息、标签的置信度信息等与排序相关的信息，对视频的多个标签进行排序，得到视频的多个标签的排序结果。从而，提升视频的多个标签的排序结果的准确性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种视频类别标签的排序方法的一个实施例的流程图；

图2是根据一示例性实施例示出的一种视频类别标签的排序装置的结构框图；

图3是根据一示例性实施例示出的一种电子设备的结构框图。

具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1是根据一示例性实施例示出的视频类别标签的排序方法的一个实施例的流程图。该方法包括以下步骤：

步骤101，获取视频，以及确定该视频中的目标图像。

在本公开中，获取的视频可以为视频平台中的用户在视频平台新发布的未具有标签的视频。

在本公开中，在获取视频之后，可以确定该视频中的目标图像。

对于一个视频，该视频中的目标图像为该视频中的与该视频的内容关联度高的图像。

例如，可以将视频的封面图像或视频中的包括文字的图像作为与该视频中的目标图像。视频中的包括文字的图像中的文字可以为用户输入的文字。例如，需要利用多个模型生成多个标签的一个视频为用户录制的一个视频。在录制过程中，播放一个原始视频，在显示原始视频中的包括用户感兴趣的对象的图像的时间段，用户可以输入与该用户感兴趣的对象相关的弹幕文字，用户录制的视频包括该原始视频和用户输入的文字。录制的视频中的包括用户感兴趣的游戏角色和用户输入的弹幕文字的图像可以作为目标图像。

步骤102，利用多个不同的模型基于视频中的目标图像，生成视频的多个标签。

在本公开中，对于每一个需要利用多个不同的模型的生成标签的视频，均可以利用多个不同的模型基于视频中的目标图像，生成视频的多个标签，多个不同的模型中的每一个模型各自生成视频的一个标签。

例如，对于一个视频，利用多个不同的模型中的第1个模型基于视频中的目标图像，生成该视频的第1个标签，利用多个不同的模型中的第2个基于视频中的目标图像，生成该视频的第2个标签...利用多个不同的模型中的第N个模型基于视频中的目标图像，生成该视频的第N个标签。

在本公开中，对于一个视频，当利用多个不同的模型基于该视频中的目标图像，生成该视频的多个标签时，可以利用多个不同的模型中的每一个模型分别对该视频中的目标图像进行识别，得到识别结果。每一个模型对该视频中的目标图像进行识别之后，均可以得到一个识别结果，每一个识别结果均可以分别作为该视频的一个标签，从而，得到该视频的多个标签。

例如，多个不同的模型包括文字识别模型、目标检测模型、分类模型。文字识别模型检测图像中的文字并且提取文字中的关键词。目标检测模型检测图像中的某个类型的对象。场景分类模型检测图像中的多个对象，根据图像中的多个对象，确定与多个对象相关联的场景。

对于一个视频，在利用文字识别模型生成该视频的一个标签时，文字识别模型对该视频中的目标图像进行识别，文字识别模型从该目标图像中检测出的目标对象为该视频的目标图像中的文字，文字识别模型从识别出的所有文字中提取出关键词，文字识别模型输出的识别结果为关键词，将文字识别模型输出的关键词作为该视频的一个标签。

对于一个视频，在利用目标检测模型生成该视频的一个标签时，目标检测模型对该视频中的目标图像进行识别，目标检测模型从该目标图像中检测出的目标对象为某个类型的对象，目标检测模型输出的识别结果为该视频中的目标图像中的某个类型的对象，将目标检测模型输出的该视频中的目标图像中的某个类型的对象的名称作为该视频的一个标签。

对于一个视频，在利用场景分类模型生成该视频的一个标签时，场景分类模型对该视频中的目标图像进行识别，场景分类模型从该目标图像中检测出多个目标对象，场景分类模型根据该视频的目标图像中的多个目标对象，确定与多个目标对象相关的场景，场景分类模型输出的识别结果为与该视频中的目标图像中的多个目标对象相关的场景的名称，将场景分类模型输出的与该视频中的目标图像中的多个目标对象相关的场景的名称作为该视频的一个标签。

步骤103，计算每一个标签各自的用于排序的权重。

在本公开中，对于一个视频，在得到该视频的多个标签之后，可以对于该视频的每一个标签，获取该标签的与排序相关的信息。然后，可以分别基于每一个标签的与排序相关的信息，分别计算每一个标签各自的用于排序的权重，根据每一个标签各自的用于排序的权重，对该视频的多个标签进行排序，得到该视频的多个标签的排序结果。

在本公开中，对于视频的多个标签中的每一个标签，该标签的与排序相关的信息包括：关联度信息、目标对象占比信息、预设权重值、置信度信息。

在本公开中，标签的关联度信息、标签的目标对象占比信息、标签的预设权重值、标签的置信度信息均可以为一个数值。

在本公开中，对于一个视频，可以对于该视频的多个标签中的每一个标签，可以将标签的与排序相关的信息中的每一项进行相加或者对每一项进行加权计算，得到标签的用于排序的权重。

在本公开中，可以预先设置所有目标对象的类型中的每一个类型各自对应的关联度信息。

例如，所有目标对象的类型可以包括文字类型、除了文字类型之外的与视频的内容相关的类型、除了文字类型之外的与视频的内容无关的类型。文字通常最能反应该视频的内容的特征，文字类型与视频的内容的关联度最高，文字类型对应的关联度信息大于除了文字类型之外的与视频的内容相关的类型对应关联度信息、除了文字类型之外的与视频的内容无关的类型对应的关联度信息。除了文字类型之外的与视频的内容相关的类型对应的关联度信息大于除了文字类型之外的与视频的内容无关的类型对应的关联度信息。

在本公开中，对于一个标签，可以确定在生成该标签的模型在生成该标签的过程中从目标图像中检测出的目标对象的类型，获取检测出的目标对象的类型预先对应的关联度信息，将检测出的目标对象的类型预先对应的关联度信息作为该标签的关联度信息。

例如，多个不同的模型包括文字识别模型、分类模型、清晰度判别模型。

假设需要生成标签的一个视频为用户录制的一个视频，利用多个不同的模型生成该录制的视频的多个标签。在录制过程中，播放一个游戏视频，在显示游戏视频中的包括用户感兴趣的游戏角色的图像的时间段，用户输入了与该用户感兴趣的游戏角色相关的弹幕文字，用户录制的视频包括该游戏视频和用户输入的弹幕文字，用户输入的弹幕文字位于包括用户感兴趣的游戏角色的图像中。该录制的视频中的包括用户感兴趣的游戏角色和用户输入的弹幕文字的图像作为目标图像。

在利用文字识别模型生成该录制的视频的标签时，文字识别模型对该目标图像进行识别，文字识别模型检测出该目标图像中的与该用户感兴趣的游戏角色相关的弹幕文字，弹幕文字为目标对象。文字识别模型可以进一步提取出与该用户感兴趣的游戏角色相关的弹幕文字中的关键词，该关键词为用户感兴趣的游戏角色的名称，文字识别模型输出的识别结果为该用户感兴趣的游戏角色的名称，将该用户感兴趣的游戏角色的名称作为该录制的视频的一个标签。

在利用场景分类模型生成该用户录制的视频的标签时，场景分类模型对该目标图像进行识别，场景分类模型检测出该目标图像中的多个游戏角色，多个游戏角色中的每一个游戏角色分别作为一个目标对象，场景分类模型根据检测出的多个目标对象，确定与多个目标对象相关的场景，与多个目标对象相关的场景可以为该录制的视频中的该游戏视频所属的游戏的名称。场景分类模型输出的识别结果为该游戏的名称，将该游戏的名称作为该录制的视频的一个标签。

在利用清晰度判别模型生成该用户录制的视频的标签时，清晰度判别模型对该目标图像进行识别，清晰度判别模型检测出的目标对象为该目标图像中的一个区域中的像素点。清晰度判别模型根据检测出的目标对象的像素值，确定目标图像的清晰度的等级。清晰度判别模型输出的识别结果为目标图像的清晰度等级，将目标图像的清晰度等级作为该录制的视频的一个标签。

文字识别模型在生成该录制的视频的标签的过程中检测出的目标对象为该用户感兴趣的游戏角色的名称，文字识别模型检测出的目标对象的类型为文字类型。场景分类模型在生成该录制的视频的标签的过程中检测出的多个目标对象为多个游戏角色，场景分类模型检测出的目标对象的类型为除了文字类型之外的与视频的内容相关的类型。清晰度判别模型在生成该录制的视频的标签的过程中检测出的目标对象为目标图像中的一个区域中的像素，清晰度判别模型检测出的目标对象与该录制的视频的内容无关，该检测出的目标对象为除了文字类型之外的与视频的内容无关的类型。

对于生成的该录制的视频的三个标签的关联度信息，按照由高至低的顺序为：该用户关注的一个游戏角色的名称、该游戏的名称、该录制的视频的清晰度等级。

在本公开中，对于一个标签，该标签的目标对象占比信息指示生成该标签的模型在生成该标签的过程中从目标图像中检测出的目标对象对于目标图像的重要性。可以根据目标对象占据的区域的大小，获取目标对象占比信息。可以预先将目标图像对应的区间划分为多个子区间，多个子区间中的任意两个子区间无重叠的部分。目标图像对应的区间的左端点值为0，右端点值为目标图像的大小。例如，目标图像的大小为200*200，目标图像对应的区间的左端点值为0，右端点值为200*200。

在本公开中，可以预先设置多个对象占比信息。对于多个子区间中的每一个子区间，该子区间对应的对象占比信息大于左端点小于该子区间的左端点的其他子区间对应的对象占比信息，该子区间对应的占比信息小于右端点值大于该子区间的右端点值的其他子区间对应的对象占比信息。

在获取一个标签的目标对象占比信息时，当生成该标签的模型在生成该标签的过程中检测出的目标对象的数量为一个时，可以确定目标对象占据的区域的大小所处的子区间，将该子区间对应的对象占比信息作为该标签的目标对象占比信息。当生成该标签的模型在生成该标签的过程中检测出的目标对象的数量为多个时，可以确定每一个目标对象占据的区域的大小所处的子区间，将每一个子区间各自对应的对象占比信息相加，将相加之后得到的结果作为该标签的目标对象占比信息。

在一些实施例中，当获取一个标签的目标对象占比信息时，可以计算生成该标签的模型在生成该标签的过程中从视频中的目标图像中检测出的每一个目标对象占据的区域的大小与该目标图像的大小的比例；基于每一个目标对象占据的区域的大小与该目标图像的大小的比例，计算该标签的目标对象占比信息。

在本公开中，对于一个标签，当生成该标签的模型在生成该标签的过程中检测出的目标对象的数量为多个时，可以将每一个目标对象占据的区域的大小与目标图像的大小的比例相加，将相加之后得到的结果作为该标签的目标对象占比信息。

例如，多个不同的模型包括目标检测模型、场景分类模型。一个视频为拍摄会议室的视频。目标图像为该视频的封面图像。目标检测模型从该视频的封面图像中检测出某个类型的对象，得到的标签为检测出的某个类型的对象的名称。例如，通过目标检测模型从该视频的封面图像中检测出该视频的封面图像中的灯、桌子、椅子、盆栽、窗户等目标对象中的一个目标对象，得到的该视频的标签为灯、桌子、椅子、盆栽、窗户中的一个。通过场景分类模型从该视频的封面图像中检测出灯、桌子、椅子、盆栽、窗户等多个目标对象，根据灯、桌子、椅子、盆栽、窗户等目标对象，得到的该视频的标签为“会议室”。

假设通过目标检测模型对该视频中的目标图像进行识别，得到的该视频的标签为“灯”。目标检测模型在生成“灯”这一标签的过程中从目标图像中检测出的目标对象为该视频的封面图像中的灯这一目标对象。假设封面图像中的灯这一目标对象占据的区域的大小为100*50，视频的封面图像的大小为200*200，“灯”这一标签的目标对象占比信息为封面图像中的灯这一目标对象占据的区域的大小与该视频的封面图像的大小的比例即100*50/200*200。

在计算通过场景分类模型得到的“会议室”这一标签的目标对象占比信息时，将场景分类模型在生成该标签的过程中从该视频中的目标图像中检测出的每一个目标对象占据的大小分别除以200*200，例如，将灯、桌子、椅子、盆栽、窗户等目标对象占据的大小分别除以200*200，得到多个比例。然后，可以将多个比例相加之后的结果作为“会议室”这一标签的目标对象占比信息。“会议室”这一标签的目标对象占比信息大于“灯”这一标签的目标对象占比信息。

在本公开中，标签的预设权重值指示标签的重要程度。标签的预设权重值可以为一个数值。标签表示的类型越具体，标签的预设权重值越大。例如，对于“猫”、“生物”这两个标签，“猫”表示猫这一类型，“生物”表示生物这一类型。“猫”这一类型属于“生物”这一类型的子类型，“猫”这一类型比“生物”这一类型更具体，“猫”这一标签的预设权重值大于“生物”这一标签的预设权重值。

在本公开中，在获取标签的预设权重值时，可以在知识图谱中查找到该标签。

在本公开中，知识图谱中的各个对象具有从属关系。对于知识图谱中的每一个对象，可以预先设置该对象对应的预设权重值。对于知识图谱中的每一个对象，其表示的类型比其所属的父类对象、祖父类对象表示的类型更具体，其对应的预设权重值大于其所属的父类对象对应的预设权重值、其所属的祖父类对象对应的预设权重值。

例如，知识图谱中包括“猫”、“生物”这两个对象。在知识图谱中，“猫”和“生物”具有从属关系，“猫”的表示的类型属于“生物”表示的类型的子类型。“猫”、“生物”各自预先对应一个预设权重值。“猫”预先对应的预设权重值大于“生物”预先对应的预设权重值。

在本公开中，还可以以人工方式预先设置各个标签的预设权重值。例如，由视频平台的运营人员预先设置各个标签的预设权重值。

在本公开中，标签的置信度信息指示标签的准确率。当利用多个不同的模型生成一个视频的多个标签时，对于多个不同的模型中每一个模型，该模型对该视频中的目标图像进行识别时，除了输出标签，还会输出标签的概率，标签的概率指示标签为正确的识别结果的概率，可以将该模型输出的标签的概率作为该标签的置信度信息。

在一些实施例中，对于视频的每一个标签，该标签的置信度信息包括：该标签的第一置信度、该标签的第二置信度、生成该标签的模型输出的该标签的概率；还包括：基于在预设时间段内视频所属的用户发布的视频中的与该标签的相关联的视频的数量和该用户发布的视频的总数量，计算该标签的第一置信度；确定在生成标签的模型针对标注信息为该标签的图像的多次历史识别中，生成该标签的模型输出该标签的次数；基于确定出的次数和生成该标签的模型针对标注信息为该标签的图像的历史识别的次数，计算该标签的第二置信度。

在本公开中，对于一个视频的一个标签，当获取该标签的第一置信度时，可以根据该视频所属的用户的视频发布记录，确定该用户在预设时间段内发布的所有视频。

在本公开中，预设时间段可以为以距离当前日期小于天数阈值的日期为起始日期，以当前日期为结束日期的时长为预设天数的时间段。换言之，当获取该标签的置信度时，可以根据该视频所属的用户的视频发布记录，确定该用户在近期发布的所有视频。然后，可以计算该用户在近期发布的视频中的具有的标签与该标签属于同一类型的视频的数量和该用户近期发布的视频的总数量。可以将该用户在近期发布的视频中的具有的标签与该标签属于同一类型的视频的数量除以该用户在近期发布的视频的总数量，将得到的结果作为该标签的第一置信度。

在一些实施例中，当计算一个视频的多个标签中的一个标签的第一置信度时，可以计算在预设时间段内该视频所属的用户发布的视频中具有该标签的视频的数量与在预设时间段内该视频所属的用户发布的视频的总数量的比例；基于具有该标签的视频的数量与在预设时间段内该视频所属的用户发布的视频的总数量的比例，计算该标签的第一置信度。

视频平台的用户更偏好发布一些固定类型的视频，若一个模型生成的标签为该用户不经常发布的视频的类型，则模型生成的标签与视频的内容不匹配的可能性较大，该标签的第一置信度较低。

对于生成的一个视频的一个标签，当获取该标签的第一置信度时，可以首先根据该视频所属的用户的视频发布记录，确定该用户在预设时间段内发布的所有视频。然后，计算该用户在预设时间段内发布的所有视频中的具有该标签的视频的数量和该用户在预设时间段内发布的视频的总数量。可以将该用户在预设时间段内发布的所有视频中的具有该标签的视频的数量除以该用户在预设时间段内发布的视频的总数量，得到该用户在预设时间段内发布的所有视频中的具有该标签的视频的数量与该用户在预设时间段内发布的视频的总数量的比例，根据得到的比例，计算该标签的第一置信度。

例如，利用多个不同的模型生成该用户最新发布的一个视频的多个标签。该用户在预设时间段发布的视频的数量为20。20个视频中18个视频的标签为“猫”，2个视频的标签为“狗”。利用多个不同的模型中的一个模型在生成该用户最新发布的一个视频一个标签，利用该模型对该用户最新发布的一个视频中的目标图像进行识别，若该模型输出的识别结果为“猫”，将“猫”作为该视频的一个标签，则“猫”这一标签的置信度为具有标签“猫”的视频的数量即18除以该用户在预设时间段发布的视频的总数量即20，得到具有标签“猫”的视频的数量与该用户在预设时间段发布的视频的总数量的比例即0.9，然后，可以直接将0.9作为该标签的第一置信度。

若该模型输出的识别结果为“猴”，将“猴”作为该视频的一个标签，则“猴”这一标签的置信度为具有标签“猴”的视频的数量即0除以该用户在预设时间段发布的视频的总数量即20，得到具有标签“猴”的视频的数量与该用户在预设时间段发布的视频的总数量的比例即0。当计算出的比例为0时，可以预先设置比例0对应的一个较小的数值例如0.1。可以将预先设置的比例0对应的一个较小的数值作为“猴”这一标签的第一置信度。

在本公开中，对于一个标签，该标签的第二置信度指示生成该标签的模型针对标注信息为该标签的图像的多次历史识别中，生成该标签的模型输出该标签的准确率。当获取该标签的第二置信度时，可以确定在利用生成标签的模型针对标注信息为该标签的图像的多次历史识别中，生成该标签的模型输出该标签的次数，然后，将生成该标签的模型输出该标签的次数除以历史识别的次数之后得到的结果作为该标签的第二置信度。

对于一个标签，在利用生成标签的模型针对标注信息为该标签的图像的多次历史识别中的每一次历史识别中，针对的图像不同，但该每一次历史识别中针对的每一个图像的标注信息均为该标签。

例如，对于一个视频，多个不同的模型中的一个模型对该用户最新发布的一个视频中的目标图像进行识别之后，得到的该视频的标签“猫”，该模型为多个不同的模型中的生成该标签“猫”的模型。预先利用该生成该标签“猫”的模型针对标注信息为“猫”的图像进行多次历史识别。

假设该生成该标签“猫”的模型针对标注信息为“猫”的图像的多次历史识别为100次历史识别，历史识别的次数为100，该100次历史识别中的每一次历史识别针对的图像不同，但该每一次历史识别中针对的每一个图像的标注信息均为该标签“猫”，每一次历史识别中针对的每一个图像的类型均为“猫”这一类型。每一次历史识别中，利用该生成该标签“猫”的模型对一个标注信息为“猫”的图像进行识别。在100次测试中，该生成该标签“猫”的模型有90次输出的结果为“猫”，与标注信息“猫”一致。换言之，该生成该标签“猫”的模型在100次历史识别中有90次输出了正确的结果，将该生成该标签“猫”的模型输出该标签“猫”的次数即90除以历史识别的次数即100，得到该标签“猫”的第二置信度即90％。

在本公开中，当利用多个不同的模型生成一个视频的多个标签时，对于多个不同模型中的每一个模型，在利用该模型对与该视频中的目标图像进行识别时，该模型除了输出标签，还会输出标签的概率，标签的概率指示标签为正确的识别结果的概率。

在一些实施例中，根据多个标签中的每一个标签的与排序相关的信息，计算每一个标签各自的用于排序的权重包括：对于多个标签中的每一个标签，计算标签的与排序相关的信息中的所有项的乘积，得到标签对应的累乘结果；基于每一个标签各自对应的累乘结果，计算每一个标签各自的用于排序的权重。

在本公开中，当基于每一个标签各自对应的累乘结果，计算每一个标签各自的用于排序的权重时，可以采用以下公式分别计算每一个标签各自的用于排序的权重：

SCOREi＝2*sigmoid(5*ALGi*DISi*LAi*ACCi*IMPi*PROBi)-1

SCOREi表示视频的第i个标签对应的用于排序的权重。

ALG_i*DIS_i*LA_i*ACC_i*IMP_i*PROB_i表示第i个标签对应的累乘结果。

ALG_i表示视频的第i个标签的关联度信息。

DIS_i表示视频的第i个标签的第一置信度。

LA_i表示视频的第i个标签的预设权重值。

ACC_i表示视频的第i个标签的第二置信度。

IMP_i表示视频的第i个标签的目标对象占比信息。

PROB_i表示生成视频的第i个标签的模型输出的第i个标签的概率。

在本公开中，在采用上述公式计算每一个标签各自的用于排序的权重之前，可以对标签的与排序相关的信息中的每一项进行归一化，得到每一项各自对应的位于的[0，1]的归一化值，利用每一项各自对应的归一化值进行相乘，得到标签对应的累乘结果。

sigmoid函数的取值范围是[0，1]。ALGi*DISi*LAi*ACCi*IMPi*PROBi的取值范围为[0，1]。上述公式中的系数的取值为5仅为较优的一种实现，在计算标签对应的用于排序的权重时，系数的取值是可以调整的。

步骤104，根据每一个标签各自的用于排序的权重，对视频的多个标签进行排序，得到视频的多个标签的排序结果。

在本公开中，对于一个视频，在得到该视频的多个标签之后，可以对于该视频的每一个标签，获取该标签的与排序相关的信息。然后，可以分别基于每一个标签的与排序相关的信息，分别计算每一个标签各自对应的用于排序的权重，根据每一个标签各自对应的用于排序的权重，对该视频的多个标签进行排序，得到该视频的多个标签的排序结果。

在本公开中，对于视频的多个标签中的每一个标签，该标签的与排序相关的信息包括：关联度信息、目标对象占比信息、预设权重值、置信度信息。

在本公开中，标签的关联度信息、标签的目标对象占比信息、标签的预设权重值、标签的置信度信息均可以为一个数值。

在本公开中，对于一个视频，可以对于该视频的多个标签中的每一个标签，可以将标签的与排序相关的信息中的每一项进行相加或者对每一项进行加权计算，得到标签的用于排序的权重。然后，根据该视频的每一个标签的用于排序的权重，按照用于排序的权重由高至低的顺序对该视频的多个标签进行排序，得到该视频的多个标签的排序结果。

在本公开中，对于一个视频，在得到该视频的多个标签的排序结果之后，可以将该视频的多个标签的排序结果提供给相关的系统。

例如，对于一个视频，将该视频的多个标签的排序结果提供给视频推荐系统，视频推荐系统可以根据该视频的多个标签的排序结果，确定在排序结果中位置靠前的一定数量的该视频的标签，根据位置靠前的一定数量的该视频的标签，生成该视频的推荐策略。

图2是根据一示例性实施例示出的一种视频类别标签的排序装置的结构框图。参照图2，该视频类别标签的排序装置包括：信息获取模块201，标签生成模块202，权重计算模块203、标签排序模块204。

信息获取模块201被配置为获取视频，以及确定所述视频中的目标图像；

标签生成模块202被配置为利用多个不同的模型基于视频中的目标图像，生成视频的多个标签；

权重计算模块203被配置为基于所述多个标签中的每一个标签的与排序相关的信息，计算每一个标签的用于排序的权重，所述标签的与排序相关的信息包括：关联度信息、目标对象占比信息、预设权重值、置信度信息，所述关联度信息指示生成所述标签的模型在生成所述标签的过程中从所述视频中的目标图像中检测出的目标对象的类型与所述视频的内容的关联度，目标对象占比信息指示所述目标对象与所述目标图像的关联度；

标签排序模块204被配置为根据每一个标签各自的用于排序的权重，对所述多个标签进行排序，得到所述多个标签的排序结果。

在一些实施例中，视频类别标签的排序装置还包括：

目标对象占比信息计算模块，被配置为分别计算生成所述标签的模型在生成所述标签的过程中从所述视频中的目标图像中检测出的每一个目标对象占据的区域的大小与所述目标图像的大小的比例；基于每一个目标对象占据的区域的大小与所述目标图像的大小的比例，计算所述标签的目标对象占比信息。

在一些实施例中，所述标签的置信度信息包括：所述标签的第一置信度、所述标签的第二置信度、生成所述标签的模型输出的所述标签的概率，类别标签的排序装置包括：

第一置信度计算模块，被配置为基于在预设时间段内所述视频所属的用户发布的视频中的与所述标签的相关联的视频的数量和所述用户发布的视频的总数量，计算所述标签的第一置信度；

第二置信度计算模块，被配置为确定在生成所述标签的模型针对标注信息为所述标签的图像的多次历史识别中，生成所述标签的模型输出所述标签的次数；基于确定出的次数和生成所述标签的模型针对标注信息为所述标签的图像的历史识别的次数，计算所述标签的第二置信度。在一些实施例中，第一置信度计算模块进一步被配置为计算在预设时间段内所述视频所属的用户发布的视频中具有所述标签的视频的数量与在预设时间段内所述视频所属的用户发布的视频的总数量的比例；基于所述具有所述标签的视频的数量与在预设时间段内所述视频所属的用户发布的视频的总数量的比例，计算所述标签的第一置信度。

在一些实施例中，权重计算模块203包括：

累乘计算子模块，被配置为：对于所述多个标签中的每一个标签，计算所述标签的与排序相关的信息中的所有项的乘积，得到所述标签对应的累乘结果；基于每一个标签各自对应的累乘结果，计算每一个标签各自的用于排序的权重。

图3是根据一示例性实施例示出的一种电子设备的结构框图。参照图3，电子设备300包括处理组件322，其进一步包括一个或多个处理器，以及由存储器332所代表的存储器资源，用于存储可由处理组件322执行的指令，例如应用程序。存储器332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件322被配置为执行指令，以执行上述方法。

电子设备300还可以包括一个电源组件326被配置为执行电子设备300的电源管理，一个有线或无线网络接口350被配置为将电子设备300连接到网络，和一个输入输出(I/O)接口358。电子设备300可以操作基于存储在存储器332的操作系统，例如WindowsServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还发布了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本申请还发布一种计算机程序，该计算机程序包括如图1所示的操作步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频类别标签的排序方法，其特征在于，所述方法包括：

获取视频，以及确定所述视频中的目标图像；

利用多个不同的模型基于所述目标图像，生成所述视频的多个标签；

基于所述多个标签中的每一个标签的与排序相关的信息，计算每一个标签各自的用于排序的权重，所述标签的与排序相关的信息包括：关联度信息、目标对象占比信息、预设权重值、置信度信息，所述关联度信息指示生成所述标签的模型在生成所述标签的过程中从所述视频中的目标图像中检测出的目标对象的类型与所述视频的内容的关联度，目标对象占比信息指示所述目标对象与所述目标图像的关联度；

根据每一个标签各自的用于排序的权重，对所述多个标签进行排序，得到所述多个标签的排序结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

分别计算生成所述标签的模型在生成所述标签的过程中从所述视频中的目标图像中检测出的每一个目标对象占据的区域的大小与所述目标图像的大小的比例；

基于每一个目标对象占据的区域的大小与所述目标图像的大小的比例，计算所述标签的目标对象占比信息。

3.根据权利要求2所述的方法，其特征在于，所述标签的置信度信息包括：所述标签的第一置信度、所述标签的第二置信度、生成所述标签的模型输出的所述标签的概率；以及

所述方法还包括：

基于在预设时间段内所述视频所属的用户发布的视频中的与所述标签的相关联的视频的数量和所述用户发布的视频的总数量，计算所述标签的第一置信度；

确定在生成所述标签的模型针对标注信息为所述标签的图像的多次历史识别中，生成所述标签的模型输出所述标签的次数；

基于确定出的次数和生成所述标签的模型针对标注信息为所述标签的图像的历史识别的次数，计算所述标签的第二置信度。

4.根据权利要求3所述的方法，其特征在于，所述基于在预设时间段内所述视频所属的用户发布的视频中的与所述标签的相关联的视频的数量和所述用户发布的视频的总数量，计算所述标签的第一置信度包括：

计算在预设时间段内所述视频所属的用户发布的视频中具有所述标签的视频的数量与在预设时间段内所述视频所属的用户发布的视频的总数量的比例；基于所述具有所述标签的视频的数量与在预设时间段内所述视频所属的用户发布的视频的总数量的比例，计算所述标签的第一置信度。

5.根据权利要求1-4之一所述的方法，其特征在于，根据所述多个标签中的每一个标签的与排序相关的信息，计算每一个标签各自的用于排序的权重包括：

对于所述多个标签中的每一个标签，计算所述标签的与排序相关的信息中的所有项的乘积，得到所述标签对应的累乘结果；

基于每一个标签各自对应的累乘结果，计算每一个标签各自的用于排序的权重。

6.一种视频类别标签的排序装置，其特征在于，所述装置包括：

信息获取模块，被配置为获取视频，以及确定所述视频中的目标图像；

标签生成模块，被配置为利用多个不同的模型基于所述目标图像，生成所述视频的多个标签；

权重计算模块，被配置为基于所述多个标签中的每一个标签的与排序相关的信息，计算每一个标签的用于排序的权重，所述标签的与排序相关的信息包括：关联度信息、目标对象占比信息、预设权重值、置信度信息，所述关联度信息指示生成所述标签的模型在生成所述标签的过程中从所述视频中的目标图像中检测出的目标对象的类型与所述视频的内容的关联度，目标对象占比信息指示所述目标对象与所述目标图像的关联度；

标签排序模块，被配置为根据每一个标签各自的用于排序的权重，对所述多个标签进行排序，得到所述多个标签的排序结果。

7.根据权利要求6所述的装置，其特征在于，所述标签的置信度信息包括：所述标签的第一置信度、所述标签的第二置信度、生成所述标签的模型输出的所述标签的概率，所述装置还包括：

第一置信度计算模块，被配置为基于在预设时间段内所述视频所属的用户发布的视频中的与所述标签的相关联的视频的数量和所述用户发布的视频的总数量，计算所述标签的第一置信度；

第二置信度计算模块，被配置为确定在生成所述标签的模型针对标注信息为所述标签的图像的多次历史识别中，生成所述标签的模型输出所述标签的次数；基于确定出的次数和生成所述标签的模型针对标注信息为所述标签的图像的历史识别的次数，计算所述标签的第二置信度。

8.根据权利要求7所述的装置，其特征在于，权重计算模块包括：

累乘计算子模块，被配置为：对于所述多个标签中的每一个标签，计算所述标签的与排序相关的信息中的所有项的乘积，得到所述标签对应的累乘结果；基于每一个标签各自对应的累乘结果，计算每一个标签各自的用于排序的权重。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的方法。

10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至5中任一项所述的方法。

Images