CN115129903A - 一种多媒体内容的特征确定方法及装置 - Google Patents

Abstract

本申请公开了一种多媒体内容的特征确定方法，在一个示例中，可以获取待处理多媒体内容的第一参数，而后，确定所述第一参数与第一参数的多个分裂点中各个分裂点的差值，得到差值向量。所述差值向量，可以体现所述第一参数与所述各个分裂点的接近程度。而后，基于所述差值向量和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征。由此可见，本申请实施例的方案可以基于第一参数与所述各个分裂点的接近程度和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征。而第一参数与所述各个分裂点的接近程度能够带来较少的信息损失，相应的，采用本申请实施例的方案，所确定的特征能够携带更多的语义信息。

Description

一种多媒体内容的特征确定方法及装置

技术领域

本申请涉及计算机技术领域，特别是涉及一种多媒体内容的特征确定方法及装置。

背景技术

在一些场景中，需要确定多媒体内容的特征。例如，可以基于多媒体内容的特征来确定多媒体内容的标签。若多媒体内容的特征所能携带的语义信息更多，则基于所述多媒体内容的特征所确定的标签，也能够更准确。

因此，如何确定多媒体内容的特征，以使得多媒体内容的特征能够携带更多的语义信息，是目前尚待解决的问题。

发明内容

本申请实施例提供了一种多媒体内容的特征确定方法及装置。

第一方面，本申请实施例提供了一种多媒体内容的特征确定方法，所述方法包括：

获取待处理多媒体内容的第一参数；

确定所述第一参数与第一参数对应的多个分裂点中各个分裂点的差值，得到第一参数对应的差值向量；

基于所述差值向量和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征。

可选的，所述基于所述差值向量和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征，包括：

基于所述差值向量确定所述各个分裂点对应的权重；

基于所述各个分裂点对应的权重和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征。

可选的，所述第一参数的多个分裂点，是基于历史多媒体内容的所述第一参数所确定的概率密度函数确定的。

可选的，所述第一参数对应M个分裂点，则任意两个相邻分裂点之间的、所述历史多媒体内容的所述第一参数的概率之和为1/(M-1)。

可选的，所述多个分裂点中的第一个分裂点为所述第一参数的最小值，所述多个分裂点中的最后一个分裂点为所述第一参数的最大值。

可选的，所述多个分裂点包括第一分裂点，所述第一分裂点的权重与第一差值反相关，所述第一差值为所述第一参数与所述第一分裂点之间的差值。

可选的，所述基于所述各个分裂点对应的权重和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征，包括：

计算各个分裂点对应的权重和所述各个分裂点对应的初始向量之间的乘积，得到所述第一参数对应的特征。

可选的，所述待处理对媒体内容，包括：

视频或者音频。

第二方面，本申请实施例提供了一种多媒体内容的特征确定装置，所述装置包括：

获取单元，用于获取待处理多媒体内容的第一参数；

第一确定单元，用于确定所述第一参数与第一参数对应的多个分裂点中各个分裂点的差值，得到第一参数对应的差值向量；

第二确定单元，用于基于所述差值向量和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征。

可选的，所述第二确定单元，用于：

基于所述差值向量确定所述各个分裂点对应的权重；

基于所述各个分裂点对应的权重和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征。

可选的，所述第一参数的多个分裂点，是基于历史多媒体内容的所述第一参数所确定的概率密度函数确定的。

可选的，所述第一参数对应M个分裂点，则任意两个相邻分裂点之间的、所述历史多媒体内容的所述第一参数的概率之和为1/(M-1)。

可选的，所述多个分裂点中的第一个分裂点为所述第一参数的最小值，所述多个分裂点中的最后一个分裂点为所述第一参数的最大值。

可选的，所述多个分裂点包括第一分裂点，所述第一分裂点的权重与第一差值反相关，所述第一差值为所述第一参数与所述第一分裂点之间的差值。

可选的，所述基于所述各个分裂点对应的权重和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征，包括：

计算各个分裂点对应的权重和所述各个分裂点对应的初始向量之间的乘积，得到所述第一参数对应的特征。

可选的，所述待处理对媒体内容，包括：

视频或者音频。

第三方面，本申请实施例提供了一种设备，所述设备包括处理器和存储器；

所述处理器用于执行所述存储器中存储的指令，以使得所述设备执行如以上第一方面中任一项所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，包括指令，所述指令指示设备执行如以上第一方面中任一项所述的方法。

第五方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行以上第一方面任一项所述的方法。

与现有技术相比，本申请实施例具有以下优点：

本申请实施例提供了一种多媒体内容的特征确定方法，在一个示例中，可以获取待处理多媒体内容的第一参数，而后，确定所述第一参数与第一参数的多个分裂点中各个分裂点的差值，得到差值向量。所述差值向量，可以体现所述第一参数与所述各个分裂点的接近程度。而后，基于所述差值向量和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征。由此可见，本申请实施例的方案可以基于第一参数与所述各个分裂点的接近程度和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征。而第一参数与所述各个分裂点的接近程度能够带来较少的信息损失，相应的，采用本申请实施例的方案，所确定的特征能够携带更多的语义信息。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种多媒体内容的特征确定方法的流程示意图；

图2为本申请实施例提供的一种概率密度函数的示意图；

图3为本申请实施例提供的一种多媒体内容的特征确定装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的发明人经过研究发现，在一些场景中，为了更加准确的自动识别多媒体内容的标签，可以使用与多媒体内容相关的特征来确定多媒体内容的标签。例如，在利用标签识别模型来确定多媒体内容的标签时，在模型训练阶段，可以利用上述相关的特征来训练标签识别模型。相应的，在模型使用阶段，可以将上述相关的特征输入所述标签识别模型，以得到多媒体内容的标签。

但是，上述相关的特征中可能会存在部分参数对应的特征，由于该参数的取值范围较大，因此，若直接利用该参数进行模型训练，则可能会导致训练崩溃，梯度消失或爆炸等情况。

为了解决这个问题，在一个示例中，可以利用树模型的分裂点进行分桶，然后将分桶后的结果用神经网络建模。例如，对于参数A而言，根据其取值范围划分为多个桶，对于训练多媒体内容的参数A而言，判断其所属的桶，并基于其所属的桶来确定其对应的特征。例如，参数A为视频的时长，假设视频时长被划分为3个桶，第一个桶对应视频时长的范围为0-30秒(second，s)，第二个桶对应视频时长的范围为30s-60s，第三个桶对应视频时长的范围为60s-10分钟(minutes，min)。则若训练视频1的时长为29s，则其被划分到第一个桶中，相应的，其特征与第一个桶对应(例如与30s对应)，若训练视频2的时长为31s，则其被划分到第二个桶中，相应的，其特征与第二个桶对应(例如与60s对应)。

但是，采用这种方式来确定参数对应的特征，可能会带来较大的信息损失，例如，对于前述训练视频1和训练视频2而言，其视频时长的差别较小。但是，采用上述方式，训练视频1的时长对应的特征和训练视频2的时长对应的特征并不能体现出训练视频1的视频时长和训练视频2的视频时长的差别较小。为了解决上述问题，本申请实施例提供了一种多媒体内容的特征确定方法。

下面结合附图，详细说明本申请的各种非限制性实施方式。

示例性方法

参见图1，该图为本申请实施例提供的一种多媒体内容的特征确定方法的流程示意图。本申请实施例提供的多媒体内容的特征确定方法，可以由客户端执行，也可以由服务端执行，本申请实施例不做具体限定。

在本实施例中，所述方法例如可以包括以下步骤：S101-S103。

S101：获取待处理多媒体内容的第一参数。

本申请实施例中提及的多媒体内容(包括待处理多媒体内容和历史多媒体内容)，可以是视频或者音频。

本申请实施例不具体限定所述第一参数，在一个示例中，所述第一参数可以是上述提及的取值范围较大的参数。以所述待处理多媒体内容为视频为例举例说明，所述第一参数可以是视频时长，所述第一参数还可以是视频的点赞数量、播放次数等等。

S102：确定所述第一参数与第一参数对应的多个分裂点中各个分裂点的差值，得到所述第一参数对应的差值向量。

关于所述第一参数对应的多个分裂点，需要说明的是，在一个示例中，所述多个分裂点中的第一个分裂点，为所述第一参数的最小值，所述多个分裂点中的最后个分裂点，为所述第一参数的最大值。关于所述第一参数的最小值和最大值，需要说明的是，若所述第一参数为有界参数，则所述第一参数的最大值和所述第一参数的最小值，分别为所述第一参数的取值范围的端点中的最大值和最小值。若所述第一参数为无界参数，则所述第一参数的最小值，可以是所述历史多媒体内容的第一参数中的最小值，相应的，所述第一参数的最大值，可以是所述历史多媒体内容的第一参数中的最大值。

关于所述第一参数对应的分裂点，需要说明的是，在一个示例中，所述第一参数对应的多个分裂点，可以是利用预先训练好的模型来确定的。在又一个示例中，所述第一参数对应的分裂点，可以是基于统计方法来确定的。采用统计方法来确定分裂点相较于采用预先训练好的模型来确定分裂点，无需预先进行模型训练，相应的，确定分裂点的流程更为简单，所消耗的计算资源更少。

采用统计方法来确定分裂点在具体实现时，可以基于历史多媒体内容的所述第一参数所确定的概率密度函数，来确定所述多个分裂点。例如，可以首先获取所述历史多媒体内容的第一参数，而后，基于历史多媒体内容的第一参数，确定概率密度函数，进一步地，基于所述概率密度函数，确定所述第一参数对应的分裂点。基于历史多媒体内容的第一参数确定概率密度函数在具体实现时，例如可以基于历史多媒体内容的第一参数得到拟合核函数，从而得到所述概率密度函数。

接下来，以所述第一参数包括M个分裂点为例，介绍如何确定所述M个分裂点中的中间(M-2)个分裂点。

在一个示例中，可以使得任意两个相邻分裂点之间的、所述历史多媒体内容的所述第一参数的概率之和为1/(M-1)，这样一来，在一个示例中，可以基于第一个分裂点计算得到第2个分裂点，基于第2个分裂点计算得到第3个分裂点，以此类推，计算得到第(M-1)个分裂点。或者，可以基于最后一个分裂点计算得到第(M-1)个分裂点，基于第(M-1)个分裂点计算得到第(M-2)个分裂点，以此类推，计算得到第2个分裂点。不难理解的是，采用这种方式，任意两个分裂点之间的第一参数的概率之和相同，从而使得确定的分裂点更加符合第一参数的分布规律。

可参见图2进行理解，图2为本申请实施例提供的一种概率密度函数的示意图。如图2所示，概率密度函数为f(x)，任意两个相邻分裂点之间的概率之和均为1/(M-1)，图2中以第一个分裂点和第二个分裂点之间的概率之和为例，在图2中，第一个分裂点x_min和第二个分裂点x₂之间的概率之和对应S1的面积，S1的面积为1/(M-1)。

关于所述差值向量，现举例说明，假设所述M个分裂点构成M维向量(x_min,x₂,…,x_M-2，x_max)，所述待处理多媒体内容的第一参数为x，则所述差值向量可以通过如下公式(1)表示：

δ＝(x-x_min,x-x₂,x-x₃,…,x-x_M-2,x-x_max) 公式(1)

在公式(1)中:

δ为差值向量；

x_min为第一个分裂点；

x₂为第2个分裂点；

x₃为第3个分裂点；

x_M-2为倒数第2个分裂点；

x_max为最后一个分裂点。

不难理解的是，所述差值向量，用于体现所述待处理多媒体内容的第一参数与各个分裂点之间的接近程度。差值向量中元素值越小，说明所述待处理多媒体内容的第一参数与该元素对应的分裂点越接近。

S103：基于所述差值向量和所述各个分裂点对应的初始向量，得到第一参数对应的特征。

所述差值向量能够体现所述待处理多媒体内容的第一参数与各个分裂点的接近程度，在本申请实施例中，可以基于所述差值向量和所述各个分裂点对应的初始向量，来确定所述第一参数对应的特征。

S103在具体实现时，可以对所述差值向量和所述各个分裂点对应的初始向量进行相应的计算，得到所述第一参数对应的特征。在计算得到所述第一参数对应的特征时，各个分裂点的初始向量在计算所述第一参数对应的特征的贡献、与各个分裂点与所述第一参数的接近程度相关。与所述第一参数越接近的分裂点对应的初始向量对于计算所述第一参数的特征的贡献越大。

在一个示例中，S103在具体实现时，可以首先基于所述差值向量确定各个分裂点对应的权重，而后，基于所述各个分裂点对应的权重和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征。

在本申请实施例中，为了凸显待处理多媒体内容的第一参数与各个分裂点之间的接近程度，所述各个分裂点的权重可以与所述述待处理多媒体内容的第一参数与各个分裂点之间的接近程度成正比，例如，所述第一分裂点对应的权重，与所述待处理多媒体内容的第一参数与第一分裂点之间的接近程度成正比，所述待处理多媒体内容的第一参数与第一分裂点之间的接近程度越高，则所述第一分裂点对应的权重越大。如上所述，差值向量中元素值越小，说明所述待处理多媒体内容的第一参数与该元素对应的分裂点越接近。因此，所述第一分裂点的权重与第一差值反相关，所述第一差值为所述待处理多媒体内容的第一参数与所述第一分裂点之间的差值。

在一个示例中，可以利用如下公式(2)确定各个分裂点对应的权重：

在公式(2)中：

δ为差值向量；

W为权重向量，所述权重向量为M维向量，所述权重向量的第N个元素，用于表示第N个分裂点的权重；

softmax用于对所述M个分裂点的权重进行归一化；

k为预设值，例如，k的值可以为1。

在一个示例中，所述各个分裂点对应的初始向量，例如可以均为d维向量，在一个示例中，所述各个分裂点对应的初始向量，可以是各不相同的随机向量。例如，所述各个分裂点对应的初始向量，可以构成如下公式(3)所示的向量v。

在公式(3)中：

v_min为第一个分裂点对应的初始向量，可以为d维向量；

v₂为第二个分裂点对应的初始向量，可以为d维向量；

v₃为第三个分裂点对应的初始向量，可以为d维向量；

v_max为最后一个分裂点对应的初始向量，可以为d维向量。

在一个示例中，“基于所述各个分裂点对应的权重和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征”在具体实现时，可以对所述各个分裂点对应的权重和所述各个分裂点对应的初始向量进行相应的计算，以得到所述第一参数对应的特征。在一个示例中，可以计算所述各个分裂点对应的权重和所述各个分裂点对应的初始向量的乘积，以得到所述第一参数对应的特征。例如，可以利用如下公式(4)计算得到所述待处理多媒体内容的第一参数对应的特征：

v_x＝v*w 公式(4)

在公式(4)中：

v_x为第一参数对应的特征；

v为各个分裂点对应的初始向量构成的向量；

w为指示各个分裂点的权重的权重向量。

不难理解的是，所述第一参数对应的特征，包括与各个分裂点对应的目标特征，其中，第一分裂点对应的目标特征，可以等于第一分裂点对应的初始向量和第一分裂点对应的权重的乘积。

通过以上描述可知，利用本申请实施例提供的方案，基于第一参数与所述各个分裂点的接近程度来确定各个分裂点的权重，相应的，基于所述各个分裂点对应的权重和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征。而第一参数与所述各个分裂点的接近程度能够带来较少的信息损失，相应的，采用本申请实施例的方案，所确定的特征能够携带更多的语义信息。

举例说明：

参数(第一参数)A为视频的时长，假设视频时长包括3个分裂点，分别为1s、30s和60s。则若视频1的时长为29s，视频2的时长为31s，则根据本申请实施例的方案，计算差值向量，可以确定视频1和视频2的时长均与分裂点30s接近，从而保留了更多的语义信息。

在本申请实施例中，确定待处理多媒体内容的第一参数的特征之后，可以利用所述第一参数的特征进行进一步的操作，在一个示例中，可以利用所述第一参数的特征，确定所述待处理多媒体内容的标签。例如，可以将所述第一参数的特征输入标签识别模型，从而得到所述待处理多媒体内容的标签。在又一个示例中，可以利用所述第一参数的特征训练相关模型，例如，基于第一参数的特征和所述待处理多媒体内容的标签，训练标签识别模型，等等，此处不再一一列举说明。

示例性设备

基于以上实施例提供的方法，本申请实施例还提供了一种装置，以下结合附图介绍该装置。

参见图3，图3为本申请实施例提供的一种多媒体内容的特征确定装置的结构示意图。图3所示的多媒体内容的特征确定装置300例如可以具体包括：获取单元301、第一确定单元302和第二确定单元303。

获取单元301，用于获取待处理多媒体内容的第一参数；

第一确定单元302，用于确定所述第一参数与第一参数对应的多个分裂点中各个分裂点的差值，得到第一参数对应的差值向量；

第二确定单元303，用于基于所述差值向量和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征。

可选的，所述第二确定单元303，用于：

基于所述差值向量确定所述各个分裂点对应的权重；

基于所述各个分裂点对应的权重和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征。

可选的，所述第一参数的多个分裂点，是基于历史多媒体内容的所述第一参数所确定的概率密度函数确定的。

可选的，所述第一参数对应M个分裂点，则任意两个相邻分裂点之间的、所述历史多媒体内容的所述第一参数的概率之和为1/(M-1)。

可选的，所述多个分裂点中的第一个分裂点为所述第一参数的最小值，所述多个分裂点中的最后一个分裂点为所述第一参数的最大值。

可选的，所述多个分裂点包括第一分裂点，所述第一分裂点的权重与第一差值反相关，所述第一差值为所述第一参数与所述第一分裂点之间的差值。

可选的，所述基于所述各个分裂点对应的权重和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征，包括：

计算各个分裂点对应的权重和所述各个分裂点对应的初始向量之间的乘积，得到所述第一参数对应的特征。

可选的，所述待处理对媒体内容，包括：

视频或者音频。

由于所述装置300是与以上方法实施例提供的方法对应的装置，所述装置300的各个单元的具体实现，均与以上方法实施例为同一构思，因此，关于所述装置300的各个单元的具体实现，可以参考以上方法实施例的描述部分，此处不再赘述。

本申请实施例还提供了一种设备，所述设备包括处理器和存储器；

所述处理器用于执行所述存储器中存储的指令，以使得所述设备执行以上方法实施例提供的多媒体内容的特征确定方法。

本申请实施例提供了一种计算机可读存储介质，包括指令，所述指令指示设备执行以上方法实施例提供的多媒体内容的特征确定方法。

本申请实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行以上方法实施例提供的多媒体内容的特征确定方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种多媒体内容的特征确定方法，其特征在于，所述方法包括：

获取待处理多媒体内容的第一参数；

确定所述第一参数与第一参数对应的多个分裂点中各个分裂点的差值，得到第一参数对应的差值向量；

基于所述差值向量和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征。

2.根据权利要求1所述的方法，其特征在于，所述基于所述差值向量和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征，包括：

基于所述差值向量确定所述各个分裂点对应的权重；

基于所述各个分裂点对应的权重和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征。

3.根据权利要求1所述的方法，其特征在于，所述第一参数的多个分裂点，是基于历史多媒体内容的所述第一参数所确定的概率密度函数确定的。

4.根据权利要求3所述的方法，其特征在于，所述第一参数对应M个分裂点，则任意两个相邻分裂点之间的、所述历史多媒体内容的所述第一参数的概率之和为1/(M-1)。

5.根据权利要求1所述的方法，其特征在于，所述多个分裂点中的第一个分裂点为所述第一参数的最小值，所述多个分裂点中的最后一个分裂点为所述第一参数的最大值。

6.根据权利要求2所述的方法，其特征在于，所述多个分裂点包括第一分裂点，所述第一分裂点的权重与第一差值反相关，所述第一差值为所述第一参数与所述第一分裂点之间的差值。

7.根据权利要求2所述的方法，其特征在于，所述基于所述各个分裂点对应的权重和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征，包括：

计算各个分裂点对应的权重和所述各个分裂点对应的初始向量之间的乘积，得到所述第一参数对应的特征。

8.根据权利要求1所述的方法，其特征在于，所述待处理对媒体内容，包括：

视频或者音频。

9.一种多媒体内容的特征确定装置，其特征在于，所述装置包括：

获取单元，用于获取待处理多媒体内容的第一参数；

第一确定单元，用于确定所述第一参数与第一参数对应的多个分裂点中各个分裂点的差值，得到第一参数对应的差值向量；

第二确定单元，用于基于所述差值向量和所述各个分裂点对应的初始向量，得到所述第一参数对应的特征。

10.一种设备，其特征在于，所述设备包括处理器和存储器；

所述处理器用于执行所述存储器中存储的指令，以使得所述设备执行如权利要求1至8中任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，包括指令，所述指令指示设备执行如权利要求1至8中任一项所述的方法。

Images