CN107770614A - 多媒体内容的标签制作方法及装置 - Google Patents

Abstract

本发明公开了一种多媒体内容的标签制作方法及装置，涉及多媒体技术领域。其中的方法包括：提取多媒体内容中的目标特征；对提取的多媒体内容的目标特征与目标特征库中的目标特征进行匹配；根据匹配的目标特征所对应的目标与所述目标位于多媒体内容中的时间信息制作标签。从而实现了对多媒体内容自动化的制作标签。

Description

多媒体内容的标签制作方法及装置

技术领域

本发明涉及多媒体技术领域，特别涉及一种多媒体内容的标签制作方法及装置。

背景技术

基于多媒体的节目内容打上标签，可以实现播放节目的应用场景与购物、投票等关联信息相结合，从而解决了多媒体节目的互动、内容广告的关联推送，从而实现了与用户关联的多媒体内容的精准推送，有利于进一步提升多媒体内容对用户的价值。

然而，现有技术中由于标签需要多媒体节目运营人员人工制作，节目运营人员需要遍历节目内容进行内容标签制作，导致工作量非常大，不利于多媒体内容的普及和推广。

发明内容

本发明所要解决的一个技术问题是：如何实现对多媒体内容自动化的制作标签。

根据本发明实施例的一个方面，提供了一种多媒体内容的标签制作方法，包括：提取多媒体内容中的目标特征；对提取的多媒体内容的目标特征与目标特征库中的目标特征进行匹配；根据匹配的目标特征所对应的目标与目标位于多媒体内容中的时间信息制作标签。

根据本发明实施例的另一个方面，提供了一种多媒体内容的标签制作装置，包括：特征提取模块，用于提取多媒体内容中的目标特征；特征匹配模块，用于对提取的多媒体内容的目标特征与目标特征库中的目标特征进行匹配；标签制作模块，用于根据匹配的目标特征所对应的目标与目标位于多媒体内容中的时间信息制作标签。

本发明通过对提取的多媒体内容的目标特征与目标特征库中的目标特征进行匹配，实现了对多媒体内容自动化的制作标签。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出本发明多媒体内容的标签制作方法的一个实施例的流程示意图。

图2示出本发明多媒体内容的推荐方法的一个实施例的流程示意图。

图3示出本发明多媒体内容的标签制作装置的一个实施例的结构示意图。

图4示出本发明多媒体内容的推荐装置的一个实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1描述本发明一个实施例的多媒体内容的标签制作方法。

图1示出本发明多媒体内容的标签制作方法的一个实施例的流程示意图。如图1所示，该实施例中的多媒体内容的标签制作方法包括以下步骤：

步骤S102，提取多媒体内容中的目标特征。

例如，多媒体内容可以为IPTV直播节目或者IPTV点播节目，目标例如可以是人物、动物、物体等，以人物类型的目标为例，目标特征可以包括人脸特征以及声纹特征等。

步骤S104，对提取的多媒体内容的目标特征与目标特征库中的目标特征进行匹配。

其中，目标特征库存储有目标以及目标特征的对应关系信息。目标特征库的创建方法有多种，下面举例说明。

一种目标特征库的创建方法是，从多媒体内容的已标注的标签中提取目标特征，然后基于提取的目标特征对多媒体内容进行机器学习，形成目标特征与目标的对应关系。如表1所示，从IPTV节目的已标注的标签中提取人物A的人物特征a，然后基于人物特征a对IPTV节目进行机器学习，形成人物特征a与人物A的对应关系。利用同样的方法，还可以形成人物特征b与人物B的对应关系。通过这种方法可以基于已标注的标签准确、快速的创建针对多媒体内容的目标特征库。

表1

另一种目标特征库的创建方法是，提取目标图片中的目标特征，然后基于提取的目标特征对多媒体内容进行机器学习，形成目标特征与目标的对应关系。例如提取人物B照片中的人物特征b，然后基于人物特征b对IPTV节目进行机器学习，形成人物特征b与人物B的对应关系。

这种创建目标特征库的方法不需要以已标注标签作为基础，因此多媒体内容的所有标签都通过自动化的方式制作完成。

步骤S106，根据匹配的目标特征所对应的目标与所述目标位于多媒体内容中的时间信息制作标签。

其中，目标位于多媒体内容中的时间信息例如可以包括目标位于多媒体内容中的开始时间、结束时间、持续时间等。例如，匹配的目标特征所对应的目标为人物A，目标A位于多媒体内容中的时间为0小时01分25秒以及1小时11分03秒，则可以制作如表2所示的时间戳与内容的标签。

表2

本发明通过对提取的多媒体内容的目标特征与目标特征库中的目标特征进行匹配，实现了对多媒体内容自动化的制作标签,降低了标签制作的人力成本及时间成本。

在上述步骤S102中，按照多媒体内容的划分，提取多媒体内容中的目标特征可以分为两种方法。

对于视频多媒体，可以确定视频画面中目标的位置和尺寸，提取视频画面中的目标图像，然后将所述目标图像转化为灰度图，并将灰度图的灰度变化、轮廓变化特征提取为目标特征。

对于音频多媒体，可以提取音频片段，生成音频片段的波形图，然后在波形图中提取各个时间点上具有最大音频振幅的音频频率，并将提取的音频频率及其时间点作为音频特征。

通过提取多媒体内容中的目标特征，可以实现后续对提取的多媒体内容的目标特征与目标特征库中的目标特征进行匹配，从而完成自动化生成标签。

下面结合图2描述本发明一个实施例的多媒体内容的推荐方法。

图2示出本发明多媒体内容的推荐方法的一个实施例的流程示意图。如图2所示，在图1所示的实施例基础上，该实施例中的多媒体内容的推荐方法还包括以下步骤：

步骤S208，根据目标与推荐事件的关联关系，获取目标相关联的推荐事件。

其中，目标与推荐事件的关联关系可以预先建立，例如，可以根据业务需要或推荐需要建立目标与推荐事件的关联关系。对于IPTV节目，推荐事件可以包括推送电视购物链接、对IPTV节目互动进行投票、推送人物介绍或与人物相关的视频播放链接。例如表3所示，可以预先创建人物与推荐事件的关联库。在关联库中，根据人物A与电影a’的关联关系，获取人物A相关联的推荐事件电影a’。

表3

可选的，在目标与推荐事件的关联关系中，一个目标可以与不同的推荐事件相关联。例如，人物A可以在不同的时间戳标签中分别与电影a’以及电影a”相关联。从而提升推荐事件的多样性。

步骤S210，在目标位于多媒体内容的时间上触发标签，呈现相关联的推荐事件。

例如表4所示，在人物A位于IPTV节目的时刻触发时间戳标签，呈现时间戳标签与人物A相关联的电影a’或者电影a”。

表4

上述实施例通过目标与推荐事件的关联关系获取目标相关联的推荐事件，从而实现了相关推荐事件的推送，有利于进一步提升多媒体内容对用户的价值。

下面结合图3描述本发明一个实施例的多媒体内容的标签制作装置。

图3示出本发明多媒体内容的标签制作装置的一个实施例的结构示意图。如图3所示，该实施例中的多媒体内容的标签制作装置30包括：

特征提取模块302，用于提取多媒体内容中的目标特征；

特征匹配模块304，用于对提取的多媒体内容的目标特征与目标特征库中的目标特征进行匹配；

标签制作模块306，用于根据匹配的目标特征所对应的目标与所述目标位于多媒体内容中的时间信息制作标签。

通过提取多媒体内容中的目标特征，可以实现后续对提取的多媒体内容的目标特征与目标特征库中的目标特征进行匹配，从而完成自动化生成标签。

可选的，特征提取模块302包括:

图像提取单元，用于确定视频画面中目标的位置和尺寸，并提取视频画面中的目标图像。

图像转化单元，用于将目标图像转化为灰度图。

特征提取单元，用于将灰度图的灰度变化、轮廓变化特征提取为目标特征。

可选的，特征提取模块302还包括:

音频提取单元，用于提取音频片段；

波形图生成单元，用于生成音频片段的波形图；

频率提取单元，用于在波形图中提取各个时间点上具有最大音频振幅的音频频率，并将提取的音频频率及其时间点作为音频特征。

通过提取多媒体内容中的目标特征，可以实现后续对提取的多媒体内容的目标特征与目标特征库中的目标特征进行匹配，从而完成自动化生成标签。

下面结合图4描述本发明一个实施例的多媒体内容的推荐装置。

图4示出本发明多媒体内容的标签制作装置的一个实施例的结构示意图。如图4所示，该实施例中的多媒体内容的标签制作装置40包括：

标签制作装置30；

推荐事件获取模块402，用于根据目标与推荐事件的关联关系，获取目标相关联的推荐事件。

推荐事件呈现模块404，用于在目标位于多媒体内容的时间上触发标签，呈现相关联的推荐事件。

可选的，推荐事件包括：推送电视购物链接、对IPTV节目互动进行投票、推送人物介绍或与人物相关的视频播放链接。

可选的，目标与推荐事件的关联关系中，目标与不同的推荐事件相关联。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种多媒体内容的标签制作方法，包括：

提取多媒体内容中的目标特征；

对提取的多媒体内容的目标特征与目标特征库中的目标特征进行匹配；

根据匹配的目标特征所对应的目标与所述目标位于多媒体内容中的时间信息制作标签。

2.如权利要求1所述的方法，其特征在于，所述提取多媒体内容中的目标特征包括:

确定视频画面中目标的位置和尺寸，并提取视频画面中的目标图像；

将所述目标图像转化为灰度图；

将灰度图的灰度变化、轮廓变化特征提取为目标特征。

3.如权利要求1所述的方法，其特征在于，所述提取多媒体内容中的目标特征还包括:

提取音频片段；

生成音频片段的波形图；

在所述波形图中提取各个时间点上具有最大音频振幅的音频频率，并将提取的音频频率及其时间点作为音频特征。

4.如权利要求1所述的方法，其特征在于，所述目标特征库采用以下方法创建：

从多媒体内容的已标注的标签中提取目标特征；

基于提取的目标特征对多媒体内容进行机器学习，形成目标特征与目标的对应关系。

5.如权利要求1所述的方法，其特征在于，所述目标特征库采用以下方法创建：

提取目标图片中的目标特征；

基于提取的目标特征对多媒体内容进行机器学习，形成目标特征与目标的对应关系。

6.如权利要求1所述的方法，其特征在于，所述目标特征包括人脸特征以及声纹特征，或者，所述多媒体内容包括交互式网络电视IPTV点播节目以及IPTV直播节目。

7.一种基于权利要求1～6任一项所述标签制作方法的内容推荐方法，包括：

根据目标与推荐事件的关联关系，获取所述目标相关联的推荐事件；

在所述目标位于多媒体内容的时间上触发所述标签，呈现相关联的推荐事件。

8.如权利要求7所述的方法，其特征在于，所述推荐事件包括：

推送电视购物链接、对IPTV节目互动进行投票、推送人物介绍或与人物相关的视频播放链接。

9.如权利要求7所述的方法，其特征在于，其中，在目标与推荐事件的关联关系中，目标与不同的推荐事件相关联。

10.一种多媒体内容的标签制作装置，包括：

特征提取模块，用于提取多媒体内容中的目标特征；

特征匹配模块，用于对提取的多媒体内容的目标特征与目标特征库中的目标特征进行匹配；

标签制作模块，用于根据匹配的目标特征所对应的目标与所述目标位于多媒体内容中的时间信息制作标签。

11.如权利要求10所述的装置，其特征在于，所述特征提取模块包括:

图像提取单元，用于确定视频画面中目标的位置和尺寸，并提取视频画面中的目标图像；

图像转化单元，用于将所述目标图像转化为灰度图；

特征提取单元，用于将灰度图的灰度变化、轮廓变化特征提取为目标特征。

12.如权利要求10所述的装置，其特征在于，所述特征提取模块还包括:

音频提取单元，用于提取音频片段；

波形图生成单元，用于生成音频片段的波形图；

频率提取单元，用于在所述波形图中提取各个时间点上具有最大音频振幅的音频频率，并将提取的音频频率及其时间点作为音频特征。

13.一种基于权利要求10～12任一项所述标签制作装置的内容推荐装置，包括：

如权利要求10～12任一项所述的标签制作装置；

推荐事件获取模块，用于根据目标与推荐事件的关联关系，获取所述目标相关联的推荐事件；

推荐事件呈现模块，用于在所述目标位于多媒体内容的时间上触发所述标签，呈现相关联的推荐事件。

14.如权利要求13所述的装置，其特征在于，所述推荐事件包括：

推送电视购物链接、对IPTV节目互动进行投票、推送人物介绍或与人物相关的视频播放链接。

15.如权利要求13所述的装置，其特征在于，在所述目标与推荐事件的关联关系中，目标与不同的推荐事件相关联。