CN106899879A - 一种多媒体数据的处理方法和装置 - Google Patents

一种多媒体数据的处理方法和装置 Download PDF

Info

Publication number
CN106899879A
CN106899879A CN201510959116.2A CN201510959116A CN106899879A CN 106899879 A CN106899879 A CN 106899879A CN 201510959116 A CN201510959116 A CN 201510959116A CN 106899879 A CN106899879 A CN 106899879A
Authority
CN
China
Prior art keywords
data
medium data
time section
target time
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510959116.2A
Other languages
English (en)
Other versions
CN106899879B (zh
Inventor
邢学博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201510959116.2A priority Critical patent/CN106899879B/zh
Publication of CN106899879A publication Critical patent/CN106899879A/zh
Application granted granted Critical
Publication of CN106899879B publication Critical patent/CN106899879B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

本发明实施例提供了一种多媒体数据的处理方法和装置，该方法包括：当播放多媒体数据时，检测针对所述多媒体数据设置的目标时间段；获取在所述目标时间段内的多媒体数据的媒体特征标签；建立所述目标时间段的多媒体数据与所述媒体特征标签的关联关系。本发明实施例避免了用户再次通过观看整个多媒体数据筛选出感兴趣的部分，大大减少了耗时，减少了带宽资源的浪费，提高了效率。

Description

一种多媒体数据的处理方法和装置
技术领域
本发明涉及多媒体处理的技术领域，特别是涉及一种多媒体数据的处理方法和一种多媒体数据的处理装置。
背景技术
随着互联网的高速发展，网上的信息量急剧增加，其中包含了大量的视频数据，例如，新闻视频、综艺类节目、电视剧、电影等等。
用户对于视频数据的了解，大多源于对整个视频数据的简介，基于视频数据的简介，用户会选择观看或不观看。
但是，视频数据的时间一般比较长，如电视剧一集长达40分钟，一部电视剧多达数十集，而电影一部长达2个多小时。
这些时长很长的视频数据中包含的信息量比较大，但是，不一定所有的视频数据都是用户感兴趣的，用户若需要从中筛选出感兴趣的部分，需要浏览整个视频数据，消耗大量的时间、浪费许多带宽资源，效率很低。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种多媒体数据的处理方法和相应的一种多媒体数据的处理装置。
依据本发明的一个方面，提供了一种多媒体数据的处理方法，包括：
当播放多媒体数据时，检测针对所述多媒体数据设置的目标时间段；
获取在所述目标时间段内的多媒体数据的媒体特征标签；
建立所述目标时间段的多媒体数据与所述媒体特征标签的关联关系。
可选地，所述检测针对所述多媒体数据设置的目标时间段的步骤包括：
当检测到针对所述多媒体数据的第一标记操作时，记录所述第一标记操作对应的起始时间点；
当检测到针对所述多媒体数据的第二标记操作时，记录所述第二标记操作对应的终止时间点；
将所述起始时间点与所述终止时间点组成目标时间段。
可选地，所述获取在所述目标时间段内的多媒体数据的媒体特征标签的步骤包括：
获取所述多媒体数据的基本标签；
和/或，
从所述目标时间段内的多媒体数据中识别扩展标签；
根据所述基本标签和/或所述扩展标签获取媒体特征标签。
可选地，所述从所述目标时间段内的多媒体数据中识别扩展标签的步骤包括：
当所述多媒体数据为视频数据时，查找在所述目标时间段内的视频数据的弹幕数据；
从所述弹幕数据中选取关键词，作为扩展标签；
和/或，
当所述多媒体数据为视频数据时，查找在所述目标时间段内的视频数据的字幕数据；
采用所述字幕数据生成文本摘要信息，作为扩展标签。
可选地，所述从所述目标时间段内的多媒体数据中识别扩展标签的步骤包括：
当所述多媒体数据为音频数据时，采用在所述目标时间段内的音频数据与预设的音频模型进行匹配；
当匹配成功时，提取所述音频模型对应的风格标签，作为扩展标签；
和/或，
当所述多媒体数据为音频数据时，查找在所述目标时间段内的音频数据的歌词数据；
采用所述歌词数据生成文本摘要信息，作为扩展标签。
可选地，所述从所述目标时间段内的多媒体数据中识别扩展标签的步骤包括：
在一窗口中加载已获取的媒体特征标签；
当接收到针对所述媒体特征标签的删除指示时，将所述媒体特征标签删除；
当接收到新输入的关键词时，将所述关键字标记为扩展标签。
可选地，还包括：
获取多个关联信息；
对所述多个关联信息生成索引文件。
可选地，所述对所述多个关联信息生成索引文件的步骤包括：
对所述关联信息中的基本标签分类，生成分类索引；
将所述关联信息中的扩展标签设置为在所述分类索引中的键；
将所述多媒体数据及所述目标时间段设置为值；
组合相关联的键和值，生成索引文件。
可选地，还包括：
当接收到搜索关键词时，在所述索引文件的关联信息中查找与所述搜索关键词匹配的媒体特征标签；
返回所述媒体特征标签及所述媒体特征标签对应的、在目标时间段内的多媒体数据。
可选地，所述在所述索引文件的关联信息中查找与所述搜索关键词匹配的多媒体数据的步骤包括：
查找与所述搜索关键词匹配的分类索引；
在所述分类索引的键中，查找与所述搜索关键词匹配的扩展标签；
提取与所述键对应的值，获得所述扩展标签所属的多媒体数据及目标时间段。
根据本发明的另一方面，提供了一种多媒体数据的处理装置，包括：
目标时间段检测模块，适于在播放多媒体数据时，检测针对所述多媒体数据设置的目标时间段；
媒体特征标签获取模块，适于获取在所述目标时间段内的多媒体数据的媒体特征标签；
关联关系建立模块，适于建立所述目标时间段的多媒体数据与所述媒体特征标签的关联关系。
可选地，所述目标时间段检测模块还适于：
当检测到针对所述多媒体数据的第一标记操作时，记录所述第一标记操作对应的起始时间点；
当检测到针对所述多媒体数据的第二标记操作时，记录所述第二标记操作对应的终止时间点；
将所述起始时间点与所述终止时间点组成目标时间段。
可选地，所述媒体特征标签获取模块还适于：
获取所述多媒体数据的基本标签；
和/或，
从所述目标时间段内的多媒体数据中识别扩展标签；
根据所述基本标签和/或所述扩展标签获取媒体特征标签。
可选地，所述媒体特征标签获取模块还适于：
当所述多媒体数据为视频数据时，查找在所述目标时间段内的视频数据的弹幕数据；
从所述弹幕数据中选取关键词，作为扩展标签；
和/或，
当所述多媒体数据为视频数据时，查找在所述目标时间段内的视频数据的字幕数据；
采用所述字幕数据生成文本摘要信息，作为扩展标签。
可选地，所述媒体特征标签获取模块还适于：
当所述多媒体数据为音频数据时，采用在所述目标时间段内的音频数据与预设的音频模型进行匹配；
当匹配成功时，提取所述音频模型对应的风格标签，作为扩展标签；
和/或，
当所述多媒体数据为音频数据时，查找在所述目标时间段内的音频数据的歌词数据；
采用所述歌词数据生成文本摘要信息，作为扩展标签。
可选地，所述媒体特征标签获取模块还适于：
在一窗口中加载已获取的媒体特征标签；
当接收到针对所述媒体特征标签的删除指示时，将所述媒体特征标签删除；
当接收到新输入的关键词时，将所述关键字标记为扩展标签。
可选地，还包括：
关联信息获取模块，适于获取多个关联信息；
索引文件生成模块，适于对所述多个关联信息生成索引文件。
可选地，所述索引文件生成模块还适于：
对所述关联信息中的基本标签分类，生成分类索引；
将所述关联信息中的扩展标签设置为在所述分类索引中的键；
将所述多媒体数据及所述目标时间段设置为值；
组合相关联的键和值，生成索引文件。
可选地，还包括：
媒体特征标签匹配摸，适于在接收到搜索关键词时，在所述索引文件的关联信息中查找与所述搜索关键词匹配的媒体特征标签；
搜索结果返回模块，适于返回所述媒体特征标签及所述媒体特征标签对应的、在目标时间段内的多媒体数据。
可选地，所述媒体特征标签匹配摸还适于：
查找与所述搜索关键词匹配的分类索引；
在所述分类索引的键中，查找与所述搜索关键词匹配的扩展标签；
提取与所述键对应的值，获得所述扩展标签所属的多媒体数据及目标时间段。
本发明实施例对多媒体数据中的片段挖掘媒体特征标签，并建起两者之间的关联关系，方便在后的多媒体片段的搜索，避免了用户再次通过观看整个多媒体数据筛选出感兴趣的部分，大大减少了耗时，减少了带宽资源的浪费，提高了效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的一种多媒体数据的处理方法实施例1的步骤流程图；
图2示出了根据本发明一个实施例的一种多媒体数据的处理方法实施例2的步骤流程图；
图3示出了根据本发明一个实施例的一种多媒体数据的处理装置实施例1的结构框图；以及
图4示出了根据本发明一个实施例的一种多媒体数据的处理装置实施例2的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1，示出了根据本发明一个实施例的一种多媒体数据的处理方法实施例1的步骤流程图，具体可以包括如下步骤：
步骤101，当播放多媒体数据时，检测针对所述多媒体数据设置的目标时间段；
在具体实现中，用户从在线视频网站请求在播放某个视频数据时，其对于该视频数据的喜好可以通过其行为数据表现。
在本发明实施例中，可以通过在线视频网站的日志信息等方式收集用户针对某个视频数据的行为数据，以挖掘出有价值的视频片段。
在本发明的一种可选实施例中，步骤101可以包括如下子步骤：
子步骤S11，当检测到针对所述多媒体数据的第一标记操作时，记录所述第一标记操作对应的起始时间点；
子步骤S12，当检测到针对所述多媒体数据的第二标记操作时，记录所述第二标记操作对应的终止时间点；
子步骤S13，将所述起始时间点与所述终止时间点组成目标时间段。
在本发明实施例中，第一标记操作和第二标记操作可以为用户有主观意识地进行的标记操作。
例如，在线视频网站提供了AB重复按键，用户触发A键相当于触发第一标记操作，用户触发B键相当于触发第二标记操作，将A键的起始时间点和B键的终止时间点组成目标时间段。
第一标记操作和第二标记操作可以为用户无主观意识地进行的标记操作。
例如，用户在播放某个视频数据时，若对当前段的视频数据不感兴趣，一般会通过拖曳播放进度条、点击物理键的右方向键“→”、点击快捷控件等方式调整播放进度，以跳过该段视频数据，若对当前段的视频数据感兴趣，一般不会调整播放进度，而是正常播放。
因此，用户调整播放进度的终结操作可以认为是第一标记操作，调整播放进度的起始操作可以认为是第二标记操作，将调整的终结操作的起始时间和调整的起始操作的终止时间点组成目标时间段。
步骤102，获取在所述目标时间段内的多媒体数据的媒体特征标签；
在本发明实施例中，对于目标时间段内的多媒体数据，可以认为是有价值的多媒体数据，可以挖掘其媒体特征标签，即表征该目标时间段内的多媒体数据特征的标签。
在本发明的一种可选实施例中，步骤102可以包括如下子步骤：
子步骤S21，获取所述多媒体数据的基本标签；
基本标签，可以是针对整个多媒体数据的，即整个多媒体数据所具有的基本的特征。
在具体实现中，基本标签可以包括如下的一种或多种：
多媒体名称、媒体描述信息、主演人员、演唱者、分类信息、在先标记的关键词。
当然，上述基本标签只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他基本标签，本发明实施例对此不加以限制。另外，除了上述基本标签外，本领域技术人员还可以根据实际需要采用其它基本标签，本发明实施例对此也不加以限制。
和/或，
子步骤S22，从所述目标时间段内的多媒体数据中识别扩展标签；
扩展标签，可以是针对目标时间段内的多媒体数据的，即目标时间段内的多媒体数据所具有的主要的特征。
在具体实现中，由于多媒体数据包括视频数据、音频数据，两者的特性有所不同，因此，可以区分这两种情况挖掘扩展标签。
一、视频数据；
在一种扩展标签中，当多媒体数据为视频数据时，可以查找在目标时间段内的视频数据的弹幕数据，从弹幕数据中选取关键词，作为扩展标签。
其中，弹幕数据为以字幕形式显示的评论同时出现的数据，其具有文本信息和时间等信息，通过该时间与关键视频片段的时间区间的匹配，则可以确定该弹幕数据是否属于该视频片段数据。
在具体实现中时，可以通过数量选取某个弹幕数据的文本作为关键词。
具体而言，可以识别相同或相似(即文本匹配)的弹幕数据，统计相同或相似的弹幕数据(即文本匹配)的数量，将数量最多的一个或多个弹幕数据作为关键词。
在另一种扩展标签中，当多媒体数据为视频数据时，可以查找在目标时间段内的视频数据的字幕数据，通过文本摘要算法(如TextTeaser)等方式采用字幕数据生成文本摘要信息，作为扩展标签。
二、音频数据。
在一种扩展标签中，可以预先针对不同风格的音频数据生成音频模型，如爵士乐、古典音乐、流行音乐等音乐风格，又如欢快、悲伤、愉快等心情风格。
因此，当多媒体数据为音频数据时，可以采用在目标时间段内的音频数据与预设的音频模型进行匹配，当匹配成功时，提取音频模型对应的风格标签，作为扩展标签。
在另一种扩展标签中，当多媒体数据为音频数据时，可以从预设的数据库或者第三方的服务器，查找在目标时间段内的音频数据的歌词数据，通过文本摘要算法(如TextTeaser)等方式采用歌词数据生成文本摘要信息，作为扩展标签。
当然，除了自动挖掘扩展标签之外，还可以由用户进行添加、删除或修改。
具体而言，可以目标时间段确定之时，加载一窗口，在一窗口中加载已获取的媒体特征标签(包括基本标签、扩展标签)，当接收到针对所述媒体特征标签的删除指示时，将所述媒体特征标签删除；
此外，当接收到新输入的关键词时，可以将关键字标记为扩展标签。
当然，上述扩展标签的识别方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他扩展标签的识别方式，本发明实施例对此不加以限制。另外，除了上述扩展标签的识别方式外，本领域技术人员还可以根据实际需要采用其它扩展标签的识别方式，本发明实施例对此也不加以限制。
子步骤S23，根据所述基本标签和/或所述扩展标签获取媒体特征标签。
在本发明实施例中，可以由基本标签和/或扩展标签组成多媒体数据的媒体特征标签。
步骤103，建立所述目标时间段的多媒体数据与所述媒体特征标签的关联关系。
在具体实现中，可以建立目标时间段的多媒体数据与媒体特征标签的关联关系，储存在数据库中，以进行进一步的挖掘。
其中，多媒体数据可以以MD5(Message-Digest Algorithm 5，信息摘要算法5)、URL(Uniform Resource Locator，统一资源定位符)等媒体数据标识进行表征。
本发明实施例对多媒体数据中的片段挖掘媒体特征标签，并建起两者之间的关联关系，方便在后的多媒体片段的搜索，避免了用户再次通过观看整个多媒体数据筛选出感兴趣的部分，大大减少了耗时，减少了带宽资源的浪费，提高了效率。
参照图2，示出了根据本发明一个实施例的一种多媒体数据的处理方法实施例2的步骤流程图，具体可以包括如下步骤：
步骤201，当播放多媒体数据时，检测针对所述多媒体数据设置的目标时间段；
步骤202，获取在所述目标时间段内的多媒体数据的媒体特征标签；
步骤203，建立所述目标时间段的多媒体数据与所述媒体特征标签的关联关系；
步骤204，获取多个关联信息；
步骤205，对所述多个关联信息生成索引文件；
在本发明实施例中，可以从数据库中提取在先建立的关联信息，以建立索引文件，进行搜索。
其中，索引文件是由数据文件组成，它是带索引的顺序文件。
在实际应用中，可以对关联信息中的基本标签分类，生成分类索引，例如，按照主演人员、地区(如中国、美国等)、类别(如喜剧、武打剧等)等进行分类。
将所述关联信息中的扩展标签设置为在所述分类索引中的键key；
将多媒体数据(以MD5、URL等媒体数据标识进行表征)及目标时间段设置为值value；
组合相关联的键和值，生成索引文件。
步骤206，当接收到搜索关键词时，在所述索引文件的关联信息中查找与所述搜索关键词匹配的媒体特征标签；
在具体实现中，用户可以通过浏览器、视频应用等客户端加载在线视频网站的网页，该网页提供了一搜索框，用户可以在该搜索框中输入搜索关键词，以请求服务器搜索与之相关的多媒体数据。
在本发明实施例中，可以查找与搜索关键词匹配的分类索引。
在该分类索引的键中，查找与搜索关键词匹配的扩展标签，提取与键对应的值，获得扩展标签所属的多媒体数据及目标时间段。
例如，搜索关键词为“小明喜剧”，则可以在喜剧这个分类索引中，查找与小明相关的视频片段。
步骤207，返回所述媒体特征标签及所述媒体特征标签对应的、在目标时间段内的多媒体数据。
若检索到与搜索关键词相关的媒体特征标签，则可以将该媒体特征标签及其对应的多媒体片段返回客户端进行显示。
若用户在浏览媒体特征标签之后，感觉有兴趣，则可以直接请求播放该多媒体片段。
对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图3，示出了根据本发明一个实施例的一种多媒体数据的处理装置实施例1的结构框图，具体可以包括如下模块：
目标时间段检测模块301，适于在播放多媒体数据时，检测针对所述多媒体数据设置的目标时间段；
媒体特征标签获取模块302，适于获取在所述目标时间段内的多媒体数据的媒体特征标签；
关联关系建立模块303，适于建立所述目标时间段的多媒体数据与所述媒体特征标签的关联关系。
在本发明的一种可选实施例中，所述目标时间段检测模块301还可以适于：
当检测到针对所述多媒体数据的第一标记操作时，记录所述第一标记操作对应的起始时间点；
当检测到针对所述多媒体数据的第二标记操作时，记录所述第二标记操作对应的终止时间点；
将所述起始时间点与所述终止时间点组成目标时间段。
在本发明的一种可选实施例中，所述媒体特征标签获取模块302还可以适于：
获取所述多媒体数据的基本标签；
和/或，
从所述目标时间段内的多媒体数据中识别扩展标签；
根据所述基本标签和/或所述扩展标签获取媒体特征标签。
在本发明实施例的一种可选示例中，所述媒体特征标签获取模块302还可以适于：
当所述多媒体数据为视频数据时，查找在所述目标时间段内的视频数据的弹幕数据；
从所述弹幕数据中选取关键词，作为扩展标签；
和/或，
当所述多媒体数据为视频数据时，查找在所述目标时间段内的视频数据的字幕数据；
采用所述字幕数据生成文本摘要信息，作为扩展标签。
在本发明实施例的一种可选示例中，所述媒体特征标签获取模块302还可以适于：
当所述多媒体数据为音频数据时，采用在所述目标时间段内的音频数据与预设的音频模型进行匹配；
当匹配成功时，提取所述音频模型对应的风格标签，作为扩展标签；
和/或，
当所述多媒体数据为音频数据时，查找在所述目标时间段内的音频数据的歌词数据；
采用所述歌词数据生成文本摘要信息，作为扩展标签。
在本发明实施例的一种可选示例中，所述媒体特征标签获取模块302还可以适于：
在一窗口中加载已获取的媒体特征标签；
当接收到针对所述媒体特征标签的删除指示时，将所述媒体特征标签删除；
当接收到新输入的关键词时，将所述关键字标记为扩展标签。
参照图4，示出了根据本发明一个实施例的一种多媒体数据的处理装置实施例2的结构框图，具体可以包括如下模块：
目标时间段检测模块401，适于在播放多媒体数据时，检测针对所述多媒体数据设置的目标时间段；
媒体特征标签获取模块402，适于获取在所述目标时间段内的多媒体数据的媒体特征标签；
关联关系建立模块403，适于建立所述目标时间段的多媒体数据与所述媒体特征标签的关联关系；
关联信息获取模块404，适于获取多个关联信息；
索引文件生成模块405，适于对所述多个关联信息生成索引文件；
媒体特征标签匹配摸406，适于在接收到搜索关键词时，在所述索引文件的关联信息中查找与所述搜索关键词匹配的媒体特征标签；
搜索结果返回模块407，适于返回所述媒体特征标签及所述媒体特征标签对应的、在目标时间段内的多媒体数据。
在本发明的一种可选实施例中，所述索引文件生成模块405还可以适于：
对所述关联信息中的基本标签分类，生成分类索引；
将所述关联信息中的扩展标签设置为在所述分类索引中的键；
将所述多媒体数据及所述目标时间段设置为值；
组合相关联的键和值，生成索引文件。
在本发明的一种可选实施例中，所述媒体特征标签匹配摸406还可以适于：
查找与所述搜索关键词匹配的分类索引；
在所述分类索引的键中，查找与所述搜索关键词匹配的扩展标签；
提取与所述键对应的值，获得所述扩展标签所属的多媒体数据及目标时间段。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的多媒体数据的处理设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明实施例公开了A1、一种多媒体数据的处理方法，包括：
当播放多媒体数据时，检测针对所述多媒体数据设置的目标时间段；
获取在所述目标时间段内的多媒体数据的媒体特征标签；
建立所述目标时间段的多媒体数据与所述媒体特征标签的关联关系。
A2、如A1所述的方法，所述检测针对所述多媒体数据设置的目标时间段的步骤包括：
当检测到针对所述多媒体数据的第一标记操作时，记录所述第一标记操作对应的起始时间点；
当检测到针对所述多媒体数据的第二标记操作时，记录所述第二标记操作对应的终止时间点；
将所述起始时间点与所述终止时间点组成目标时间段。
A3、如A1所述的方法，所述获取在所述目标时间段内的多媒体数据的媒体特征标签的步骤包括：
获取所述多媒体数据的基本标签；
和/或，
从所述目标时间段内的多媒体数据中识别扩展标签；
根据所述基本标签和/或所述扩展标签获取媒体特征标签。
A4、如A3所述的方法，所述从所述目标时间段内的多媒体数据中识别扩展标签的步骤包括：
当所述多媒体数据为视频数据时，查找在所述目标时间段内的视频数据的弹幕数据；
从所述弹幕数据中选取关键词，作为扩展标签；
和/或，
当所述多媒体数据为视频数据时，查找在所述目标时间段内的视频数据的字幕数据；
采用所述字幕数据生成文本摘要信息，作为扩展标签。
A5、如A3所述的方法，所述从所述目标时间段内的多媒体数据中识别扩展标签的步骤包括：
当所述多媒体数据为音频数据时，采用在所述目标时间段内的音频数据与预设的音频模型进行匹配；
当匹配成功时，提取所述音频模型对应的风格标签，作为扩展标签；
和/或，
当所述多媒体数据为音频数据时，查找在所述目标时间段内的音频数据的歌词数据；
采用所述歌词数据生成文本摘要信息，作为扩展标签。
A6、如A3或A4或A5所述的方法，所述从所述目标时间段内的多媒体数据中识别扩展标签的步骤包括：
在一窗口中加载已获取的媒体特征标签；
当接收到针对所述媒体特征标签的删除指示时，将所述媒体特征标签删除；
当接收到新输入的关键词时，将所述关键字标记为扩展标签。
A7、如A1-A6任一项所述的方法，还包括：
获取多个关联信息；
对所述多个关联信息生成索引文件。
A8、如A7所述的方法，所述对所述多个关联信息生成索引文件的步骤包括：
对所述关联信息中的基本标签分类，生成分类索引；
将所述关联信息中的扩展标签设置为在所述分类索引中的键；
将所述多媒体数据及所述目标时间段设置为值；
组合相关联的键和值，生成索引文件。
A9、如A8所述的方法，还包括：
当接收到搜索关键词时，在所述索引文件的关联信息中查找与所述搜索关键词匹配的媒体特征标签；
返回所述媒体特征标签及所述媒体特征标签对应的、在目标时间段内的多媒体数据。
A10、如A9所述的方法，所述在所述索引文件的关联信息中查找与所述搜索关键词匹配的多媒体数据的步骤包括：
查找与所述搜索关键词匹配的分类索引；
在所述分类索引的键中，查找与所述搜索关键词匹配的扩展标签；
提取与所述键对应的值，获得所述扩展标签所属的多媒体数据及目标时间段。
本发明实施例还公开了B11、一种多媒体数据的处理装置，包括：
目标时间段检测模块，适于在播放多媒体数据时，检测针对所述多媒体数据设置的目标时间段；
媒体特征标签获取模块，适于获取在所述目标时间段内的多媒体数据的媒体特征标签；
关联关系建立模块，适于建立所述目标时间段的多媒体数据与所述媒体特征标签的关联关系。
B12、如B11所述的装置，所述目标时间段检测模块还适于：
当检测到针对所述多媒体数据的第一标记操作时，记录所述第一标记操作对应的起始时间点；
当检测到针对所述多媒体数据的第二标记操作时，记录所述第二标记操作对应的终止时间点；
将所述起始时间点与所述终止时间点组成目标时间段。
B13、如B11所述的装置，所述媒体特征标签获取模块还适于：
获取所述多媒体数据的基本标签；
和/或，
从所述目标时间段内的多媒体数据中识别扩展标签；
根据所述基本标签和/或所述扩展标签获取媒体特征标签。
B14、如B13所述的装置，所述媒体特征标签获取模块还适于：
当所述多媒体数据为视频数据时，查找在所述目标时间段内的视频数据的弹幕数据；
从所述弹幕数据中选取关键词，作为扩展标签；
和/或，
当所述多媒体数据为视频数据时，查找在所述目标时间段内的视频数据的字幕数据；
采用所述字幕数据生成文本摘要信息，作为扩展标签。
B15、如B13所述的装置，所述媒体特征标签获取模块还适于：
当所述多媒体数据为音频数据时，采用在所述目标时间段内的音频数据与预设的音频模型进行匹配；
当匹配成功时，提取所述音频模型对应的风格标签，作为扩展标签；
和/或，
当所述多媒体数据为音频数据时，查找在所述目标时间段内的音频数据的歌词数据；
采用所述歌词数据生成文本摘要信息，作为扩展标签。
B16、如B13或B14或B15所述的装置，所述媒体特征标签获取模块还适于：
在一窗口中加载已获取的媒体特征标签；
当接收到针对所述媒体特征标签的删除指示时，将所述媒体特征标签删除；
当接收到新输入的关键词时，将所述关键字标记为扩展标签。
B17、如B11-B16任一项所述的装置，还包括：
关联信息获取模块，适于获取多个关联信息；
索引文件生成模块，适于对所述多个关联信息生成索引文件。
B18、如B17所述的装置，所述索引文件生成模块还适于：
对所述关联信息中的基本标签分类，生成分类索引；
将所述关联信息中的扩展标签设置为在所述分类索引中的键；
将所述多媒体数据及所述目标时间段设置为值；
组合相关联的键和值，生成索引文件。
B19、如B18所述的装置，还包括：
媒体特征标签匹配摸，适于在接收到搜索关键词时，在所述索引文件的关联信息中查找与所述搜索关键词匹配的媒体特征标签；
搜索结果返回模块，适于返回所述媒体特征标签及所述媒体特征标签对应的、在目标时间段内的多媒体数据。
B20、如B19所述的装置，所述媒体特征标签匹配摸还适于：
查找与所述搜索关键词匹配的分类索引；
在所述分类索引的键中，查找与所述搜索关键词匹配的扩展标签；
提取与所述键对应的值，获得所述扩展标签所属的多媒体数据及目标时间段。

Claims (10)

1.一种多媒体数据的处理方法，包括：
当播放多媒体数据时，检测针对所述多媒体数据设置的目标时间段；
获取在所述目标时间段内的多媒体数据的媒体特征标签；
建立所述目标时间段的多媒体数据与所述媒体特征标签的关联关系。
2.如权利要求1所述的方法，其特征在于，所述检测针对所述多媒体数据设置的目标时间段的步骤包括：
当检测到针对所述多媒体数据的第一标记操作时，记录所述第一标记操作对应的起始时间点；
当检测到针对所述多媒体数据的第二标记操作时，记录所述第二标记操作对应的终止时间点；
将所述起始时间点与所述终止时间点组成目标时间段。
3.如权利要求1所述的方法，其特征在于，所述获取在所述目标时间段内的多媒体数据的媒体特征标签的步骤包括：
获取所述多媒体数据的基本标签；
和/或，
从所述目标时间段内的多媒体数据中识别扩展标签；
根据所述基本标签和/或所述扩展标签获取媒体特征标签。
4.如权利要求3所述的方法，其特征在于，所述从所述目标时间段内的多媒体数据中识别扩展标签的步骤包括：
当所述多媒体数据为视频数据时，查找在所述目标时间段内的视频数据的弹幕数据；
从所述弹幕数据中选取关键词，作为扩展标签；
和/或，
当所述多媒体数据为视频数据时，查找在所述目标时间段内的视频数据的字幕数据；
采用所述字幕数据生成文本摘要信息，作为扩展标签。
5.如权利要求3所述的方法，其特征在于，所述从所述目标时间段内的多媒体数据中识别扩展标签的步骤包括：
当所述多媒体数据为音频数据时，采用在所述目标时间段内的音频数据与预设的音频模型进行匹配；
当匹配成功时，提取所述音频模型对应的风格标签，作为扩展标签；
和/或，
当所述多媒体数据为音频数据时，查找在所述目标时间段内的音频数据的歌词数据；
采用所述歌词数据生成文本摘要信息，作为扩展标签。
6.如权利要求3或4或5所述的方法，其特征在于，所述从所述目标时间段内的多媒体数据中识别扩展标签的步骤包括：
在一窗口中加载已获取的媒体特征标签；
当接收到针对所述媒体特征标签的删除指示时，将所述媒体特征标签删除；
当接收到新输入的关键词时，将所述关键字标记为扩展标签。
7.如权利要求1-6任一项所述的方法，其特征在于，还包括：
获取多个关联信息；
对所述多个关联信息生成索引文件。
8.如权利要求7所述的方法，其特征在于，所述对所述多个关联信息生成索引文件的步骤包括：
对所述关联信息中的基本标签分类，生成分类索引；
将所述关联信息中的扩展标签设置为在所述分类索引中的键；
将所述多媒体数据及所述目标时间段设置为值；
组合相关联的键和值，生成索引文件。
9.如权利要求8所述的方法，其特征在于，还包括：
当接收到搜索关键词时，在所述索引文件的关联信息中查找与所述搜索关键词匹配的媒体特征标签；
返回所述媒体特征标签及所述媒体特征标签对应的、在目标时间段内的多媒体数据。
10.一种多媒体数据的处理装置，包括：
目标时间段检测模块，适于在播放多媒体数据时，检测针对所述多媒体数据设置的目标时间段；
媒体特征标签获取模块，适于获取在所述目标时间段内的多媒体数据的媒体特征标签；
关联关系建立模块，适于建立所述目标时间段的多媒体数据与所述媒体特征标签的关联关系。
CN201510959116.2A 2015-12-18 2015-12-18 一种多媒体数据的处理方法和装置 Expired - Fee Related CN106899879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510959116.2A CN106899879B (zh) 2015-12-18 2015-12-18 一种多媒体数据的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510959116.2A CN106899879B (zh) 2015-12-18 2015-12-18 一种多媒体数据的处理方法和装置

Publications (2)

Publication Number Publication Date
CN106899879A true CN106899879A (zh) 2017-06-27
CN106899879B CN106899879B (zh) 2020-06-26

Family

ID=59190677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510959116.2A Expired - Fee Related CN106899879B (zh) 2015-12-18 2015-12-18 一种多媒体数据的处理方法和装置

Country Status (1)

Country Link
CN (1) CN106899879B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189957A (zh) * 2018-08-30 2019-01-11 维沃移动通信有限公司 一种媒体数据的处理方法及设备
CN109756751A (zh) * 2017-11-07 2019-05-14 腾讯科技（深圳）有限公司 多媒体数据处理方法及装置、电子设备、存储介质
CN110602559A (zh) * 2018-06-12 2019-12-20 阿里巴巴集团控股有限公司 人机交互及电视操作控制方法、装置、设备以及存储介质
CN110719518A (zh) * 2018-07-12 2020-01-21 阿里巴巴集团控股有限公司 多媒体数据处理方法、装置和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867042A (zh) * 2012-09-03 2013-01-09 北京奇虎科技有限公司 多媒体文件搜索方法及装置
US20140259084A1 (en) * 2009-09-22 2014-09-11 Caption Colorado Llc Caption and/or Metadata Synchronization for Replay of Previously or Simultaneously Recorded Live Programs
CN104410920A (zh) * 2014-12-31 2015-03-11 合一网络技术(北京)有限公司 基于视频分段播放量进行精彩片段标注的方法
CN104636162A (zh) * 2013-11-11 2015-05-20 宏达国际电子股份有限公司 使用标签的多媒体管理的方法、装置及计算机程序产品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140259084A1 (en) * 2009-09-22 2014-09-11 Caption Colorado Llc Caption and/or Metadata Synchronization for Replay of Previously or Simultaneously Recorded Live Programs
CN102867042A (zh) * 2012-09-03 2013-01-09 北京奇虎科技有限公司 多媒体文件搜索方法及装置
CN104636162A (zh) * 2013-11-11 2015-05-20 宏达国际电子股份有限公司 使用标签的多媒体管理的方法、装置及计算机程序产品
CN104410920A (zh) * 2014-12-31 2015-03-11 合一网络技术(北京)有限公司 基于视频分段播放量进行精彩片段标注的方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756751A (zh) * 2017-11-07 2019-05-14 腾讯科技（深圳）有限公司 多媒体数据处理方法及装置、电子设备、存储介质
CN109756751B (zh) * 2017-11-07 2023-02-03 腾讯科技（深圳）有限公司 多媒体数据处理方法及装置、电子设备、存储介质
CN110602559A (zh) * 2018-06-12 2019-12-20 阿里巴巴集团控股有限公司 人机交互及电视操作控制方法、装置、设备以及存储介质
CN110719518A (zh) * 2018-07-12 2020-01-21 阿里巴巴集团控股有限公司 多媒体数据处理方法、装置和设备
CN109189957A (zh) * 2018-08-30 2019-01-11 维沃移动通信有限公司 一种媒体数据的处理方法及设备
CN109189957B (zh) * 2018-08-30 2022-05-31 维沃移动通信有限公司 一种媒体数据的处理方法及设备

Also Published As

Publication number Publication date
CN106899879B (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
US11709888B2 (en) User interface for viewing targeted segments of multimedia content based on time-based metadata search criteria
US10123068B1 (en) System, method, and program product for generating graphical video clip representations associated with video clips correlated to electronic audio files
KR102454818B1 (ko) 타겟형 광고 재분배
US11748408B2 (en) Analyzing user searches of verbal media content
KR101493343B1 (ko) 로컬 네트워크상의 콘텐츠와 외부 네트워크상의 정보를상관시키기 위한 프레임워크
US9684644B2 (en) Annotating video intervals
US8566315B1 (en) Sequenced video segment mix
US8181197B2 (en) System and method for voting on popular video intervals
US8972458B2 (en) Systems and methods for comments aggregation and carryover in word pages
WO2015196910A1 (zh) 基于搜索引擎的摘要信息提取方法、装置以及搜索引擎
US8504918B2 (en) Identification of video segments
CN106899859A (zh) 一种多媒体数据的播放方法和装置
US20130294746A1 (en) System and method of generating multimedia content
US10430476B2 (en) Annotation of videos using aggregated user session data
CN102265276A (zh) 基于上下文的推荐系统
CN106899879A (zh) 一种多媒体数据的处理方法和装置
US20150081690A1 (en) Network sourced enrichment and categorization of media content
CN104853251A (zh) 一种多媒体数据的在线收藏方法和装置
JP2015022550A (ja) 端末装置およびプログラム
JP2014153977A (ja) コンテンツ解析装置、コンテンツ解析方法、コンテンツ解析プログラム、およびコンテンツ再生システム
CN106899876A (zh) 一种视频特征信息的展示方法和装置
US8352985B2 (en) Method of storing and displaying broadcast contents and apparatus therefor
CN108108496A (zh) 根据网页创建播放列表
Raimond et al. Using the past to explain the present: interlinking current affairs with archives via the semantic web
JP5832487B2 (ja) 端末装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200626