一种文字标签方法及文字标签装置
技术领域
本发明涉及通信领域,尤其涉及一种文字标签方法及文字标签装置。
背景技术
随着多媒体、互联网等技术日渐成熟,教育类资源所包含的消息内容从最初的文本逐渐扩展至语音、图片、视频等富媒体形式。在诸如淘宝、微信等应用中,非文本消息所占的比重也越来越大。其中信息内容的关键信息在用户的使用过程中具有非常重要的作用,目前常见的一些提取技术如下:数据挖掘、视频特征提取和音视频自动标注等。但是,数据挖掘无法实现自动分类及分析;视频特征提取没有针对整个视频主题提取;音视频只针对音频部分内容转换。
因此,亟需一种进行文字标签的技术方案,能自动对非文本内容的媒体资源打文字标签,进行自动标注。
发明内容
有鉴于此,本发明实施例希望提供一种文字标签方法及文字标签装置,能自动对非文本内容的媒体资源打文字标签,进行自动标注。
本发明实施例的技术方案是这样实现的:
本发明实施例提供了一种文字标签方法,所述方法包括:
获取待分析的媒体资源,确定所述媒体资源的媒体类型;
根据所述媒体类型获取所述媒体资源的资源内容,根据所述媒体类型对所述媒体资源的资源内容进行主题分析确定所述媒体资源对应的文字标签;
通过所述文字标签对所述媒体资源进行标识。
上述方案中,当所述媒体资源的媒体类型为图片时,所述根据所述媒体类型获取所述媒体资源的资源内容,根据所述媒体类型对所述媒体资源的资源内容进行主题分析确定所述媒体资源对应的文字标签包括:
获取所述媒体资源的图片内容;
根据预设的内容库确定所述图片内容对应的主题,将所述主题确定为所述媒体资源的文字标签。
上述方案中,当所述的媒体资源的媒体类型为音频时,所述根据所述媒体类型获取所述媒体资源的资源内容,根据所述媒体类型对所述媒体资源的资源内容进行主题分析确定所述媒体资源对应的文字标签包括:
以第一周期为周期对所述媒体资源进行提取处理,提取第一时间长度的音频文件得到切分音频文件,分别获取各切分音频文件的音频内容;
分别根据各切分音频文件的音频内容确定各切分音频文件对应的主题;
从各切分音频文件对应的主题中选择频率超过第一阈值的主题作为所述媒体资源的文字标签。
上述方案中,当所述媒体资源的媒体类型为视频时,所述根据所述媒体类型获取所述媒体资源的资源内容,根据所述媒体类型对所述媒体资源的资源内容进行主题分析确定所述媒体资源对应的文字标签包括:
以第二周期为周期对所述媒体资源进行提取处理,得到视频数据帧和第二时间长度的提取音频文件,分别获取各视频数据帧的帧内容,并分别获取各提取音频文件的音频内容;
分别根据各视频数据帧的帧内容确定各视频数据帧的帧主题;
分别根据所述各提取音频文件的音频内容确定各提取音频文件的音频主题;
从各视频数据帧的帧主题和所述各提取音频文件的音频主题中选择频率超过第二阈值的主题作为所述媒体资源的文字标签。
上述方案中,所述方法还包括:
当接收到检索词时,查找与所述检索词匹配的文字标签;
获取与所述检索词匹配的文字标签对应的检索结果;其中,所述检索结果包括具有文字标签的媒体资源和具有文字标签的文本资源,获取所述检索结果的获取位置包括第一检索位置和第二检索位置,所述第一检索位置包括以下至少之一:检索历史、收藏历史和推荐资源,所述第二检索位置为存储检索资源的数据库。
上述方案中,所述方法还包括:根据获取所述检索结果的获取位置显示所述检索结果。
本发明实施例还提供了一种文字标签装置,所述装置包括:类型分析单元、标签确定单元和标识单元;其中,
所述类型分析单元,用于获取待分析的媒体资源,确定所述媒体资源的媒体类型;
所述标签确定单元,用于根据所述媒体类型获取所述媒体资源的资源内容,根据所述媒体类型对所述媒体资源的资源内容进行主题分析确定所述媒体资源对应的文字标签;
所述标识单元,用于通过所述文字标签对所述媒体资源进行标识。
上述方案中,当所述媒体资源的媒体类型为图片时,所述标签确定单元具体用于:获取所述媒体资源的图片内容;根据预设的内容库确定所述图片内容对应的主题,将所述主题确定为所述媒体资源的文字标签。
上述方案中,当所述的媒体资源的媒体类型为音频时,所述标签确定单元具体用于:
以第一周期为周期对所述媒体资源进行提取处理,提取第一时间长度的音频文件得到切分音频文件,分别获取各切分音频文件的音频内容;
分别根据各切分音频文件的音频内容确定各切分音频文件对应的主题;
从各切分音频文件对应的主题中选择频率超过第一阈值的主题作为所述媒体资源的文字标签。
上述方案中,当所述媒体资源的媒体类型为视频时,所述标签确定单元具体用于:
以第二周期为周期对所述媒体资源进行提取处理,得到视频数据帧和第二时间长度的提取音频文件,分别获取各视频数据帧的帧内容,并分别获取各提取音频文件的音频内容;
分别根据各视频数据帧的帧内容确定各视频数据帧的帧主题;
分别根据所述各提取音频文件的音频内容确定各提取音频文件的音频主题;
从各视频数据帧的帧主题和所述各提取音频文件的音频主题中选择频率超过第二阈值的主题作为所述媒体资源的文字标签。
上述方案中,所述装置还包括:检索单元,用于:当接收到检索词时,查找与所述检索词匹配的文字标签;获取与所述检索词匹配的文字标签对应的检索结果;其中,所述检索结果包括具有文字标签的媒体资源和具有文字标签的文本资源,获取所述检索结果的获取位置包括第一检索位置和第二检索位置,所述第一检索位置包括以下至少之一:检索历史、收藏历史和推荐资源,所述第二检索位置为存储检索资源的数据库。
上述方案中,所述装置还包括:显示单元,用于根据获取所述检索结果的获取位置显示所述检索结果。
本发明实施例的文字标签方法及文字标签装置,获取待分析的媒体资源,确定所述媒体资源的媒体类型;根据所述媒体类型获取所述媒体资源的资源内容,根据所述媒体类型对所述媒体资源的资源内容进行主题分析确定所述媒体资源对应的文字标签;通过所述文字标签对所述媒体资源进行标识。如此,根据非文本的媒体资源的媒体类型来对媒体资源进行主题分析,确定媒体资源的主题,并进一步的确定媒体资源的文字标签,实现对非文本内容的自动标注。
附图说明
图1为本发明实施例一提供的文字标签方法的流程示意图;
图2为本发明实施例二提供的实现文字标签方法的系统的结构示意图;
图3为本发明实施例四提供的一种文字标签装置的结构示意图;
图4为本发明实施例四提供的另一种文字标签装置的结构示意图。
具体实施方式
下面结合附图对技术方案的实施作进一步的详细描述。
实施例一
本发明实施例一提供一种文字标签方法,如图1所示,所述方法包括:
S101、获取待分析的媒体资源,确定所述媒体资源的媒体类型;
可通过显示界面向用户提供一输入接口,当用户通过该输入接收输入媒体资源的信息时,则可确定该媒体资源为需要进行文字标签的待分析的媒体资源。当接收到输入的待分析的媒体资源时,获取待分析的媒体资源,判断该媒体资源的媒体类型,其中,媒体类型包括图片、音频、视频等类型。具体的判断媒体资源的媒体类型的具体实现,可通过媒体资源的携带的信息等方式进行判断,本发明实施例对此不进行任何限定。
这里,通过该输入接口,可使得用户输入各种不同类型的媒体资源。需要说明的是,通过该输入接口也可接收用户的输入操作输入的文本资源。
S102、根据所述媒体类型获取所述媒体资源的资源内容,根据所述媒体类型对所述媒体资源的资源内容进行主题分析确定所述媒体资源对应的文字标签;
这里,对于不同的媒体类型的媒体资源,获取的媒体资源的资源内容以及确定其文字标签的方式不同。
具体的:当所述媒体资源的媒体类型为图片时,获取所述媒体资源的图片内容;根据预设的内容库确定所述图片内容对应的主题,将所述主题确定为所述媒体资源的文字标签。当所述的媒体资源的媒体类型为音频时,以第一周期为周期对所述媒体资源进行提取处理,提取第一时间长度的音频文件得到切分音频文件,分别获取各切分音频文件的音频内容,分别根据各切分音频文件的音频内容确定各切分音频文件对应的主题;从各切分音频文件对应的主题中选择频率超过第一阈值的主题作为所述媒体资源的文字标签。当所述媒体资源的媒体类型为视频时,以第二周期为周期对所述媒体资源进行提取处理,得到视频数据帧和第二时间长度的提取音频文件,分别获取各视频数据帧的帧内容,并分别获取各提取音频文件的音频内容;分别根据各视频数据帧的帧内容确定各视频数据帧的帧主题;分别根据所述各提取音频文件的音频内容确定各提取音频文件的音频主题;从各视频数据帧的帧主题和所述各提取音频文件的音频主题中选择频率超过第二阈值的主题作为所述媒体资源的文字标签。
对于不同媒体类型的媒体资源,先根据媒体类型获取媒体资源的资源内容,对媒体资源的内容进行分析确定出媒体资源的主题;进一步根据确定的主题来确定媒体资源对应的文字标签。
当媒体类型为图片时,则该媒体资源为图片类的资源,比如:图片格式的图书、图片格式的演示文档等,通过图像识别等方式获取媒体资源的图片内容,当获取到图片内容后,通过预设的内容库对图片内容进行分析,比如:通过语义分析查找出图片内容的关键词,确定图片内容的主题,这里,确定的主题可为一个或多个,将确定的主题作为该媒体资源的文字标签。
当媒体类型为音频时,则给媒体资源为音频文件,通过提取获取音频文件的音频内容,具体的,隔第一周期的时间对音频文件进行提取一次,每次提取第一时间长度的音频文件得到多个切分音频文件,比如:当该媒体资源为30分钟时长的音频文件,第一周期为5分钟,第一时间长度为2分钟时,则每隔5分钟提取一次切分音频文件,提取的时间长度为2分钟,则可得到6个2分钟时长的切分音频文件。当得到多个切分音频文件后,分别获取每个切分音频文件的音频内容,根据各切分音频文件的音频内容确定每个切分音频文件对应的主题,其中,每个切分音频文件对应的主题可根据实际的音频内容为一个或多个。当确定每个切分音频文件对应的主题后,从所有的切分音频文件对应的主题中选取出现频率超过第一阈值的主题作为该音频文件的文字标签。这里,第一周期、第一时间长度和第一阈值可根据实际需求进行设置。
当媒体类型为视频时,则该媒体资源为视频文件,此时,分别从图像和音频两个方面来确定视频文件的内容。具体的,隔第二周期的时间对视频文件进行提取一次,提取的时候分别提取视频数据帧即帧图像和音频文件,其中,在提取音频文件时,提取第二时间长度的音频文件得到多个提取音频文件;提取到多个视频数据帧和提取音频文件后,分别确定每个视频数据帧的帧内容和提取音频文件的音频内容,这里,可通过语义识别、语音识别等方式来确定视频数据帧的帧内容和提取音频文件的音频内容。在根据帧内容确定视频数据帧的帧主题,并根据提取音频文件的音频内容确定提取音频文件的音频主题后,从该视频文件的所有的帧主题和音频主题中根据每个主题出现的频率来确定该媒体资源的文字标签。
S103、通过所述文字标签对所述媒体资源进行标识。
当确定媒体资源的文字标签后,将确定的文字标签和对应的媒体资源进行保存以对该媒体资源进行标识。在保存时,可将文字标签作为该媒体资源的信息的一部分和其他的信息比如:标题、创建时间、存储位置等信息一起保存。从而在后期检索或对媒体资源进行分类时,能够自动并迅速的通过文字标签将该媒体资源进行分类并找出文字标签对应的媒体资源。
需要说明的时,当确定媒体资源的文字标签后,不管将媒体资源存储在任意的存储位置,该文字标签都已对该媒体资源进行标识。
在本发明实施例中,文字标签的方法还包括:当接收到检索词时,查找与所述检索词匹配的文字标签;获取与所述检索词匹配的文字标签对应的检索结果;其中,所述检索结果包括具有文字标签的媒体资源和具有文字标签的文本资源,获取所述检索结果的获取位置包括第一检索位置和第二检索位置,所述第一检索位置包括以下至少之一:检索历史、收藏历史和推荐资源,所述第二检索位置为存储检索资源的数据库。
在本发明实施例中,当根据用户输入的检索词进行资源检索时,从存储检索资源的数据库中检索的同时,还从用户的检索历史、用户的收藏历史和系统的推荐资源中进行检索,根据用户的检索词向用户呈现用户可能更感兴趣的资源。这里,检索资源中包括S103进行了文字标签的媒体资源以外,还包括文本资源,从而根据检索词向用户呈现所有类型的资源信息。
这里,在向用户呈现检索结果时,根据获取所述检索结果的获取位置显示所述检索结果。比如:在检索结果中进行检索历史、收藏历史、推荐资源和资源库的分类,将从检索历史中检索的检索结果显示检索历史类别下,将从收藏历史中检索的检索结果显示收藏历史类别下,将从推荐资源中检索的检索结果显示推荐资源类别下,将从数据库检索的检索结果显示在资源库中。由比如:通过不同的标识分别对从不同检索位置获取的检索结果进行标记。
这里,从第一检索位置进行检索时,可从第一检索位置的一种或多种进行检索,比如从检索历史和收藏历史中检索,又比如只从收藏历史中检索。
在本发明实施例中,根据非文本的媒体资源的媒体类型来获取媒体资源的资源内容,并根据媒体类型确定媒体内容的主题,从而确定出媒体资源的文字标签,对媒体资源进行文字标签,自动对为非文本内容的媒体资源打文字标签。进一步,能够根据文字标签将文本资源和媒体资源进行统一管理,在用户进行检索时,根据检索词得到包括文本资源和媒体资源的检索结果,并且,在检索时,检索的位置不进包括存储检索资源的数据库,还从用户的检索历史、收藏历史、推荐资源中检索出用户可能更感兴趣的资源,从而优化检索结果。
实施例二
本发明实施例中以教育资源为例结合具体的应用场景对本发明实施例提供的文字标签方法进行说明。
当用户通过输入接口将所有的待分析的视频、图片等教育资源输入后,将输入的各个资源进行内容的抽取,根据抽取的内容确定主题确定文字标签并自动将该资源打上标签,该标签描述该非文字内容(视频、图片等)的主题信息,并输出至后台数据数据库。在系统的前端,通过输入检索词对教育资源进行检索,可以检索到文字、图片、音频、视频等内容,这里,还包括从检索历史、收藏历史和推荐资源中进行检索,可以使教育资源的检索、推荐更为精准,打破了以往只能到检索文字信息的局限;同时自动提取和自动标注,省去了人工标注的低效率,大大提高标签效率和使用率。
如图2所示,当待分析的媒体资源为图片并存储在数据库中,且通过消息处理服务器来进行媒体资源的自动标注时,消息处理服务器从数据库中提取图片,提取的图片为非文字信息,并对提取的图片进行识别,确定图片的文字标签,通过确定的标签对数据库中的图片进行标注。
当用户通过显示界面输入检索词时,信息处理服务器通过用户输入的检索词检索出标注的图片,此时,除了从存储检索资源的数据库中进行检索外,还根据用户的检索历史、收藏历史或推荐资源中进行检索,并将检索结果通过显示界面呈现给用户。
本发明实施例提供的文字标签的方法,主要包括以下三个方面:
第一、对包括图片、音频、视频的媒体资源进行自动的文字标签。
自动根据视频数据、图片数据等媒体资源的媒体类型获取媒体资源的内容数据,将获取的内容数据在深度学习框架下基于内容库进行内容识别。具体的,首先建立训练数据集或者导入模板资源,自动进行训练。这里,根据需要可对内容库的广度进行扩展,以根据内容库确定内容数据的主题时提高准确率、增加可识别内容的种类。
对于视频、可通过ffmpeg按指定规则提取视频的视频数据帧帧,根据内容库对提取的视频数据帧进行识别,确定视频数据帧的主题,并确定文字标签,最后输出文字标签匹配度(或依据概率打上自动化标识),完成视频的自动化标注。
对于图片,根据内容库对图片的内容进行识别,确定图片的主题,并确定文字标签,最后输出文字标签匹配度,通过文字标签进行标注,完成图片的自动化标注。
这里,输入的媒体资源也可为音频,则对音频进行提取后,解析提取后的音频文件的音频内容,根据内容库确定音频内容的主题,并确定音频的文字标签,通过文字标签进行标注,完成音频的自动化标注。
第二、根据检索历史、收藏历史、资源推荐以及自动标注的标签智能搜索出用户感兴趣的混合资源。
这里,混合资源包括文本资源和媒体资源。
自动化标注资源后,该资源变成了支持检索的非文字资源,通过输入单一的文字信息,可以对包括图片、音频、视频等的富文本内容进行检索,大大提高了搜索定位的精准度和内容推荐的有效度,最终能够有效提升用户体验。
当用户输入检索词后,分别从检索历史、收藏历史、推荐资源和数据库中对自动化标注后的资源进行检索,得到检索的混合资源。
对应自动打文字标签的教育类资源,学校的老师、学生、家长可通过进入该资源平台,通过搜索自己感兴趣的文本(比如初一人教版的语文),自动根据用户检索历史、收藏历史及资源推荐,自动检索出与该文本相关的各种类型的资源,并展现给用户。
第三、文本资源和媒体资源的统一管理。
这里,对于自动标注的媒体资源,其具有文字标签,可以和具有文字标签的文本资源根据文字标签进行统一分类管理。
需要说明的时,本发明实施例提供的方法可通过一个终端进行实现,也可通过包括终端与服务器的系统来实现。当通过包括终端与服务器的系统实现时,可通过终端接收用户输入的媒体资源,并对输入的媒体资源进行文字标签后存储在服务器中,当通过终端接收到用户输入的检索词后,在服务器中进行检索,并将检索结果通过终端呈现给用户。
实施例三
在本发明实施例中,以通过多个不同功能的服务器来具体实现本发明实施例提供的文字标签方法。具体的包括:内容提取服务器、识别处理服务器、标签服务器和后台数据服务器。具体的:
内容提取服务器,用于针对分类读取的媒体资源的数据进行内容提取,包括图片提取、音频内容提取和视频内容提取等。
识别处理服务器,用于针对提取的内容进行主题数据进行识别,含图片识别、音频识别和视频识别,确定提取的内容的主题。
标签服务器,用于对非文字内容自动打标签,具体的,根据抽取的主题确定文字标签,并自动将文字标签到非文字内容的媒体资源上,并存入后台数据服务器中,自动与媒体资源本身关联上。
后台数据服务器,用于存放打标签后的数据,通过前端的智能检索,自动提取相关数据,并通过显示界面显示给用户。
这里,可通过系统的一管理程序对所有的教育资源进行管理,将所有的标注后的教育资源根据其主题进行分类,通过显示界面呈现给用户。需要说明的是,这里的资源包括媒体资源的同时还包括文本资源,从而实现对媒体资源和文本资源的统一管理。
实施例四
为实现上述自动标签方法,本发明实施例还提供一种文字标签装置,如图3所示,所述装置包括:类型分析单元301、标签确定单元302和标识单元303;其中,
类型分析单元301,用于获取待分析的媒体资源,确定所述媒体资源的媒体类型;
标签确定单元302,用于根据所述媒体类型获取所述媒体资源的资源内容,根据所述媒体类型对所述媒体资源的资源内容进行主题分析确定所述媒体资源对应的文字标签;
标识单元303,用于通过所述文字标签对所述媒体资源进行标识。
当所述媒体资源的媒体类型为图片时,标签确定单元302具体用于:获取所述媒体资源的图片内容;根据预设的内容库确定所述图片内容对应的主题,将所述主题确定为所述媒体资源的文字标签。
当所述的媒体资源的媒体类型为音频时,标签确定单元302具体用于:
以第一周期为周期对所述媒体资源进行提取处理,提取第一时间长度的音频文件得到切分音频文件,分别获取各切分音频文件的音频内容,分别根据各切分音频文件的音频内容确定各切分音频文件对应的主题;从各切分音频文件对应的主题中选择频率超过第一阈值的主题作为所述媒体资源的文字标签。
当所述媒体资源的媒体类型为视频时,标签确定单元303具体用于:以第二周期为周期对所述媒体资源进行提取处理,得到视频数据帧和第二时间长度的提取音频文件,分别获取各视频数据帧的帧内容,并分别获取各提取音频文件的音频内容;分别根据各视频数据帧的帧内容确定各视频数据帧的帧主题;分别根据所述各提取音频文件的音频内容确定各提取音频文件的音频主题;从各视频数据帧的帧主题和所述各提取音频文件的音频主题中选择频率超过第二阈值的主题作为所述媒体资源的文字标签。
如图4所示,所述装置还包括:检索单元304,用于:当接收到检索词时,查找与所述检索词匹配的文字标签;获取与所述检索词匹配的文字标签对应的检索结果;其中,所述检索结果包括具有文字标签的媒体资源和具有文字标签的文本资源,获取所述检索结果的获取位置包括第一检索位置和第二检索位置,所述第一检索位置包括以下至少之一:检索历史、收藏历史和推荐资源,所述第二检索位置为存储检索资源的数据库。
所述装置还包括:显示单元305,用于根据获取所述检索结果的获取位置显示所述检索结果。
在实际应用中,本发明实施例提供的装置中的各逻辑单元可通过不同的服务器来实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。