CN107748898A - 文件分类方法、装置、计算设备及计算机存储介质 - Google Patents
文件分类方法、装置、计算设备及计算机存储介质 Download PDFInfo
- Publication number
- CN107748898A CN107748898A CN201711071496.1A CN201711071496A CN107748898A CN 107748898 A CN107748898 A CN 107748898A CN 201711071496 A CN201711071496 A CN 201711071496A CN 107748898 A CN107748898 A CN 107748898A
- Authority
- CN
- China
- Prior art keywords
- file
- sorted
- frame
- document classification
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种文件分类方法、装置、计算设备及计算机存储介质。其中方法基于经过训练的特征抽取网络、以及经过训练的文件分类模型执行,方法包括:获取待分类文件;将待分类文件输入至特征抽取网络,得到与待分类文件对应的预设维度的文件特征;基于预设维度的文件特征利用文件分类模型进行分类预测,得到文件对应的分类结果。基于本发明实施例的方案,利用经过训练的特征抽取网络抽取待分类文件的文件特征,极大地节省了时间,提高了特征抽取的效率和准确率,而且能够避免虚假视频元信息的影响,利用经过训练的文件分类模型对待分类文件进行分类预测,实现了文件自动分类,避免了人工干预而导致的分类结果不准确的问题,同时还降低了人工成本。
Description
技术领域
本发明涉及互联网技术领域,具体涉及一种文件分类方法、装置、计算设备及计算机存储介质。
背景技术
随着网络技术飞速发展,互联网中存在各种文件。为了帮助用户有效地检索相关的文件或迅速获取用户感兴趣的文件,就需要一些分类工具对大量的文件进行有效的分类,以某明星的粉丝为例,粉丝仅关注有该明星的文件,若能对文件进行分类,确定文件中是否包含粉丝关注的明星,则可以节省粉丝的时间,无需粉丝阅读全部的文件来确定文件是否包含相应的明星。
现有技术中,采用了人工对文件进行分类的方法,采用人工分类方法需要投入大量的人力,增加了分类成本,而且分类效率低;虽然现有一些文件元信息进行分类的方法,但是由于很多文件的元信息存在虚假成分,导致分类的准确率低下。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的文件分类方法、文件分类装置、计算设备及计算机存储介质。
根据本发明的一个方面,提供了一种文件分类方法,该方法基于经过训练的特征抽取网络、以及经过训练的文件分类模型执行,该方法包括:
获取待分类文件;
将待分类文件输入至特征抽取网络,得到与待分类文件对应的预设维度的文件特征;
基于预设维度的文件特征利用文件分类模型进行分类预测,得到文件对应的分类结果。
可选地,待分类文件为视频文件和/或音频文件;
将待分类文件输入至特征抽取网络,得到与待分类文件对应的预设维度的文件特征进一步包括:
对待分类视频文件和/或音频文件进行解码处理,得到多个文件帧,其中,文件帧为视频帧和/或音频帧;
针对多个文件帧的每一文件帧,将文件帧输入至特征抽取网络,得到与该文件帧对应的预设维度的帧特征;
利用预设算法对多个文件帧的帧特征进行运算处理,得到与待分类视频文件和/或音频文件对应的预设维度的文件特征。
可选地,利用预设算法对多个文件帧的帧特征进行运算处理,得到与待分类视频文件和/或音频文件对应的预设维度的文件特征进一步包括:
计算多个文件帧的帧特征的特征值的平均值,得到与待分类视频文件和/或音频文件对应的预设维度的文件特征。
可选地,在对待分类视频文件和/或音频文件进行解码处理,得到多个文件帧之后,方法还包括:
利用预设抽帧策略从多个文件帧中抽取至少一个文件帧。
可选地,文件分类模型训练所用的样本包含:样本库存储的多个类别的文件样本以及与文件样本对应的文件分类标注结果。
可选地,文件分类模型的训练过程包括:
将文件样本输入至特征抽取网络,得到与文件样本对应的预设维度的文件特征;
将文件特征输入至文件分类模型进行训练,得到与文件样本对应的文件分类结果;
根据文件分类结果与文件分类标注结果之间的损失,得到文件分类模型损失函数,根据文件分类模型损失函数更新文件分类模型的模型参数;
迭代执行上述步骤,直至满足预定收敛条件。
可选地,预定收敛条件包括:迭代次数达到预设迭代次数;和/或,文件分类模型损失函数的输出值小于预设阈值。
根据本发明的另一方面,提供了一种文件分类装置,该装置基于经过训练的特征抽取网络、以及经过训练的文件分类模型执行,该装置包括:
获取模块,适于获取待分类文件;
特征抽取模块,适于将待分类文件输入至特征抽取网络,得到与待分类文件对应的预设维度的文件特征;
分类预测模块,适于基于预设维度的文件特征利用文件分类模型进行分类预测,得到文件对应的分类结果。
可选地,待分类文件为视频文件和/或音频文件;
该特征抽取模块进一步包括:解码处理单元,适于对待分类视频文件和/或音频文件进行解码处理,得到多个文件帧,其中,文件帧为视频帧和/或音频帧;
第一特征抽取单元,适于针对多个文件帧的每一文件帧,将文件帧输入至特征抽取网络,得到与该文件帧对应的预设维度的帧特征;
运算处理单元,适于利用预设算法对多个文件帧的帧特征进行运算处理,得到与待分类视频文件和/或音频文件对应的预设维度的文件特征。
可选地,运算处理单元进一步适于:计算多个文件帧的帧特征的特征值的平均值,得到与待分类视频文件和/或音频文件对应的预设维度的文件特征。
可选地,特征抽取模块还包括:文件帧抽取单元,适于利用预设抽帧策略从多个文件帧中抽取至少一个文件帧。
可选地,文件分类模型训练所用的样本包含:样本库存储的多个类别的文件样本以及与文件样本对应的文件分类标注结果。
可选地,装置还包括:文件分类模型训练模块;
文件分类模型训练模块包括:
第二特征抽取单元,适于将文件样本输入至特征抽取网络,得到与文件样本对应的预设维度的文件特征;
训练单元,适于将文件特征输入至文件分类模型进行训练,得到与文件样本对应的文件分类结果;
更新单元,适于根据文件分类结果与文件分类标注结果之间的损失,得到文件分类模型损失函数,根据文件分类模型损失函数更新文件分类模型的模型参数;
文件分类模型训练模块迭代运行,直至满足预定收敛条件。
可选地,预定收敛条件包括:迭代次数达到预设迭代次数;和/或,文件分类模型损失函数的输出值小于预设阈值。
根据本发明的又一方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,处理器、存储器和通信接口通过通信总线完成相互间的通信;
存储器用于存放至少一可执行指令,可执行指令使处理器执行上述文件分类方法对应的操作。
根据本发明的再一方面,提供了一种计算机存储介质,存储介质中存储有至少一可执行指令,可执行指令使处理器执行如上述文件分类方法对应的操作。
根据本发明提供的方案,利用经过训练的特征抽取网络抽取待分类文件的文件特征,极大地节省了时间,提高了特征抽取的效率,以及特征抽取的准确率,而且能够避免虚假视频元信息的影响,利用经过训练的文件分类模型对待分类文件进行分类预测,实现了文件自动分类,避免了人工干预而导致的分类结果不准确的问题,同时还降低了人工成本。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的文件分类方法的流程示意图;
图2示出了根据本发明一个实施例的文件分类模型训练方法的流程示意图;
图3示出了根据本发明另一个实施例的文件分类方法的流程示意图;
图4示出了根据本发明一个实施例的文件分类装置的结构程示意图;
图5示出了根据本发明另一个实施例的文件分类装置的结构程示意图;
图6示出了根据本发明一个实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的文件分类方法的流程示意图。该方法基于经过训练的特征抽取网络、以及经过训练的文件分类模型执行,如图1所示,该方法包括以下步骤:
步骤S100,获取待分类文件。
其中,待分类文件为用户想要进行分类的文件,例如,可以为视频文件和/或音频文件,当然,还可以是其他需要进行分类的文件,此处不做限定。
具体地,待分类文件可以是终端设备本地存储的文件,也可以是用户根据分类需求从网络上下载的文件。以待分类文件可以是终端设备本地存储的文件为例,可以向用户提供一界面,该界面提供文件上传功能,用户点击上传按钮之后,弹出文件上传对话框,用户选择需要上传的待分类文件,点击对话框中的上传按钮,完成待分类文件的上传,如此,便可以获取到待分类文件,然后就可以进行后续分类预测。
步骤S101,将待分类文件输入至特征抽取网络,得到与待分类文件对应的预设维度的文件特征。
特征抽取网络是经过训练得到的,具体地,可以基于大量的文件样本训练卷积神经网络得到特征抽取网络,利用该特征抽取网络可以抽取一定维度的文件特征,其中,卷积神经网络(Convolutional Neural Network)是一种人工神经网络,也是一种有监督的机器学习模型,是深度学习的代表方法之一。
在获取到待分类文件后,将待分类文件输入至经过训练的特征抽取网络,利用该特征抽取网络进行文件特征抽取,得到与待分类文件对应的预设维度的文件特征。在本发明实施例中,使用特征抽取网络的优势在于,避免人工抽取特征时一系列复杂的预处理过程,极大地节省了时间,提高了特征抽取的效率,而且还提高了特征抽取的准确率。
步骤S102,基于预设维度的文件特征利用文件分类模型进行分类预测,得到文件对应的分类结果。
在步骤S101得到预设维度的文件特征之后,可以基于预设维度的文件特征利用文件分类模型进行分类预测,得到文件对应的分类结果,在本发明实施例中,文件分类模型可以为二分类模型,即利用该文件分类模型只能将一文件分为两类,举例说明,用户想要基于视频清晰度对视频文件进行分类,在抽取到视频文件的预设维度的文件特征之后,将预设维度的文件特征输入至文件分类模型进行分类预测,可以得到视频文件是否清晰的分类结果,也就是说,分类结果可以为视频清晰或者视频不清晰;此外,还可以基于音质对音频文件进行分类,基于是否包含异常信息对视频文件进行分类,本领域技术人员可以根据需要选择分类条件对文件进行分类,这里不做一一举例说明。此外,文件分类模型还可以为多分类模型,利用多分类模型能够确定文件属于哪个类别,举例说明,多分类模型可以用于“新闻、军事、社会、其他”4个类别的分类,文件特征输入至该多分类模型后,可以得到文件具体属于上述4个类别中哪一个,多分类模型的分类类别可以根据实际需要进行训练。
根据本发明上述实施例提供的方法,利用经过训练的特征抽取网络抽取待分类文件的文件特征,极大地节省了时间,提高了特征抽取的效率,以及特征抽取的准确率,而且能够避免虚假视频元信息的影响,利用经过训练的文件分类模型对待分类文件进行分类预测,实现了文件自动分类,避免了人工过多干预而导致的分类结果不准确的问题,同时还降低了人工成本。
图2示出了根据本发明一个实施例的文件分类模型训练方法的流程示意图。如图2所示,该方法包括以下步骤:
步骤S200,将文件样本输入至特征抽取网络,得到与文件样本对应的预设维度的文件特征。
文件分类模型的样本库中不仅存储了多个类别的文件样本,还存储了与文件样本对应的文件分类标注结果,其中对于二分类而言,多个类别的文件样本包含多个文件正样本和多个文件负样本;对于多分类而言,多个类别的文件样本是根据需要划分的类别而确定的文件样本,举例说明,分类类别为:新闻、军事、社会、其他,则多个类别的文件样本包含新闻类的文件样本、军事类的文件样本、社会类的文件样本、其他文件样本。本领域技术人员可根据实际需要设置样本库中所存储的文件样本的数量,此处不做限定。
其中,文件分类条件的不同使得文件分类标注结果也不同,举例说明,以依据清晰度对视频文件进行二分类为例,依据清晰度可以将视频文件分为清晰和不清晰两类,可以将清晰的视频文件标记为1,不清晰的视频文件标记为0;以基于是否包含异常信息对视频文件进行分类为例,视频文件可以被分为:包含异常信息的视频文件和不包含异常信息的视频文件,具体地,包含异常信息的视频文件标记为1,不包含异常信息的视频文件标记为0,这里仅是举例说明,不具有任何限定作用。通过人工标注的方法将样本库中每个文件样本进行标注,得到与文件样本对应的文件分类标注结果。
对于多分类的情况,举例说明,分类类别为:新闻、军事、社会、其他,可以将新闻标记为0、军事标记为1、社会标记为2、其他标记为3,这里仅是举例说明,不具有任何限定作用。
具体地,从样本库中提取文件样本,并提取与该文件样本对应的文件分类标注结果,将文件样本输入至特征抽取网络,利用所述特征抽取网络抽取该文件样本的文件特征,其中,所述特征抽取网络可以抽取1024维的文件特征,该1024维的文件特征能够较为全面的体现文件的内容信息、清晰度信息、音质信息等,是一种通用特征,能够用于各种场景下的文件分类,这里不再一一举例说明。
在本发明可选实施方式中,对于视频文件和/或音频文件,在提取文件样本之后,可以利用解码器对文件样本进行解码处理,得到多个文件帧,从多个文件帧中抽取至少一个文件帧,将抽取的至少一个文件帧中的每一帧输入至特征抽取网络,得到与该文件帧对应的1024维的帧特征,然后,利用预设算法,例如,求平均,对多个文件帧的帧特征进行运算处理,得到与文件样本对应的1024维的文件特征。
步骤S201,将文件特征输入至文件分类模型进行训练,得到与文件样本对应的文件分类结果。
本发明实施例中所训练的文件分类模型适用于具体的文件分类条件,例如,进行视频清晰度分类的文件分类模型只能将视频分类为清晰或不清晰,而不能用于是否包含异常信息的分类,若希望基于是否包含异常信息对视频文件进行分类,则需要进行该文件分类条件的文件分类模型训练。对于多分类的情况,也仅适用于相应类别的文件分类,不能用于其他分类,例如分类类别为:新闻、军事、社会、其他的文件分类模型,不能用于“宫廷、神话、传记、悬疑、破案、偶像”的分类,这里仅是举例说明,不具有任何限定作用,本领域技术人员可以根据实际需要进行相应的文件分类模型训练。
在得到文件样本对应的文件特征后,将文件特征输入至文件分类模型进行训练,得到与文件样本对应的文件分类结果,其中,对于二分类而言,与文件样本对应的文件分类结果取值为[0,1]中的一数值,对于多分类而言,与文件样本对应的文件分类结果取值是依据标注值而定的,以标注结果为:新闻0、军事1、社会2、其他3为例,与文件样本对应的文件分类结果取值为[0,3]中的一数值。
步骤S202,根据文件分类结果与文件分类标注结果之间的损失,得到文件分类模型损失函数,根据文件分类模型损失函数更新文件分类模型的模型参数。
其中,本领域技术人员可根据实际需要设置文件分类模型损失函数的具体内容,此处不做限定。根据文件分类模型损失函数,进行梯度下降优化,用以更新文件分类模型的模型参数。
下面以文件分类模型为逻辑斯特回归模型(Logistic回归模型)进行详细说明,其中,Logistic回归模型是对样本进行二分类的标准模型,用来对文件样本进行分类,其目标函数具体可以表示为:
其中w∈Rn,b∈R为模型参数,x表示文件样本的文件特征,y表示文件样本对应的文件分类标注结果。
根据文件分类结果与文件分类标注结果可以构造文件分类模型的损失函数:
通过最小化该损失函数可以计算得到文件分类模型的模型参数,记为w'∈Rn,b'∈R,对文件分类模型的模型参数进行更新处理。
此外,还可以采用多层感知机(MLP)、随机森林、支持向量机(SVM)、感知机进行文件分类,这里不再详细赘述。
在本发明实施例中,多分类模型可以为多分类逻辑斯特回归模型、J-Linkage算法(J算法)、决策树、多分类SVM,这里仅是举例说明,不具有任何限定作用。
步骤S203,迭代执行上述步骤,直至满足预定收敛条件。
其中,本领域技术人员可根据实际需要设置预定收敛条件,此处不做限定。例如,预定收敛条件可包括:迭代次数达到预设迭代次数;和/或,文件分类模型损失函数的输出值小于预设阈值。具体地,可以通过判断迭代次数是否达到预设迭代次数来判断是否满足预定收敛条件,也可以根据文件分类模型损失函数的输出值是否小于预设阈值来判断是否满足预定收敛条件。在步骤S203中,迭代执行文件分类模型的训练步骤,直至满足预定收敛条件,从而得到经过训练的文件分类模型。
图3示出了根据本发明另一个实施例的文件分类方法的流程示意图。该方法基于经过训练的特征抽取网络、以及经过训练的文件分类模型执行,如图3所示,该方法包括以下步骤:
步骤S300,获取待分类文件。
其中,待分类文件为用户想要进行分类的文件,例如,可以为视频文件和/或音频文件,当然,还可以是其他需要进行分类的文件,此处不做限定。
步骤S301,对待分类视频文件和/或音频文件进行解码处理,得到多个文件帧。
视频文件是由一帧一帧的视频帧组成的,音频文件是由一帧一帧的音频帧组成的,为了能够准确地提取出待分类视频文件和/或音频文件的文件特征,在抽取待分类视频文件和/或音频文件的文件特征之前,需要对待分类视频文件和/或音频文件进行解码处理,得到多个文件帧,其中,文件帧为视频帧和/或音频帧。
步骤S302,利用预设抽帧策略从多个文件帧中抽取至少一个文件帧。
每个视频文件由很多视频帧组成,而每个音频文件又可以由很多音频帧组成,若对解码处理后的文件都进行文件特征抽取,会导致抽取的文件特征非常多,虽然对所有文件帧都进行文件特征抽取能够实现后续分类预测,但是会造成资源的浪费,同时增加了特征抽取所需时间,降低特征抽取效率,因此,本发明实施例可以从多个文件帧中抽取至少一个文件帧来进行后续帧特征抽取,例如,可以抽取预设数量的文件帧,例如一帧或者两帧,抽取的数量可以根据实际需要进行设定,例如,对于进行视频清晰度分类的,可以随机抽取一帧,为了提升检测的准确性,可以多抽取几帧,这里仅是举例说明,不具有任何限定作用。该步骤为可选步骤,还可以对解码处理得到的文件帧都进行特征抽取处理。
步骤S303,针对至少一个文件帧的每一文件帧,将文件帧输入至特征抽取网络,得到与该文件帧对应的预设维度的帧特征。
在抽取得到至少一个文件帧之后,针对至少一个文件帧的每一文件帧,将文件帧输入至经过训练的特征抽取网络,利用该特征抽取网络进行帧特征抽取,例如,可以抽取1024维的帧特征。在本发明实施例中,使用特征抽取网络的优势在于,避免人工抽取特征时一系列复杂的预处理过程,极大地节省了时间,提高了特征抽取的效率,而且还提高了特征抽取的准确率。
步骤S304,利用预设算法对多个文件帧的帧特征进行运算处理,得到与待分类视频文件和/或音频文件对应的预设维度的文件特征。
具体地,可以对多个文件帧的帧特征进行求平均,计算多个文件帧的帧特征的特征值的平均值,得到与所述待分类视频文件和/或音频文件对应的预设维度的文件特征。
步骤S305,基于预设维度的文件特征利用文件分类模型进行分类预测,得到文件对应的分类结果。
在步骤S304得到预设维度的文件特征之后,可以基于预设维度的文件特征利用文件分类模型进行分类预测,得到文件对应的分类结果,在本发明实施例中,文件分类模型为二分类模型,即利用该文件分类模型只能将一文件分为两类,举例说明,用户想要基于视频清晰度对视频文件进行分类,在抽取到视频文件的预设维度的文件特征之后,将预设维度的文件特征输入至文件分类模型进行分类预测,可以得到视频文件是否清晰的分类结果,也就是说,分类结果可以为视频清晰或者视频不清晰;此外,还可以基于音质对音频文件进行分类,基于是否包含异常信息对视频文件进行分类,本领域技术人员可以根据需要选择分类条件对文件进行分类,这里不做一一举例说明。
此外,文件分类模型还可以为多分类模型,利用多分类模型能够确定文件属于哪个类别,举例说明,多分类模型可以用于“新闻、军事、社会、其他”4个类别的分类,文件特征输入至该多分类模型后,可以得到文件具体属于上述4个类别中哪一个,多分类模型的分类类别可以根据实际需要进行训练。
其中,以二分类为例,所得到的文件对应的分类结果是以[0,1]中的数值表示的,以基于清晰度对视频文件进行分类为例,设定分类结果取值范围为[0.7,1]时,视频清晰,分类结果取值范围为[0,0.7)时,视频不清晰,在进行分类预测后,得到该待检测视频文件的分类结果为0.8,则可以认定该待分类视频文件清晰。这里仅是举例说明,不具有任何限定作用。
多分类时,定义以标注结果为:新闻0、军事1、社会2、其他3为例,所得到的文件对应的分类结果是以[0,3]中的数值表示的,设定分类结果取值范围为[0,0.7)时,视频属于新闻类,分类结果取值范围为[0.7,1.3)时,视频属于军事类,分类结果取值范围为[1.3,2.2)时,视频属于社会类,分类结果取值范围为[2.2,3]时,视频属于其他类,在进行分类预测后,得到该待检测视频文件的分类结果为0.8,则可以认定该待分类视频文件为军事类。这里仅是举例说明,不具有任何限定作用。
根据本发明上述实施例提供的方法,利用经过训练的特征抽取网络抽取待分类文件的文件特征,极大地节省了时间,提高了特征抽取的效率,以及特征抽取的准确率,而且能够避免虚假视频元信息的影响,利用经过训练的文件分类模型对待分类文件进行分类预测,实现了文件自动分类,避免了人工过多干预而导致的分类结果不准确的问题,同时还降低了人工成本。
图4示出了根据本发明一个实施例的文件分类装置的结构程示意图。该装置基于经过训练的特征抽取网络、以及经过训练的文件分类模型执行,如图4所示,该装置包括:获取模块400、特征抽取模块410、分类预测模块420。
获取模块400,适于获取待分类文件。
特征抽取模块410,适于将待分类文件输入至特征抽取网络,得到与待分类文件对应的预设维度的文件特征。
分类预测模块420,适于基于预设维度的文件特征利用文件分类模型进行分类预测,得到文件对应的分类结果。
根据本发明上述实施例提供的装置,利用经过训练的特征抽取网络抽取待分类文件的文件特征,极大地节省了时间,提高了特征抽取的效率,以及特征抽取的准确率,而且能够避免虚假视频元信息的影响,利用经过训练的文件分类模型对待分类文件进行分类预测,实现了文件自动分类,避免了人工过多干预而导致的分类结果不准确的问题,同时还降低了人工成本。
图5示出了根据本发明另一个实施例的文件分类装置的结构程示意图。该装置基于经过训练的特征抽取网络、以及经过训练的文件分类模型执行,如图5所示,该装置包括:获取模块500、特征抽取模块510、文件分类模型训练模块520、分类预测模块530。
获取模块500,适于获取待分类文件。
特征抽取模块510进一步包括:解码处理单元511,适于对待分类视频文件和/或音频文件进行解码处理,得到多个文件帧,其中,文件帧为视频帧和/或音频帧。
文件帧抽取单元512,适于利用预设抽帧策略从多个文件帧中抽取至少一个文件帧。
第一特征抽取单元513,适于针对至少一个文件帧的每一文件帧,将文件帧输入至特征抽取网络,得到与该文件帧对应的预设维度的帧特征。
运算处理单元514,适于利用预设算法对多个文件帧的帧特征进行运算处理,得到与待分类视频文件和/或音频文件对应的预设维度的文件特征。
其中,运算处理单元514进一步适于:计算多个文件帧的帧特征的特征值的平均值,得到与待分类视频文件和/或音频文件对应的预设维度的文件特征。
文件分类模型训练模块520包括:第二特征抽取单元521,适于将文件样本输入至特征抽取网络,得到与文件样本对应的预设维度的文件特征;
训练单元522,适于将文件特征输入至文件分类模型进行训练,得到与文件样本对应的文件分类结果;
更新单元523,适于根据文件分类结果与文件分类标注结果之间的损失,得到文件分类模型损失函数,根据文件分类模型损失函数更新文件分类模型的模型参数;
文件分类模型训练模块迭代运行,直至满足预定收敛条件。
其中,文件分类模型训练所用的样本包含:样本库存储的多个类别文件样本以及与文件样本对应的文件分类标注结果。
预定收敛条件包括:迭代次数达到预设迭代次数;和/或,文件分类模型损失函数的输出值小于预设阈值。
分类预测模块530,适于基于预设维度的文件特征利用文件分类模型进行分类预测,得到文件对应的分类结果。
根据本发明上述实施例提供的装置,利用经过训练的特征抽取网络抽取待分类文件的文件特征,极大地节省了时间,提高了特征抽取的效率,以及特征抽取的准确率,而且能够避免虚假视频元信息的影响,利用经过训练的文件分类模型对待分类文件进行分类预测,实现了文件自动分类,避免了人工过多干预而导致的分类结果不准确的问题,同时还降低了人工成本。
本申请实施例还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的文件分类方法。
图6示出了根据本发明一个实施例的一种计算设备的结构示意图,本发明具体实施例并不对计算设备的具体实现做限定。
如图6所示,该计算设备可以包括:处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。
其中:
处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。
通信接口604,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器602,用于执行程序610,具体可以执行上述文件分类方法实施例中的相关步骤。
具体地,程序610可以包括程序代码,该程序代码包括计算机操作指令。
处理器602可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器606,用于存放程序610。存储器606可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序610具体可以用于使得处理器602执行上述任意方法实施例中的文件分类方法。程序610中各步骤的具体实现可以参见上述文件分类实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的文件分类设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种文件分类方法,所述方法基于经过训练的特征抽取网络、以及经过训练的文件分类模型执行,所述方法包括:
获取待分类文件;
将所述待分类文件输入至特征抽取网络,得到与所述待分类文件对应的预设维度的文件特征;
基于所述预设维度的文件特征利用文件分类模型进行分类预测,得到文件对应的分类结果。
2.根据权利要求1所述的方法,其中,所述待分类文件为视频文件和/或音频文件;
所述将待分类文件输入至特征抽取网络,得到与所述待分类文件对应的预设维度的文件特征进一步包括:
对所述待分类视频文件和/或音频文件进行解码处理,得到多个文件帧,其中,所述文件帧为视频帧和/或音频帧;
针对多个文件帧的每一文件帧,将文件帧输入至特征抽取网络,得到与该文件帧对应的预设维度的帧特征;
利用预设算法对多个文件帧的帧特征进行运算处理,得到与所述待分类视频文件和/或音频文件对应的预设维度的文件特征。
3.根据权利要求1或2所述的方法,其中,所述利用预设算法对多个文件帧的帧特征进行运算处理,得到与所述待分类视频文件和/或音频文件对应的预设维度的文件特征进一步包括:
计算多个文件帧的帧特征的特征值的平均值,得到与所述待分类视频文件和/或音频文件对应的预设维度的文件特征。
4.根据权利要求1-3任一项所述的方法,其中,在对所述待分类视频文件和/或音频文件进行解码处理,得到多个文件帧之后,所述方法还包括:
利用预设抽帧策略从所述多个文件帧中抽取至少一个文件帧。
5.根据权利要求1-4任一项所述的方法,其中,所述文件分类模型训练所用的样本包含:样本库存储的多个类别的文件样本以及与文件样本对应的文件分类标注结果。
6.根据权利要求1-5任一项所述的方法,其中,所述文件分类模型的训练过程包括:
将文件样本输入至特征抽取网络,得到与文件样本对应的预设维度的文件特征;
将所述文件特征输入至文件分类模型进行训练,得到与所述文件样本对应的文件分类结果;
根据所述文件分类结果与所述文件分类标注结果之间的损失,得到文件分类模型损失函数,根据所述文件分类模型损失函数更新所述文件分类模型的模型参数;
迭代执行上述步骤,直至满足预定收敛条件。
7.根据权利要求1-6任一项所述的方法,其中,所述预定收敛条件包括:迭代次数达到预设迭代次数;和/或,所述文件分类模型损失函数的输出值小于预设阈值。
8.一种文件分类装置,所述装置基于经过训练的特征抽取网络、以及经过训练的文件分类模型执行,所述装置包括:
获取模块,适于获取待分类文件;
特征抽取模块,适于将所述待分类文件输入至特征抽取网络,得到与所述待分类文件对应的预设维度的文件特征;
分类预测模块,适于基于所述预设维度的文件特征利用文件分类模型进行分类预测,得到文件对应的分类结果。
9.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的文件分类方法对应的操作。
10.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的文件分类方法对应的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711071496.1A CN107748898A (zh) | 2017-11-03 | 2017-11-03 | 文件分类方法、装置、计算设备及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711071496.1A CN107748898A (zh) | 2017-11-03 | 2017-11-03 | 文件分类方法、装置、计算设备及计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107748898A true CN107748898A (zh) | 2018-03-02 |
Family
ID=61254346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711071496.1A Pending CN107748898A (zh) | 2017-11-03 | 2017-11-03 | 文件分类方法、装置、计算设备及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107748898A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109257622A (zh) * | 2018-11-01 | 2019-01-22 | 广州市百果园信息技术有限公司 | 一种音视频处理方法、装置、设备及介质 |
CN110347805A (zh) * | 2019-07-22 | 2019-10-18 | 中海油安全技术服务有限公司 | 石油行业安全隐患关键要素提取方法、装置、服务器及存储介质 |
CN110516748A (zh) * | 2019-08-29 | 2019-11-29 | 泰康保险集团股份有限公司 | 业务处理方法、装置、介质及电子设备 |
CN110580508A (zh) * | 2019-09-06 | 2019-12-17 | 捷开通讯(深圳)有限公司 | 视频分类方法、装置、存储介质和移动终端 |
CN111079184A (zh) * | 2019-12-19 | 2020-04-28 | 北京明朝万达科技股份有限公司 | 防护数据泄漏的方法、系统、设备以及存储介质 |
CN111724810A (zh) * | 2019-03-19 | 2020-09-29 | 杭州海康威视数字技术股份有限公司 | 一种音频分类方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160310A (zh) * | 2015-08-25 | 2015-12-16 | 西安电子科技大学 | 基于3d卷积神经网络的人体行为识别方法 |
CN105976812A (zh) * | 2016-04-28 | 2016-09-28 | 腾讯科技(深圳)有限公司 | 一种语音识别方法及其设备 |
CN106295717A (zh) * | 2016-08-30 | 2017-01-04 | 南京理工大学 | 一种基于稀疏表示和机器学习的西洋乐器分类方法 |
CN106372653A (zh) * | 2016-08-29 | 2017-02-01 | 中国传媒大学 | 一种基于堆栈式自动编码器的广告识别方法 |
CN106599765A (zh) * | 2015-10-20 | 2017-04-26 | 深圳市商汤科技有限公司 | 基于对象连续发音的视-音频判断活体的方法及系统 |
CN106952644A (zh) * | 2017-02-24 | 2017-07-14 | 华南理工大学 | 一种基于瓶颈特征的复杂音频分割聚类方法 |
CN107112006A (zh) * | 2014-10-02 | 2017-08-29 | 微软技术许可有限责任公司 | 基于神经网络的语音处理 |
-
2017
- 2017-11-03 CN CN201711071496.1A patent/CN107748898A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107112006A (zh) * | 2014-10-02 | 2017-08-29 | 微软技术许可有限责任公司 | 基于神经网络的语音处理 |
CN105160310A (zh) * | 2015-08-25 | 2015-12-16 | 西安电子科技大学 | 基于3d卷积神经网络的人体行为识别方法 |
CN106599765A (zh) * | 2015-10-20 | 2017-04-26 | 深圳市商汤科技有限公司 | 基于对象连续发音的视-音频判断活体的方法及系统 |
CN105976812A (zh) * | 2016-04-28 | 2016-09-28 | 腾讯科技(深圳)有限公司 | 一种语音识别方法及其设备 |
CN106372653A (zh) * | 2016-08-29 | 2017-02-01 | 中国传媒大学 | 一种基于堆栈式自动编码器的广告识别方法 |
CN106295717A (zh) * | 2016-08-30 | 2017-01-04 | 南京理工大学 | 一种基于稀疏表示和机器学习的西洋乐器分类方法 |
CN106952644A (zh) * | 2017-02-24 | 2017-07-14 | 华南理工大学 | 一种基于瓶颈特征的复杂音频分割聚类方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109257622A (zh) * | 2018-11-01 | 2019-01-22 | 广州市百果园信息技术有限公司 | 一种音视频处理方法、装置、设备及介质 |
CN111724810A (zh) * | 2019-03-19 | 2020-09-29 | 杭州海康威视数字技术股份有限公司 | 一种音频分类方法和装置 |
CN111724810B (zh) * | 2019-03-19 | 2023-11-24 | 杭州海康威视数字技术股份有限公司 | 一种音频分类方法和装置 |
CN110347805A (zh) * | 2019-07-22 | 2019-10-18 | 中海油安全技术服务有限公司 | 石油行业安全隐患关键要素提取方法、装置、服务器及存储介质 |
CN110516748A (zh) * | 2019-08-29 | 2019-11-29 | 泰康保险集团股份有限公司 | 业务处理方法、装置、介质及电子设备 |
CN110580508A (zh) * | 2019-09-06 | 2019-12-17 | 捷开通讯(深圳)有限公司 | 视频分类方法、装置、存储介质和移动终端 |
CN111079184A (zh) * | 2019-12-19 | 2020-04-28 | 北京明朝万达科技股份有限公司 | 防护数据泄漏的方法、系统、设备以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107748898A (zh) | 文件分类方法、装置、计算设备及计算机存储介质 | |
CN106529565A (zh) | 目标识别模型训练和目标识别方法及装置、计算设备 | |
US20190164015A1 (en) | Machine learning techniques for evaluating entities | |
CN110147456A (zh) | 一种图像分类方法、装置、可读存储介质及终端设备 | |
CN108734184B (zh) | 一种对敏感图像进行分析的方法及装置 | |
CN107203866B (zh) | 订单的处理方法以及装置 | |
CN107291822A (zh) | 基于深度学习的问题分类模型训练方法、分类方法及装置 | |
CN106951925A (zh) | 数据处理方法、装置、服务器及系统 | |
CN107833214A (zh) | 视频清晰度检测方法、装置、计算设备及计算机存储介质 | |
CN107801090A (zh) | 利用音频信息检测异常视频文件的方法、装置及计算设备 | |
CN110009430B (zh) | 作弊用户检测方法、电子设备及计算机可读存储介质 | |
CN107391729A (zh) | 用户评论的排序方法、电子设备及计算机存储介质 | |
CN107273784A (zh) | 图像模式识别装置和方法 | |
CN111008640A (zh) | 图像识别模型训练及图像识别方法、装置、终端及介质 | |
CN109190646B (zh) | 一种基于神经网络的数据预测方法、装置及神经网络系统 | |
CN111178446B (zh) | 一种基于神经网络的目标分类模型的优化方法、装置 | |
CN108960922A (zh) | 终端的更换预测方法及装置 | |
CN106445908A (zh) | 文本识别方法和装置 | |
CN107463935A (zh) | 应用分类方法和应用分类装置 | |
CN105512104A (zh) | 词典降维方法及装置、信息分类方法及装置 | |
CN104615730A (zh) | 一种多标签分类方法及装置 | |
CN108241867A (zh) | 一种分类方法及装置 | |
CN106447384A (zh) | 确定目标用户的方法及装置 | |
CN110109902A (zh) | 一种基于集成学习方法的电商平台推荐系统 | |
CN112307860A (zh) | 图像识别模型训练方法和装置、图像识别方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180302 |