CN108304494A - 文件分类处理方法、装置及终端、服务器、存储介质 - Google Patents

文件分类处理方法、装置及终端、服务器、存储介质 Download PDF

Info

Publication number
CN108304494A
CN108304494A CN201810024415.0A CN201810024415A CN108304494A CN 108304494 A CN108304494 A CN 108304494A CN 201810024415 A CN201810024415 A CN 201810024415A CN 108304494 A CN108304494 A CN 108304494A
Authority
CN
China
Prior art keywords
audio
classification
audio file
data
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810024415.0A
Other languages
English (en)
Inventor
钟云
饶孟良
苏可
张倩汶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810024415.0A priority Critical patent/CN108304494A/zh
Publication of CN108304494A publication Critical patent/CN108304494A/zh
Priority to PCT/CN2019/070969 priority patent/WO2019137392A1/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/635Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种文件分类处理方法、装置及终端、服务器、存储介质,所述方法从所述音频文件中提取音频特征数据,所述音频特征数据是由用于表示所述音频文件中包括的音频特征的N个数值构成的N维数据;对所述音频特征数据进行预处理,得到分类特征数据,所述预处理包括对所述音频特征数据中每一维数值进行归一化处理,将每一维数值转换为在0到1数值范围内的目标值;调用分类器对所述分类特征数据进行分类计算,确定所述音频文件所属的类别。使用本发明实施例所述的方法,可较为准确地对音频文件进行分类处理。

Description

文件分类处理方法、装置及终端、服务器、存储介质
技术领域
本发明涉及计算机应用技术领域,尤其涉及一种文件分类处理方法、装置及终端、服务器、存储介质。
背景技术
随着人们生活水平的日益提高,人们的兴趣爱好也越来越广泛。而音乐作为人们最受欢迎的兴趣爱好之一,与人们生活紧紧地绑在了一起。音乐作为智能音箱上不可或缺的一部分,其内容质量受到了越来越多的关注。如果能够较为准确地对音箱端的音乐歌曲进行分类,那么将不仅能够极大程度地改善用户的听歌体验,而且可以使音箱变得更加智能化。
现有方法在预测音乐歌曲的类型时,主要有2种方式,第一种是采用人工分类的方法,具体方法由人工听取歌曲的音频,然后根据给定的规则对歌曲进行分类。第二种方法是基于机器学习的方法,通过提取歌曲的音频及音频特征,然后使用机器学习方法来训练分类器以便于预测歌曲的类型。
基于人工分类的方法虽然可行,但是该方法需要耗费大量的人力物力。相比人工分类的方法,基于机器学习算法的效率大大提高了,而且结果相对比较客观,但是现有的机器学习方法的分类预测准确率还有待提高。
发明内容
本发明实施例提供一种文件分类处理方法、装置及终端、服务器,可较为准确地对音频文件进行分类处理。
一方面,本发明实施例提供了一种文件分类处理方法,所述文件包括音频文件,所述方法包括:
从所述音频文件中提取音频特征数据,所述音频特征数据是由用于表示所述音频文件中包括的音频特征的N个数值构成的N维数据;
对所述音频特征数据进行预处理,得到分类特征数据,所述预处理包括对所述音频特征数据中每一维数值进行归一化处理,将每一维数值转换为在0到1数值范围内的目标值;
调用分类器对所述分类特征数据进行分类计算,确定所述音频文件所属的类别。
另一方面,本发明实施例提供了一种文件分类处理装置,所述文件包括音频文件,所述装置包括:
提取模块,用于从所述音频文件中提取音频特征数据,所述音频特征数据是由用于表示所述音频文件中包括的音频特征的N个数值构成的N维数据;
处理模块,用于对所述音频特征数据进行预处理,得到分类特征数据,所述预处理包括对所述音频特征数据中每一维数值进行归一化处理,将每一维数值转换为在0到1数值范围内的目标值;
分类模块,用于调用分类器对所述分类特征数据进行分类计算,确定所述音频文件所属的类别。
再一方面,本发明实施例还提供了一种服务器,包括:处理器以及存储装置;所述存储装置存储有程序指令,所述处理器调用所述存储装置中存储的程序指令,用于执行如上述的文件分类处理方法。
相应地,本发明实施例还提供了一种计算机存储介质,所述计算机存储介质中存储有程序指令,所述程序指令被执行时,用于实现上述的文件分类处理方法。
本发明实施例通过提取音频文件中的包括音频特征的N个数值构成的N维数据,然后对音频特征数据中每一维数值进行归一化处理后再基于分类器进行分类计算,这样可以有效地避免因为某些特征数据值较大导致的分类偏移,能够较为有效地确定音频文件所属的类别,提高对音频文件分类的准确性,使得在一些应用场景下,例如音乐推荐等应用场景,能够准确地给用户推荐音乐。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种文件分类处理方法的过程示意图;
图2是本发明实施例提供的一种文件分类处理方法的流程示意图;
图3是本发明实施例的分类器的网络结构示意图;
图4是本发明实施例提供的另一种文件分类处理方法的流程示意图;
图5是本发明实施例的应用场景的系统结构示意图;
图6是本发明实施例的一种用户界面的示意图;
图7是本发明实施例的另一种用户界面的示意图;
图8是本发明实施例的一种文件分类处理装置的结构示意图;
图9为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
在本发明实施例中,能够从音频文件中提取特征,并得到音频文件中这些特征的特征数据,然后再对这些特征数据的具体值进行归一化处理,基于预设的分类器对归一化处理后的特征数据进行分类,能够最终较为准确地确定出音频文件的类别。
所述文件包括音频文件,一方面,所述文件就是一个音频文件,例如为一个MP3文件等,另一方面,所述文件中不仅包括音频文件,还可以包括视频数据等其他数据,可以从该文件中分离出音频文件,从而得到需要分类的音频文件,例如,从电影文件中得到该电影的一个或者多个音频文件,得到音频文件,进而对各个音频文件进行分类,最终可以根据对各个音频文件的分类结果,还可以对电影进行分类。在本发明实施例中,通过一个预先训练好的分类器来对音频文件的归一化处理后的音频特征数据进行分类处理,实现对音频文件的准确分类。
在一个实施例中,可供使用的音频特征包括多种,需要获取得到该音频文件的多种音频特征所对应的音频特征数据。在一个实施例中,根据指定的儿歌类别和乐器类别对各个音频特征进行分析实验后发现:梅尔频率倒谱系数(Mel-frequency CepstralCoefficients,MFCC)特征数据作为模仿人的听觉对音频文件处理产生的数据,能够较好地分类出儿歌的类别,而常Q变换谐波转换离散(Constant Q Transform,CQT)特征数据作为表示音频的音符和旋律信息的数据,能够较好地区分出各种乐器,得到各个关于乐器的类别。因此,在对指定的儿歌和乐器等类别进行分类时,选取的音频特征可以包括MFCC特征和CQT特征。而音频特征数据则可以为一个N维的关于这两个音频特征的数据,例如,某个音频文件的音频特征数据是一个234维的关于MFCC和CQT特征数据,其中前100维为MFCC的特征数据,后134维为CQT特征数据。该234维的音频特征数据的表现形式例如可以是(0.1、0.11、0.15、……、1.1)。
在一个实施例中,为了提高分类器对音频文件的分类准确性,可以通过深度神经网络(Deep Neural Networks,DNN)算法来生成初始分类器,并基于人工标注的音频文件来对初始分类器进行训练,得到训练优化后的分类器来对后续未知类别的音频文件进行分类。在一个实施例中,可以预先选取一万首已经被确定为儿歌类别的音频训练文件和一万首已经被确定为各类乐器类别的音频训练文件,其中,分别将已经确定为儿歌类别中的每一首音频训练文件作为目标音频训练文件,提取并生成关于目标音频训练文件的音频特征训练数据,音频特征训练数据涵盖了目标音频训练文件的MFCC特征数据和CQT特征数据,并对目标音频训练文件的音频特征训练数据进行归一化处理后输入到初始分类器中,通过初始分类器根据归一化处理后的数据对目标音频训练文件进行分类,如果基于最终的概率值确定该目标音频训练文件的类别也为儿歌,则表明初始分类器对该目标音频训练文件的分类是成功的,针对一万首(或者其中的N首,N为正整数,例如为1000首)已经确定为儿歌类别的音频训练文件进行分类后,如果成功率达到90%,则认为所述初始分类器能够较好地对儿歌进行分类识别,否则,则需要对初始分类器中的神经网络参数进行优化,并通过优化后的初始分类器再次对一万首儿歌的音频文件进行分类。同理对上述的各类乐器的音频训练文件分别作为目标音频训练文件对初始分类器进行训练以及优化,如果最终对儿歌的分类成功率和对各类乐器的分类成功率均满足预设的成功率阈值,则对初始分类器的训练优化完成,可以部署分类器以对后续的未知类别的音频文件进行儿歌或者各类乐器的分类识别。
在一个实施例中,请参见图1,是本发明实施例提供的一种文件分类处理的过程示意图。分类器可以为一个基于上述的DNN算法生成的DNN分类器。在本发明实施例中,该DNN分类器主要按照指定的类别对音频文件进行分类识别,这些指定的类别包括儿歌类别,关于儿歌的类别还可以进一步划分为不同年龄段的儿歌;所述指定的类别还可以是指音频文件的演奏乐器的类别,例如为萨克斯、小提琴、钢琴等乐器类别。部署的DNN分类器是通过上述方式预先训练优化好的分类器。
在S101中接收需要确定类别的音频文件。在S102中从该接收的音频文件中提取音频特征数据,在一个实施例中,提取的音频特征数据主要包括:MFCC特征数据和CQT特征数据。在其他实施例中,为了保证分类类型的多样性,也可以提取其他音频特征数据。
在提取音频文件的音频特征生成音频特征数据的过程中,可以对指定时间范围内的音频文件进行特征提取,例如可以提取音频文件中,播放时间位于中间时间的时段,因为一般情况下,中间时间段为一首音乐的高潮部分,更方便判断音乐的年代属性(即是否为儿歌)。在一个实施例中,在提取音频文件的音频特征时,还可以每间隔预设时长对一定时长的音频训练数据进行特征提取,例如,某首音乐的总时长为200s,可以选择的提取方式为:分3段提取音乐的开始时间段、中间时间段和结尾时间段各20s,以便掌握整首歌在不同时间段的旋律,从而更为准确的判断整首歌使用到了那些乐器来演奏。
在提取并生成音频特征数据后,在S103中对音频特征数据进行归一化处理,将每一维音频特征数据的数值转换为在0到1数值范围内的目标值。
在S104中调用DNN分类器对归一化处理后的音频特征数据进行分类计算,可得到该音频文件属于儿歌类别的概率和属于乐器类别的概率。在S105中确定所述音频文件所属的类别,即根据概率来确定音频文件的类别。例如针对目标音频文件,所述分类器的分类结果是属于儿歌类别的概率为60%,而属于“钢琴”的只有10%,由于属于儿歌类别的概率最大,则确定目标音频文件属于儿歌的类别。
在确定了分类结果后,可以为该音频文件设置一个其所属类别的类别标签,该类别标签可以设置在音频文件的属性信息的某个字段中,将该字段确定为类别字段。存储设置了类别标签的音频文件以便于后续基于类别进行查找,例如,根据分类识别结果确定该音频文件为儿歌时可以为该音频文件设置儿歌的类别标签并存储到音频数据库中。后续如果存在关于儿歌的查询请求时,则可以基于类别标签在该音频数据库中找到该音频文件,并返回给发起查询请求的用户。
请参见图2,是本发明实施例提供的一种文件分类处理方法的流程示意图。本发明实施例的所述方法可以由一个用于进行音频文件处理的服务器来执行,该服务器中部署有分类器,例如可以是DNN分类器,服务器基于该分类器对大量的音频文件进行分类,以便于后续可以针对这些分类后的音频文件进行分类查询检索服务。该分类处理方法可以包括以下步骤。
S201、从音频文件中提取音频特征数据。所述音频特征数据是由用于表示音频文件中包括的音频特征的N个数值构成的N维数据。在一个实施例中,音频是多媒体中的一种重要的媒体,是声音信号的形式,作为一种信息的载体,音频可分为语音、音乐和其它声音三种类型。不同的类型将具有不同的内在特征。本发明实施例中的音频文件主要为音乐类型的文件。
在一个实施例中,从音频文件中提取的音频特征数据包括音频文件的MFCC特征数据和CQT特征数据。提取MFCC特征数据的过程可以为:对数字化的音频文件,可以通过快速离散傅里叶变换得到对应的频谱,将得到的频谱通过梅尔Mel滤波器组得到梅尔Mel频谱,在梅尔Mel频谱上面进行倒谱分析,进而获得梅尔Mel频谱倒谱系数MFCC特征数据。
本发明实施例中的音频文件是由不同音高(又称基本频率)的音符组成,提取CQT特征数据的过程可以为:找到音频文件的基本频率、最大频率和频率分辨率,根据这三个系数得到常数Q,进而再基于CQT特征值计算公式,即可得到CQT特征数据。
在一个实施例中,MFCC特征数据和CQT特征数据的N个数值构成了N维数据,该N维数据即为音频特征数据,音频特征数据的形式可以是(0.1、0.11、0.15、……、1.1)。在获取到MFCC特征数据和CQT特征数据之后,直接对获取到的特征数据进行合并,得到N维的音频特征数据。在N维的音频特征数据中,MFCC特征数据和CQT特征数据的数量可以不同;在一个示意性的例子中,提取到的MFCC特征数据的具体数值为(0.4,0.5,0.6,0.8)4个数值,提取到的CQT特征数据的具体数值为(3,2,1.5)3个数值,直接将两组特征数据的数值进行合并得到(0.4,0.5,0.6,0.8,3,2,1.5)7个数值,构成7维的音频特征数据。
S202、对音频特征数据进行预处理,得到分类特征数据。本发明实施例中,对音频特征数据的预处理包括对音频特征数据中每一维数值进行归一化处理,将每一维数值转换为在0到1数值范围内的目标值。
在S201中MFCC特征数据和CQT特征数据的提取方式不同或者音频文件本身的音频特征差异,MFCC特征数据和CQT特征数据的数值的大小可能会出现较大的差异,本发明实施例在获取到MFCC特征数据和CQT特征数据之后,对MFCC特征数据和CQT特征数据进行归一化处理。其具体的归一化方法为,对于N维音频特征数据,计算该音频特征数据的第n维数值与音频特征数据中的最小值的差值a,然后计算音频特征数据中最大值与最小值之间的差值b,则归一化处理后的结果为a与b的比值,记做c=a/b。
在一个实施例中,以上述的(0.4,0.5,0.6,0.8,3,2,1.5)7个数值构成7维的音频特征数据为例,其中的最大值为3,最小值为0.4,以其中的部分数值为例,对第一维数据进行归一化计算后为:(0.4-0.4)/(3-0.4)=0;对第5维数据进行归一化计算后为:(3-0.4)/(3-0.4)=1,第7维数据进行归一化计算后为:(1.5-0.4)/(3-0.4),=0.42。则归一化处理后的7维音频特征数据(0,0.04,0.08,0.15,1,0.62,0.42)。
S203、调用分类器对所述分类特征数据进行分类计算,确定所述音频文件所属的类别。通过上述提及的DNN分类器,可以对上述的N维音频特征数据进行归一化处理后的音频特征数据进行分类计算,确定所述音频文件所属的类别。
在一个实施例中,基于DNN算法的分类器的网络结构如图3所示,该网络可以是一个4层神经网络分类器,包括输入层311,第一隐含层312、第二隐含层313、第三隐含层314和分类计算层(softmax层)315。
在一个实施例中,隐含层之间还可以设置中间层,该中间层的作用在于按照比例将上一隐含层的输出值中部分值进行传输处理,并将传输处理后的输出值输出至下一隐含层。可以在第一隐含层和第二隐含层之间配置第一中间层(例如可以为一个Dropout层,即第一Dropout层),用于按照比例将第一隐含层的输出值中部分值进行传输处理,并将传输处理后的输出值输出至第二隐含层,所述传输处理包括:将第一隐含层的输出值中的部分值进行归零处理。相似的,第二隐含层和第三隐含层之间配置有第二Dropout层。所述的部分值是第一隐含层312的输出值中按照预设比例随机确定的输出值,例如,预设比例为20%,则将第一隐含层的输出值中20%的值作为所说的部分值,以进行后续的归零处理。
在一个实施例中,从音频文件中提取音频特征数据为234维,将输入层311中的神经元(每一个圆圈表示一个神经元)数目确定为234,第一隐含层312中的神经元数目为150,第二隐含层313中的神经元数目为90,第三隐含层313中的神经元数目为70。
调用分类器对分类特征数据进行分类计算的具体过程为:输入层311输入234维的音频特征数据,对应234个神经元,每一维数据输入到一个神经元中。分类器基于该234维分类特征数据和输入层311到第一隐含层312之间的网络参数(每一条连线对应一个网络参数),分类计算得到150维的分类特征数据,在第一隐含层312中每一个神经元对应150维的分类特征数据中的一维分类特征数据。
分类器根据第一Dropout层对第一隐含层312的150维分类特征数据进行传输处理,随机将其中的20%(或者其他比例,例如30%)的数据,也就是30维数据(在30%时为45维数据)归零。再根据归零处理后的150维分类特征数据和第一隐含层312到第二隐含层313之间的网络参数,进行分类计算得到90维分类特征数据,90维分类特征数据对应第二隐含层313的90个神经元。
分类器再根据第二Dropout层对第二隐含层313的90维分类特征数据进行了传输处理,将90为分类特征数据中20%(或者其他比例,例如30%)的数据,也就是18维数据(在30%时为27维数据)归零。再根据归零处理后的90维分类特征数据和第二隐含层313与第三隐含层314之间的网络参数,进行分类计算得到70维分类特征数据,对应第三隐含层314的70个神经元。
分类器再根据第三隐含层314的70维分类特征数据和第三隐含层314与softmax层315之间的网络参数,计算得到音频文件属于第一类别的概率和属于第二类别的概率,或者更多类别的概率。
在第一Dropout层和第二Dropout层对分类特征数据进行归零处理时,分类特征数据中被归零处理的比例或者数量可预先设置。每一个Dropout层的可以根据需要设置相同或者不同的用于指示归零处理的比例或者数量,本发明实施例不做限定。设置Dropout层的作用主要在于防止分类器出现过拟合的情况,可以有效地避免分类器对音频训练数据能够很好的进行分类,但在部署后对实际的需要分类的音频文件的分类效果较差的情况。softmax层的输出结果可以是属于上述提到的儿歌类别或各种乐器类别的概率。
本发明实施例中,从音频文件中提取并得到涵盖MFCC特征数据和CQT特征数据的音频特征数据,并对提取到的音频特征数据进行归一化处理,将归一化处理后的分类特征数据输入DNN分类器中,并且,在DNN分类器中的Dropout层对分类特征数据进行随机丢弃,可以防止DNN分类器出现过拟合的情况。调用DNN分类器对分类特征数据进行分类计算,确定音频文件所属的类别,能够提高对音频文件分类的准确性,使得在一些应用场景下,例如音乐推荐等应用场景,能够准确地给用户推荐音乐。
请参见图4,是本发明实施例提供的另一种文件分类处理方法的流程示意图。所述方法可以由一个能够对音频文件进行处理的服务器来执行,该服务器可以基于部署的分类器来对未知类型的音频文件进行分类,具体可以分为儿歌类别或者各种乐器的乐器类别,当然还可以分为其他的音频类别。进一步的,该服务器还可以提供音频文件的分类查询检索功能。本发明实施例的所述文件分类处理方法可以包括以下步骤。
S401、按照筛选规则从所述音频文件中确定出音频时间段。本发明实施例中,筛选规则可以为从音频文件指定的首部区域、中部区域、尾部区域中的任意一个或者多个区域中确定出音频时间段。在一个简单的实施例中,可以直接指定首部区域、中部区域或尾部区域的时间范围,例如,在特征提取工具中设置[10s,20s]、[40s,60s]、[80s,100s]三个时间范围,基于这三个时间范围来确定音频文件中首部区域、中部区域以及尾部区域的音频文件。在其他实施例中,也可以根据音频文件的播放时长自动确定,例如,首部时间为起始时间加预设时长可确定(例如20秒的预设时长)为首部区域,整个播放时长除以2取整后,前后各加上预设时长可确定中部区域,倒数预设时长(例如倒数20秒)可确定尾部区域。上述首部区域、中部区域或尾部区域的时间范围仅为举例。
对于不同时长的音频文件,其对应的筛选规则可以不同,在一个实施例中,如果音频文件的播放时长S小于预设的时长阈值,则筛选确定的音频时间段为[S/2-10,S/2+10],均以秒为单位,S/2后需要取整数,可以采用四舍五入的方式取整数,例如,音频文件的时长为100秒,其确定出的音频时间段为中部区域的20秒,即[40s,60s];音频文件的时长为200秒,其确定出的音频时间段为首部区域的20秒、中部区域的20秒和尾部区域的20秒。对于音频时长与筛选规则的具体对应关系,可由研发用户设定,本发明实施例不做限定。
S402、从确定出的音频时间段中提取音频特征数据。本发明实施例中,提取音频特征包括MFCC特征数据和CQT特征数据,最终生成的音频特征数据涵盖了MFCC特征数据和CQT特征数据。通过针对不同时长的音频文件设置不同的筛选规则,可以使得提取的音频特征数据更有代表性。经过统计发现,对于1个短时长(如100秒)的音频文件,其中间部分可以体现出整个音频文件的基调,且中间部分为音乐的高潮,提取的音频特征数据就更有价值。对于1个时间较长的音频文件(如大于100秒的音频文件),其在不同时间段的基调可能不同,因此贯穿整个音频文件从头部、中部以及尾部各确定出部分音频来提取音频特征数据,更能完整的体现音频文件的基调。
S403、对音频特征数据进行预处理,得到分类特征数据。本发明实施例中,对音频特征数据的预处理包括对音频特征数据中每一维数值进行归一化处理,将每一维数值转换为在0到1数值范围内的目标值。归一化处理之后可以使得MFCC特征数据和CQT特征数据处于一个量级,经过实际分类处理可以发现,进行归一化处理后,可在一定程度上提高对音频文件分类的准确性。
S404:调用分类器对所述分类特征数据进行分类计算,确定所述音频文件所属的类别。在本发明实施例中,音频文件的类别包括:用于表示儿歌类型的第一类别和用于表示乐器类型的第二类别。
所述分类器可以是在S401之前的任意时段部署的,在S401之前,还可以包括对分类器进行训练优化,在一个实施例中,所述分类器配置有输入层、第一隐含层、第二隐含层,并且在所述第一隐含层和第二隐含层之间还配置有中间层,所述中间层用于按照比例将所述第一隐含层的输出值中部分值进行传输处理,并将传输处理后的输出值输出至第二隐含层,所述传输处理包括:将第一隐含层的输出值中的部分值进行归零处理。在一个实施例中,所述分类器还可以配置:第三隐含层,在所述第二隐含层和第三隐含层之间配置有的中间层,所述第三隐含层接收经过该中间层对第二隐含层的输出值进行传输处理后的值,并将接收到的值进行分类处理后输出给分类计算层;所述分类计算层用于根据第三隐含层输出的值进行分类计算,得到音频文件属于第一类别的概率和属于第二类别的概率。在其他实施例中,还可以根据需要配置更多的隐含层。
所述分类器经过分类计算后,最终输出的分类结果可以是所述音频文件属于第一类别或者各个第二类别的概率,在一个实施例中,第一类别为儿歌,第二类别为钢琴、小提琴、萨克斯等,若DNN分类器最终的输出结果为儿歌概率70%,小提琴概率为10%,其他乐器20%,则DNN分类器最终确定音频文件的分类结果为儿歌。若DNN分类器最终的输出结果为儿歌概率20%、萨克斯概率为70%,其他乐器10%,则DNN分类器最终确定音频文件的分类结果为萨克斯。
S405:为音频文件设置类别标签,该类别标签是根据所述确定的音频文件所属的类别来生成并设置的,该类别标签作为音频文件的属性信息之一。
S406:将设置了类别标签的音频文件存储到音频文件库中。该音频文件库为预先配置的数据库,音频文件库中保存了大量的被配置了类别标签的音频文件,基于该音频文件库,所述服务器或者其他服务器能够为用户提供音频文件的分类查询功能。
再请参见图5,为本发明实施例的应用场景的系统结构示意图,在本发明实施例的应用场景中,包括用户A及其所使用智能终端501、用户B及其所使用的智能终端502,两个用户的智能终端连接到网络侧的服务器503上,该网络侧的服务器可以包括多个服务器,也可以为单一服务器,为了描述方便,本发明实施例均描述为服务器。
在一个实施例中,任意一个用户可以通过智能终端与服务器进行通信,向服务器发送查询信息,用来查询所需的音频文件,如图6所示,可在智能终端中显示用户界面,来实现与用户之间的交互。在一个实施例中,用户可以通过语音或者文字输入等形式,在该用户界面上发起音频文件的搜索查询,以从音频文件库中找到设置了相应类别的标签的音频文件,例如输入儿歌两个字,则可以从音频文件库中查找儿歌的类别所对应的标签的音频文件。如果有多个被设置了儿歌的类别所对应的标签的音频文件,则可以通过随机选择的方式确定一个音频文件、或者按照存储的先后时间顺序确定出一个最新的音频文件,将确定的音频文件作为查询反馈数据发送给用户。
在一个实施例中,如图7所示,该用户界面可以是一个与虚拟机器人聊天的会话界面,虚拟机器人基于该会话界面上用户发出的聊天消息,自动为用户查询并推荐设置了相应类别的情感标签的音频文件。针对查询结果,最终确定音频文件的方式可采用上述提及的随机选择的方式或者按照先后顺序的方式。当然,还可以加入其他的用于确定出音频文件的确定策略,例如基于用户的历史搜索数据、或者行为数据、或者用户属性来从多个查询到的音频文件中确定一个合适用户的音频文件,例如,基于用户年龄来确定一个或者多个音频文件。
在一个实施例中,两个智能终端之间可以通过服务器进行即时通讯交流,所述服务器可以为一个即时通信应用服务器,该即时通信应用服务器可以建立到存储有音频文件库且提供音频文件分类查询的服务器的连接。所述音频文件库中包括多个设置了情感标签的音频文件。用户A与用户B聊天的过程中,可以根据用户A发出的一条或者多条聊天消息,确定用户A的想查找的歌曲类型,然后基于该类型,到音频文件库中查询设置了相应歌曲类型标签的音频文件,得到查询结果后,在用户A的聊天界面上展示查询到的一个或者多个音频文件。针对用户B可以进行相同的处理。
本发明实施例能够从音频文件中提取音频特征数据,并对音频特征数据进行归一化处理,将归一化处理后的音频特征数据输入至分类器中来确定音频文件对应的类型,在分类器中,本发明实施例在每一个隐含层之后添加了一个用于将隐含层中的特征数据进行归零处理的中间层,可以有效防止分类器出现过拟合的情况。调用分类器对分类特征数据进行分类计算,确定音频文件所属的分类类别,能够提高对音频文件分类的准确性,使得在一些应用场景下,例如音乐推荐等应用场景,能够准确地给用户推荐音乐。经过实验发现,使用本方案对超过10万首歌曲进行了儿歌,乐器(钢琴、吉他、小提琴、古筝等)的预测,准确率达到了87%左右,极大地提高了对于儿歌,乐器类音乐的分类准确率。
请参见图8,是本发明实施例提供的一种文件分类处理装置的结构示意图;所述装置可以设置在一些服务器中,例如可以设置在能够对音频文件进行分类的服务器中。在本发明实施例中,该终端80可包括:提取模块801、处理模块802和计算模块803。提取模块801,用于从所述音频文件中提取音频特征数据,所述音频特征数据是由用于表示所述音频文件中包括的音频特征的N个数值构成的N维数据;处理模块802,用于对所述音频特征数据进行预处理,得到分类特征数据,所述预处理包括对所述音频特征数据中每一维数值进行归一化处理,将每一维数值转换为在0到1数值范围内的目标值;计算模块803,用于调用分类器对所述分类特征数据进行分类计算,确定所述音频文件所属的类别。
在一个实施例中,音频文件的类别包括:用于表示儿歌类型的第一类别和用于表示乐器类型的第二类别,选择的音频特征数据中包括:选定的梅尔频率倒谱系数特征数据和常Q变换谐波转换离散特征数据。
在一个实施例中,本发明实施例所述提取模块801,用于按照筛选规则从所述音频文件中确定出音频时间段;从确定出的音频时间段中提取音频特征数据;其中,所述筛选规则包括从所述音频文件指定的首部区域、中部区域、尾部区域中的任意一个或者多个区域中确定出音频时间段。
在一个实施例中,本发明实施例所述的装置还可以包括:优化模块805,用于对分类器进行训练优化,其中,所述分类器配置有输入层、第一隐含层、第二隐含层,并且在所述第一隐含层和第二隐含层之间还配置有中间层,所述中间层用于按照比例将所述第一隐含层的输出值中部分值进行传输处理,并将传输处理后的输出值输出至第二隐含层,所述传输处理包括:将第一隐含层的输出值中的部分值进行归零处理。
在一个实施例中,所述分类器还可以包括:第三隐含层,所述第三隐含层接收位于第二隐含层和第三隐含层之间配置的中间层经过传输处理后的输出值,并将接收到的输出值进行分类处理后输出给分类计算层;所述分类计算层用于根据第三隐含层输出的值进行分类计算,得到音频文件属于第一类别的概率和属于第二类别的概率。
在一个实施例中,本发明实施例所述的装置还可以包括:接收模块806,用于从会话界面上接收聊天消息,并确定所述聊天消息的类别;查找模块807,用于从所述音频文件库中查找目标音频文件,其中,所述目标音频文件的类别与所述聊天消息的类别相同;显示模块808,用于在所述会话界面上显示所述目标音频文件的标识信息。
在一个实施例中,本发明实施例所述的装置,还可以包括:播放模块809,用于如果接收到对所述标识信息的选中事件,则查找所述目标音频文件,并调用音频播放器播放该目标音频文件。
本发明实施例的所述装置中各个功能所对应的具体功能实现可参考前述各个实施例中相关内容的描述,在此不赘述。
本发明实施例可以对所述音频特征数据进行预处理,得到分类特征数据,调用分类器对所述分类特征数据进行分类计算,确定所述音频文件所属的类别;能够提高文件分类处理装置对音频文件分类的准确性,使得在一些应用场景下,例如音乐推荐等应用场景,能够准确地给用户推荐音乐。
请参见图9,为本发明实施例提供的一种服务器的结构示意图。如图9所示,该服务器包括供电电源、各类壳体等结构,所述服务器还可以包括:至少一个处理器901,输入接口903,输出接口904,存储装置905。
在一个实施例中,输入接口903可以是一些网络接口或者用户接口,通过输入接口903可以从网络上下载音频训练文件或者待分类的音频文件,或者接收用户输入的音频训练文件或者待分类的音频文件。所述输出接口904也可以为一些网络接口或者显示屏等显示接口,能够将分类结果或者分类后的音频文件输出或者显示给用户。
所述存储装置905可以包括易失性存储器(volatile memory),如随机存取存储器(random-access memory,RAM);存储装置905也可以包括非易失性存储器(non-volatilememory),如快闪存储器(flash memory),固态硬盘(solid-state drive,SSD)等;存储装置905还可以包括上述种类的存储器的组合。
所述处理器901可以是中央处理器(central processing unit,CPU)。在一个实施例中,所述处理器901还可以包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmablelogic device,PLD)等。上述PLD可以是现场可编程逻辑门阵列(field-programmable gatearray,FPGA),通用阵列逻辑(generic array logic,GAL)等。
在一个实施例中,所述存储装置905还用于存储程序指令。所述处理器901可以调用所述程序指令,实现上述提及的各种方法和步骤。
所述处理器901,调用所述存储装置905中存储的程序指令,用于从所述音频文件中提取音频特征数据,所述音频特征数据是由用于表示所述音频文件中包括的音频特征的N个数值构成的N维数据;对所述音频特征数据进行预处理,得到分类特征数据,所述预处理包括对所述音频特征数据中每一维数值进行归一化处理,将每一维数值转换为在0到1数值范围内的目标值;调用分类器对所述分类特征数据进行分类计算,确定所述音频文件所属的类别。
在一个实施例中,所述处理器901,在用于从所述音频文件中提取音频特征数据时,用于按照筛选规则从所述音频文件中确定出音频时间段;从确定出的音频时间段中提取音频特征数据;其中,所述筛选规则包括从所述音频文件指定的首部区域、中部区域、尾部区域中的任意一个或者多个区域中确定出音频时间段。
在一个实施例中,所述处理器901,还用于对分类器进行训练优化,其中,所述分类器配置有输入层、第一隐含层、第二隐含层,并且在所述第一隐含层和第二隐含层之间还配置有中间层,所述中间层用于按照比例将所述第一隐含层的输出值中部分值进行传输处理,并将传输处理后的输出值输出至第二隐含层,所述传输处理包括:将第一隐含层的输出值中的部分值进行归零处理。
在一个实施例中,所述分类器还包括:第三隐含层,所述第三隐含层接收位于第二隐含层和第三隐含层之间配置的中间层经过传输处理后的输出值,并将接收到的输出值进行分类处理后输出给分类计算层;所述分类计算层用于根据第三隐含层输出的值进行分类计算,得到音频文件属于第一类别的概率和属于第二类别的概率。
在一个实施例中,音频文件的类别包括:用于表示儿歌类型的第一类别和用于表示乐器类型的第二类别,选择的音频特征数据中包括:选定的梅尔频率倒谱系数特征数据和常Q变换谐波转换离散特征数据。
在一个实施例中,所述处理器901,还用于在确定了所述音频文件的类别后,按照该类别将所述音频文件存储到音频文件库中,并且,所述处理器901还用于从会话界面上接收聊天消息,并确定所述聊天消息的类别;从所述音频文件库中查找目标音频文件,其中,所述目标音频文件的类别与所述聊天消息的类别相同;在所述会话界面上显示所述目标音频文件的标识信息。
在一个实施例中,所述处理器901,还用于如果接收到对所述标识信息的选中事件,则查找所述目标音频文件,并调用音频播放器播放该目标音频文件。
本发明实施例的所述处理器901的具体功能实现可参考前述各个实施例中相关内容的描述,在此不赘述。
本发明实施例可以对所述音频特征数据进行预处理,得到分类特征数据,调用分类器对所述分类特征数据进行分类计算,确定所述音频文件所属的类别;能够提高文件分类处理装置对音频文件分类的准确性,使得在一些应用场景下,例如音乐推荐等应用场景,能够准确地给用户推荐音乐。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明的部分实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (10)

1.一种文件分类处理方法,其特征在于,所述文件包括音频文件,所述方法包括:
从所述音频文件中提取音频特征数据,所述音频特征数据是由用于表示所述音频文件中包括的音频特征的N个数值构成的N维数据;
对所述音频特征数据进行预处理,得到分类特征数据,所述预处理包括对所述音频特征数据中每一维数值进行归一化处理,将每一维数值转换为在0到1数值范围内的目标值;
调用分类器对所述分类特征数据进行分类计算,确定所述音频文件所属的类别。
2.如权利要求1所述的方法,其特征在于,所述从所述音频文件中提取音频特征数据,包括:
按照筛选规则从所述音频文件中确定出音频时间段;
从确定出的音频时间段中提取音频特征数据;其中,所述筛选规则包括从所述音频文件指定的首部区域、中部区域、尾部区域中的任意一个或者多个区域中确定出音频时间段。
3.如权利要求1所述的方法,其特征在于,还包括:
对分类器进行训练优化,其中,所述分类器配置有输入层、第一隐含层、第二隐含层,并且在所述第一隐含层和第二隐含层之间还配置有中间层,所述中间层用于按照比例将所述第一隐含层的输出值中部分值进行传输处理,并将传输处理后的输出值输出至第二隐含层,所述传输处理包括:将第一隐含层的输出值中的部分值进行归零处理。
4.如权利要求3所述的方法,其特征在于,所述分类器还包括:第三隐含层,所述第三隐含层接收位于第二隐含层和第三隐含层之间配置的中间层经过传输处理后的输出值,并将接收到的输出值进行分类处理后输出给分类计算层;
所述分类计算层用于根据第三隐含层输出的值进行分类计算,得到音频文件属于第一类别的概率和属于第二类别的概率。
5.如权利要求1所述的方法,其特征在于,音频文件的类别包括:用于表示儿歌类型的第一类别和用于表示乐器类型的第二类别,选择的音频特征数据中包括:选定的梅尔频率倒谱系数特征数据和常Q变换谐波转换离散特征数据。
6.如权利要求1-5任一项所述的方法,其特征在于,在确定了所述音频文件的类别后,按照该类别将所述音频文件存储到音频文件库中,所述方法还包括:
从会话界面上接收聊天消息,并确定所述聊天消息的类别;
从所述音频文件库中查找目标音频文件,其中,所述目标音频文件的类别与所述聊天消息的类别相同;
在所述会话界面上显示所述目标音频文件的标识信息。
7.如权利要求6所述的方法,其特征在于,还包括:
如果接收到对所述标识信息的选中事件,则查找所述目标音频文件,并调用音频播放器播放该目标音频文件。
8.一种文件分类处理装置,其特征在于,所述文件包括音频文件,所述装置包括:
提取模块,用于从所述音频文件中提取音频特征数据,所述音频特征数据是由用于表示所述音频文件中包括的音频特征的N个数值构成的N维数据;
处理模块,用于对所述音频特征数据进行预处理,得到分类特征数据,所述预处理包括对所述音频特征数据中每一维数值进行归一化处理,将每一维数值转换为在0到1数值范围内的目标值;
分类模块,用于调用分类器对所述分类特征数据进行分类计算,确定所述音频文件所属的类别。
9.一种服务器,其特征在于,所述服务器包括处理器和存储装置;
所述存储装置中存储有计算机应用程序指令,所述处理器调用所述程序指令,用于执行如权利要求1-7任一项所述的文件分类处理方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有程序指令,所述程序指令被执行时,实现如权利要求1-7任一项所述的文件分类处理方法。
CN201810024415.0A 2018-01-10 2018-01-10 文件分类处理方法、装置及终端、服务器、存储介质 Pending CN108304494A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810024415.0A CN108304494A (zh) 2018-01-10 2018-01-10 文件分类处理方法、装置及终端、服务器、存储介质
PCT/CN2019/070969 WO2019137392A1 (zh) 2018-01-10 2019-01-09 文件分类处理方法、装置及终端、服务器、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810024415.0A CN108304494A (zh) 2018-01-10 2018-01-10 文件分类处理方法、装置及终端、服务器、存储介质

Publications (1)

Publication Number Publication Date
CN108304494A true CN108304494A (zh) 2018-07-20

Family

ID=62868599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810024415.0A Pending CN108304494A (zh) 2018-01-10 2018-01-10 文件分类处理方法、装置及终端、服务器、存储介质

Country Status (2)

Country Link
CN (1) CN108304494A (zh)
WO (1) WO2019137392A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862421A (zh) * 2018-12-05 2019-06-07 北京达佳互联信息技术有限公司 一种视频信息识别方法、装置、电子设备及存储介质
WO2019137392A1 (zh) * 2018-01-10 2019-07-18 腾讯科技(深圳)有限公司 文件分类处理方法、装置及终端、服务器、存储介质
CN111081272A (zh) * 2019-12-16 2020-04-28 腾讯科技(深圳)有限公司 歌曲高潮片段识别方法及装置
CN111125028A (zh) * 2019-12-25 2020-05-08 腾讯音乐娱乐科技(深圳)有限公司 识别音频文件的方法、装置、服务器及存储介质
CN112037764A (zh) * 2020-08-06 2020-12-04 杭州网易云音乐科技有限公司 一种音乐结构的确定方法、装置、设备及介质
WO2021045738A1 (en) * 2019-09-04 2021-03-11 Hewlett-Packard Development Company, L.P. Audio session classification

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103187070A (zh) * 2011-12-28 2013-07-03 宇龙计算机通信科技(深圳)有限公司 基于移动终端的音频文件处理方法及系统
CN106328121A (zh) * 2016-08-30 2017-01-11 南京理工大学 基于深度置信网络的中国传统乐器分类方法
CN107562850A (zh) * 2017-08-28 2018-01-09 百度在线网络技术(北京)有限公司 音乐推荐方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4219539B2 (ja) * 2000-08-11 2009-02-04 日本放送協会 音響分類装置
US7295977B2 (en) * 2001-08-27 2007-11-13 Nec Laboratories America, Inc. Extracting classifying data in music from an audio bitstream
CN105788592A (zh) * 2016-04-28 2016-07-20 乐视控股(北京)有限公司 一种音频分类方法及装置
CN106407287A (zh) * 2016-08-29 2017-02-15 宇龙计算机通信科技(深圳)有限公司 一种推送多媒体资源的方法及系统
CN106777016B (zh) * 2016-12-08 2020-12-04 北京小米移动软件有限公司 基于即时通信进行信息推荐的方法及装置
CN108304494A (zh) * 2018-01-10 2018-07-20 腾讯科技(深圳)有限公司 文件分类处理方法、装置及终端、服务器、存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103187070A (zh) * 2011-12-28 2013-07-03 宇龙计算机通信科技(深圳)有限公司 基于移动终端的音频文件处理方法及系统
CN106328121A (zh) * 2016-08-30 2017-01-11 南京理工大学 基于深度置信网络的中国传统乐器分类方法
CN107562850A (zh) * 2017-08-28 2018-01-09 百度在线网络技术(北京)有限公司 音乐推荐方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李孟刚: "《产业安全预警研究》", 1 November 2016 *
杨铁军: "《产业专利分析报告 第33册 智能识别》", 1 June 2015 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019137392A1 (zh) * 2018-01-10 2019-07-18 腾讯科技(深圳)有限公司 文件分类处理方法、装置及终端、服务器、存储介质
CN109862421A (zh) * 2018-12-05 2019-06-07 北京达佳互联信息技术有限公司 一种视频信息识别方法、装置、电子设备及存储介质
WO2021045738A1 (en) * 2019-09-04 2021-03-11 Hewlett-Packard Development Company, L.P. Audio session classification
CN111081272A (zh) * 2019-12-16 2020-04-28 腾讯科技(深圳)有限公司 歌曲高潮片段识别方法及装置
CN111081272B (zh) * 2019-12-16 2024-04-05 腾讯科技(深圳)有限公司 歌曲高潮片段识别方法及装置
CN111125028A (zh) * 2019-12-25 2020-05-08 腾讯音乐娱乐科技(深圳)有限公司 识别音频文件的方法、装置、服务器及存储介质
CN111125028B (zh) * 2019-12-25 2023-10-24 腾讯音乐娱乐科技(深圳)有限公司 识别音频文件的方法、装置、服务器及存储介质
CN112037764A (zh) * 2020-08-06 2020-12-04 杭州网易云音乐科技有限公司 一种音乐结构的确定方法、装置、设备及介质

Also Published As

Publication number Publication date
WO2019137392A1 (zh) 2019-07-18

Similar Documents

Publication Publication Date Title
CN108304494A (zh) 文件分类处理方法、装置及终端、服务器、存储介质
Yang et al. MidiNet: A convolutional generative adversarial network for symbolic-domain music generation
CN108769772B (zh) 直播间显示方法、装置、设备及存储介质
CN110019931B (zh) 音频分类方法、装置、智能设备和存储介质
Gururani et al. Instrument Activity Detection in Polyphonic Music using Deep Neural Networks.
JP5340554B2 (ja) ハイブリッドオーディオビジュアル分類システム及び方法
CN109147804A (zh) 一种基于深度学习的音质特性处理方法及系统
CN108197282A (zh) 文件数据的分类方法、装置及终端、服务器、存储介质
Pachet et al. Analytical features: a knowledge-based approach to audio feature generation
CN106302987A (zh) 一种音频推荐方法及设备
Murthy et al. Singer identification from smaller snippets of audio clips using acoustic features and DNNs
CN109471951A (zh) 基于神经网络的歌词生成方法、装置、设备和存储介质
Retta et al. Kiñit classification in Ethiopian chants, Azmaris and modern music: A new dataset and CNN benchmark
Kruspe et al. Automatic speech/music discrimination for broadcast signals
Chae et al. Toward a fair evaluation and analysis of feature selection for music tag classification
Xing et al. Modeling of the latent embedding of music using deep neural network
Seufitelli et al. Hit song science: a comprehensive survey and research directions
Wijaya et al. Song Similarity Analysis With Clustering Method On Korean Pop Song
Kher Music Composer Recognition from MIDI Representation using Deep Learning and N-gram Based Methods
Rönnberg Classification of heavy metal subgenres with machine learning
KR20200118587A (ko) 음악의 내재적 정보를 이용한 음악 추천 시스템
Balachandra et al. Music Genre Classification for Indian Music Genres
Mehdi Mendjel et al. A New Audio Approach Based on User Preferences Analysis to Enhance Music Recommendations.
Ramlal Violin Artist Identification by Analyzing Raga-vistaram Audio
Brodin Working with emotions: Recommending subjective labels to music tracks using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180720