CN108615006A - 用于输出信息的方法和装置 - Google Patents
用于输出信息的方法和装置 Download PDFInfo
- Publication number
- CN108615006A CN108615006A CN201810365079.6A CN201810365079A CN108615006A CN 108615006 A CN108615006 A CN 108615006A CN 201810365079 A CN201810365079 A CN 201810365079A CN 108615006 A CN108615006 A CN 108615006A
- Authority
- CN
- China
- Prior art keywords
- target area
- image
- frequency
- audio
- binary image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 21
- 239000012634 fragment Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000006854 communication Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了用于输出信息的方法和装置。该方法的一具体实施方式包括：获取待处理的音频的语谱图；将语谱图进行二值化处理，得到二值化图像；从二值化图像中确定出与预设的模板图像匹配的目标区域，其中，模板图像是由模板语谱图通过二值化处理得到的；输出目标区域对应的时间区间。该实施方式能够提高音频检测的准确度。
Description
技术领域
本申请实施例涉及声音识别技术领域，具体涉及用于输出信息的方法和装置。
背景技术
随着互联网技术的不断发展，互联网已经成为人们生活中必不可少的工具。利用互联网设备实现未知音频的识别，并基于音频识别的互动，成为一种新的应用趋势。
现有技术中，常用的音频识别软件在调用音频识别时，会播放一个特殊的音频，用于提示用户可输入音频。该段音频在语音识别时需要被剪辑掉。但如果用户在播放该特殊的音频的时候输入待处理音频，则在音频识别时需要保留特殊的音频。不能仅通过音频播放时间对待处理音频进行剪辑。通常通过提取待识别音频的声纹特征，利用声纹特征进行匹配，从待处理音频中匹配出特殊的音频。
发明内容
本申请实施例提出了用于输出信息的方法和装置。
第一方面，本申请实施例提供了一种用于输出信息的方法，包括：获取待处理的音频的语谱图；将语谱图进行二值化处理，得到二值化图像；从二值化图像中确定出与预设的模板图像匹配的目标区域，其中，模板图像是由模板语谱图通过二值化处理得到的；输出目标区域对应的时间区间。
在一些实施例中，从二值化图像中确定出与预设的模板图像匹配的目标区域，包括：从二值化图像中确定出与预设的模板图像之间汉明距离小于预定距离阈值的区域作为目标区域。
在一些实施例中，从二值化图像中确定出与预设的模板图像匹配的目标区域，包括：从二值化图像中确定出与预设的模板图像之间的余弦相似度大于预定余弦相似度阈值的区域作为目标区域。
在一些实施例中，从二值化图像中确定出与预设的模板图像匹配的目标区域，包括：从二值化图像中确定出与预设的模板图像之间的相似度大于预定相似度阈值的区域作为候选区域；从候选区域中提取出特征向量；将特征向量输入预设的分类器，输出特征向量属于预定类别的概率；响应于确定出输出的特征向量属于预定类别的概率大于预定概率阈值，将候选区域确定为目标区域。
在一些实施例中，从候选区域中提取出特征向量，包括：从候选区域的纵坐标的频率区间范围内选取至少一个预定的频率作为特征频率；对于选取出的特征频率中的每个特征频率，将候选区域中该特征频率对应的像素点的像素值累加作为该特征频率的特征值；根据各特征频率的特征值生成特征向量。
在一些实施例中，上述方法还包括：将在时间区间范围内的音频片段从音频中删除。
第二方面，本申请实施例提供了一种用于输出信息的装置，包括：获取单元，配置用于获取待处理的音频的语谱图；处理单元，配置用于将语谱图进行二值化处理，得到二值化图像；匹配单元，配置用于从二值化图像中确定出与预设的模板图像匹配的目标区域，其中，模板图像是由模板语谱图通过二值化处理得到的；输出单元，配置用于输出目标区域对应的时间区间。
在一些实施例中，匹配单元进一步配置用于：从二值化图像中确定出与预设的模板图像之间汉明距离小于预定距离阈值的区域作为目标区域。
在一些实施例中，匹配单元进一步配置用于：从二值化图像中确定出与预设的模板图像之间的余弦相似度大于预定余弦相似度阈值的区域作为目标区域。
在一些实施例中，匹配单元进一步配置用于：从二值化图像中确定出与预设的模板图像之间的相似度大于预定相似度阈值的区域作为候选区域；从候选区域中提取出特征向量；将特征向量输入预设的分类器，输出特征向量属于预定类别的概率；响应于确定出输出的特征向量属于预定类别的概率大于预定概率阈值，将候选区域确定为目标区域。
在一些实施例中，匹配单元进一步配置用于：从候选区域的纵坐标的频率区间范围内选取至少一个预定的频率作为特征频率；对于选取出的特征频率中的每个特征频率，将候选区域中该特征频率对应的像素点的像素值累加作为该特征频率的特征值；根据各特征频率的特征值生成特征向量。
在一些实施例中，上述装置还包括删除单元，配置用于：将在时间区间范围内的音频片段从音频中删除。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一的方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现如第一方面中任一的方法。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的用于输出信息的方法的一个实施例的流程图；
图3a-3e是根据本申请的用于输出信息的方法的一个应用场景的示意图；
图4是根据本申请的用于输出信息的方法的又一个实施例的流程图；
图5是根据本申请的用于输出信息的装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于输出信息的方法或用于输出信息的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如语音识别类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持音频输入、输出的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio LayerIII，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103输入的音频提供处理的后台音频处理服务器。后台音频处理服务器可以对接收到的待处理音频等数据进行分析等处理，并将处理结果(例如剪辑后的音频)反馈给终端设备。
需要说明的是，本申请实施例所提供的用于输出信息的方法可以由终端设备101、102、103执行，也可以由服务器105执行。相应地，用于输出信息的装置可以设置于终端设备101、102、103中，也可以设置于服务器105中。在此不做具体限定。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器
继续参考图2，示出了根据本申请的用于输出信息的方法的一个实施例的流程200。该用于输出信息的方法，包括以下步骤：
步骤201，获取待处理的音频的语谱图。
在本实施例中，用于输出信息的方法的执行主体(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从用户利用其进行音频识别的终端接收待处理的音频。然后根据音频的频率等信息生成待处理的音频的语谱图(如图3d所示)。语谱图是二战时期发明的，语谱图就是语音频谱图，一般是通过处理接收的时域信号得到频谱图，因此只要有足够时间长度的时域信号就可。语谱图的横坐标是时间，纵坐标是频率，坐标点值为语音数据能量。由于是采用二维平面表达三维信息，所以能量值的大小是通过颜色来表示的，颜色深，表示该点的语音能量越强。上述执行主体也可直接从第三方服务器获取待处理的音频的语谱图。
具体地，语谱图可通过如下步骤获得：
A1、对待处理的音频按照预设时间进行分帧处理。
预设时间可以是用户根据过往经验得出的经验值。本实施例中的预设时间可以是32毫秒。即对待处理的音频按照32毫秒进行分帧处理，得到每32毫秒为一帧，帧叠16毫秒的音频片段。
A2、对分帧处理后的音频片段进行短时频谱分析，得到语谱图。
短时频谱分析包括快速傅立叶变换(Fast Fourier Transformation,FFT)。FFT是离散傅立叶变换的快速算法，利用FFT可以将音频信号转变为记录了时间域与频率域的联合分布信息的语谱图。
由于以32毫秒分帧处理，而32毫秒对应了8000hz采样，使得FFT计算后可以得到256频率点。语谱图中横轴可以代表帧数，即音频分帧处理后的帧数的个数，对应了语谱图的宽度；纵轴可以代表频率，共256个频率点，对应了语谱图的高度；坐标点值表示特征点的能量。
步骤202，将语谱图进行二值化处理，得到二值化图像。
在本实施例中，二值化处理指的是将语谱图上的像素点的像素值(灰度值)设置为0或1(或者设置为0或255)，也就是将整个图像呈现出明显的双色(例如黑白)效果的过程。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。例如，可将图像中大于或等于阈值的像素的像素值设置为1，图像中小于阈值的像素的像素值设置为0。或者可将图像中大于或等于阈值的像素的像素值设置为0，图像中小于阈值的像素的像素值设置为1。将在数字图像处理中，二值图像占有非常重要的地位，图像的二值化使图像中数据量大为减少，从而能凸显出目标的轮廓。
步骤203，从二值化图像中确定出与预设的模板图像匹配的目标区域。
在本实施例中，模板图像是由模板语谱图通过二值化处理得到的。并且模板图像的比例尺与二值化图像中的比例尺相同。摒弃不同尺寸、比例带来的图片差异。如果比例尺不同，则可将二值化图像和模板图像转换成相同的比例尺。图像匹配主要可分为以灰度为基础的匹配和以特征为基础的匹配。假设模板图像的帧数为N，二值化图像的帧数为L，L大于或等于N。首先在二值化图像中帧数为[0,N]的区域内查找，之后在[1,N+1]的区域内查找。这样逐帧查找，直到匹配成功，否则直到查找完[L-N,L]的区域结束遍历。
灰度匹配的基本思想:以统计的观点将图像看成是二维信号，采用统计相关的方法寻找信号间的相关匹配。利用两个信号的相关函数，评价它们的相似性以确定同名点。灰度匹配通过利用某种相似性度量，如相关函数、协方差函数、差平方和、差绝对值和等测度极值，判定两幅图像中的对应关系。最经典的灰度匹配法是归一化的灰度匹配法，其基本原理是逐像素的把一个以一定大小的实时图像窗口的灰度矩阵，与参考图像的所有可能的窗口灰度阵列，按某种相似性度量方法进行搜索比较的匹配方法，从理论上说就是采用图像相关技术。
特征匹配是指通过分别提取两个或多个图像的特征(点、线、面等特征)，对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。基于特征的匹配所处理的图像一般包含的特征有颜色特征、纹理特征、形状特征、空间位置特征等。特征匹配首先对图像进行预处理来提取其高层次的特征，然后建立两幅图像之间特征的匹配对应关系，通常使用的特征基元有点特征、边缘特征和区域特征。特征匹配需要用到许多诸如矩阵的运算、梯度的求解、还有傅立叶变换和泰勒展开等数学运算。常用的特征提取与匹配方法有：统计方法、几何法、模型法、信号处理法、边界特征法、傅氏形状描述法、几何参数法、形状不变矩法等。
在本实施例的一些可选的实现方式中，从二值化图像中确定出与预设的模板图像匹配的目标区域，包括：从二值化图像中确定出与预设的模板图像之间汉明距离小于预定距离阈值的区域作为目标区域。下面是一个简单的实现：由于二值化图像中像素值由0或1表示，则将二值化处理后的像素值组合在一起，就构成了一个，例如8f373714acfcf4d0。这就是这张图片的指纹。组合的次序并不重要，只要保证所有图片都采用同样次序就行了。模板图像也可由一个64位的整数表示。得到模板图像的指纹以后，就可以对比二值化图像和模板图像，看看64位中有多少位是不一样的。在理论上，这等同于计算汉明距离(Hammingdistance)。如果不相同的数据位不超过5，就说明两张图片很相似；如果大于10，就说明这是两张不同的图片。从二值化图像中的第一帧开始选取与模板图像相同宽度的区域开始逐帧进行匹配，直到找到一个匹配的区域结束遍历。
在本实施例的一些可选的实现方式中，从二值化图像中确定出与预设的模板图像匹配的目标区域，包括：从二值化图像中确定出与预设的模板图像之间的余弦相似度大于预定余弦相似度阈值的区域作为目标区域。余弦相似度通过测量两个向量内积空间的余弦值来度量它们之间的相似性，尤其适用于任何维度的向量比较中，因此属于高维空间应用较多的机器学习算法。通常来说，数字图像包含的特征码较多，而这些特征组就属于高维空间，这正是余弦相似度算法应用的范围，算法将每个图像的特征组转化为高维空间的向量，两个向量之间的角度之余弦值可用于确定两个向量是否大致指向相同的方向。
在图像分类中应用余弦相似度算法的关键在于：计算这些代表每个图像特征的向量的内积空间的夹角余弦值，从而度量图像之间的相似性。当有未知图像需要分类时，首先计算其图像的样本特征，然后将样本特征和类别特征映射为高维空间的向量，最后计算这两个向量的余弦相似度，选择余弦相似度最大的类别为未知图像对应的类别。
步骤204，输出目标区域对应的时间区间。
在本实施例中，如图3a所示为待处理音频的波形图。t1-t2范围内的音频片段为特殊的音频。需要从图3a中确定出t1、t2的具体值。通过步骤203可确定出特殊的音频的频谱在二值化图像中的区域，该区域的横坐标为时间，即为其波形图中的时间。从而可从待处理的音频中确定出特殊的音频所在的时间区间。
在本实施例的一些可选的实现方式中，上述方法还包括：将在时间区间范围内的音频片段从待处理的音频中删除。例如，待处理的音频为100毫秒，而确定出特殊的音频所在的时间区间为0-25毫秒，则可将0-25毫秒的音频片段从待处理的音频中删除，保留25-100毫秒的音频片段。
继续参见图3a-3e，图3a-3e是根据本实施例的用于输出信息的方法的应用场景的示意图。在图3a-3e的应用场景中，用户通过终端输入具有图3a所示的波形的待处理的音频。终端将待处理的音频发送到服务器后，服务器可获取待处理的音频的语谱图，如图3d所示，对上述语谱图进行二值化处理得到二值化图像3e。其中，线框301指示的是需要从音频中检测出的特殊音频。为了确定出该特殊音频，需要确定出时间点t1、t2。借助于模板图像3c将音频检测转化成图像检测。模板图像3c是通过特殊音频的语谱图3b进行二值化处理得到的。将二值化图像与模板图像3c进行匹配，能够确定出目标区域，如线框302所指示的区域。目标区域在横轴上的起点t1对应于3a中的t1，横轴上的终点t2对应于3a中的t2。从而通过图像匹配找到了待处理的音频中的特殊音频的时间区间。
本申请的上述实施例提供的方法通过将音频检测转换成图像检测，通过图像匹配查找到相似音频片段，简化了音频检测过程，并提高了音频检测的准确度。
进一步参考图4，其示出了用于输出信息的方法的又一个实施例的流程400。该用于输出信息的方法的流程400，包括以下步骤：
步骤401，获取待处理的音频的语谱图。
步骤401与步骤201基本相同，因此不再赘述。
步骤402，将语谱图进行二值化处理，得到二值化图像。
步骤402与步骤202基本相同，因此不再赘述。
步骤403，从二值化图像中确定出与预设的模板图像之间的相似度大于预定相似度阈值的区域作为候选区域。
在本实施例中，可采用多种方式计算相似度，包括但不限于汉明距离、余弦相似度、欧氏距离等。例如，可从二值化图像中确定出与预设的模板图像之间汉明距离小于预定距离阈值的区域作为候选区域。或者从二值化图像中确定出与预设的模板图像之间的余弦相似度大于预定余弦相似度阈值的区域作为候选区域。
步骤404，从候选区域中提取出特征向量。
在本实施例中，选择那些在模板图像和待处理的音频的语谱图的二值化图像之间差异较小(较小的类内距)，在不同类别的图像之间差异较大(较大的类间距)的图像特征。可选择候选区域中所有频率对应的像素点的像素值构造特征向量。还可从候选区域中选择预定频率范围内对应的像素点的像素值构造特征向量。例如，选取低频(例如0-4000Hz)对应的像素点的像素值，通过矩阵变化转换成特征向量。还可从候选区域中选择图形的特征点(例如，拐点)的像素值构造特征向量。
在本实施例的一些可选的实现方式中，从候选区域中提取出特征向量，包括：从候选区域的纵坐标的频率区间范围内选取至少一个预定的频率作为特征频率；对于选取出的特征频率中的每个特征频率，将候选区域中该特征频率对应的像素点的像素值累加作为该特征频率的特征值；根据各特征频率的特征值生成特征向量。即，对同一频率对应的像素点的像素值横向求和。每个频率点能得到一个特征值，把所选择的频率对应的特征值组合成一个特征向量。
步骤405，将特征向量输入预设的分类器，输出特征向量属于预定类别的概率。
在本实施例中，分类器能够把数据库中的数据纪录映射到给定类别中的某一个，从而可以应用于数据预测。本实施例采用的分类器，可包含决策树、逻辑回归、朴素贝叶斯、神经网络等。分类器在一个简单的概率模型的基础上，使用最大的概率值来对数据进行分类预测。分类器是提前训练好的，从大量的正例和负例中缺提取出特征，训练分类器。正例为预定类别的二值化图像。负例为不属于预定类别的二值化图像。
步骤406，响应于确定出输出的特征向量属于预定类别的概率大于预定概率阈值，将候选区域确定为目标区域。
在本实施例中，基于步骤405确定出的类别的概率确定候选区域的图像的类别。如果候选区域的图像的类别为预定类别，则将候选区域确定为目标区域。步骤203的方法确定出的目标区域的准确度可能不够，还可通过分类器进一步确认。这样做比直接用分类器进行检测准确率更高。由于分类器比较复杂，因此检测时间要比普通相似度计算更耗时。先确定候选区域再用分类器会节省检测时间，提高检测效率。
步骤407，输出目标区域对应的时间区间。
步骤407与步骤204基本相同，因此不再赘述。
从图4中可以看出，与图2对应的实施例相比，本实施例中的用于输出信息的方法的流程400突出了先根据图像相似度确定候选区域再通过分类器进一步确认的步骤。由此，本实施例描述的方案可以提高音频检测的准确性，并提高了检测效率。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于输出信息的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于输出信息的装置500包括：获取单元501、处理单元502、匹配单元503和输出单元504。其中，获取单元501配置用于获取待处理的音频的语谱图；处理单元502配置用于将语谱图进行二值化处理，得到二值化图像；匹配单元503配置用于从二值化图像中确定出与预设的模板图像匹配的目标区域，其中，模板图像是由模板语谱图通过二值化处理得到的；输出单元504配置用于输出目标区域对应的时间区间。
在本实施例中，用于输出信息的装置500的获取单元501、处理单元502、匹配单元503和输出单元504的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203、步骤204。
在本实施例的一些可选的实现方式中，匹配单元503进一步配置用于：从二值化图像中确定出与预设的模板图像之间汉明距离小于预定距离阈值的区域作为目标区域。
在本实施例的一些可选的实现方式中，匹配单元503进一步配置用于：从二值化图像中确定出与预设的模板图像之间的余弦相似度大于预定余弦相似度阈值的区域作为目标区域。
在本实施例的一些可选的实现方式中，匹配单元503进一步配置用于：从二值化图像中确定出与预设的模板图像之间的相似度大于预定相似度阈值的区域作为候选区域；从候选区域中提取出特征向量；将特征向量输入预设的分类器，输出特征向量属于预定类别的概率；响应于确定出输出的特征向量属于预定类别的概率大于预定概率阈值，将候选区域确定为目标区域。
在本实施例的一些可选的实现方式中，匹配单元503进一步配置用于：从候选区域的纵坐标的频率区间范围内选取至少一个预定的频率作为特征频率；对于选取出的特征频率中的每个特征频率，将候选区域中该特征频率对应的像素点的像素值累加作为该特征频率的特征值；根据各特征频率的特征值生成特征向量。
在本实施例的一些可选的实现方式中，装置500还包括删除单元(未示出)，配置用于：将在时间区间范围内的音频片段从音频中删除。
下面参考图6，其示出了适于用来实现本申请实施例的终端设备/服务器的计算机系统600的结构示意图。图6示出的终端设备/服务器的仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、处理单元、匹配单元和输出单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取待处理的音频的语谱图的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取待处理的音频的语谱图；将语谱图进行二值化处理，得到二值化图像；从二值化图像中确定出与预设的模板图像匹配的目标区域，其中，模板图像是由模板语谱图通过二值化处理得到的；输出目标区域对应的时间区间。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (14)
1.一种用于输出信息的方法，包括：
获取待处理的音频的语谱图；
将所述语谱图进行二值化处理，得到二值化图像；
从所述二值化图像中确定出与预设的模板图像匹配的目标区域，其中，所述模板图像是由模板语谱图通过二值化处理得到的；
输出所述目标区域对应的时间区间。
2.根据权利要求1所述的方法，其中，所述从所述二值化图像中确定出与预设的模板图像匹配的目标区域，包括：
从所述二值化图像中确定出与预设的模板图像之间汉明距离小于预定距离阈值的区域作为目标区域。
3.根据权利要求1所述的方法，其中，所述从所述二值化图像中确定出与预设的模板图像匹配的目标区域，包括：
从所述二值化图像中确定出与预设的模板图像之间的余弦相似度大于预定余弦相似度阈值的区域作为目标区域。
4.根据权利要求1所述的方法，其中，所述从所述二值化图像中确定出与预设的模板图像匹配的目标区域，包括：
从所述二值化图像中确定出与预设的模板图像之间的相似度大于预定相似度阈值的区域作为候选区域；
从所述候选区域中提取出特征向量；
将所述特征向量输入预设的分类器，输出所述特征向量属于预定类别的概率；
响应于确定出输出的所述特征向量属于预定类别的概率大于预定概率阈值，将所述候选区域确定为目标区域。
5.根据权利要求4所述的方法，其中，所述从所述候选区域中提取出特征向量，包括：
从所述候选区域的纵坐标的频率区间范围内选取至少一个预定的频率作为特征频率；
对于选取出的特征频率中的每个特征频率，将所述候选区域中该特征频率对应的像素点的像素值累加作为该特征频率的特征值；
根据各特征频率的特征值生成特征向量。
6.根据权利要求1-5之一所述的方法，其中，所述方法还包括：
将在所述时间区间范围内的音频片段从所述音频中删除。
7.一种用于输出信息的装置，包括：
获取单元，配置用于获取待处理的音频的语谱图；
处理单元，配置用于将所述语谱图进行二值化处理，得到二值化图像；
匹配单元，配置用于从所述二值化图像中确定出与预设的模板图像匹配的目标区域，其中，所述模板图像是由模板语谱图通过二值化处理得到的；
输出单元，配置用于输出所述目标区域对应的时间区间。
8.根据权利要求7所述的装置，其中，所述匹配单元进一步配置用于：
从所述二值化图像中确定出与预设的模板图像之间汉明距离小于预定距离阈值的区域作为目标区域。
9.根据权利要求7所述的装置，其中，所述匹配单元进一步配置用于：
从所述二值化图像中确定出与预设的模板图像之间的余弦相似度大于预定余弦相似度阈值的区域作为目标区域。
10.根据权利要求7所述的装置，其中，所述匹配单元进一步配置用于：
从所述二值化图像中确定出与预设的模板图像之间的相似度大于预定相似度阈值的区域作为候选区域；
从所述候选区域中提取出特征向量；
将所述特征向量输入预设的分类器，输出所述特征向量属于预定类别的概率；
响应于确定出输出的所述特征向量属于预定类别的概率大于预定概率阈值，将所述候选区域确定为目标区域。
11.根据权利要求10所述的装置，其中，所述匹配单元进一步配置用于：
从所述候选区域的纵坐标的频率区间范围内选取至少一个预定的频率作为特征频率；
对于选取出的特征频率中的每个特征频率，将所述候选区域中该特征频率对应的像素点的像素值累加作为该特征频率的特征值；
根据各特征频率的特征值生成特征向量。
12.根据权利要求7-11之一所述的装置，其中，所述装置还包括删除单元，配置用于：
将在所述时间区间范围内的音频片段从所述音频中删除。
13.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810365079.6A CN108615006B (zh) | 2018-04-23 | 2018-04-23 | 用于输出信息的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810365079.6A CN108615006B (zh) | 2018-04-23 | 2018-04-23 | 用于输出信息的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108615006A true CN108615006A (zh) | 2018-10-02 |
| CN108615006B CN108615006B (zh) | 2020-04-17 |
Family
ID=63660703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810365079.6A Active CN108615006B (zh) | 2018-04-23 | 2018-04-23 | 用于输出信息的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108615006B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109599120A (zh) * | 2018-12-25 | 2019-04-09 | 哈尔滨工程大学 | 一种基于大规模养殖场厂哺乳动物异常声音监测方法 |
| CN111768799A (zh) * | 2019-03-14 | 2020-10-13 | 富泰华工业（深圳）有限公司 | 声音识别方法、装置、计算机装置及存储介质 |
| CN112233693A (zh) * | 2020-10-14 | 2021-01-15 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种音质评估方法、装置和设备 |
| WO2022179264A1 (zh) * | 2021-02-27 | 2022-09-01 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种音频生成方法及设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7406479B2 (en) * | 2006-02-10 | 2008-07-29 | Microsoft Corporation | Primitive operator for similarity joins in data cleaning |
| CN102222227A (zh) * | 2011-04-25 | 2011-10-19 | 中国华录集团有限公司 | 基于视频识别与提取影片图像的系统 |
| CN102542066A (zh) * | 2011-11-11 | 2012-07-04 | 冉阳 | 视频聚类方法、排序方法和视频搜索方法以及相应装置 |
| CN103634587A (zh) * | 2012-08-22 | 2014-03-12 | 联想(北京)有限公司 | 图像处理方法、装置及电子设备 |
| CN103729368A (zh) * | 2012-10-13 | 2014-04-16 | 复旦大学 | 一种基于局部频谱图像描述子的鲁棒音频识别方法 |
| CN103853836A (zh) * | 2014-03-14 | 2014-06-11 | 广州酷狗计算机科技有限公司 | 一种基于音乐指纹特征的音乐检索方法及系统 |
| CN104637496A (zh) * | 2013-11-11 | 2015-05-20 | 财团法人资讯工业策进会 | 计算机系统及音频比对方法 |
| CN104751459A (zh) * | 2015-03-27 | 2015-07-01 | 东南大学 | 多维特征的相似性度量优化方法及图像匹配方法 |
| CN106558318A (zh) * | 2015-09-24 | 2017-04-05 | 阿里巴巴集团控股有限公司 | 音频识别方法和系统 |
| CN107274911A (zh) * | 2017-05-03 | 2017-10-20 | 昆明理工大学 | 一种基于声音特征的相似度分析方法 |
| CN107346427A (zh) * | 2017-06-23 | 2017-11-14 | 浙江大华技术股份有限公司 | 一种身份证号码识别方法及装置 |
-
2018
- 2018-04-23 CN CN201810365079.6A patent/CN108615006B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7406479B2 (en) * | 2006-02-10 | 2008-07-29 | Microsoft Corporation | Primitive operator for similarity joins in data cleaning |
| CN102222227A (zh) * | 2011-04-25 | 2011-10-19 | 中国华录集团有限公司 | 基于视频识别与提取影片图像的系统 |
| CN102542066A (zh) * | 2011-11-11 | 2012-07-04 | 冉阳 | 视频聚类方法、排序方法和视频搜索方法以及相应装置 |
| CN103634587A (zh) * | 2012-08-22 | 2014-03-12 | 联想(北京)有限公司 | 图像处理方法、装置及电子设备 |
| CN103729368A (zh) * | 2012-10-13 | 2014-04-16 | 复旦大学 | 一种基于局部频谱图像描述子的鲁棒音频识别方法 |
| CN104637496A (zh) * | 2013-11-11 | 2015-05-20 | 财团法人资讯工业策进会 | 计算机系统及音频比对方法 |
| CN103853836A (zh) * | 2014-03-14 | 2014-06-11 | 广州酷狗计算机科技有限公司 | 一种基于音乐指纹特征的音乐检索方法及系统 |
| CN104751459A (zh) * | 2015-03-27 | 2015-07-01 | 东南大学 | 多维特征的相似性度量优化方法及图像匹配方法 |
| CN106558318A (zh) * | 2015-09-24 | 2017-04-05 | 阿里巴巴集团控股有限公司 | 音频识别方法和系统 |
| CN107274911A (zh) * | 2017-05-03 | 2017-10-20 | 昆明理工大学 | 一种基于声音特征的相似度分析方法 |
| CN107346427A (zh) * | 2017-06-23 | 2017-11-14 | 浙江大华技术股份有限公司 | 一种身份证号码识别方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| 熊晨辉: "基于音频匹配的广告监播技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 王彤: "《数字媒体内容管理技术与实践》", 31 May 2014 * |
| 赵花婷，王明敏: ""一种基于音频匹配的广告检测算法"", 《计算机与现代化》 * |
| 金小峰: "音频数据检索快速算法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109599120A (zh) * | 2018-12-25 | 2019-04-09 | 哈尔滨工程大学 | 一种基于大规模养殖场厂哺乳动物异常声音监测方法 |
| CN109599120B (zh) * | 2018-12-25 | 2021-12-07 | 哈尔滨工程大学 | 一种基于大规模养殖场厂哺乳动物异常声音监测方法 |
| CN111768799A (zh) * | 2019-03-14 | 2020-10-13 | 富泰华工业（深圳）有限公司 | 声音识别方法、装置、计算机装置及存储介质 |
| CN111768799B (zh) * | 2019-03-14 | 2024-06-14 | 富泰华工业（深圳）有限公司 | 声音识别方法、装置、计算机装置及存储介质 |
| CN112233693A (zh) * | 2020-10-14 | 2021-01-15 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种音质评估方法、装置和设备 |
| WO2022078164A1 (zh) * | 2020-10-14 | 2022-04-21 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种音质评估方法、装置和设备 |
| CN112233693B (zh) * | 2020-10-14 | 2023-12-01 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种音质评估方法、装置和设备 |
| WO2022179264A1 (zh) * | 2021-02-27 | 2022-09-01 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种音频生成方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108615006B (zh) | 2020-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108898186B (zh) | 用于提取图像的方法和装置 | |
| CN110362677B (zh) | 文本数据类别的识别方法及装置、存储介质、计算机设备 | |
| CN108510472B (zh) | 用于处理图像的方法和装置 | |
| CN108280477B (zh) | 用于聚类图像的方法和装置 | |
| CN108229419B (zh) | 用于聚类图像的方法和装置 | |
| CN110659582A (zh) | 图像转换模型训练方法、异质人脸识别方法、装置及设备 | |
| CN108615006A (zh) | 用于输出信息的方法和装置 | |
| CN108171191B (zh) | 用于检测人脸的方法和装置 | |
| CN109034069A (zh) | 用于生成信息的方法和装置 | |
| Miao et al. | Underwater acoustic signal classification based on sparse time–frequency representation and deep learning | |
| CN108062416B (zh) | 用于在地图上生成标签的方法和装置 | |
| CN108491825A (zh) | 信息生成方法和装置 | |
| CN110363224B (zh) | 一种基于图像的物体分类方法、系统及电子设备 | |
| CN108764319A (zh) | 一种样本分类方法和装置 | |
| CN108509994A (zh) | 人物图像聚类方法和装置 | |
| CN108897853A (zh) | 生成推送信息的方法和装置 | |
| CN112668482B (zh) | 人脸识别训练方法、装置、计算机设备及存储介质 | |
| CN108182457A (zh) | 用于生成信息的方法和装置 | |
| CN109214501A (zh) | 用于识别信息的方法和装置 | |
| CN112766284A (zh) | 图像识别方法和装置、存储介质和电子设备 | |
| CN110059288B (zh) | 用于获得促进机器学习任务用的最佳母小波的系统和方法 | |
| US11989162B2 (en) | System and method for optimized processing of information on quantum systems | |
| CN107968743A (zh) | 推送信息的方法和装置 | |
| CN109919220A (zh) | 用于生成视频的特征向量的方法和装置 | |
| CN113673465A (zh) | 图像检测方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |