CN108319657A - 检测强节奏点的方法、存储介质和终端 - Google Patents

检测强节奏点的方法、存储介质和终端 Download PDF

Info

Publication number
CN108319657A
CN108319657A CN201810007857.4A CN201810007857A CN108319657A CN 108319657 A CN108319657 A CN 108319657A CN 201810007857 A CN201810007857 A CN 201810007857A CN 108319657 A CN108319657 A CN 108319657A
Authority
CN
China
Prior art keywords
point
strong rhythm
strong
threshold value
sample point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810007857.4A
Other languages
English (en)
Other versions
CN108319657B (zh
Inventor
荣赶丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Singapore Pte Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN201810007857.4A priority Critical patent/CN108319657B/zh
Publication of CN108319657A publication Critical patent/CN108319657A/zh
Application granted granted Critical
Publication of CN108319657B publication Critical patent/CN108319657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/632Query formulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Abstract

本发明提供一种检测强节奏点的方法,包括步骤:检测音频片段中音乐信号能量增加大于预设能量阈值的取样点,由所述取样点组成取样点序列;把所述取样点序列中时间差在预设时间阈值范围内的相邻两个取样点作为一个预选取样点组;以预选取样点组中两个取样点作为截取起始参考点,分别截取两段预置长度的音乐信号;确认两段音乐信号的相似度大于预设相似阈值,把该预选取样点组中时间节点在前的取样点作为强节奏点。该技术方案能够实现较精准地检测出较短时间的音乐中的强节奏点的效果。本发明还提供一种存储介质和终端。

Description

检测强节奏点的方法、存储介质和终端
技术领域
本发明涉及计算机技术领域,具体而言,本发明涉及一种检测强节奏点的方法、存储介质和终端。
背景技术
随着互联网技术的发展,越来越多的用户选择采用终端获取信息和发布信息,也衍生出许多适应于用户社交、娱乐生活所需的应用程序。为使得发布的信息更具有趣味、娱乐性、更具有个性化的表达,或以获得更多其他用户的关注,越来越多的用户选择采用小视频的方式发布信息。为了使得小视频的录制不会过于单一,更多的用户选择采用背景音乐,对此,为了丰富用户所录制视频的趣味性,用户可选择在录制的过程中添加特效,但由于用户录制的过程一般无暇兼顾特效的添加,使得特效添加的功能形同虚设。
解决相近问题的现有技术为检测出在完整乐曲中副歌部分的目标节奏点,以在对应的目标节奏点位置添加特效。但该方法仅适用于在完整乐曲中才能获取到较为准确的目标节奏点;对于在用户视频录制的过程中选用较短时间音乐或某一音乐片段而言,由于没有前奏中音乐信号的识别,其准确度不高,且无法检测出目标节奏点的起始位置。
发明内容
本发明提出一种检测强节奏点的方法、存储介质和终端,用以解决在较短时间音乐中,识别出强节奏点起始位置的问题。
第一方面,本发明提供一种检测强节奏点的方法,包括步骤:
检测音频片段中音乐信号能量增加大于预设能量阈值的取样点,由所述取样点组成取样点序列;
把所述取样点序列中时间差在预设时间阈值范围内的相邻两个取样点作为一个预选取样点组;
以预选取样点组中两个取样点作为截取起始参考点,分别截取两段预置长度的音乐信号;确认两段音乐信号的相似度大于预设相似阈值,把该预选取样点组中时间节点在前的取样点作为强节奏点。
结合第一方面,本发明在第一方面的第一种实施方式中,所述把该预选取样点组中时间节点在前的取样点作为强节奏点之后,还包括:
由所述音频片段的全部强节奏点组成强节奏点序列;
从所述强节奏点序列中,得到强节奏起始点。
结合第一方面的第一种实施方式,本发明在第一方面的第二种实施方式中,所述从所述强节奏点序列中,得到强节奏起始点,包括步骤:
把所述强节奏点序列中,相邻强节奏点之间时间差小于预设持续阈值的两个以上强节奏点组成强节奏块;
确认强节奏块的时间长度大于预设时长阈值,把强节奏块中时间节点在最前面的强节奏点作为强节奏起始点。
结合第一方面,本发明在第一方面的第三种实施方式中,所述检测音频片段中音乐信号能量增加大于预设能量阈值的取样点,包括步骤:
对音频片段中音乐信号进行取样,得到取样点;
将当前取样点与前一个取样点的能量相比,判断是否能量增加大于预设能量阈值,若是,确定当前取样点为能量增加大于预设能量阈值的取样点。
结合第一方面的第三种实施方式,本发明在第一方面的第四种实施方式中,所述能量增加大于预设能量阈值,包括:
能量增加至大于预设能量阈值;
或,能量增加百分比大于预设能量阈值。
结合第一方面,本发明在第一方面的第五种实施方式中,所述分别截取两段预置长度的音乐信号之后,确认两段音乐信号的相似度大于预设相似阈值之前,还包括步骤:
确定两段音乐信号的响度差在预设响度阈值范围内。
结合第一方面,本发明在第一方面的第六种实施方式中,所述确认两段音乐信号的相似度大于预设相似阈值,包括步骤:
提取两段音乐信号的语音特征,根据语音特征确认两段音乐信号的相似度大于预设相似阈值。
结合第一方面的第六种实施方式,本发明在第一方面的第七种实施方式中,所述语音特征包括零阶LPC系数和一阶LPC系数。
第二方面,本发明提供一种计算机可读的存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面中任意一项所述的检测强节奏点的方法。
第三方面,本发明提供一种终端,包括:
一个或多个处理器;
存储器;
一个或多个计算机程序,所述一个或多个计算机程序存储在所述存储器中;所述一个或多个计算机程序被所述一个或多个处理器执行时实现如第一方面中任意一项所述的检测强节奏点的方法。
区别于现有技术,本发明提供的技术方案具有以下优势:
(1)本发明提供的检测强节奏点的方法、存储介质和终端中,首先检测出音频片段中的取样点序列,通过对取样点序列中相邻的取样点进行判断,确定最终的强节奏点;其中,其设置有多个阈值判断过程,通过不同阈值的判断,提高对强节奏点检测的准确度。
(2)本发明提供的检测强节奏点的方法、存储介质和终端中,在检测出强节奏点后,通过筛选规则再次筛选强节奏点对应形成的强节奏点序列,去除整体持续时间大于预设时长阈值中的部分强节奏点,保证音频片段对应的强节奏起始点不会由于过多而造成用户使用的不便利或影响用户使用该音频片段作为录制视频背景音乐的效果。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例一的第一个检测强节奏点的方法流程图;
图2为本发明实施例一的第二个检测强节奏点的方法流程图;
图3为本发明实施例三提供的终端的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,这里所使用的“终端”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(Personal Communications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
实施例一
结合图1,本发明实施例提供一种检测强节奏点的方法,包括步骤:
S01检测音频片段中音乐信号能量增加大于预设能量阈值的取样点,由所述取样点组成取样点序列;
具体地,所述音频片段可为完整乐曲、完整与乐曲中的一小段;所述音乐信号是带有语音、音乐和音效的有规律的声波的频率、幅度变化信息载体,其一般具有四个指标:频带宽度、动态范围、信噪比和主观度量法,在本实施例中,判断音乐信号能量增加大于预设能量阈值主要判断其动态范围。在另一种实施方式中,在对所述音乐信号能量增加进行判断时,由于音乐信号的能量随时间而变化,其各个音阶之间的能量差别相当显著,可通过对短时能量进行分析作为判断的基础。其中,所述预设能量阈值为判断规则条件中的预设值。
具体地,步骤S01中,通过判断所述检测音频片段中音乐信号能量增加大于预设能量阈值的取样点,而获得音频片段中所有发生显著变化的取样点,所述检测音频片段中音乐信号能量增加大于预设能量阈值的取样点,包括步骤:
对音频片段中音乐信号进行取样,得到取样点;
所述对音乐信号进行取样为将声波波形转换成一连串的二进制数据,对声波进行取样,每一次取样得到的取样点均代表声波在某一时刻的状态。
将当前取样点与前一个取样点的能量相比,判断是否能量增加大于预设能量阈值,若是,确定当前取样点为能量增加大于预设能量阈值的取样点。
其中,所述能量增加大于预设阈值,包括:
能量增加至大于预设能量阈值;对应地,所述预设能量阈值为一个数值;
或,能量增加百分比大于预设能量阈值;对应地,所述预设能量阈值为一个百分比值。如能量增加30%。
在本实施例中,为检测出音频片段中的强节奏点,优选对音乐信号的能量增加过程进行判断。
在本步骤实施过程中,终端会首先获取当前需要进行检测的音频片段,所述音频片段包括当前用户触发播放的音频片段或用户导入的音频片段,由于用户将音频片段从第三方数据库中导入到当前应用程序的数据库中,可判断为用户将在当前应用程序中使用,此时,可预先对用户导入的音频片段进行强节奏点的检测,提高当前应用程序的运行效率,使用户使用当前应用程序录制视频的同时选择播放音乐时,提高画面的流畅度。
S02把所述取样点序列中时间差在预设时间阈值范围内的相邻两个取样点作为一个预选取样点组;
在本实施例中,首先设置预设时间阈值范围的判断,通过确定所述取样点序列中,相邻两个取样点的时间差在预设时间阈值范围内,保证检测出的强节奏点所对应的强度为在短时间(预设时间阈值范围)内,按相似方式连续发生显著变化。所述预设时间阈值范围与当前检测的音频片段的时间长度有关。
S03以预选取样点组中两个取样点作为截取起始参考点,分别截取两段预置长度的音乐信号;确认两段音乐信号的相似度大于预设相似阈值,把该预选取样点组中时间节点在前的取样点作为强节奏点。
其中,所述以预选取样点组中两个取样点作为截取参考点,分别截取两段预置长度的音乐信号,为从两个取样点对应的时间点位置上,根据时间的推移,在音频片段上以取样点为截取起始点,截取两段长度相同的音乐信号。所述预置长度在本实施例中包括两种情况:
(1)所述预置长度为阈值的截取方法得到的长度,其以所述预选取样点组中对应的两个取样点之间的片段长度为基准(时间节点在前的取样点为截取起始参考点,时间节点在后的取样点为截取结束参考点);以相邻两个取样点为t1、t2为例进行说明。当前判断出相邻两个取样点t1、t2为预选取样点组,以预选取样点组中两个取样点作为两段音乐信号的截取起始参考点,分别截取两段预置长度的两段音乐信号(片段A和片段B),此时,其所截取的片段A为t1~t2长度的音乐信号片段,片段B为t2~t2+t2-t1长度的音乐信号片段。
(2)所述预置长度为预置的固定长度,以所述预选取样点组中的两个取样点为截取起始参考点,根据预置长度,对应截取两段长度相同的音乐信号。举例说明:所述预置长度为3s,当前判断出相邻两个取样点t1、t2为预选取样点组,以预选取样点组中两个取样点作为两段音乐信号的截取起始参考点,分别截取两段预置长度的两段音乐信号(片段A和片段B),此时,其所截取的片段A为t1+3s长度的音乐信号片段,片段B为t2+3s长度的音乐信号片段。
优选地,所述分别截取两段预置长度的两段音乐信号之后,确认两段音乐信号的相似度大于预设相似阈值之前,还包括步骤:
确定两段音乐信号的响度差在预设响度阈值范围内。
在本实施例中,结合所述预设时间阈值范围的判断,还设置有预设响度阈值范围的判断。通过确定两段音乐信号的响度差在预设响度阈值范围内,保证所述预选取样点组中的每个取样点所对应的音乐信号片段的的响度在短时间的持续发生上不会发生落差太大的问题,从而保证所检测结果的稳定性(强度在一定的范围内)。
进一步地,所述确认两段音乐信号的相似度大于预设相似阈值,包括步骤:
提取两段音乐信号的语音特征,根据语音特征确认两段音乐信号的相似度大于预设相似阈值。
在对两段音乐信号的语音特征提取过程中,其具体为特征向量的提取,涉及对输入的音乐信号进行分帧处理,提取特征向量用来定义测试模式。而对应的谱分析技术包括线性预测编码技术、离散傅里叶技术方法等等。具体地,在本实施例中,采用线性预测编码技术方法,而通过该分析过程,本步骤中按帧提取的两段音乐信号对应的语音特征包括零阶LPC系数和一阶LPC系数。但在本实施例中提供的特征向量提取的方法不作为对本发明保护范围的限制,其可采用其他的语音特征或筛选规则进行判断。而本领域技术人员可知,通过线性预测编码技术可提取出的语音特征,在此不对提取过程进行详述。而,在本发明中,考虑到后续过程两段音乐信号的相似度进行判断,保证数据处理的有效和高效性,优选语音特征中的零阶LPC系数和一阶LPC系数进行处理。
其中,所述根据语音特征确认两段音乐信号的相似度大于预设相似阈值,具体为采用上述特征向量提取过程中,两段音乐信号的所有帧语音特征相关系数的平均值作为所述两段音乐信号的相似度的衡量指标,将该衡量指标对应的数值与所述预设相似阈值相比,确定所述两段音乐信号的相似度大于预设相似阈值。
在本步骤中,设置有根据语音特征进行两段音乐信号的相似度的判断,保证了在检测的音频片段中,所检测出的结果导向为某一种或几种乐器、音色维持一定强度所对应的节奏点。
当判断出两段音乐信号的相似度大于预设相似阈值时,将所述预选取样点组中时间节点在前的取样点作为强节奏点,完成当前取样点序列中,一个取样点的判断。
进一步地,结合图2,在本实施例中,所述把该预选取样点组中时间节点在前的取样点作为强节奏点之后,还包括步骤:
S04由所述音频片段的全部强节奏点组成强节奏点序列;
S05从所述强节奏点序列中,得到强节奏起始点。
具体地,步骤S05,所述从所述强节奏点序列中,得到强节奏起始点包括步骤:
把所述强节奏点序列中,相邻强节奏点之间时间差小于预设持续阈值的两个以上强节奏点组成强节奏块;
以上步骤中,为判断出相邻强节奏点之间时间差小于预设持续阈值的强节奏点组成强节奏块,结合下述表1举例说明:
时间点 强节奏点
1s t1
3s t2
4s t3
Ns tn
表1检测出的强节奏点
以上,如果将所述预设持续阈值设置为5s,则t1~t3所对应的时间差将小于预设持续阈值,此时则将强节奏点t1、t2、t3组成强节奏块。
确认强节奏块的时间长度大于预设时长阈值,把强节奏块中时间节点在最前面的强节奏点作为强节奏起始点。
结合上述例子进行解释,如果当前预设时长阈值设置为2.5s时,所述强节奏块对应的时间时长将大于预设时长阈值,此时将t1作为强节奏起始点,并去除t2、t3。
在步骤S04之前,本实施例所完成判断的是对取样点序列中各个取样点判断,在步骤S04、S05所处理的,为优化检测的强节奏点的结果,以及更好地适应强节奏点在音频片段播放过程中的使用规则,对检测出的强节奏点进行判断,使得筛选出强节奏点序列中,由于强节奏点之间时间差过小,而导致短时间内音频片段中,持续对应包括强节奏点使得用户在播放该音频片段时,自动根据强节奏点所带入的特效或对应产生的效果过多的问题,所对应的强节奏点,保留短时间内强节奏块的时间长度大于预设时长阈值中的时间节点在最前的强节奏点,并舍弃强节奏块中其余的强节奏点,并同时将时间节点在最前的强节奏点标识为强节奏起始点。
在步骤S05中,本实施例还提供另一种实施方式,所述从所述强节奏点序列中,得到强节奏起始点包括步骤:
把速搜强节奏点序列中,相邻强节奏点之间时间差小于预置持续阈值的两个以上强节奏点组成强节奏块;
确认强节奏块中强节奏点数量大于预设数量阈值,把强节奏块中时间节点在最前面的强节奏点作为强节奏起始点。
与上述步骤不同的是,在本实施方式中,对强节奏块的判断采用数量判断方式,以上述例子及表1数据进行解释,当所述预设数量阈值为2时,强节奏块所对应具有的t1、t2、t3则为强节奏点数量大于预设数量阈值,此时将t1作为强节奏起始点,并去除t2、t3。在两种实施方式中,其结果导向同样为对强节奏块中整体持续时间大于设定的阈值时,保留时间节点在最前的节奏点作为最终强节奏起始点。
在本实施例中,当终端检测出音频片段中强节奏起始点后,可将其与对应的音频片段打包缓存或上传服务器,提高后期用户再次选定同一音频片段时的效率。
进一步地,本实施例提供一种增加特效的方法,在基于上述步骤所检测出的强节奏起始点,当检测到用户触发开始录制视频时,在所述强节奏起始点对应加上特效,以丰富用户录制视频时采用背景音乐所能显现的个性多样化。该特效对应同时显示在用户录制的画面上,特效包括表情的突现等效果。
实施例二
在本实施例中,本发明还提供一种计算机可读的存储介质,其上存储有计算机程序,该程序被处理器执行时实现实施例一所述的检测强节奏点的方法。其中,所述存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-OnlyMemory,只读存储器)、RAM(Random AcceSS Memory,随即存储器)、EPROM(EraSableProgrammable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(ElectricallyEraSable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,存储介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。可以是只读存储器,磁盘或光盘等。
实施例三
结合图3,在本实施例中,本发明还提供一种终端,所述终端包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现实施例一所述的检测强节奏点的方法。
如图3所示,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑等任意终端设备,以终端为手机为例:
图3示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图3,手机包括:射频(Radio Frequency,RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(wireless fidelity,Wi-Fi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解,图3中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图3对手机的各个构成部件进行具体的介绍:
RF电路1510可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1580处理;另外,将设计上行的数据发送给基站。通常,RF电路1510包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路1510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器1520可用于存储软件程序以及模块,处理器1580通过运行存储在存储器1520的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1520可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据手机的使用所创建的数据等。此外,存储器1520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1530可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1530可包括触控面板1531以及其他输入设备1532。触控面板1531,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1531可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1580,并能接收处理器1580发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1531。除了触控面板1531,输入单元1530还可以包括其他输入设备1532。具体地,其他输入设备1532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1540可包括显示面板1541,可选的,可以采用液晶显示器(LiquidCrystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1541。进一步的,触控面板1531可覆盖显示面板1541,当触控面板1531检测到在其上或附近的触摸操作后,传送给处理器1580以确定触摸事件的类型,随后处理器1580根据触摸事件的类型在显示面板1541上提供相应的视觉输出。虽然在图3中,触控面板1531与显示面板1541是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1531与显示面板1541集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1550,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1541的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1541和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1560、扬声器1561,传声器1562可提供用户与手机之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号,传输到扬声器1561,由扬声器1561转换为声纹信号输出;另一方面,传声器1562将收集的声纹信号转换为电信号,由音频电路1560接收后转换为音频数据,再将音频数据输出处理器1580处理后,经RF电路1510以发送给比如另一手机,或者将音频数据输出至存储器1520以便进一步处理。
Wi-Fi属于短距离无线传输技术,手机通过Wi-Fi模块1570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图3示出了Wi-Fi模块1570,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1580是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1520内的软件程序和/或模块,以及调用存储在存储器1520内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1580可包括一个或多个处理单元;优选的,处理器1580可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1580中。
手机还包括给各个部件供电的电源1590(比如电池),优选的,电源可以通过电源管理系统与处理器1580逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
实施例四(应用例)
当用户进入一视频录制的应用程序时,希望在视频录制的过程中采用背景音乐并同时自动带入特效,此时,终端将检测到用户选定音乐片段的触发操作,并对应调用已完成强节奏点检测的数据结果或同时间对用户选定的音频片段进行强节奏点检测,当用户设置好录制环境,触发开始录制时,终端将在录制视频时所对应播放的音频片段对应的强节奏起始点位置上添加特效,其所对应显示的是在用户录制画面中显示出特效,如增加表情、根据当前人脸识别,对应时间点出现头像置换等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种检测强节奏点的方法,其特征在于,包括步骤:
检测音频片段中音乐信号能量增加大于预设能量阈值的取样点,由所述取样点组成取样点序列;
把所述取样点序列中时间差在预设时间阈值范围内的相邻两个取样点作为一个预选取样点组;
以预选取样点组中两个取样点作为截取起始参考点,分别截取两段预置长度的音乐信号;确认两段音乐信号的相似度大于预设相似阈值,把该预选取样点组中时间节点在前的取样点作为强节奏点。
2.根据权利要求1所述的检测强节奏点的方法,其特征在于,所述把该预选取样点组中时间节点在前的取样点作为强节奏点之后,还包括步骤:
由所述音频片段的全部强节奏点组成强节奏点序列;
从所述强节奏点序列中,得到强节奏起始点。
3.根据权利要求2所述的检测强节奏点的方法,其特征在于,所述从所述强节奏点序列中,得到强节奏起始点,包括步骤:
把所述强节奏点序列中,相邻强节奏点之间时间差小于预设持续阈值的两个以上强节奏点组成强节奏块;
确认强节奏块的时间长度大于预设时长阈值,把强节奏块中时间节点在最前面的强节奏点作为强节奏起始点。
4.根据权利要求1所述的检测强节奏点的方法,其特征在于,所述检测音频片段中音乐信号能量增加大于预设能量阈值的取样点,包括步骤:
对音频片段中音乐信号进行取样,得到取样点;
将当前取样点与前一个取样点的能量相比,判断是否能量增加大于预设能量阈值,若是,确定当前取样点为能量增加大于预设能量阈值的取样点。
5.根据权利要求4所述的检测强节奏点的方法,其特征在于,所述能量增加大于预设能量阈值,包括:
能量增加至大于预设能量阈值;
或,能量增加百分比大于预设能量阈值。
6.根据权利要求1所述的检测强节奏点的方法,其特征在于,所述分别截取两段预置长度的音乐信号之后,确认两段音乐信号的相似度大于预设相似阈值之前,还包括步骤:
确定两段音乐信号的响度差在预设响度阈值范围内。
7.根据权利要求1所述的检测强节奏点的方法,其特征在于,所述确认两段音乐信号的相似度大于预设相似阈值,包括步骤:
提取两段音乐信号的语音特征,根据语音特征确认两段音乐信号的相似度大于预设相似阈值。
8.根据权利要求7所述的检测强节奏点的方法,其特征在于,所述语音特征包括零阶LPC系数和一阶LPC系数。
9.一种计算机可读的存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8中任意一项所述的检测强节奏点的方法。
10.一种终端,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个计算机程序,所述一个或多个计算机程序存储在所述存储器中;所述一个或多个计算机程序被所述一个或多个处理器执行时实现如权利要求1-8中任意一项所述的检测强节奏点的方法。
CN201810007857.4A 2018-01-04 2018-01-04 检测强节奏点的方法、存储介质和终端 Active CN108319657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810007857.4A CN108319657B (zh) 2018-01-04 2018-01-04 检测强节奏点的方法、存储介质和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810007857.4A CN108319657B (zh) 2018-01-04 2018-01-04 检测强节奏点的方法、存储介质和终端

Publications (2)

Publication Number Publication Date
CN108319657A true CN108319657A (zh) 2018-07-24
CN108319657B CN108319657B (zh) 2022-02-01

Family

ID=62894610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810007857.4A Active CN108319657B (zh) 2018-01-04 2018-01-04 检测强节奏点的方法、存储介质和终端

Country Status (1)

Country Link
CN (1) CN108319657B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111081271A (zh) * 2019-11-29 2020-04-28 福建星网视易信息系统有限公司 基于频域和时域的音乐节奏检测方法及存储介质
CN111105769A (zh) * 2019-12-26 2020-05-05 广州酷狗计算机科技有限公司 检测音频的中频节奏点的方法、装置、设备和存储介质
CN111444384A (zh) * 2020-03-31 2020-07-24 北京字节跳动网络技术有限公司 一种音频关键点确定方法、装置、设备及存储介质
CN111785237A (zh) * 2020-06-09 2020-10-16 Oppo广东移动通信有限公司 音频节奏确定方法、装置、存储介质和电子设备
CN112261767A (zh) * 2020-10-23 2021-01-22 深圳市智岩科技有限公司 一种控制灯效的方法、装置、系统及存储介质
CN112435687A (zh) * 2020-11-25 2021-03-02 腾讯科技(深圳)有限公司 一种音频检测方法、装置、计算机设备和可读存储介质
CN112489676A (zh) * 2020-12-15 2021-03-12 腾讯音乐娱乐科技(深圳)有限公司 模型训练方法、装置、设备及存储介质
CN112685592A (zh) * 2020-12-24 2021-04-20 上海掌门科技有限公司 生成运动视频配乐的方法和装置
CN112866732A (zh) * 2020-12-30 2021-05-28 广州方硅信息技术有限公司 音乐广播方法及其装置、设备与介质
CN113053339A (zh) * 2021-03-10 2021-06-29 百果园技术(新加坡)有限公司 节奏调整方法、装置、设备和存储介质
US20220310051A1 (en) * 2019-12-20 2022-09-29 Netease (Hangzhou) Network Co.,Ltd. Rhythm Point Detection Method and Apparatus and Electronic Device

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030065517A1 (en) * 2001-09-28 2003-04-03 Pioneer Corporation Audio information reproduction device and audio information reproduction system
US20060048634A1 (en) * 2004-03-25 2006-03-09 Microsoft Corporation Beat analysis of musical signals
CN101399035A (zh) * 2007-09-27 2009-04-01 三星电子株式会社 从音频文件提取节拍的方法和设备
CN101587706A (zh) * 2009-07-08 2009-11-25 沈阳蓝火炬软件有限公司 流媒体实时音乐节拍分析与舞蹈控制系统及方法
US9093056B2 (en) * 2011-09-13 2015-07-28 Northwestern University Audio separation system and method
CN105513583A (zh) * 2015-11-25 2016-04-20 福建星网视易信息系统有限公司 一种歌曲节奏的显示方法及其系统
CN106304539A (zh) * 2016-08-03 2017-01-04 杭州电子科技大学 一种基于节奏跟随的音乐彩灯控制器设计方法
CN106601216A (zh) * 2016-11-30 2017-04-26 宇龙计算机通信科技(深圳)有限公司 通过音乐实现电子设备控制的方法及系统
WO2017126085A1 (ja) * 2016-01-21 2017-07-27 Pioneer DJ株式会社 照明制御装置、照明制御方法および照明制御プログラム
CN107103917A (zh) * 2017-03-17 2017-08-29 福建星网视易信息系统有限公司 音乐节奏检测方法及其系统
CN107124624A (zh) * 2017-04-21 2017-09-01 腾讯科技(深圳)有限公司 视频数据生成的方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030065517A1 (en) * 2001-09-28 2003-04-03 Pioneer Corporation Audio information reproduction device and audio information reproduction system
US20060048634A1 (en) * 2004-03-25 2006-03-09 Microsoft Corporation Beat analysis of musical signals
CN101399035A (zh) * 2007-09-27 2009-04-01 三星电子株式会社 从音频文件提取节拍的方法和设备
CN101587706A (zh) * 2009-07-08 2009-11-25 沈阳蓝火炬软件有限公司 流媒体实时音乐节拍分析与舞蹈控制系统及方法
US9093056B2 (en) * 2011-09-13 2015-07-28 Northwestern University Audio separation system and method
CN105513583A (zh) * 2015-11-25 2016-04-20 福建星网视易信息系统有限公司 一种歌曲节奏的显示方法及其系统
WO2017126085A1 (ja) * 2016-01-21 2017-07-27 Pioneer DJ株式会社 照明制御装置、照明制御方法および照明制御プログラム
CN106304539A (zh) * 2016-08-03 2017-01-04 杭州电子科技大学 一种基于节奏跟随的音乐彩灯控制器设计方法
CN106601216A (zh) * 2016-11-30 2017-04-26 宇龙计算机通信科技(深圳)有限公司 通过音乐实现电子设备控制的方法及系统
CN107103917A (zh) * 2017-03-17 2017-08-29 福建星网视易信息系统有限公司 音乐节奏检测方法及其系统
CN107124624A (zh) * 2017-04-21 2017-09-01 腾讯科技(深圳)有限公司 视频数据生成的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUI LI TAN等: "Audio onset detection using energy-based and pitch-based processing", 《PROCEEDINGS OF 2010 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS》 *
桂文明: "音符起始点检测算法研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111081271B (zh) * 2019-11-29 2022-09-06 福建星网视易信息系统有限公司 基于频域和时域的音乐节奏检测方法及存储介质
CN111081271A (zh) * 2019-11-29 2020-04-28 福建星网视易信息系统有限公司 基于频域和时域的音乐节奏检测方法及存储介质
US20220310051A1 (en) * 2019-12-20 2022-09-29 Netease (Hangzhou) Network Co.,Ltd. Rhythm Point Detection Method and Apparatus and Electronic Device
CN111105769A (zh) * 2019-12-26 2020-05-05 广州酷狗计算机科技有限公司 检测音频的中频节奏点的方法、装置、设备和存储介质
CN111105769B (zh) * 2019-12-26 2023-01-10 广州酷狗计算机科技有限公司 检测音频的中频节奏点的方法、装置、设备和存储介质
CN111444384A (zh) * 2020-03-31 2020-07-24 北京字节跳动网络技术有限公司 一种音频关键点确定方法、装置、设备及存储介质
CN111444384B (zh) * 2020-03-31 2023-10-13 北京字节跳动网络技术有限公司 一种音频关键点确定方法、装置、设备及存储介质
CN111785237A (zh) * 2020-06-09 2020-10-16 Oppo广东移动通信有限公司 音频节奏确定方法、装置、存储介质和电子设备
CN111785237B (zh) * 2020-06-09 2024-04-19 Oppo广东移动通信有限公司 音频节奏确定方法、装置、存储介质和电子设备
CN112261767A (zh) * 2020-10-23 2021-01-22 深圳市智岩科技有限公司 一种控制灯效的方法、装置、系统及存储介质
CN112435687A (zh) * 2020-11-25 2021-03-02 腾讯科技(深圳)有限公司 一种音频检测方法、装置、计算机设备和可读存储介质
EP4250291A4 (en) * 2020-11-25 2024-05-01 Tencent Tech Shenzhen Co Ltd AUDIO DETECTION METHOD AND APPARATUS, COMPUTER DEVICE AND READABLE STORAGE MEDIUM
CN112489676A (zh) * 2020-12-15 2021-03-12 腾讯音乐娱乐科技(深圳)有限公司 模型训练方法、装置、设备及存储介质
CN112685592A (zh) * 2020-12-24 2021-04-20 上海掌门科技有限公司 生成运动视频配乐的方法和装置
CN112866732A (zh) * 2020-12-30 2021-05-28 广州方硅信息技术有限公司 音乐广播方法及其装置、设备与介质
CN113053339A (zh) * 2021-03-10 2021-06-29 百果园技术(新加坡)有限公司 节奏调整方法、装置、设备和存储介质
CN113053339B (zh) * 2021-03-10 2024-04-02 百果园技术(新加坡)有限公司 节奏调整方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN108319657B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN108319657A (zh) 检测强节奏点的方法、存储介质和终端
CN106652996B (zh) 一种提示音生成方法和装置、移动终端
CN106210755B (zh) 一种播放直播视频的方法、装置和系统
CN106598529A (zh) 一种移动终端的分屏显示方法和装置、移动终端
CN106126174B (zh) 一种场景音效的控制方法、及电子设备
CN106210266B (zh) 一种音频信号处理方法及音频信号处理装置
CN105959482B (zh) 一种场景音效的控制方法、及电子设备
CN108090140A (zh) 一种歌曲播放方法及移动终端
CN106328176B (zh) 一种生成歌曲音频的方法和装置
CN107273453B (zh) 音乐播放的方法、终端及存储介质
CN108322780A (zh) 平台用户行为的预测方法、存储介质和终端
CN108052591A (zh) 信息推荐方法、装置、移动终端及计算机可读存储介质
CN107948729B (zh) 富媒体处理方法、装置、存储介质和电子设备
CN103686246B (zh) 传输流视频选时播放方法、装置、设备及系统
CN108335687A (zh) 音频信号底鼓节拍点的检测方法以及终端
CN106384599B (zh) 一种破音识别的方法和装置
CN106231433A (zh) 一种播放网络视频的方法、装置和系统
CN110209245A (zh) 人脸识别方法及相关产品
CN104091600B (zh) 一种歌声位置检测方法及装置
CN107807820A (zh) 信息处理方法、装置、移动终端和可读存储介质
CN104810033B (zh) 音频播放方法和装置
CN106791153A (zh) 应用推送消息分类显示方法、装置及移动终端
CN106534528A (zh) 一种文本信息的处理方法、装置及移动终端
CN106653068A (zh) 一种音频数据的播放方法、装置及终端
CN108491733A (zh) 隐私应用推荐方法和装置、存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221123

Address after: 31a, 15th floor, building 30, maple commercial city, bangrang Road, Brazil

Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd.

Address before: Building B-1, North District, Wanda Commercial Plaza, Wanbo business district, No. 79, Wanbo 2nd Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right