CN101640057A - 一种音视频匹配方法及装置 - Google Patents

Abstract

本发明公开了一种音视频匹配方法及装置，该方法包括：确定待匹配音频文件所属的音频类别，选取存储的与所述音频类别相匹配音乐视频MV文件；将所述待匹配音频文件划分为若干音频部分，确定出所述MV文件中与每个所述音频部分对应的对应音频部分和对应视频段；根据所述音频部分和所述对应音频部分的节拍信息，调整与所述音频部分对应的所述对应视频段的视频播放帧率，得到调整后的对应视频段；以及根据所述音频部分的播放时长，调整所述调整后的对应视频段的长度，得到与所述待匹配音频文件相匹配的视频文件。上述方法能够实现纯音频文件与现有MV资源中视频文件的完美匹配，实现了良好的音频可视化效果。

Description

一种音视频匹配方法及装置

技术领域

本发明涉及信号处理领域，尤指一种基于现有视频资源对音视频进行匹配的方法及装置。

背景技术

20世纪80年代初，美国有线电视网开办了一个新栏目MTV(MusicTelevision)，内容都是通俗歌曲，然后再配以精致画面。这种音乐可视化形式迅速为人们所接受，各国的电视台也争相效仿。随着MTV的普及，其仅局限于电视播放这一狭窄范畴已无法满足需求，单独发行影碟、或者通过手机、网络的方式发布成为必然的要求，因此，MTV进一步演变成了MV(Music Video)这一特定的音乐可视化形式，即用歌曲配以精美的画面，使原本只是听觉艺术的歌曲，变成视觉和听觉结合的一种崭新的艺术样式；在欣赏音乐的同时，也能得到很好的视觉享受。

音频可视化，在PC版本的播放器中已有较为广泛的应用。例如：WindowsMedia Player，Winamp等常用的音频播放软件都可以支持音频可视化功能。且随着技术的发展，便携式音视频播放设备(如mp4播放器)大有取代之前的纯音频播放器(如mp3播放器)的趋势，而MV这种音乐形式也随之有了更广泛的受众群体。

虽然随着MV的盛行，现有MV资源中也已经包含有大量的带视频的音频文件，种类也已经很丰富。但是，纯音频文件仍然大量存在。目前音频可视化功能的实现都是基于参数模式的，也就是在播放纯音频文件时，实时提取音频信号的特征参数，根据音频信号的能量变化，利用固定的视频生成模型，生成能体现某些音频特征的视频文件。使得在欣赏音乐的同时，也能得到一定的视觉享受。但是，由于生成模型的固定性，使这种基于参数模型生成的视频效果较为单调，且由于大量纯音频的存在，也不可能逐一为其生成相匹配的视频文件。

发明内容

本发明实施例提供一种音视频匹配方法及装置，解决现有音乐视频(MusicVision，MV)资源与纯音频文件的匹配使用问题，获得了良好的音频可视化效果。

一种音视频匹配方法，包括：

确定待匹配音频文件所属的音频类别，选取存储的与所述音频类别相匹配音乐视频MV文件；

将所述待匹配音频文件划分为若干音频部分，确定出所述MV文件中与每个所述音频部分对应的对应音频部分和对应视频段；

根据所述音频部分和所述对应音频部分的节拍信息，调整与所述音频部分对应的所述对应视频段的视频播放帧率，得到调整后的对应视频段；以及

根据所述音频部分的播放时长，调整所述调整后的对应视频段的长度，得到与所述待匹配音频文件相匹配的视频文件。

根据本发明的上述方法，所述确定待匹配音频文件所属的音频类别，具体包括：

对所述待匹配音频文件进行节拍和能量分析，根据其节拍信息和能量信息确定所属的音频类别；

所述选取存储的与所述音频类别相匹配音乐视频MV文件，具体包括：

根据确定出的所述音频类别，选取存储的相同音频类别的MV文件；其中，所述相同音频类别的MV文件，是指所述MV文件中包含的音频文件与所述待匹配音频文件的节拍信息和能量信息均相同或相近。

根据本发明的上述方法，所述确定出所述MV文件中与每个所述音频部分对应的对应音频部分和对应视频段，包括：

确定所述MV文件中包含的音频文件中与所述待匹配音频文件的若干音频部分分别对应的所述对应音频部分；

根据确定出的所述对应音频部分，将所述MV文件中包含的视频文件划分为对应的若干视频段，得到与所述待匹配音频文件的每个音频部分分别对应的所述对应视频段。

根据本发明的上述方法，所述音频部分包括：桥段部分、主歌部分和副歌部分；

所述桥段部分，具体包括序唱、过门、间奏。

根据本发明的上述方法，所述根据所述音频部分和对应音频部分的节拍信息，调整与所述音频部分对应的所述对应视频段的视频播放帧率，具体包括：

根据所述对应音频部分的节拍速率和对应视频段的原视频播放帧率，计算得到所述对应音频部分每拍所对应播放的视频帧数；

根据所述每拍所对应播放的视频帧数和所述音频部分的节拍速率，计算每帧视频的匹配播放时间，确定出匹配视频播放帧率，调整所述对应视频段的视频播放帧率为所述匹配视频播放帧率。

本发明的上述方法，当所述音频部分节拍速率或所述对应音频部分的节拍速率有多个时，根据多个所述节拍速率分别对应的音频部分和对应音频部分的范围，对所述对应视频段的视频播放帧率分段进行调整。

根据本发明的上述方法，所述根据所述音频部分的播放时长，调整所述调整后的对应视频段的长度，具体包括：

若所述音频部分的播放时长小于所述调整后的对应视频段的播放时长，对所述调整后的对应视频段进行截取，使截取后的视频段的播放时长与所述音频部分的播放时长相等；

若所述音频部分的播放时长大于所述调整后的对应视频段的播放时长，则循环使用所述对应视频段，循环使用的部分视频段的播放时长与所述调整后的对应视频段的播放时长之和等于所述音频部分的播放时长。

一种音视频匹配装置，包括：

类别匹配模块，用于确定待匹配音频文件所属的音频类别，选取存储的与所述音频类别相匹配音乐视频MV文件；

能量匹配模块，用于将所述待匹配音频文件划分为若干音频部分，确定出所述MV文件中与每个所述音频部分对应的对应音频部分和对应视频段；

节拍匹配模块，用于根据所述音频部分和所述对应音频部分的节拍信息，调整与所述音频部分对应的所述对应视频段的视频播放帧率，得到调整后的对应视频段；

长度调整模块，用于根据所述音频部分的播放时长，调整所述调整后的对应视频段的长度，得到与所述待匹配音频文件相匹配的视频文件。

本发明的上述装置，所述类别匹配模块，具体包括：

类别确定单元，用于对所述待匹配音频文件进行节拍和能量分析，根据其节拍信息和能量信息确定所属的音频类别；

匹配选取单元，用于根据确定出的所述音频类别，选取存储的相同音频类别的MV文件；其中，所述相同音频类别的MV文件，是指所述MV文件中包含的音频文件与所述待匹配音频文件的节拍信息和能量信息均相同或相近。

本发明的上述装置，所述能量匹配模块，具体包括：

划分单元，用于将所述待匹配音频文件划分为若干音频部分；

确定单元，用于确定所述MV文件中包含的音频文件中与所述待匹配音频文件的若干音频部分分别对应的所述对应音频部分；

匹配单元，用于根据确定出的所述对应音频部分，将所述MV文件中包含的视频文件划分为对应的若干视频段，得到与所述待匹配音频文件的每个音频部分分别对应的所述对应视频段。

本发明的上述装置，所述节拍匹配模块，具体包括：

帧率计算单元，用于根据所述对应音频部分的节拍速率和对应视频段的原视频播放帧率，计算得到所述对应音频部分每拍所对应播放的视频帧数；

帧率调整单元，用于根据所述每拍所对应播放的视频帧数和所述音频部分的节拍速率，计算每帧视频的匹配播放时间，确定出匹配视频播放帧率，调整所述对应视频段的视频播放帧率为所述匹配视频播放帧率。

本发明的上述装置，所述节拍匹配模块，还包括：

分段匹配单元，用于当所述音频部分节拍速率或所述对应音频部分的节拍速率有多个时，根据多个所述节拍速率分别对应的音频部分和对应音频部分的范围，对所述对应视频段的视频播放帧率分段进行调整。

本发明的上述装置，所述长度调整模块，具体包括：

比较单元，用于对所述音频部分的播放时长和所述调整后的对应视频段的播放时长进行比较；

长度调整单元，用于当所述比较单元确定出所述音频部分的播放时长小于所述调整后的对应视频段的播放时长时，对所述调整后的对应视频段进行截取，使截取后的视频段的播放时长与所述音频部分的播放时长相等；当所述比较单元确定出所述音频部分的播放时长大于所述调整后的对应视频段的播放时长时，则循环使用所述对应视频段，循环使用的部分视频段的播放时长与所述调整后的对应视频段的播放时长之和等于所述音频部分的播放时长。

本发明实施例提供的音视频匹配方法及装置，通过确定待匹配音频文件所属的音频类别，选取存储的与所述音频类别相匹配的音乐视频MV文件；将所述待匹配音频文件划分为若干音频部分，并确定出MV文件中与每个音频部分对应的对应音频部分和对应视频段；根据所述音频部分和对应音频部分的节拍信息，调整与其对应的所述对应视频段的视频播放帧率，得到调整后的对应视频段；以及根据所述音频部分的播放时长，调整所述调整后的对应视频段的长度，得到与所述待匹配音频文件相匹配的视频文件。上述方法能够实现待匹配音频文件预选取得MV文件中包含的视频文件在节拍、能量以及各音频部分和对应视频部分的播放时间长度等各个方面的完美匹配，使选取的视频的画面切换、变化等能够体现音乐的节拍、能量变化情况，同时充分利用了现有MV资源解决了纯音频文件的可视化问题，实现了良好的音频可视化效果。

附图说明

图1为本发明实施例中音视频匹配方法的原理示意图；

图2为本发明实施例中音视频匹配方法的流程图；

图3为本发明实施例中进行音频类别匹配的原理示意图；

图4为本发明实施例中进行能量匹配的原理示意图；

图5为本发明实施例中进行节拍匹配的原理示意图；

图6为本发明实施例中播放时间长度调整的原理示意图；

图7为本发明实施例中音视频匹配装置的结构示意图。

具体实施方式

由于现有MV资源库中已具有各种各样、种类繁多的视频文件，而有些视频文件与某些纯音频文件是可以匹配使用的，因此，充分利用现有视频资源，实现现有视频资源中包含的视频文件与纯音频文件的匹配，从而实现在欣赏音乐时，能够欣赏到与之相匹配的视频文件，获得良好视觉享受的目的。

因此，本发明实施例提供的音视频匹配方法，利用现有MV资源，为纯音频文件配置与其相匹配的视频文件。其原理如图1所示，通过对待匹配的音频文件和存储的MV文件进行类别匹配，选取与待匹配的音频文件相同类别的MV文件；再进行能量匹配，并确定MV文件中分别与待匹配音频文件各音频部分对应的对应音频部分和对应视频段；然后将待匹配的音频文件的各音频部分与选取的MV文件中对应的视频段进行节拍匹配和播放时间长度的匹配，得到与待匹配的音频文件相匹配的视频文件。其中，MV文件包含一个音频文件和为该音频文件配制的视频文件。

本发明实施例提供的音视频匹配方法，其流程如图2所示，执行步骤如下：

步骤S101：确定待匹配音频文件(音乐)所属的音频类别。具体通过对获取到的待匹配(视频的)音频文件进行节拍和能量分析，根据其节拍信息(快慢)和能量信息(强弱)等确定待匹配音频文件所属的音频类别。

音乐作为人类共通的情感语言，只所以能拨动人的心弦，生物物理解释是声音由耳神经触传到大脑中枢神经中心，从而产生人与音乐声响的共鸣和共振，并不断的合上节拍，表现出情感的诉说与付出。通过音乐的节拍信息(即节奏的快慢)和音乐的能量信息(即能量的强弱及其变化来反映音乐为高亢，还是低沉的音乐)可以体现或反映不同的人类情感。例如：“迪厅”的音乐是快节奏高音量表现的；而交响乐经常是快慢、高低都包容进去的；哀乐则是慢节奏、音量低沉浑厚；等等。也就是说，根据音频文件的节拍信息和能量信息不同，能够反映的人类不同的情感，而根据音频文件反映的人类情感的不同，可以将音频文件划分为不同的音频类别。

因此，确定音频文件的音频类别的过程也就是对音频文件进行情感分析的过程。而对音频文件进行情感分析实质上也就是对音频文件的节拍和能量进行进行分析。

例如：根据音频文件(音乐)所具有的节拍信息，可以将音乐分为“劲歌”“慢歌”等音频类别。其中：节奏较快的Disco、Hip-Hop舞曲音乐就属于“劲歌”；而节奏比较慢的浪漫情歌等则属于“慢歌”。在进行划分时，以节拍信息为例，例如：可以设定若干节拍速率范围，以一个音频文件的平均节拍速率在哪个节拍速率范围内来确定该音频文件所属的音频类型。比如：平均节拍速率处于a-b范围内的音频文件属于“慢歌”，平均节拍速率处于b-c范围内的音频文件属于“劲歌”等等。当然也可以设定若干能量的范围，对音频文件进行划分，以一个音频文件的能量在哪个节拍范围内来确定该音频文件所属的音频类型。也可以综合考虑节拍和能量信息共同确定。

步骤S102：根据确定出的音频类别，选取存储的该音频类别的MV文件。

根据确定出的待匹配音频文件所属的音频类别，从MV资源库中选取一个相同音频类别的MV文件。其中，相同音频类别的MV文件，是指MV文件中包含的音频文件与待匹配音频文件的节拍信息和能量信息均相同或相近。

MV资源库中存储的MV文件的音频类别的划分，可以预先通过对MV文件中包含的音频文件进行节拍和能量分析来实现。

为一个音频文件配置的视频文件，其画面表现的情感一定是与音乐(音频文件)所表现的情感相一致的。因此，需要为一个音频文件匹配视频文件时，也需要根据音频文件所属的音频类别，选取相同类别的MV文件，以使音频文件和为其选择的MV文件中包含的视频文件所表现的情感一致。即为音频文件选择情感相匹配的视频文件。一般而言，相匹配是指音频文件和为其选择的MV文件中包含的音频文件的节拍快慢和能量强弱及其变化情况相同或相近，即也就是属于相同的音频类型。其中，节拍快慢和能量强弱及其变化情况相近是指待匹配音频文件与选取的MV文件中的音频文件的节拍快慢之差小于设定的节拍阈值，且能量强弱也小于设定的能量阈值。

上述步骤S101和S102对待匹配音频文件进行情感分析，选取相匹配的MV文件的原理具体如图3所示。

步骤S103：确定出选取的MV文件中分别与待匹配音频文件中每个音频部分对应的对应音频部分和对应视频段。其原理如图4所示，具体包括：

首先，将待匹配音频文件划分为若干音频部分。

如上所述，节拍和能量是体现情感的重要因素。视频和音乐的匹配需要体现节拍的匹配和能量的匹配。因此，根据音频文件的能量信息，将其划分为不同的音频部分，并为各音频部分匹配对应的视频段，将会使音视频的配合更加完美，在情感上更加贴合。

其中，划分的音频部分可以包括：桥段部分(可以包括序唱、过门、间奏等)、主歌部分和副歌(高潮)部分等等。一般而言，音频的桥段、主歌和副歌部分的划分是从结构组成上对音频文件进行的划分，其分别表征了音乐的不同组成部分，且上述各部分的能量是依次增大，所配的视频画面的艺术张力也应该依次增大。需要说明的是，音频文件的划分并不仅限于划分为上述列出的三个音频部分。

然后，确定选取的MV文件中包含的音频文件中与待匹配音频文件的若干音频部分分别对应的各对应音频部分。

根据上述对待匹配音频文件的音频部分的划分结果，将选取的MV文件中包含的音频文件也划分为相应的音频部分。例如：待匹配音频文件划分为桥段部分、主歌部分和副歌部分三个部分时，将选取的MV文件中包含的音频文件也相应划分为对应的桥段部分、主歌部分和副歌部分三个部分。对待匹配音频文件进行音频部分的划分时，可以根据设定的规则划分，例如：设定的规则可以为能量范围，也可以是节拍速率范围，还可以是其他的参数指标等。在划分时，考察音频文件中的数据帧能量，根据音频文件中的能量变化和设定的规则将音频文件划分为不同的部分。

最后，根据确定出的MV文件中包含的音频文件中与待匹配音频文件的若干音频部分分别对应的各对应音频部分，将MV文件中所包含的视频文件划分为对应的若干视频段，得到与待匹配音频文件的每个音频部分分别对应的各个对应视频段。

例如：将MV文件中包含的音频文件也相应划分为对应的桥段部分、主歌部分和副歌部分三个部分时，根据划分的三个部分，确定各自对应的视频范围，将选取的MV文件中包含的视频文件划分为对应的三个视频段。从而建立起待匹配音频文件的各音频部分与选取的MV文件中包含的视频文件的各视频段的对应关系，得到与待匹配音频文件的各音频部分对应的视频段。

需要说明的是：在划分时，可以如上述对待匹配音频文件进行划分，再对MV中包含的音、视频文件进行相应的划分，并建立待匹配音频文件的各音频部分和选取的MV文件中划分出的各视频段的对应关系。也可以先对MV中包含的音、视频文件进行划分，再对待匹配音频文件进行相应的音频部分的划分，并建立待匹配音频文件的各音频部分和选取的MV文件中划分出的各视频段的对应关系。

步骤S104：根据待匹配音频文件的各音频部分的节拍信息和MV文件中包含的音频文件中各对应音频部分的节拍信息，调整MV文件中包含的视频文件中的对应视频段的视频播放帧率，得到调整后的对应视频段。

该步骤在上述能量匹配的基础上，进一步实现画面切换与音乐节拍同步的。也就是，通过对选取的MV文件中的各对应视频段的视频切换频率(也称视频播放帧率)的调整，使其与待匹配音频文件的中各相应音频部分的节拍一致，从而获取更好的匹配效果。其中，视频播放帧率代表了视频的播放速率，也就是每秒钟播放的视频帧数。当增大视频播放帧率时，视频的播放速率加快；当视频播放帧率减小时，视频的播放速率变慢。因此，可以通过改变视频播放帧率，改变视频画面的切换速率。

由于MV文件中包含的视频文件的视频播放帧率，与其包含的音频文件的节拍是相匹配的。因此，在实际进行视频切换频率匹配时，可以通过对待匹配音频文件的某一音频部分与MV文件中包含的音频文件的对应音频部分进行节拍匹配来实现。也就是说：以选取的MV文件中各对应音频部分的音频节拍和待匹配音频文件各音频部分的音频节拍为参数，调整选取的MV文件中包含的视频文件各对应视频段的视频播放帧率，得到视频播放帧率与待匹配音频文件对应音频部分的节拍相匹配的视频段。节拍匹配的原理如图5所示。针对待匹配音频文件的每一个音频部分具体执行下列过程：

(1)提取上述待匹配音频文件中音频部分的节拍信息，以及选取的MV文件中包含的对应音频部分的节拍信息和对应视频段的原视频播放帧率。节拍信息可以是节拍速率、也可以是规定时间内的节拍数(例如一分钟)或每拍的持续时间。

提取音频文件的节拍信息，在现有技术中有很多中实现方式。而且，现有提取节拍信息的方法，既能分析出音乐的行进速度以及每一拍出现的时刻，还能够分辨出其中的强拍和弱拍。例如：采用共振器的方法分析出音乐中可能存在的多个节拍速率和每个节拍速率所出现的时刻，然后结合音乐知识，最终确定出可能的节拍，并分辨出其中的强拍和弱拍。

(2)根据上述MV文件中包含的对应音频部分的节拍速率和对应视频段的原始播放帧率，计算得到上述MV文件中包含的对应音频部分的每拍所播放的视频帧数。也就是确定出MV文件中各对应音频部分的节拍和对应视频部分相应的帧率的关系。

上述(1)中对应音频部分的节拍信息提取，可以是直接提取节拍速率；也可以是提取规定时间内的节拍数(例如一分钟)或每拍的持续时间，并计算得到节拍速率。

例如：MV文件中对应音频部分的节拍速率为B拍/分钟(或说每拍的持续时间是60/B)，MV文件中对应视频段的视频播放帧率为R(即每秒钟播放R帧的视频文件)，则每帧视频的持续时间为1/R秒。因此，对应音频部分每一拍所播放的视频帧数x为：

$x=\frac{60*R}{B}$

(3)根据上述待匹配音频文件与各音频部分的节拍速率和上述确定出的MV文件的音频文件中对应音频部分每拍所对应播放的视频帧数，计算每一帧视频的匹配播放时间，确定出相应的匹配视频播放帧率。并调整上述对应视频段的视频播放帧率为该匹配视频播放帧率。其中，每一帧视频的匹配播放时间即为其在进行调整后的播放时间，匹配视频播放帧率即为进行视频播放帧率调整后的视频播放帧率。

例如：上述确定出的对应音频部分每一拍所对应播放的视频帧数为x，待匹配音频文件相应音频部分的节拍速率为B′拍/分钟(即每拍的持续时间是60/B′)，为了实现音视频的同步，使待匹配音频文件的该音频部分与选取的MV文件的对应视频段的是音频播放能够同步，则待匹配音频文件的该音频部分和MV文件中的对应音频部分，每拍所播放的的视频帧数应该相同，所以，每一帧视频在进行调整后的播放时间T(即匹配播放时间)为：

$T=\frac{60}{B^{\′}x}$

则调整后的视频播放帧率R′(即匹配视频播放帧率)应该为：

$R^{\′}=\frac{1}{T}=\frac{B^{\′}R}{B}$

对上述对应视频段的视频播放帧率进行调整后，得到调整后的对应视频段。对所有对应视频段进行调整后，由调整后的各对应视频段组成调整后的视频文件。经上述调整得到的调整后的对应视频段，由于其视频播放帧率发生了变化，所以其播放时的播放时长发生了变化。

需要说明的是：当一个音频部分节拍速率或其对应音频部分的节拍速率有多个时，根据多个节拍速率分别对应的音频部分和对应音频部分的范围，对对应视频段的播放帧率分段进行调整。

步骤S105：根据待匹配音频文件各音频部分的播放时长，分别对调整后的各对应视频段的长度进行调整。针对每一个音频部分和调整后的对应视频段执行下列过程：

(a)比较上述音频部分的播放时长和对应的调整后的对应视频段的播放时长。

(b)根据比较结果，对调整后的对应视频段的长度进行调整。具体包括：

若音频部分的播放时长小于调整后的对应视频段的播放时长，对调整后的对应视频段进行截取，使截取后的视频段的播放时长与所述音频部分的播放时长相等。

若音频部分的播放时长大于调整后的对应视频段的播放时长，则循环使用对应视频段，循环使用的部分视频段的播放时长与调整后的对应视频段的播放时长之和等于音频部分的播放时长。

若音频部分的播放时长等于调整后的对应视频段的播放时长，则不需要进行调整。

例如：图6所示的待匹配音频文件和调整后(节拍匹配后)的视频文件。待匹配音频文件桥段部分和副歌部分的播放时长均小于调整后的视频文件的桥段部分和副歌部分的播放时长；待匹配音频文件主歌部分的播放时长大于调整后的视频文件主歌部分的播放时长。

则根据待匹配音频文件桥段部分和副歌部分的播放时长，分别对调整后的视频文件桥段部分和副歌部分进行截取；并根据待匹配音频文件主歌部分的播放时长，对调整后的视频文件主歌部分进行循环播放。

步骤S106：得到与待匹配音频文件相匹配的视频文件。

在播放待匹配音频文件时，按照调整后的视频播放帧率和调整后的各对应视频段的长度，播放调整后的视频文件，就能实现待匹配音频文件与调整后的视频文件的同步播放，获取良好的音频可视化效果。

根据本发明的上述音视频匹配方法，可以构建一种音视频匹配装置，如图7所示，包括：类别匹配模块101、能量匹配模块102、节拍匹配模块103和长度调整模块104。

类别匹配模块101，用于确定待匹配音频文件所属的音频类别，选取存储的与该音频类别相匹配音乐视频MV文件。

较佳的，类别匹配模块101，进一步可以包括：类别确定单元1011和匹配选取单元1012。

类别确定单元1011，用于对待匹配音频文件进行节拍和能量分析，根据其节拍信息和能量信息确定所属的音频类别。

匹配选取单元1012，用于根据类别确定单元1011确定出的音频类别，选取存储的相同音频类别的MV文件。其中，相同音频类别的MV文件，是指MV文件中包含的音频文件与待匹配音频文件的节拍信息和能量信息均相同或相近。

能量匹配模块102，用于将所述待匹配音频文件划分为若干音频部分，确定出选取的MV文件中与每个音频部分对应的对应音频部分和对应视频段。

较佳的，能量匹配模块102，进一步可以包括：划分单元1021、确定单元1022和匹配单元1023。

划分单元1021，用于将待匹配音频文件划分为若干音频部分。

确定单元1022，用于确定选取的MV文件中包含的音频文件中与所述待匹配音频文件的若干音频部分分别对应的对应音频部分。

匹配单元1023，用于根据确定单元1022确定出的对应音频部分，将选取的MV文件中包含的视频文件划分为对应的若干视频段，得到与待匹配音频文件的每个音频部分分别对应的对应视频段。

节拍匹配模块103，用于根据能量匹配模块102确定出的音频部分和MV文件中包含的音频文件的对应音频部分的节拍信息，调整与上述音频部分对应的对应视频段的视频播放帧率，得到调整后的对应视频段。

较佳的，节拍匹配模块103，进一步可以包括：帧率计算单元1031和帧率调整单元1032。

帧率计算单元1031，用于根据能量匹配模块102确定出的对应音频部分的节拍速率和对应视频段的原视频播放帧率，计算得到上述对应音频部分每一拍所对应播放的视频帧数。

帧率调整单元1032，用于根据每一拍所对应播放的视频帧数和音频部分的节拍速率，计算每一帧视频的匹配播放时间，确定出匹配的视频播放帧率，调整对应视频段的视频播放帧率为确定出的匹配视频播放帧率。

节拍匹配模块103，还包括：分段匹配单元1033，用于当能量匹配模块102划分出的音频部分节拍速率或能量匹配模块102确定出的对应音频部分的节拍速率有多个时，根据多个节拍速率分别对应的音频部分和对应音频部分的范围，对能量匹配模块102确定出的对应视频段的视频播放帧率分段进行调整。

长度调整模块104，用于根据音频部分的播放时长，调整节拍匹配模块103调整后的对应视频段的长度，得到与待匹配音频文件相匹配的视频文件。

较佳的，长度调整模块104，进一步可以包括：比较单元1041和长度调整单元1042。

比较单元1041，用于对音频部分的播放时长和节拍匹配模块103调整后的对应视频段的播放时长进行比较。

长度调整单元1042，用于当比较单元1041确定出音频部分的播放时长小于调整后的对应视频段的播放时长时，对调整后的对应视频段进行截取，使截取后的视频段的播放时长与音频部分的播放时长相等；当比较单元1041确定出音频部分的播放时长大于调整后的对应视频段的播放时长时，则循环使用对应视频段，循环使用的部分视频段的播放时长与调整后的对应视频段的播放时长之和等于音频部分的播放时长。

本发明的上述音视频匹配方法及装置，通过对待匹配音频文件进行分类，确定所属的音频类别，实现选取存储的相同音频类别的音乐视频MV文件。使得选取的MV文件与待匹配音频文件能够在所表达的感情上相一致。然后确定出选取的MV文件中分别与待匹配音频文件中每个音频部分对应的对应音频部分和对应视频段，以便分段进行节拍和播放时间的匹配，提高了匹配的合理性和准确性。

根据各音频部分和对应音频部分的节拍信息，调整与其对应的对应视频段的视频播放帧率，得到调整后的对应视频段；以及根据各音频部分的播放时长，调整调整后的对应视频段的长度，得到与待匹配音频文件相匹配的视频文件。从而实现节拍与画面切换频率的一致，以及各音频部分与对应各视频段的播放时间一致。

上述方法能够实现待匹配音频文件预选取得MV文件中包含的视频文件在节拍、能量以及各音频部分和对应视频部分的播放时间长度等各个方面的完美匹配，使选取的视频的画面切换、变化等能够很好的反映音乐的节拍快慢、能量强弱等变化情况，且上述方法充分利用了现有MV资源与纯音频文件进行匹配使用，解决了纯音频文件的可视化问题，达到音视频的完美结合，实现了良好的音频可视化效果。

上述方法，不仅实现了使用户能够在欣赏音乐的同时观看相匹配的视频，还可以利用视频素材方便、快捷的制作各种个性化的MV；从而更大范围的提高音视频播放设备的利用率，让使用者获得更多的音乐和视频相结合的艺术享受。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化、替换或应用到其他类似的装置，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (13)

1、一种音视频匹配方法，其特征在于，包括：

确定待匹配音频文件所属的音频类别，选取存储的与所述音频类别相匹配音乐视频MV文件；

将所述待匹配音频文件划分为若干音频部分，确定出所述MV文件中与每个所述音频部分对应的对应音频部分和对应视频段；

根据所述音频部分和所述对应音频部分的节拍信息，调整与所述音频部分对应的所述对应视频段的视频播放帧率，得到调整后的对应视频段；以及

根据所述音频部分的播放时长，调整所述调整后的对应视频段的长度，得到与所述待匹配音频文件相匹配的视频文件。

2、如权利要求1所述的方法，其特征在于，所述确定待匹配音频文件所属的音频类别，具体包括：

对所述待匹配音频文件进行节拍和能量分析，根据其节拍信息和能量信息确定所属的音频类别；

所述选取存储的与所述音频类别相匹配音乐视频MV文件，具体包括：

根据确定出的所述音频类别，选取存储的相同音频类别的MV文件；其中，所述相同音频类别的MV文件，是指所述MV文件中包含的音频文件与所述待匹配音频文件的节拍信息和能量信息均相同或相近。

3、如权利要求1所述的方法，其特征在于，所述确定出所述MV文件中与每个所述音频部分对应的对应音频部分和对应视频段，包括：

确定所述MV文件中包含的音频文件中与所述待匹配音频文件的若干音频部分分别对应的所述对应音频部分；

根据确定出的所述对应音频部分，将所述MV文件中包含的视频文件划分为对应的若干视频段，得到与所述待匹配音频文件的每个音频部分分别对应的所述对应视频段。

4、如权利要求3所述的方法，其特征在于，所述音频部分包括：桥段部分、主歌部分和副歌部分；

所述桥段部分，具体包括序唱、过门、间奏。

5、如权利要求1-4任一所述的方法，其特征在于，所述根据所述音频部分和对应音频部分的节拍信息，调整与所述音频部分对应的所述对应视频段的视频播放帧率，具体包括：

根据所述对应音频部分的节拍速率和对应视频段的原视频播放帧率，计算得到所述对应音频部分每拍所对应播放的视频帧数；

根据所述每拍所对应播放的视频帧数和所述音频部分的节拍速率，计算每帧视频的匹配播放时间，确定出匹配视频播放帧率，调整所述对应视频段的视频播放帧率为所述匹配视频播放帧率。

6、如权利要求5所述的方法，其特征在于，当所述音频部分节拍速率或所述对应音频部分的节拍速率有多个时，根据多个所述节拍速率分别对应的音频部分和对应音频部分的范围，对所述对应视频段的视频播放帧率分段进行调整。

7、如权利要求5所述的方法，其特征在于，所述根据所述音频部分的播放时长，调整所述调整后的对应视频段的长度，具体包括：

若所述音频部分的播放时长小于所述调整后的对应视频段的播放时长，对所述调整后的对应视频段进行截取，使截取后的视频段的播放时长与所述音频部分的播放时长相等；

若所述音频部分的播放时长大于所述调整后的对应视频段的播放时长，则循环使用所述对应视频段，循环使用的部分视频段的播放时长与所述调整后的对应视频段的播放时长之和等于所述音频部分的播放时长。

8、一种音视频匹配装置，其特征在于，包括：

类别匹配模块，用于确定待匹配音频文件所属的音频类别，选取存储的与所述音频类别相匹配音乐视频MV文件；

能量匹配模块，用于将所述待匹配音频文件划分为若干音频部分，确定出所述MV文件中与每个所述音频部分对应的对应音频部分和对应视频段；

节拍匹配模块，用于根据所述音频部分和所述对应音频部分的节拍信息，调整与所述音频部分对应的所述对应视频段的视频播放帧率，得到调整后的对应视频段；

长度调整模块，用于根据所述音频部分的播放时长，调整所述调整后的对应视频段的长度，得到与所述待匹配音频文件相匹配的视频文件。

9、如权利要求8所述的装置，其特征在于，所述类别匹配模块，具体包括：

类别确定单元，用于对所述待匹配音频文件进行节拍和能量分析，根据其节拍信息和能量信息确定所属的音频类别；

匹配选取单元，用于根据确定出的所述音频类别，选取存储的相同音频类别的MV文件；其中，所述相同音频类别的MV文件，是指所述MV文件中包含的音频文件与所述待匹配音频文件的节拍信息和能量信息均相同或相近。

10、如权利要求8所述的装置，其特征在于，所述能量匹配模块，具体包括：

划分单元，用于将所述待匹配音频文件划分为若干音频部分；

确定单元，用于确定所述MV文件中包含的音频文件中与所述待匹配音频文件的若干音频部分分别对应的所述对应音频部分；

匹配单元，用于根据确定出的所述对应音频部分，将所述MV文件中包含的视频文件划分为对应的若干视频段，得到与所述待匹配音频文件的每个音频部分分别对应的所述对应视频段。

11、如权利要求8-10任一所述的装置，其特征在于，所述节拍匹配模块，具体包括：

帧率计算单元，用于根据所述对应音频部分的节拍速率和对应视频段的原视频播放帧率，计算得到所述对应音频部分每拍所对应播放的视频帧数；

帧率调整单元，用于根据所述每拍所对应播放的视频帧数和所述音频部分的节拍速率，计算每帧视频的匹配播放时间，确定出匹配视频播放帧率，调整所述对应视频段的视频播放帧率为所述匹配视频播放帧率。

12、如权利要求11所述的装置，其特征在于，所述节拍匹配模块，还包括：

分段匹配单元，用于当所述音频部分节拍速率或所述对应音频部分的节拍速率有多个时，根据多个所述节拍速率分别对应的音频部分和对应音频部分的范围，对所述对应视频段的视频播放帧率分段进行调整。

13、如权利要求11所述的装置，其特征在于，所述长度调整模块，具体包括：

比较单元，用于对所述音频部分的播放时长和所述调整后的对应视频段的播放时长进行比较；

长度调整单元，用于当所述比较单元确定出所述音频部分的播放时长小于所述调整后的对应视频段的播放时长时，对所述调整后的对应视频段进行截取，使截取后的视频段的播放时长与所述音频部分的播放时长相等；当所述比较单元确定出所述音频部分的播放时长大于所述调整后的对应视频段的播放时长时，则循环使用所述对应视频段，循环使用的部分视频段的播放时长与所述调整后的对应视频段的播放时长之和等于所述音频部分的播放时长。

Images