CN109817242A - 一种音频匹配方法及装置 - Google Patents

Abstract

本发明涉及视音频处理技术领域，特别是涉及一种音频匹配方法及装置，其中方法权项包括：获取当前视音频数据中的音频指纹信息；当无法查找到与所述音频指纹信息相匹配的第一音频创作者信息时，获取所述当前视音频数据中的视频特征信息；在所述音频作品信息数据库中，查找与所述视频特征信息相匹配的第二音频创作者信息；将所述第二音频创作者信息与所述音频指纹信息建立匹配关系，并将该匹配关系存储至所述音频作品信息数据库中。本发明通过将原视频进行头像识别，进而与歌星建立关联性，解决了现有技术中无法根据视音频信息找到相应歌星信息的问题。

Description

一种音频匹配方法及装置

技术领域

本发明涉及视音频处理技术领域，特别是涉及一种音频匹配方法及装置。

背景技术

在传统的KTV中，每个歌曲都是预先存储到本地(包括分布式存储)的，所以每个歌曲都会有相应的完整的作品信息。

但随着互联网的深入发展，越来越多的KTV或点唱设备支持用户自选，或随机挑选热门视音频进行播放，有时播放的视音频并没有配套的完整的作品信息，这时用户便无从得到这些信息了；或者用户只得到部分视音频片段，更无法获知其作品信息。

发明内容

为解决现有技术中的问题，本发明提供一种音频匹配方法及装置，根据视音频中的视频信息与作品信息进行匹配，进而将音频指纹与作品信息进行关联存储，以解决无法获知音频对应的作品信息的问题。

为达到上述目的，一方面，本发明实施例提供一种音频匹配方法，包括：

获取当前视音频数据中的音频指纹信息；

在音频作品信息数据库中，查找与所述音频指纹信息相匹配的第一音频创作者信息；

当无法查找到与所述音频指纹信息相匹配的第一音频创作者信息时，获取所述当前视音频数据中的视频特征信息；

在所述音频作品信息数据库中，查找与所述视频特征信息相匹配的第二音频创作者信息；

将所述第二音频创作者信息与所述音频指纹信息建立匹配关系，并将该匹配关系存储至所述音频作品信息数据库中；

将与所述音频指纹信息相匹配的音频作品信息发送至播放终端并展示给用户。

可选的，所述获取所述当前视音频数据中的视频特征信息，包括：

将所述当前视音频数据中的视频文件根据预设时间间隔进行抽帧，得到多个抽样帧；

分别对所述抽样帧进行人脸识别并进行数据统计，得到出现频率最高的人的面部数据；

根据所述出现频率最高的人的面部数据，生成视频特征信息；所述视频特征信息包括与所述出现频率最高的人的面部数据对应的第一头像指纹。

可选的，所述在所述音频作品信息数据库中，查找与所述视频特征信息相匹配的第二音频创作者信息包括：

所述在所述音频作品信息数据库中，查找与所述第一头像指纹相匹配的第二头像指纹；所述第二音频创作者信息中包括所述第二头像指纹。

可选的，所述将所述第二音频创作者信息与所述音频指纹信息建立匹配关系包括：

将所述音频指纹信息与所述第二头像指纹对应的人名建立匹配关系；所述第二音频创作者信息包括所述人名。

可选的，将与所述音频指纹信息相匹配的音频作品信息发送至播放终端并展示给用户包括：

当查找到与所述音频指纹信息相匹配的第一音频创作者信息时，将所述第一音频创作者信息发送至播放终端并展示给用户；

当无法查找到与所述音频指纹信息相匹配的第一音频创作者信息时，将所述第二音频创作者信息发送至播放终端并展示给用户。

另一方面，本发明实施例提供一种音频匹配装置，包括：

音频指纹获取单元，用于获取当前视音频数据中的音频指纹信息；

第一匹配单元，用于在音频作品信息数据库中，查找与所述音频指纹信息相匹配的第一音频创作者信息；

视频特征获取单元，用于当无法查找到与所述音频指纹信息相匹配的第一音频创作者信息时，获取所述当前视音频数据中的视频特征信息；

第二匹配单元，用于在所述音频作品信息数据库中，查找与所述视频特征信息相匹配的第二音频创作者信息；

关联单元，用于将所述第二音频创作者信息与所述音频指纹信息建立匹配关系，并将该匹配关系存储至所述音频作品信息数据库中；

反馈单元，用于将与所述音频指纹信息相匹配的音频作品信息发送至播放终端并展示给用户。

可选的，所述视频特征获取单元包括：

抽帧子单元，用于将所述当前视音频数据中的视频文件根据预设时间间隔进行抽帧，得到多个抽样帧；

统计子单元，用于分别对所述抽样帧进行人脸识别并进行数据统计，得到出现频率最高的人的面部数据；

视频特征生成子单元，用于根据所述出现频率最高的人的面部数据，生成视频特征信息；所述视频特征信息包括与所述出现频率最高的人的面部数据对应的第一头像指纹。

可选的，所述第二匹配单元包括：

头像匹配子单元，用于在所述音频作品信息数据库中，查找与所述第一头像指纹相匹配的第二头像指纹；所述第二音频创作者信息中包括所述第二头像指纹。

可选的，所述关联单元包括：

头像关联子单元，用于将所述音频指纹信息与所述第二头像指纹对应的人名建立匹配关系；所述第二音频创作者信息包括所述人名。

可选的，所述反馈单元包括：

第一反馈子单元，用于当查找到与所述音频指纹信息相匹配的第一音频创作者信息时，将所述第一音频创作者信息发送至播放终端并展示给用户；

第二反馈子单元，用于当无法查找到与所述音频指纹信息相匹配的第一音频创作者信息时，将所述第二音频创作者信息发送至播放终端并展示给用户。

上述技术方案具有如下有益效果：

本发明通过将原视频进行头像识别，进而与歌星建立关联性，解决了现有技术中无法根据视音频信息找到相应歌星信息的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一种音频匹配方法的流程示意图；

图2是本发明实施例一种音频匹配装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下结合附图对本发明进行进一步说明。

实施例一

本实施例应用于：当用户在家庭环境、KTV环境、商场的练歌录音房以及任何可能的K歌环境中，出现一个不知道歌星姓名的MV时；或，

当用户在自用的终端(如移动终端、电视或计算机)发现一个不知道歌星姓名的MV时；或，

当用户在户内、户外等任何可能播放MV的环境中，发现一个不知道歌星姓名的MV时。

图1是本发明实施例提供一种音频匹配方法的流程示意图，如图示，包括：

步骤101，获取当前视音频数据中的音频指纹信息；

如上所述，所述当前视音频数据的播放设备，可以是该步骤101的执行主体，也可以不是。

当用户发现所处环境中非自用播放终端正在播放一个MV时，可以通过移动终端录制一小段该MV的视音频数据，用以进行音频匹配。即，当前视音频数据的播放设备为用户所处环境的任一播放设备，而该步骤101的执行主体为用户的移动终端。

以上任一种情况下，当接收到用户需要匹配该视音频的歌星时，获取当前视音频数据中的音频指纹信息。

本实施例优选的，所述获取当前视音频数据中的音频指纹信息包括：

将当前正在播放的视音频数据中的音频进行傅氏变换，将其从时域变换至频域，得到其音频指纹信息。

步骤102，在音频作品信息数据库中，查找与所述音频指纹信息相匹配的第一音频创作者信息；

本实施例优选的，所述音频作品信息数据库通过区块链技术存储于云端，该音频作品信息数据库实时更新，包括歌星的头像信息及其对应的音频指纹信息，这里与歌星关联的并非作品信息，而是音频指纹信息。

本实施例所述的第一音频创作者信息并不是指当前视音频数据对应的MV的信息，而是包括歌星的姓名、相貌、基础信息在内的歌星信息。本实施例优选的，查找与音频指纹信息相匹配的第一音频创作者信息，包括查找与该音频指纹信息匹配的歌星信息。

步骤103，当无法查找到与所述音频指纹信息相匹配的第一音频创作者信息时，获取所述当前视音频数据中的视频特征信息；

当上述音频作品信息数据库中，不存在与该音频指纹信息相匹配的创作者信息时，通过相应的视频信息进行匹配。

步骤104，在所述音频作品信息数据库中，查找与所述视频特征信息相匹配的第二音频创作者信息；

本实施例优选的，将当前视音频数据中出现频率最高的头像与音频作品信息数据库中存在的头像数据进行匹配。

步骤105将所述第二音频创作者信息与所述音频指纹信息建立匹配关系，并将该匹配关系存储至所述音频作品信息数据库中；

步骤106，将与所述音频指纹信息相匹配的音频作品信息发送至播放终端并展示给用户。

可选的，所述获取所述当前视音频数据中的视频特征信息，包括：

将所述当前视音频数据中的视频文件根据预设时间间隔进行抽帧，得到多个抽样帧；

分别对所述抽样帧进行人脸识别并进行数据统计，得到出现频率最高的人的面部数据；

根据所述出现频率最高的人的面部数据，生成视频特征信息；所述视频特征信息包括与所述出现频率最高的人的面部数据对应的第一头像指纹。

本实施例优选的，预设时间间隔根据当前视音频数据的长度进行设定。例如，当时长超过1min时，将预设时间间隔设为1s；当时长在30s和1min之间时，设为0.5s；当时长在30s之内时，将预设时间间隔设为0.2s。

在本实施例另一个可选的实施方式中，所述预设时间间隔还可以根据视频的帧速率进行设定。

在本实施例的一个可选的实施方式中，当该实施例的执行主体与当前视音频的播放设备为同一设备时，可截取歌曲高潮的部分作为当前视音频数据进行匹配。

可选的，所述在所述音频作品信息数据库中，查找与所述视频特征信息相匹配的第二音频创作者信息包括：

所述在所述音频作品信息数据库中，查找与所述第一头像指纹相匹配的第二头像指纹；所述第二音频创作者信息中包括所述第二头像指纹。

可选的，所述将所述第二音频创作者信息与所述音频指纹信息建立匹配关系包括：

将所述音频指纹信息与所述第二头像指纹对应的人名建立匹配关系；所述第二音频创作者信息包括所述人名。

本实施例优选的，这里的人名即指歌星的姓名。

可选的，将与所述音频指纹信息相匹配的音频作品信息发送至播放终端并展示给用户包括：

当查找到与所述音频指纹信息相匹配的第一音频创作者信息时，将所述第一音频创作者信息发送至播放终端并展示给用户；

当无法查找到与所述音频指纹信息相匹配的第一音频创作者信息时，将所述第二音频创作者信息发送至播放终端并展示给用户。

实施例二

本实施例应用于：当用户在家庭环境、KTV环境、商场的练歌录音房以及任何可能的K歌环境中，出现一个不知道歌星姓名的MV时；或，

当用户在自用的终端(如移动终端、电视或计算机)发现一个不知道歌星姓名的MV时；或，

当用户在户内、户外等任何可能播放MV的环境中，发现一个不知道歌星姓名的MV时。

图2是本发明实施例一种音频匹配装置的结构框图，如图示包括：

音频指纹获取单元201，用于获取当前视音频数据中的音频指纹信息；

如上所述，所述当前视音频数据的播放设备，可以是该步骤101的执行主体，也可以不是。

当用户发现所处环境中非自用播放终端正在播放一个MV时，可以通过移动终端录制一小段该MV的视音频数据，用以进行音频匹配。即，当前视音频数据的播放设备为用户所处环境的任一播放设备，而该步骤101的执行主体为用户的移动终端。

以上任一种情况下，当接收到用户需要匹配该视音频的歌星时，获取当前视音频数据中的音频指纹信息。

本实施例优选的，所述获取当前视音频数据中的音频指纹信息包括：

将当前正在播放的视音频数据中的音频进行傅氏变换，将其从时域变换至频域，得到其音频指纹信息。

第一匹配单元202，用于在音频作品信息数据库中，查找与所述音频指纹信息相匹配的第一音频创作者信息；

本实施例优选的，所述音频作品信息数据库通过区块链技术存储于云端，该音频作品信息数据库实时更新，包括歌星的头像信息及其对应的音频指纹信息，这里与歌星关联的并非作品信息，而是音频指纹信息。

本实施例所述的第一音频创作者信息并不是指当前视音频数据对应的MV的信息，而是包括歌星的姓名、相貌、基础信息在内的歌星信息。本实施例优选的，查找与音频指纹信息相匹配的第一音频创作者信息，包括查找与该音频指纹信息匹配的歌星信息。

视频特征获取单元203，用于当无法查找到与所述音频指纹信息相匹配的第一音频创作者信息时，获取所述当前视音频数据中的视频特征信息；

当上述音频作品信息数据库中，不存在与该音频指纹信息相匹配的创作者信息时，通过相应的视频信息进行匹配。

第二匹配单元204，用于在所述音频作品信息数据库中，查找与所述视频特征信息相匹配的第二音频创作者信息；

本实施例优选的，将当前视音频数据中出现频率最高的头像与音频作品信息数据库中存在的头像数据进行匹配。

关联单元205，用于将所述第二音频创作者信息与所述音频指纹信息建立匹配关系，并将该匹配关系存储至所述音频作品信息数据库中；

反馈单元206，用于将与所述音频指纹信息相匹配的音频作品信息发送至播放终端并展示给用户。

可选的，所述视频特征获取单元203包括：

抽帧子单元2031，用于将所述当前视音频数据中的视频文件根据预设时间间隔进行抽帧，得到多个抽样帧；

统计子单元2032，用于分别对所述抽样帧进行人脸识别并进行数据统计，得到出现频率最高的人的面部数据；

视频特征生成子单元2033，用于根据所述出现频率最高的人的面部数据，生成视频特征信息；所述视频特征信息包括与所述出现频率最高的人的面部数据对应的第一头像指纹。

本实施例优选的，预设时间间隔根据当前视音频数据的长度进行设定。例如，当时长超过1min时，将预设时间间隔设为1s；当时长在30s和1min之间时，设为0.5s；当时长在30s之内时，将预设时间间隔设为0.2s。

在本实施例另一个可选的实施方式中，所述预设时间间隔还可以根据视频的帧速率进行设定。

在本实施例的一个可选的实施方式中，当该实施例的执行主体与当前视音频的播放设备为同一设备时，可截取歌曲高潮的部分作为当前视音频数据进行匹配。

可选的，所述第二匹配单元204包括：

头像匹配子单元，用于在所述音频作品信息数据库中，查找与所述第一头像指纹相匹配的第二头像指纹；所述第二音频创作者信息中包括所述第二头像指纹。

可选的，所述关联单元205包括：

头像关联子单元，用于将所述音频指纹信息与所述第二头像指纹对应的人名建立匹配关系；所述第二音频创作者信息包括所述人名。

可选的，所述反馈单元206包括：

第一反馈子单元2061，用于当查找到与所述音频指纹信息相匹配的第一音频创作者信息时，将所述第一音频创作者信息发送至播放终端并展示给用户；

第二反馈子单元2062，用于当无法查找到与所述音频指纹信息相匹配的第一音频创作者信息时，将所述第二音频创作者信息发送至播放终端并展示给用户。

上述技术方案具有如下有益效果：

本发明通过将原视频进行头像识别，进而与歌星建立关联性，解决了现有技术中无法根据视音频信息找到相应歌星信息的问题。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种音频匹配方法，其特征在于，包括：

获取当前视音频数据中的音频指纹信息；

在音频作品信息数据库中，查找与所述音频指纹信息相匹配的第一音频创作者信息；

当无法查找到与所述音频指纹信息相匹配的第一音频创作者信息时，获取所述当前视音频数据中的视频特征信息；

在所述音频作品信息数据库中，查找与所述视频特征信息相匹配的第二音频创作者信息；

将所述第二音频创作者信息与所述音频指纹信息建立匹配关系，并将该匹配关系存储至所述音频作品信息数据库中；

将与所述音频指纹信息相匹配的音频作品信息发送至播放终端并展示给用户。

2.根据权利要求1所述的方法，其特征在于，所述获取所述当前视音频数据中的视频特征信息，包括：

将所述当前视音频数据中的视频文件根据预设时间间隔进行抽帧，得到多个抽样帧；

分别对所述抽样帧进行人脸识别并进行数据统计，得到出现频率最高的人的面部数据；

根据所述出现频率最高的人的面部数据，生成视频特征信息；所述视频特征信息包括与所述出现频率最高的人的面部数据对应的第一头像指纹。

3.根据权利要求2所述的方法，其特征在于，所述在所述音频作品信息数据库中，查找与所述视频特征信息相匹配的第二音频创作者信息包括：

在所述音频作品信息数据库中，查找与所述第一头像指纹相匹配的第二头像指纹；所述第二音频创作者信息中包括所述第二头像指纹。

4.根据权利要求3所述的方法，其特征在于，所述将所述第二音频创作者信息与所述音频指纹信息建立匹配关系包括：

将所述音频指纹信息与所述第二头像指纹对应的人名建立匹配关系；所述第二音频创作者信息包括所述人名。

5.根据权利要求1所述的方法，其特征在于，将与所述音频指纹信息相匹配的音频作品信息发送至播放终端并展示给用户包括：

当查找到与所述音频指纹信息相匹配的第一音频创作者信息时，将所述第一音频创作者信息发送至播放终端并展示给用户；

当无法查找到与所述音频指纹信息相匹配的第一音频创作者信息时，将所述第二音频创作者信息发送至播放终端并展示给用户。

6.一种音频匹配装置，其特征在于，包括：

音频指纹获取单元，用于获取当前视音频数据中的音频指纹信息；

第一匹配单元，用于在音频作品信息数据库中，查找与所述音频指纹信息相匹配的第一音频创作者信息；

视频特征获取单元，用于当无法查找到与所述音频指纹信息相匹配的第一音频创作者信息时，获取所述当前视音频数据中的视频特征信息；

第二匹配单元，用于在所述音频作品信息数据库中，查找与所述视频特征信息相匹配的第二音频创作者信息；

关联单元，用于将所述第二音频创作者信息与所述音频指纹信息建立匹配关系，并将该匹配关系存储至所述音频作品信息数据库中；

反馈单元，用于将与所述音频指纹信息相匹配的音频作品信息发送至播放终端并展示给用户。

7.根据权利要求6所述的装置，其特征在于，所述视频特征获取单元包括：

抽帧子单元，用于将所述当前视音频数据中的视频文件根据预设时间间隔进行抽帧，得到多个抽样帧；

统计子单元，用于分别对所述抽样帧进行人脸识别并进行数据统计，得到出现频率最高的人的面部数据；

视频特征生成子单元，用于根据所述出现频率最高的人的面部数据，生成视频特征信息；所述视频特征信息包括与所述出现频率最高的人的面部数据对应的第一头像指纹。

8.根据权利要求7所述的装置，其特征在于，所述第二匹配单元包括：

头像匹配子单元，用于在所述音频作品信息数据库中，查找与所述第一头像指纹相匹配的第二头像指纹；所述第二音频创作者信息中包括所述第二头像指纹。

9.根据权利要求8所述的装置，其特征在于，所述关联单元包括：

头像关联子单元，用于将所述音频指纹信息与所述第二头像指纹对应的人名建立匹配关系；所述第二音频创作者信息包括所述人名。

10.根据权利要求6所述的装置，其特征在于，所述反馈单元包括：

第一反馈子单元，用于当查找到与所述音频指纹信息相匹配的第一音频创作者信息时，将所述第一音频创作者信息发送至播放终端并展示给用户；

第二反馈子单元，用于当无法查找到与所述音频指纹信息相匹配的第一音频创作者信息时，将所述第二音频创作者信息发送至播放终端并展示给用户。