CN105868397B - 一种歌曲确定方法和装置 - Google Patents

一种歌曲确定方法和装置 Download PDF

Info

Publication number
CN105868397B
CN105868397B CN201610244446.8A CN201610244446A CN105868397B CN 105868397 B CN105868397 B CN 105868397B CN 201610244446 A CN201610244446 A CN 201610244446A CN 105868397 B CN105868397 B CN 105868397B
Authority
CN
China
Prior art keywords
song
audio
candidate
matching
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610244446.8A
Other languages
English (en)
Other versions
CN105868397A (zh
Inventor
赵伟锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201610244446.8A priority Critical patent/CN105868397B/zh
Publication of CN105868397A publication Critical patent/CN105868397A/zh
Priority to PCT/CN2017/079631 priority patent/WO2017181852A1/zh
Priority to KR1020187010247A priority patent/KR102110057B1/ko
Priority to JP2018526229A priority patent/JP6576557B2/ja
Priority to MYPI2018701777A priority patent/MY194965A/en
Priority to US16/102,478 priority patent/US10719551B2/en
Application granted granted Critical
Publication of CN105868397B publication Critical patent/CN105868397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/632—Query formulation
    • G06F16/634—Query by example, e.g. query by humming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/632—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
    • G10L2025/937—Signal energy in various frequency bands

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

本发明实施例公开了一种歌曲确定方法和装置，本发明实施例采用提取视频中的音频文件，并获取该音频文件中插曲所属候选歌曲的候选歌曲标识，以得到候选歌曲标识集合，然后，获取候选歌曲标识对应的候选歌曲文件，并获取该候选歌曲文件与该音频文件之间相匹配的匹配音频帧，以得到匹配音频帧单元，其中，该匹配音频帧单元包括多个连续的匹配音频帧，根据该候选歌曲标识对应的该匹配音频帧单元，从该候选歌曲标识集合中获取该插曲所属目标歌曲的目标歌曲标识，并根据该目标歌曲标识确定该插曲所属的目标歌曲；该方案，相对于现有技术而言，可以提高确定或者定位视频插曲对应歌曲的精确性。

Description

一种歌曲确定方法和装置
技术领域
本发明涉及音视频处理技术领域，具体涉及一种歌曲确定方法和装置。
背景技术
随着互联网的发展和通信网络的发展，视频技术也随之得到了突飞猛进的发展，网络视频得到了广泛的推广，越多的用户通过网络观看视频。
目前一些视频中经常会出现插曲，此时，就需要为视频的插曲添加歌词，以使得用户可以观看到插曲的歌词，提升用户体验。而为视频插曲填充歌词首先需要确定或者定位视频插曲所属的歌曲，目前确定或者定位视频插曲所属歌曲的方式主要为：提取视频中视频插曲片段，然后，将视频插曲片段与音乐库中的歌曲进行大致的匹配，将匹配成功的歌曲作为视频插曲所属的歌曲。
在对现有技术的研究和实践过程中，本发明的发明人发现，现有确定或者定位视频插曲所属的歌曲方案中，由于视频插曲片段提取的准确性低，以及歌曲匹配采用较为简单的匹配方式，因此，会导致确定视频插曲对应歌曲的精确性比较低。
发明内容
本发明实施例提供一种歌曲确定方法和装置，可以提高确定视频插曲对应歌曲的精确性。
本发明实施例提供一种歌曲确定方法，包括：
提取视频中的音频文件，并获取所述音频文件中插曲所属候选歌曲的候选歌曲标识，以得到候选歌曲标识集合；
获取候选歌曲标识对应的候选歌曲文件，并获取所述候选歌曲文件与所述音频文件之间相匹配的匹配音频帧，以得到匹配音频帧单元，其中，所述匹配音频帧单元包括多个连续的匹配音频帧；
根据所述候选歌曲标识对应的所述匹配音频帧单元，从所述候选歌曲标识集合中获取目标歌曲标识，并根据所述目标歌曲标识确定所述插曲所属的目标歌曲。
相应的，本发明实施例还提供一种歌曲确定装置，包括：
标识获取单元，用于提取视频中的音频文件，并获取所述音频文件中插曲所属候选歌曲的候选歌曲标识，以得到候选歌曲标识集合；
音频帧获取单元，用于获取候选歌曲标识对应的候选歌曲文件，并获取所述候选歌曲文件与所述音频文件之间相匹配的匹配音频帧，以得到匹配音频帧单元，其中，所述匹配音频帧单元包括多个连续的匹配音频帧；
歌曲确定单元，用于根据所述候选歌曲标识对应的所述匹配音频帧单元，从所述候选歌曲标识集合中获取目标歌曲标识，并根据所述目标歌曲标识确定所述插曲所属的目标歌曲。
本发明实施例采用提取视频中的音频文件，并获取该音频文件中插曲所属候选歌曲的候选歌曲标识，以得到候选歌曲标识集合，然后，获取候选歌曲标识对应的候选歌曲文件，并获取该候选歌曲文件与该音频文件之间相匹配的匹配音频帧，以得到匹配音频帧单元，其中，该匹配音频帧单元包括多个连续的匹配音频帧，根据该候选歌曲标识对应的该匹配音频帧单元，从该候选歌曲标识集合中获取该插曲所属目标歌曲的目标歌曲标识，并根据该目标歌曲标识确定该插曲所属的目标歌曲；该方案可以先获取视频插曲所属候选歌曲的候选歌曲标识集合，然后，基于视频的音频文件与歌曲之间的匹配音频帧，从候选歌曲标识集合中选取视频插曲所属歌曲的标识，从而确定视频插曲所属的歌曲，相对于现有技术而言，可以提高确定或者定位视频插曲对应歌曲的精确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种歌曲确定方法的流程图；
图2a是本发明实施例二提供的一种获取候选歌曲标识的流程图；
图2b是本发明实施例二提供的频谱峰值点分布图；
图2c是本发明实施例二提供的过滤后的频谱峰值点分布图；
图3a是本发明实施例三提供的第一种歌曲确定装置的结构示意图；
图3b是本发明实施例三提供的第二种歌曲确定装置的结构示意图；
图3c是本发明实施例三提供的第三种歌曲确定装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种歌曲确定方法和装置。以下将分别进行详细说明。
实施例一、
本实施例将从歌曲确定装置的角度进行描述，该歌曲确定装置具体可以集成在服务器等需要确定视频插曲对应歌曲的设备中。
一种歌曲确定方法，包括：提取视频中的音频文件，并获取该音频文件中插曲所属候选歌曲的候选歌曲标识，以得到候选歌曲标识集合，然后，获取候选歌曲标识对应的候选歌曲文件，并获取该候选歌曲文件与该音频文件之间相匹配的匹配音频帧，以得到匹配音频帧单元，其中，该匹配音频帧单元包括多个连续的匹配音频帧，根据该候选歌曲标识对应的该匹配音频帧单元，从该候选歌曲标识集合中获取该插曲所属目标歌曲的目标歌曲标识，并根据该目标歌曲标识确定该插曲所属的目标歌曲。
如图1所示，该歌曲确定方法的具体流程可以如下：
101、提取视频中的音频文件，并获取该音频文件中插曲所属候选歌曲的候选歌曲标识，以得到候选歌曲标识集合。
其中，获取视频的方式可以有多种，比如，可以向视频服务器发送请求来获取视频，也可以从本地存储中提取视频；也即步骤“提取视频中的音频文件”可以包括：
向视频服务器发送视频获取请求；
接收该视频服务器根据该视频获取请求返回的视频；
提取该视频中的音频文件。
该提取视频中的音频文件的方式可以有多种，比如，可以对视频进行音视频分离处理，以得到视频的音频文件；即步骤“提取视频中的音频文件”可以包括：对视频进行音视频分离处理，以得到视频的音频文件。
在本实施例中，插曲所属的候选歌曲可以为可能与视频插曲相匹配的歌曲，该候选歌曲标识为与视频插曲匹配的歌曲的标识。
该获取候选歌曲标识的方式可以有多种，比如，先将视频的音频文件划分成多个音频段，然后，将每个音频段与歌曲(曲库中的歌曲)进行匹配，以得与视频插曲相匹配的歌曲，将该歌曲的标识作为候选歌曲标识；具体地，基于音频段与歌曲的音频指纹进行歌曲匹配；也即步骤“获取该音频文件中插曲所属候选歌曲的候选歌曲标识”可以包括：
将该音频文件划分成多个音频段，并获取该音频段的音频指纹；
确定预设样本集合中是否存在与该音频指纹匹配的指纹样本；
若是，则获取匹配指纹样本对应的歌曲标识，以得到该音频段对应的歌曲标识集合，该歌曲标识集合包括多个该歌曲标识；
从该歌曲标识集合中，选取该插曲所属候选歌曲的候选歌曲标识。
其中，获取候选歌曲标识的具体过程将在实施例二种作进一步描述，可以参考实施例二。
102、获取候选歌曲标识对应的候选歌曲文件，并获取该候选歌曲文件与该音频文件之间相匹配的匹配音频帧，以得到匹配音频帧单元，其中，该匹配音频帧单元包括多个连续的匹配音频帧。
比如，可以从歌曲服务器的歌曲数据库中获取候选歌曲标识对应的候选歌曲文件，具体地，可以向歌曲服务器发送请求来获取对应的歌曲文件；也即步骤“获取候选歌曲标识对应的候选歌曲文件”可以包括：
向歌曲服务器发送歌曲获取请求，该歌曲获取请求携带候选歌曲标识；
接收该歌曲服务器根据该歌曲获取请求返回的候选歌曲文件。
其中，匹配音频帧可以为候选歌曲文件与该音频文件之间相匹配的匹配音频帧，比如，在候选歌曲文件包括多个第一音频帧，音频文件包括多个第二音频帧时，候选歌曲文件中与该音频文件中第二音频帧匹配的第一音频帧为匹配音频帧，同样，音频文件中与候选歌曲文件中第一音频帧匹配的第二音频帧也为匹配音频帧。此时，该匹配音频帧单元可以为候选歌曲文件中的音频帧单元，也可以为音频文件中的音频帧单元。
本实施例中，获取匹配音频帧的方式可以有多种，比如，将候选歌曲中音频帧与音频文件中的音频帧进行匹配，具体地，音频帧匹配可以基于音频帧的音频特征匹配，如将候选歌曲文件中的第一音频帧的音频特征与音频文件中第二音频帧的音频特征进行匹配，根据音频帧的音频特征匹配结果来获取匹配音频帧；也即步骤“获取该候选歌曲文件与该音频文件之间相匹配的匹配音频帧，以得到匹配音频帧单元”可以包括：
将该候选歌曲文件中第一音频帧的音频特征与该音频文件中第二音频帧的音频特征进行匹配，以得到匹配结果；
根据该匹配结果获取该候选歌曲文件与该音频文件之间相匹配的匹配音频帧；
根据该匹配音频帧获取匹配音频帧单元。
其中，音频帧的音频特征可以称为音频指纹，该音频特征的获取方式可以有多种，比如，可以根据音频帧对应频段的平均幅值来获取，也即在步骤“根据候选歌曲标识获取相应的候选歌曲文件”之后，步骤“将该候选歌曲文件中第一音频帧对应的音频特征与该音频文件中第二音频帧对应的音频特征进行匹配”之前，该歌曲确定方法还可以包括：获取该候选歌曲文件中第一音频帧对应的音频特征；具体地，步骤“获取该候选歌曲文件中第一音频帧对应的音频特征”可以包括：
获取所候选歌曲文件中每个第一音频帧对应的频谱；
将该第一音频帧对应的频谱划分成预设数量的频段，并获取该频段对应的平均幅值；
将每个该频段的平均幅值与上一个第一音频帧对应频段的平均幅值进行比较，以得到比较结果；
根据该比较结果获取该第一音频帧对应的音频特征。
例如，将候选歌曲文件转换成预设格式的音频(如8k16bit音频)，然后，以第一预设数量的采样点为一帧，以第二预设数量的采样点为帧移进行傅立叶变换，得到频谱(如以1856个采样点为一帧，以58个采样点为帧移进行傅立叶变换)，接着，将该频谱平均分成第三预设数量(如32个)的频段，并计算每个频段对应的平均幅度值，随后，将每个频段与上一个帧中对应频段进行比较(第二音频帧中第一个频段与第一个音频帧第一频段进行比较，第二音频帧中第二频段与第一个音频帧第二频段进行比较……依次类推直到比较完所有频段)，若大于则为1，小于则为0，这样每一个帧将会得到第三预设数量个bit值组成的数据单元，该数据单元即为该帧的音频特征；具体地，在将频谱划分长32个频段的情况下，每一音频帧将会得到一个包括32个bit值的数据单元，该32个bit值即为每一音频帧的音频特征。
同样，视频中的音频文件的音频特征也可以采用上述获取方式获取，具体地获取过程可以参考上述描述，这里就不在赘述。
本实施例中音频特征的匹配方式可以有多种，比如，可以以帧单元为一个单位进行特征匹配，即步骤“将该候选歌曲文件中第一音频帧对应的音频特征与该音频文件中第二音频帧对应的音频特征进行匹配，以得到匹配结果”可以包括：
获取该候选歌曲文件中第一音频帧的帧数，从该音频文件中选取音频帧单元，该音频帧单元包括与该帧数相等数量的第二音频帧；
将该候选歌曲文件中第一音频帧的音频特征与该音频帧单元中第二音频帧的音频特征进行匹配，以得到音频特征匹配结果；
此时，步骤“根据该匹配结果获取该候选歌曲文件与该音频文件之间相匹配的匹配音频帧”可以包括：根据该音频特征匹配结果获取该候选歌曲文件与该音频文件之间相匹配的匹配音频帧，该匹配音频帧为音频特征匹配成功的音频帧；
相应地，步骤“根据该匹配音频帧获取匹配音频帧单元”可以包括：获取该匹配音频帧连续的个数，并根据该个数获取相应的匹配音频帧单元。
具体地，步骤“获取该匹配音频帧连续的个数，并根据该个数获取相应的匹配音频帧单元”可以包括：
根据匹配音频帧获取帧连续单元，该帧连续单元包括多个连续的该匹配音频帧；
获取帧连续单元中匹配音频帧的个数，并根据该个数确定该帧连续单元为匹配音频帧单元。
比如，候选歌曲有n个第一音频帧，音频文件有m个第二音频帧，m＞n，且均为正整数时，从m个第二音频帧中连续选取n个第二音频帧组成音频帧单元a，然后，将音频帧单元a中第二音频帧的音频特征与候选歌曲中相应第一音频帧的音频特征进行匹配(如将音频帧单元a中第一个音频帧与候选歌曲中第一个音频帧的音频特征进行匹配，将音频帧单元a中第二个音频帧与候选歌曲中第二音频帧的音频特征进行匹配……将音频帧单元a第n个音频帧与候选歌曲中第n个音频帧的音频特征进行匹配)，此时，需要进行n次的特征匹配，以得到音频特征匹配结果，如该结果包括音频特征匹配成功的第一音频帧和第二音频帧，根据该匹配结果获取匹配音频帧，并获取帧连续单元以及该帧连续单元中匹配音频帧的个数；接着，重新从m个第一音频帧连续选取新的n个第二音频帧组成新的音频帧单元b，其中，该音频帧单元b与音频帧单元a存在至少一个不同的第二音频帧(也即，重新连续选取的n个第二音频帧，与之前连续选取的n个第二音频帧至少存在一个不同的音频帧；如，之前选取第1个第二音频帧……第10个第二音频帧组成音频帧单元a，之后可以选取第2个第二音频帧……第11个音频帧组成音频帧单元b)，将音频帧单元b中第二音频帧的音频特征与候选歌曲中相应第一音频帧的音频特征进行匹配(如将音频帧单元b中第一个音频帧与候选歌曲中第一个音频帧的音频特征进行匹配，将音频帧单元b中第二个音频帧与候选歌曲中第二音频帧的音频特征进行匹配……将音频帧单元b第n个音频帧与候选歌曲中第n个音频帧的音频特征进行匹配)，以得音频特征匹配结果，如该结果包括音频特征匹配成功的第一音频帧和第二音频帧，根据该匹配结果获取匹配音频帧，并获取帧连续单元以及该帧连续单元中匹配音频帧的个数，……依次类推接下来还需要重新连续选取新的n个第二音频帧组成音频帧单元，并进行音频特征匹配，以获取匹配音频帧连续的个数，直到每个第二音频帧均经过匹配之后才停止匹配。
在经过前述匹配之后，可以得到一系列帧连续单元及其对应的匹配音频帧个数，此时，可以基于该个数来确定帧连续单元为匹配音频帧单元。比如，可以选取匹配音频帧个数最大的帧连续单元为匹配音频帧单元；也即步骤“根据该个数确定该帧连续单元为匹配音频帧单元”可以包括：当该帧连续单元的匹配音频帧个数大于其余帧连续单元的匹配音频帧个数时，确定该帧连续单元为匹配音频帧单元。
比如，候选歌曲有10个音频帧p，即10帧，音频文件有20个音频帧q，即20帧时，可以选取第1至第10个音频帧b组成第一音频帧单元，然后，将第一音频帧单元第1-10个音频帧q与10个音频帧p进行匹配，以得到匹配音频帧(具体地，将音频帧单元中第一个音频帧q与第一音频帧p进行特征匹配……第十个音频q与第十个音频帧p进行特征匹配)，获取连续的匹配音频帧组成帧连续单元，并获取帧连续单元中匹配音频帧的个数；接着，选取第2至11个音频帧q组成第二音频帧单元，然后，将第二音频帧单元中第1-10个音频帧q与10个音频帧p进行匹配，以得到匹配音频帧，获取连续的匹配音频帧组成帧连续单元，并获取帧连续单元中匹配音频帧的个数，……依次类推直到选取第11至第20个音频帧q组成音频帧单元进行特征匹配为止。经过前面的特征匹配，可以得到多个帧连续单元及其对应的匹配音频帧个数，此时，可以选取匹配音频帧个数最大的帧连续单元作为匹配音频帧单元，即选取最长的帧连续单元作为匹配音频帧单元。
103、根据该候选歌曲标识对应的该匹配音频帧单元，从该候选歌曲标识集合中获取该插曲所属目标歌曲的目标歌曲标识，并根据所述目标歌曲标识确定所述插曲所属的目标歌曲。
通过步骤102可以获取候选歌曲标识对应的候选歌曲文件与音频文件之间相匹配的匹配音频帧单元，即每个候选歌曲标识对应的匹配音频帧单元，这样便可以根据候选歌曲标识对应的匹配音频帧单元从候选歌曲标识集合选取视频插曲所属目标个的目标歌曲标识；比如，可以对匹配音频帧单元进行帧扩展得到候选歌曲文件与音频文件之间相匹配的匹配歌曲片段，然后，基于该匹配歌曲片段来获取目标歌曲标识；也即步骤“根据该候选歌曲标识对应的该匹配音频帧单元，从该候选歌曲标识集合中获取该插曲所属目标歌曲的目标歌曲标识”可以包括：
对该候选歌曲标识对应的该匹配音频帧单元进行音频帧扩展，以得到该候选歌曲标识对应的匹配歌曲片段；
根据该匹配歌曲片段获取候选歌曲标识对应的时间信息，该时间信息包括：该匹配歌曲片段在该视频中的第一起始时间、在该候选歌曲中的第二起始时间以及该匹配歌曲片段的时长；
根据该候选标识对应的时间信息从该候选歌曲标识集合中获取该插曲所属目标歌曲的目标歌曲标识。
其中，候选歌曲标识对应的匹配歌曲片段为候选歌曲标识对应的候选歌曲与音频文件相匹配的匹配歌曲片段，该匹配歌曲片段可以为候选歌曲中的歌曲片段，也可以为音频文件中的歌曲片段；本实施例中，由于匹配歌曲片段由音频帧组成，在获取匹配歌曲片段之后即可根据片段中音频帧获取该片段在候选歌曲中的起始时间，在视频中的起始时间，以及该片段的时长(即该片段的长度)，比如，可以根据片段的音频帧在歌曲中序号获取片段在候选歌曲中的起始时间，也可以根据片段的音频帧在音频文件中序号获取片段在视频中的起始时间。
本实施例中，对匹配音频帧单元进行帧扩展的方式可以有多种，比如，分别在候选歌曲文件和音频文件中进行帧扩展，也即步骤“对该候选歌曲标识对应的该匹配音频帧单元进行音频帧扩展，以得到该候选歌曲标识对应的匹配歌曲片段”可以包括：
分别在该候选歌曲文件和该音频文件中对该匹配音频帧单元进行音频帧扩展，以得到该候选歌曲文件中的第一匹配音频帧扩展单元以及该音频文件中的第二匹配音频帧扩展单元；
将该第一匹配音频帧扩展单元中第一音频帧的音频特征与该第二匹配音频帧扩展单元中第二音频帧的音频特征进行匹配，以得到扩展单元之间的匹配音频帧；
根据该扩展单元之间的匹配音频帧的数量，确定该第一匹配音频帧扩展单元或者第二匹配音频帧扩展单元为该候选歌曲与该音频文件之间相匹配的匹配歌曲片段。
优选地，可以在候选歌曲文件中音频文件同步进行帧扩展，即扩展的音频帧数相同，方向相同。
其中，根据该扩展单元之间的匹配音频帧的数量确定匹配歌曲片段的方式可以有多种，比如当该数量大于某个预设数量时，确定此时的扩展单元为匹配歌曲片段，又比如，当匹配音频帧的数量与扩展单元音频帧总数量的比值大于预设比值(如90％)时，确定此时的扩展单元为匹配歌曲片段。
在获取候选歌曲标识对应的时间信息情况下，步骤“根据该候选标识对应的时间信息从该候选歌曲标识集合中获取目标歌曲标识”可以包括：
根据候选歌曲标识对应的第二起始时间和该时长获取该候选歌曲标识对应的播放时间，该播放时间为该匹配歌曲片段在该视频中的播放时间；
根据候选歌曲标识对应的播放时间对该候选歌曲标识集合中的候选歌曲标识进行过滤，以得到过滤后的候选标识集合；
将该过滤后的候选标识集合中的该候选歌曲作为目标歌曲标识。
比如，在获取候选歌曲标识对应的播放时间之后，可以确定播放时间具有包含关系的候选歌曲标识，然后，过滤掉播放时间被包含的候选歌曲标识，即过滤掉播放时间具有包含关系的候选歌曲标识中播放时间短的候选歌曲标识；例如歌曲ID1对应的播放时间为第1s到第10s，歌曲ID2对应的播放时间为第2s到第5s，歌曲ID3对应的播放时间为第3s至第8s；此时，歌曲ID1、ID2、ID3对应的播放时间具有包含关系，因此，可以过滤播放时间较短的歌曲ID，这里，过滤掉歌曲ID2和ID3。
又比如，在获取候选歌曲标识对应的播放时间之后，还可以确定播放时间具有重叠关系的候选歌曲标识，然后，过滤掉播放时长较短的候选歌曲标识。例如，歌曲ID1对应的播放时间为第1s到第10s，歌曲ID2对应的播放时间为第5s到第12s，此时，可以过滤掉播放时长短的歌曲ID，这里歌曲ID1的播放时长为10s，歌曲ID2的播放时长为7s，因此，过滤掉歌曲ID2。
本实施例在获取目标歌曲标识之后，可以将目标歌曲标识对应的歌曲作为插曲所属的目标歌曲。
可选地，本实施方法还可以在获取视频插曲对应的目标歌曲标识之后，将视频插曲的歌词填充至视频中，以使得播放视频插曲时显示视频插曲的歌词；也即，本实施例方法在步骤103之后，还可以包括：
根据所述目标歌曲标识及其对应的匹配音频帧单元，将所述插曲对应的歌词填充至所述视频。
具体地，在对匹配音频帧单元进行扩展得到匹配歌曲片段及其时间信息的情况下，步骤“根据所述目标歌曲标识及其对应的匹配音频帧单元，将所述插曲对应的歌词填充至所述视频”可以包括：根据目标歌曲标识及其对应的时间信息，获取该插曲对应的歌词，并将该歌词填充至该视频，其中，时间信息为该目标歌曲对应的匹配歌曲片段的时间信息。
比如，可以根据目标歌曲标识对应的匹配歌曲片段在歌曲中的起始时间、以及该匹配歌曲片段的时长，获取插曲对应的歌词，以及根据该匹配歌曲片段在视频中的起始时间以及时长来进行歌词填充；也即步骤“根据目标歌曲标识及其对应的时间信息，获取该插曲对应的歌词，并将该歌词填充至该视频”可以包括：
根据目标歌曲标识及其对应的该第一起始时间、该时长，获取该插曲对应的歌词；
根据该目标歌曲标识对应的该第二起始时间和该时长，将该歌词填充至该视频。
比如，可以根据目标歌曲标识获取相应目标歌曲的目标歌词文件，然后，根据匹配歌曲片段在该目标歌曲中的起始时间和匹配歌曲片段的时长，从该目标歌词文件中提取插曲对应的歌词；即步骤“根据目标歌曲标识及其对应的该第一起始时间、该时长，获取该插曲对应的歌词”可以包括：
根据目标歌曲标识获取相应的目标歌曲的歌词文件；
根据目标歌曲标识对应的第一起始时间和时长，从该歌词文件中提取相应的歌词，以作为插曲的歌词。
例如，目标歌曲标识为歌曲1，该歌曲1对应的匹配歌曲片段在歌曲1中的起始时间为第5s，该匹配歌曲片段为10s，此时，可以从歌曲1的歌词文件中获取第5s至15s的歌词。
又比如，步骤“根据该目标歌曲标识对应的该第二起始时间和该时长，将该歌词填充至该视频”可以包括：
根据该目标歌曲对应的第二起始时间和时长，获取歌词在视频中的展示时间；
根据该展示时间将该歌词填充至该视频。
例如，目标歌曲标识对应的匹配歌曲片段在视频中的第二起始时间为第7s，以及匹配歌曲片段的时长为8s，此时，可以得到歌词在视频中的展示时间为第7s至第15s，之后，可以基于该展示时间在视频的相应位置插入该歌词。
可选地，为展示完整语句的插曲歌词，以提升用户体验，在获取插曲歌词之后可以确定歌词是否为完整的语句，若是，则进行歌词填充操作；也即在步骤“获取该插曲对应的歌词”之后，步骤“将歌词填充至该视频”之前，该方法还可以包括：
确定该歌词是否为完整的语句；
若是，则执行根据该目标歌曲标识对应的该第二起始时间和该时长，将该歌词填充至该视频的步骤。
可选地，为了提高用户体验，本实施例还可以在视频中设置一个接口，以使得在播放视频插曲时可以通过该接口跳转到播放该视频插曲所属的歌曲；也即在步骤“在获取该插曲目标歌曲标识”之后，该方法还可以包括：
根据目标歌曲标识在该视频中设置跳转接口，以使得终端在播放该插曲时通过该跳转接口跳转至播放该插曲所属的目标歌曲。
其中，该跳转接口的形式可以为多种，比如可以为按钮、输入框等等，可以根据实际需求设定。
可选地，为提高用户体验，本实施例还可以同样在视频中设置一个为接口，以使得在播放视频插曲时可以通过该接口将视频插曲所属的目标歌曲添加到音乐软件的歌曲列表中，也即在步骤“获取所述插曲所属目标歌曲的目标歌曲标识”之后，本实施例方法还可以包括：
根据目标歌曲标识在所述视频中设置添加接口，以使得终端在播放所述插曲时通过所述添加接口将所述目标歌曲添加到音乐软件的歌曲列表中。
其中，该添加接口的形式可以为多种，比如可以为按钮、输入框等等，可以根据实际需求设定；音乐软件可以为常用的音乐播放软件，如网易云音乐、酷狗音乐等等，该歌曲列表可以为歌单或者歌曲播放列表，如收藏歌单等等。
由上可知，本发明实施例采用提取视频中的音频文件，并获取该音频文件中插曲所属候选歌曲的候选歌曲标识，以得到候选歌曲标识集合，然后，获取候选歌曲标识对应的候选歌曲文件，并获取该候选歌曲文件与该音频文件之间相匹配的匹配音频帧，以得到匹配音频帧单元，其中，该匹配音频帧单元包括多个连续的匹配音频帧，根据该候选歌曲标识对应的该匹配音频帧单元，从该候选歌曲标识集合中获取该插曲所属目标歌曲的目标歌曲标识，并根据该目标歌曲标识确定该插曲所属的目标歌曲；该方案可以先获取视频插曲所属候选歌曲的候选歌曲标识集合，然后，基于视频的音频文件与歌曲之间的匹配音频帧，从候选歌曲标识集合中选取视频插曲所属歌曲的标识，从而确定视频插曲所属的歌曲，相对于现有技术而言，可以提高确定或者定位视频插曲对应歌曲的精确性和效率。
此外，本发明实施例还在确定视频插曲所属歌曲之后，根据目标歌曲标识及其对应的匹配音频帧单元将该插曲对应的歌词填充至该视频；该方案还可以自动完成视频插曲与歌曲的匹配，以确定视频插曲所属的歌曲，并可以自动获取视频插曲的歌词进行填充，相对于现有技术而言，还可以提高视频插曲歌词填充的准确性以及效率。
实施例二、
本实施例将实施例一所描述的歌曲确定方法的基础上，作进一步说明。
由实施例一的描述可知，可以基于视频中音频文件和候选歌曲文件之间的音频指纹匹配获取候选歌曲标识，本实施例中将着重介绍基于音频指纹匹配获取候选歌曲标识的过程，参考图2a，该获取候选歌曲标识的流程如下：
201、将该音频文件划分成多个音频段，并获取该音频段的音频指纹。
具体地，音频文件的划分方式可以有多种，比如，可以以预设帧长和预设帧移，将音频文件划分成多个音频段，每个音频段的时长与预设帧长相等，也即步骤“将该音频文件划分成多个音频段”可以包括：
将音频文件转换成相应格式的音频；
以预设帧长和预设帧移，将音频文件划分成多个音频段。
例如，将音频文件转换成8k16bit PCM音频，然后，以10秒为帧长，1秒为帧移，分割为多个以10秒钟为一段的小音频段，如，在每帧时长为1s时，将第一帧与第十帧划分成一个音频段，将第二帧与第十一帧划分成一个音频段。具体实施时可以根据实际需求选的合适的划分方式。
本实施例中音频指纹可以为多种，为了减少计算量，加快歌词填充速度，本实施例选用音频小指纹，该音频小指纹为一种数据结构，其可以由频谱上频谱峰值点组合而成，具体地，获取音频的音频帧对应的频谱，然后，提取音频帧对应的频谱峰值点，从而得到该音频对应的频谱峰值点，然后，将集合中峰值点两两组合得到音频指纹；也即步骤“获取该音频段的音频指纹”可以包括：
获取该音频段中音频帧对应的频谱；
从该频谱中提取该音频帧对应的频谱峰值点，以得到该音频段对应的峰值集合，该峰值集合包括该音频帧对应的频谱峰值点；
将该峰值集合中频谱峰值点两两进行组合，以得到该音频段的音频指纹。
可选地，步骤“将该峰值集合中频谱峰值点两两进行组合，以得到该音频段的音频指纹”可以包括：
确定与该频谱峰值点相组合的目标频谱峰值点；
将该频谱峰值点与该目标频谱峰值点进行组合，以得到音频段的音频指纹，该音频指纹包括：该频谱峰值点对应的频率、该频谱峰值点与该目标频谱峰值点之间的时间差和频率差。
其中，与该频谱峰值点相组合的目标频谱峰值点，可以为除了该频谱峰值点以外的频谱峰值点；比如，在获取音频段对应的峰值集合之后，根据峰值集合生成频率峰值点分布图，然后，在可以在频率峰值点分布图确定某个频率峰值点(也称为锚点)对应的目标区域，该目标区域包括：与该频率峰值点相组合的目标频率峰值点，接着，将该锚点与目标区域中的目标频率峰值点进行组合，组合之后，可以得到多个音频指纹。
例如，将某个频谱峰值点a1(t1，f1)与目标区域内的目标频谱峰值点a2(t2，f2)进行组合构成音频指纹D1(f1，Δf’，Δt’)，其中，频率Δf’＝f2-f1，Δt’＝t2-t1，其中，该t1可以为音频指纹D1在该音频段内的偏移时间，同样将该频谱峰值点a1(t1，f1)分别与目标区域内的目标频谱峰值点a3(t3，f3)，a4(t4，f4)进行组合，可以得到音频指纹D2(f1，Δf”，Δt”)，D2(f1，Δf”’，Δt”’),其中，Δf”＝f3-f1，Δt”＝t3-t1,Δf”；＝f4-f1，Δt”’＝t4-t1，以此类推，可以得到音频段对应的音频指纹集合。
其中，频率峰值点分布图的横轴为时间，纵轴为峰值点的频率，由于音频帧与时间具有对应关系，为了快速获取音频指纹，本实施例中可以用音频帧序号来表示时间，此外，还可以用频带索引号来表示峰值点的频率，索引号的范围可以为(0～255)，即上述峰值点t和f分别可以用音频帧序号和频段索引号来表示。此时，目标区域即可用音频帧序号和频带索引号来表示，比如，目标区域可以由时间区域和频域区域构成，其中，时间区域可以为(15～63)帧(时间差用6bit表示)，频域区域可以为(-31～31)个频带(频带差用6bit表示)，该目标区域的大小可以根据实际需求设定，为了节省资源加快获取指纹速度，优选地，该目标区域中仅可以包括三个目标频谱峰值点，即锚点对应的目标频谱峰值点的个数为3。
可选地，为了能够精确地提取音频指纹，需要保证频谱峰值点分布均匀，因此，需要对音频段的峰值集合进行峰值点过滤，具体地，过滤掉存在相互影响的峰值点，比如，由于人对声音感知时，短时谱峰值频率点之间是相互影响，一个频率分量可能掩蔽与其相近的频率分量(即所谓的听觉掩蔽效应)，所以要将时间间距较小，且频率间距较小的峰值点过滤掉，以保证选取的峰值点沿时间和频率轴分布比较均匀；即在步骤“得到音频段对应的峰值集合”之后，步骤“将该峰值集合中频谱峰值点两两进行组合”之前，该歌曲确定方法还可以包括：
根据频谱峰值点之间的时间差以及频率差，对峰值集合中频谱峰值点进行过滤。
参考图2b，为某个音频的峰值集合对应的频谱峰值点分布图，为了使得频谱峰值点分布均匀，可以对该峰值集合中峰值点进行过滤，过滤后的峰值集合对应的频谱峰值点分布参考图2c。
为了与上述实施例一中的音频指纹(即音频特征)进行区别，比如，可以基于音频指纹的大小进行区别，该实施例一中音频特征可以称为大音频指纹，本实施例中音频段的音频指纹可以称为小音频指纹。
202、确定预设样本集合中是否存在与该音频指纹匹配的指纹样本，若是，执行步骤203，若否，结束流程。
其中，预设样本集合可以包括至少一种指纹样本，该预设样本集合中每一种指纹样本为一首歌曲的音频指纹；例如，预设样本集合可以多种指纹样本，每一种指纹样本可以对应一种歌曲Id，具体地，指纹样本1对应歌曲1、指纹样本2对应歌曲2……指纹样本n对应歌曲n。
例如，可以获取音频段的多个音频指纹，然后，确定预设样本集合中是否存在每个音频指纹匹配(即相同)的指纹样本，得到多个匹配指纹样本，然后，获取每个匹配指纹样本对应的歌曲标识，以得到歌曲标识集合，该歌曲标识集合包括多个该歌曲标识。比如，对于某个音频段，该音频段对应的音频指纹包括：音频指纹D1、音频指纹D2时，将该音频段的音频指纹D1分别与预设样本集合中指纹样本一一比较，若有与音频指纹D1相同的指纹样本，则确定预设样本存在与该音频指纹D1相匹配的指纹样本，同样，可以将音频指纹D2分别与预设样本集合中指纹样本一一比较，若有与音频指纹D2相同的指纹样本，则确定预设样本集合存在与该音频指纹D2相匹配的指纹样本。
本实施例中，可以从歌曲数据库中提取歌曲，然后，提取该歌曲的音频指纹作为指纹样本，其中，提取歌曲的音频指纹的方式也可以采用上述音频段的音频指纹获取方式，即可以获取歌曲中音频帧对应的频谱，然后，提取频谱峰值点，并对频谱峰值点两两组合，以得到歌曲的音频指纹(即指纹样本)，该歌曲可以从某个歌曲数据库中提取；也即在步骤201之前，该歌曲确定方法还可以包括：
从歌曲数据库中获取歌曲；
获取歌曲对应的音频指纹，并将该歌曲对应的音频指纹作为指纹样本，以得到预设样本集合。
203、获取匹配指纹样本对应的歌曲标识，以得到该音频段对应的第一歌曲标识集合，该第一歌曲标识集合包括多个该歌曲标识。
其中，获取匹配指纹样本对应的歌曲标识的方式可以有多种，比如，可以采用映射关系集合来获取匹配指纹样本对应的歌曲标识，该映射关系集合可以包括指纹样本与歌曲标识之间的映射关系(即对应关系)，也即步骤“获取匹配指纹样本对应的歌曲标识”的步骤具体包括：
基于映射关系集合获取该匹配指纹样本对应的歌曲标识，该映射关系集合包括指纹样本与歌曲标识之间的映射关系。
其中，该映射关系集合可以为预置的映射关系集合，该指纹样本与歌曲标识之间的映射关系可以由系统预先设置，也可以由用户自行进行设置；也即在步骤“提取视频中的音频文件”之前，该歌曲确定方法还可以包括：
接收映射关系设置请求，该映射关系设置请求指示需要建立映射关系的指纹样本和歌曲标识；
根据该映射关系设置请求建立指纹样本与歌曲标识之间的映射关系，以得到映射关系集合。
本实施例中映射关系集合可以以表格的形式呈现，称为映射关系表，该映射关系表可以包括：预设样本集合，以及预设样本集合中指纹样本对应的歌曲标识，其中，该映射关系表可以存储在某个数据库，可称为指纹库。
204、从该歌曲标识集合中，选取该插曲所属候选歌曲的候选歌曲标识。
在本实施例获取音频段对应的歌曲标识集合之后，还需要进一步地作筛选，获取最有可能与音频段匹配的歌曲标识；由于最有可能与音频段匹配的歌曲(即插曲所属的候选歌曲)与音频段在歌曲标识对应的歌曲中的起始时间相关，因此，可以基于音频段在歌曲中的起始时间从歌曲标识集合中选取插曲所属候选歌曲的候选歌曲标识；也即步骤“获取音频指纹”之后，步骤“从歌曲标识集合中选取候选歌曲标识”之前，该方法还可以包括：获取该音频指纹在该音频段中的第一偏移时间、以及该匹配指纹样本在匹配歌曲中的第二偏移时间，其中，该第一偏移时间为该频谱峰值点在该音频段内的时间，该匹配歌曲为该歌曲标识对应的歌曲；
此时，步骤“从该歌曲标识集合中，选取该插曲所属候选歌曲的候选歌曲标识”可以包括：
根据该第一偏移时间和该第二偏移时间，获取该音频段在该匹配歌曲中的起始时间；
根据该音频段在匹配歌曲中的起始时间，从该歌曲标识集合中选取该候选歌曲标识。
比如，可以获取音频指纹D1(f1，Δf’，Δt’)在音频段内的偏移时间t1，该t1即为频谱峰值点a1在音频段中的时间，同样在采用上述方式提取指纹样本时，该指纹样本在其所属歌曲中的偏移时间，即为指纹样本对应的频谱峰值点(即锚点)在其所属歌曲中的时间。
具体地，本实施例中可以基于预设时间映射关系集合来获取匹配指纹样本在匹配歌曲中的偏移时间，该预设时间映射关系集合可以包括：指纹样本与该指纹样本在其所属歌曲中的偏移时间之间的映射关系(对应关系)，也即步骤“该匹配指纹样本在匹配歌曲中的第二偏移时间”可以包括：
根据预设时间映射关系集合，获取匹配指纹样本在该歌曲标识中对应的匹配歌曲中的第二偏移时间，其中，预设时间映射关系集合包括：指纹样本与该指纹样本其所属歌曲中的偏移时间之间的映射关系。
其中，该预设时间映射关系集合可以为预置的时间映射关系集合，该指纹样本与偏移时间之间的映射关系可以由系统预先设置，也可以由用户自行进行设置；也即在步骤“提取视频中的音频文件”之前，该歌词填充方法还可以包括：
接收时间映射关系设置请求，该时间映射关系设置请求指示需要建立映射关系的指纹样本和偏移时间，该偏移时间为该指纹样本在其所属歌曲中的偏移时间；
根据该时间映射关系设置请求建立指纹样本与偏移时间之间的映射关系，以得到时间映射关系集合。
本实施例中时间映射关系集合可以以表格的形式呈现，称为时间映射关系表，该映射关系表可以包括：预设样本集合，以及预设样本集合中指纹样本对应的偏移时间。
可选地，为方便获取歌曲标识和偏移时间，本实施例中时间映射关系集合与上述映射关系集合设置在同一个映射关系集合，比如，设置一个总映射关系集合，该集合可以包括：指纹样本与歌曲标识之间的映射关系，和指纹样本与偏移时间之间的映射关系，具体地，可以设置一张总映射关系表，该关系表可以包括：预设样本集合、预设样本集合中指纹样本对应的歌曲标识、预设样本集合中指纹样本对应偏移时间。
实际应用中，如果音频段在多个不同歌曲中的起始时间相同时，表明该多个歌曲最有可能是与音频段匹配的歌曲即视频插曲所属的候选歌曲，也即步骤“根据该歌曲标识集合中歌曲标识对应的起始时间，从该歌曲标识集合中选取该候选歌曲标识”可以包括：
获取该歌曲标识集合中歌曲标识对应的起始时间，以得到时间集合；
根据该起始时间的相同个数从该时间集合中确定目标起始时间；
从歌曲标识集合中选取该目标起始时间对应的歌曲标识作为候选歌曲标识。
比如，可以选取相同个数达到预设个数的起始时间作为目标起始时间，也即步骤“根据该起始时间的相同个数从该时间集合中确定目标起始时间”可以包括：
获取该时间集合中每种该起始时间的个数；
判断该个数是否大于预设个数；
若是，则确定该种起始时间为目标起始时间。
其中，预设个数可以根据实际需求设定，比如，可以为5、6、9等等。
本实施例中，音频段在歌曲中的起始时间可以根据该音频指纹对应的偏移时间、以及该歌曲标识集合中该歌曲标识对应的偏移时间得到，具体地，可以计算歌曲标识对应的偏移时间与音频指纹对应的偏移时间之间的时间差，该时间差即为该音频段在该歌曲中的起始时间。例如，音频段音频指纹对应的偏移时间为t’，匹配指纹样本对应的偏移时间(即歌曲标识对应的偏移时间)为t”，此时，音频段在该歌曲标识对应的歌曲中的起始时间也即该歌曲标识对应的起始时间为Δt＝t”-t’，采用此方式可以计算歌曲标识集合每个歌曲标识对应的起始时间Δt，得到时间集合，比如(Δt1、Δt2、Δt1、Δt1、Δt2、Δt3……Δt3……Δtn)。
在得到时间集合之后，可以获取每种起始时间的个数，然后，判断该个数是否大于预设个数，若是，则确定待种起始时间为目标起始时间；比如，在预设个数为8时，统计Δt1的个数为10、Δt2的个数为6，Δt3的个数为12，此时Δt1的个数大于预设个数，Δt2的个数小于预设个数，Δt3的个数大于预设个数，那么可以确定Δt1和Δt3为目标起始时间。
可选地，为提高音频指纹的匹配速度，本实施例可以对音频指纹进行转换，比如，采用预设算法将音频指纹转换成一个具体的特征数字(命名为hash_key)。例如，对于音频指纹D1(f1，Δf’，Δt’)，可以采用公式：hash_key＝f1·2^12+Δf·2^6+Δt，将其转换成一个具体的数字，即按位高低构成一个20bit整数，这样在后续进行音频指纹匹配时只需进行hash_key匹配即可，也即步骤“确定预设样本集合中是否存在与该音频指纹匹配的指纹样本”可以包括：
将该音频指纹转换成相应的特征数字；
确定预设数字集合中是否存在与该特征数字匹配的数字样本；
若是，则确定预设样本集合中存在与该音频指纹匹配的指纹样本；
若否，则确定预设样本集合中不存在与该音频指纹匹配的指纹样本。
其中，预设数字样本集合中包括至少一种特征数字，称为数字样本，每一种数字样本可以对应一种歌曲标识。
此时，步骤“获取匹配指纹样本对应的歌曲标识”可以包括：获取匹配数字样本对应的歌曲标识。
具体地，可以基于数字映射关系集合来获取匹配数字样本对应的歌曲标识，也即步骤“获取匹配数字样本对应的歌曲标识”可以包括：根据数字映射关系集合获取匹配数字样本对应的歌曲标识，其中，该数字映射关系集合包括：数字样本与歌曲标识之间的对应关系。
其中，该数字映射关系集合可以为预置的数字映射关系集合，该数字样本与歌曲标识之间的映射关系可以由系统预先设置，也可以由用户自行进行设置；也即在步骤“提取视频中的音频文件”之前，该歌曲确定方法还可以包括：
获取歌曲的音频指纹，并将该音频指纹转换成数字特征；
接收数字映射关系设置请求，该数字映射关系设置请求指示需要建立映射关系的数字特征和歌曲标识；
根据该数字映射关系设置请求获取数字特征与歌曲标识之间的映射关系，以得到数字映射关系集合。
同样，步骤“获取该匹配指纹样本在匹配歌曲中的第二偏移时间”可以包括：根据数字时间映射关系集合获取匹配数字样本对应的第二偏移时间，其中，数字时间映射关系集合包括数字样本与偏移时间之间的映射关系。具体地，数字时间映射关系集合的获取方式可以参考上述数字映射关系集合或者时间映射关系集合的创建方式，这里就不再赘述。
可选地，该数字映射关系集合、该数字时间映射关系集合可以设置在一个集合中，比如，设置一个总映射关系集合，该集合包括：数字样本与歌曲标识之间的映射关系、数字样本与偏移时间之间的映射关系；例如，可以设置一个映射关系表，该映射关系表可以包括：预设数字样本集合、预设数字样本集合中数字样本对应的歌曲标识、预设数字样本集合中数字样本对应的偏移时间。
例如，可以从歌曲数据库中获取歌曲，然后，获取歌曲的音频指纹及其对应的偏移时间，将音频指纹转换成特征数字hash_key，之后可以创建一张hash_表，该hash_表包括多个hash_记录，每个hash_记录包括：{hash_key}：(value)，其中，hash_key＝f1·2^12+Δf·2^6+Δt(按位高低构成一个20bit整数)，value＝{song_id：t_1}，表示成32bit数字，其中song_id占用19bit(可表示52万首歌曲)，t1占用13bit(如果帧移为0.032ms，可表示最长歌曲长度为5min)。
由上可知，本发明实施例采用将该音频文件划分成多个音频段，并获取该音频段的音频指纹，然后，确定预设样本集合中是否存在与该音频指纹匹配的指纹样本，若是，则获取匹配指纹样本对应的歌曲标识，以得到该音频段对应的第一歌曲标识集合，从该歌曲标识集合中，选取该插曲所属候选歌曲的候选歌曲标识；该方案可以获取视频插所属的所有候选歌曲，然后，基于候选歌曲与视频的音频的匹配从该候选歌曲中确定视频插曲对应的歌曲，与现有技术相比，可以提高确定视频插曲对应歌曲的精确性和效率。
此外，由于本发明实施例采用频谱峰值点来构建音频指纹，可以精确地可获取视频插曲对应的候选歌曲及其标识，进一步提高了确定或者定位视频插曲所属候选歌曲的准确性。
实施例三、
为了更好地实施以上方法，本发明实施例还提供一种歌曲确定装置，如图3a所示，该歌曲确定装置还可以包括标识获取单元301、音频帧获取单元302以及歌曲确定单元303，如下：
(1)标识获取单元301；
标识获取单元301，用于提取视频中的音频文件，并获取该音频文件中插曲所属候选歌曲的候选歌曲标识，以得到候选歌曲标识集合。
比如，该标识获取单元301可以包括：音频提取子单元、指纹获取子单元、确定子单元、标识集合获取子单元以及选取子单元；
该音频提取子单元，用于提取视频中的音频文件；
该指纹获取子单元，用于将该音频文件划分成多个音频段，并获取该音频段的音频指纹；
该确定子单元，用于确定预设样本集合中是否存在与该音频指纹匹配的指纹样本；
该标识集合获取子单元，用于在确定存在与该音频指纹匹配的指纹样本时，获取匹配指纹样本对应的歌曲标识，以得到该音频段对应的歌曲标识集合，该歌曲标识集合包括多个该歌曲标识；
该选取子单元，用于从该歌曲标识集合中，选取该插曲所属候选歌曲的候选歌曲标识。
其中，获取视频的方式可以有多种，比如，可以向视频服务器发送请求来获取视频，也可以从本地存储中提取视频；也即音频提取子单元可以具体用于：
向视频服务器发送视频获取请求；
接收该视频服务器根据该视频获取请求返回的视频；
提取该视频中的音频文件。
该提取视频中的音频文件的方式可以有多种，比如，可以对视频进行音视频分离处理，以得到视频的音频文件；即步骤“提取视频中的音频文件”可以包括：对视频进行音视频分离处理，以得到视频的音频文件。
具体地，该音频文件的划分方式可以有多种，比如，可以以预设帧长和预设帧移，将音频文件划分成多个音频段，每个音频段的时长与预设帧长相等。
在本实施例中，插曲所属的候选歌曲可以为可能与视频插曲相匹配的歌曲，该候选歌曲标识为与视频插曲匹配的歌曲的标识。
更具体地，获取音频段的音频指纹的方式也有多种，比如可以采用以下方式获取：
获取该音频段中音频帧对应的频谱；
从该频谱中提取该音频帧对应的频谱峰值点，以得到该音频段对应的峰值集合，该峰值集合包括该音频帧对应的频谱峰值点；
将该峰值集合中频谱峰值点两两进行组合，以得到该音频段的音频指纹。
比如，步骤“将该峰值集合中频谱峰值点两两进行组合，以得到该音频段的音频指纹”可以包括：
将该峰值集合中频谱峰值点两两进行组合，以得到该音频段的音频指纹。
可选地，从歌曲标识集合中选取候选歌曲标识的方式可以有多种，比如，可以基于音频指纹的偏移时间来获取，也即，该歌曲确定装置还可以包括：偏移时间获取单元，该偏移时间获取单元，用于在指纹获取子单元获取音频指纹之后，选取子单元选取候选歌曲标识之前，获取该音频指纹在该音频段中的第一偏移时间、以及该匹配指纹样本在匹配歌曲中的第二偏移时间，其中，该第一偏移时间为该频谱峰值点在该音频段内的时间，该匹配歌曲为该歌曲标识对应的歌曲；
此时，选取子单元，可以具体用于：
根据该第一偏移时间和该第二偏移时间，获取该音频段在该匹配歌曲中的起始时间；
根据该音频段在匹配歌曲中的起始时间，从该歌曲标识集合中选取该候选歌曲标识。
比如，选取子单元具体用于：
获取该歌曲标识集合中歌曲标识对应的起始时间，以得到时间集合；
根据每种该起始时间的个数从该时间集合中确定目标起始时间；
从歌曲标识集合中选取该目标起始时间对应的歌曲标识作为候选歌曲标识。
(2)、音频帧获取单元302；
该音频帧获取单元302，用于获取候选歌曲标识对应的候选歌曲文件，并获取该候选歌曲文件与该音频文件之间相匹配的匹配音频帧，以得到匹配音频帧单元，其中，该匹配音频帧单元包括多个连续的匹配音频帧。
比如，该音频帧获取单元302，可以具体包括：匹配子单元、第一获取子单元以及第二获取子单元；
该匹配子单元，用于将该候选歌曲文件中第一音频帧的音频特征与该音频文件中第二音频帧的音频特征进行匹配，以得到匹配结果；
该第一获取子单元，用于根据该匹配结果获取该候选歌曲文件与该音频文件之间相匹配的匹配音频帧；
该第二获取子单元，用于根据该匹配音频帧获取匹配音频帧单元。
其中，该匹配子单元，具体用于：
获取该候选歌曲文件中第一音频帧的帧数，从该音频文件中选取音频帧单元，该音频帧单元包括与该帧数相等数量的第二音频帧；
将该候选歌曲文件中第一音频帧的音频特征与该音频帧单元中第二音频帧的音频特征进行匹配，以得到音频特征匹配结果；
此时，该第一获取子单元，具体用于：根据该音频特征匹配结果获取该候选歌曲文件与该音频文件之间相匹配的匹配音频帧，该匹配音频帧为音频特征匹配成功的音频帧；
该第二获取子单元，具体用于：
根据匹配音频帧获取帧连续单元，该帧连续单元包括多个连续的该匹配音频帧；
获取帧连续单元中匹配音频帧的个数，并根据该个数确定该帧连续单元为匹配音频帧单元。
可选地，本实施例歌曲确定装置还可以包括：特征获取单元，该特征获取单元在标识获取单元301获取候选歌曲标识之后，匹配子单元进行特征匹配之前，用于获取该候选歌曲文件中第一音频帧对应的音频特征。
比如，该特征获取单元，可以具体用于：
获取所候选歌曲文件中每个第一音频帧对应的频谱；
将该第一音频帧对应的频谱划分成预设数量的频段，并获取该频段对应的平均幅值；
将每个该频段的平均幅值与上一个第一音频帧对应频段的平均幅值进行比较，以得到比较结果；
根据该比较结果获取该第一音频帧对应的音频特征。
例如，将候选歌曲文件转换成预设格式的音频(如8k16bit音频)，然后，以第一预设数量的采样点为一帧，以第二预设数量的采样点为帧移进行傅立叶变换，得到频谱(如以1856个采样点为一帧，以58个采样点为帧移进行傅立叶变换)，接着，将该频谱平均分成第三预设数量(如32个)的频段，并计算每个频段对应的平均幅度值，随后，将每个频段与上一个帧中对应频段进行比较(第二音频帧中第一个频段与第一个音频帧第一频段进行比较，第二音频帧中第二频段与第一个音频帧第二频段进行比较……依次类推直到比较完所有频段)，若大于则为1，小于则为0，这样每一个帧将会得到第三预设数量个bit值组成的数据单元，该数据单元即为该帧的音频特征；具体地，在将频谱划分长32个频段的情况下，每一音频帧将会得到一个包括32个bit值的数据单元，该32个bit值即为每一音频帧的音频特征。
(3)、歌曲确定单元303；
该歌曲确定单元303，用于根据所述候选歌曲标识对应的所述匹配音频帧单元，从所述候选歌曲标识集合中获取目标歌曲标识，并根据所述目标歌曲标识确定所述插曲所属的目标歌曲。
比如，该第二标识获取单元303具体可以包括：音频帧扩展子单元、时间获取子单元、标识获取子单元以及歌曲确定子单元；
该音频帧扩展子单元，用于对该候选歌曲标识对应的该匹配音频帧单元进行音频帧扩展，以得到该候选歌曲标识对应的匹配歌曲片段；
该时间获取子单元，用于根据该匹配歌曲片段获取候选歌曲标识对应的时间信息，该时间信息包括：该匹配歌曲片段在该视频中的第一起始时间、在该候选歌曲中的第二起始时间以及该匹配歌曲片段的时长；
所述标识获取子单元，用于根据所述候选标识对应的时间信息从所述候选歌曲标识集合中获取目标歌曲标识；
所述歌曲确定子单元，用于根据所述目标歌曲标识确定所述插曲所属的目标歌曲。
其中，音频帧扩展子单元可以具体用于：
分别在该候选歌曲文件和该音频文件中对该匹配音频帧单元进行音频帧扩展，以得到该候选歌曲文件中的第一匹配音频帧扩展单元以及该音频文件中的第二匹配音频帧扩展单元；
将该第一匹配音频帧扩展单元中第一音频帧的音频特征与该第二匹配音频帧扩展单元中第二音频帧的音频特征进行匹配，以得到扩展单元之间的匹配音频帧；
根据该扩展单元之间的匹配音频帧的数量，确定该第一匹配音频帧扩展单元或者第二匹配音频帧扩展单元为该候选歌曲与该音频文件之间相匹配的匹配歌曲片段。
其中，标识获取子单元可以具体用于：
根据候选歌曲标识对应的第二起始时间和该时长获取该候选歌曲标识对应的播放时间，该播放时间为该匹配歌曲片段在该视频中的播放时间；
根据候选歌曲标识对应的播放时间对该候选歌曲标识集合中的候选歌曲标识进行过滤，以得到过滤后的候选标识集合；
将该过滤后的候选标识集合中的该候选歌曲作为该插曲所属目标歌曲的目标歌曲标识。
比如，在获取候选歌曲标识对应的播放时间之后，可以确定播放时间具有包含关系的候选歌曲标识，然后，过滤掉播放时间被包含的候选歌曲标识；又比如，在获取候选歌曲标识对应的播放时间之后，还可以确定播放时间具有重叠关系的候选歌曲标识，然后，过滤掉播放时长较短的候选歌曲标识。
可选地，参考图3b，本实施例歌曲确定装置还可以包括：歌词填充单元304；
该歌词填充单元304，用于
所述标识获取子单元，用于根据所述候选标识对应的时间信息从所述候选歌曲标识集合中获取目标歌曲标识；
所述歌曲确定子单元，用于根据所述目标歌曲标识确定所述插曲所属的目标歌曲。
比如，该歌词填充单元304可以包括：歌词获取子单元和填充子单元；
该歌词获取子单元，用于根据目标歌曲标识及其对应的该第一起始时间、该时长，获取该插曲对应的歌词；
该填充子单元，用于根据该目标歌曲标识对应的该第二起始时间和该时长，将该歌词填充至该视频。
比如，可以根据目标歌曲标识获取相应目标歌曲的目标歌词文件，然后，根据匹配歌曲片段在该目标歌曲中的起始时间和匹配歌曲片段的时长，从该目标歌词文件中提取插曲对应的歌词，也即歌词获取子单元可以具体用于：
根据目标歌曲标识获取相应的目标歌曲的歌词文件；
根据目标歌曲标识对应的第一起始时间和时长，从该歌词文件中提取相应的歌词，以作为插曲的歌词。
又比如，填充子单元，可以具体用于：
根据该目标歌曲对应的第二起始时间和时长，获取歌词在视频中的展示时间；
根据该展示时间将该歌词填充至该视频。
可选地，为展示完整语句的插曲歌词，以提升用户体验，在获取插曲歌词之后可以确定歌词是否为完整的语句，若是，则进行歌词填充操作；也即本实施例歌曲确定装置还可以包括，歌词确定单元305，参考图3c；
该歌词确定单元305，可以用于在歌词填充单元304获取该插曲对应的歌词之后，将歌词填充至该视频之前，用于：
确定该歌词是否为完整的语句；
此时，该歌词填充单元304，可以具体用于在歌词确定单元305确定歌词是完整的语句时，执行根据该目标歌曲标识对应的该第二起始时间和该时长，将该歌词填充至该视频的步骤。
可选地，本实施例还可以在视频中设置一个接口，以使得在播放视频插曲时可以通过该接口跳转到播放该视频插曲所属的歌曲；也即本实施例歌词填充方法还可以包括：接口设置单元；
该接口设置单元可以用于在歌曲确定单元303获取插曲目标歌曲标识之后，根据目标歌曲标识在该视频中设置跳转接口，以使得终端在播放该插曲时通过该跳转接口跳转至播放该插曲所属的目标歌曲。
其中，该跳转接口的形式可以为多种，比如可以为按钮、输入框等等，可以根据实际需求设定。
可选地，该接口设置单元，还可以用于在歌曲确定单元303获取目标歌曲标识之后，根据目标歌曲标识在所述视频中设置添加接口，以使得终端在播放所述插曲时通过所述添加接口将所述目标歌曲添加到音乐软件的歌曲列表中。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本发明实施例歌曲确定装置标识获取单元301采用提取视频中的音频文件，并获取该音频文件中插曲所属候选歌曲的候选歌曲标识，以得到候选歌曲标识集合，然后，由音频帧获取单元302获取候选歌曲标识对应的候选歌曲文件，并获取该候选歌曲文件与该音频文件之间相匹配的匹配音频帧，以得到匹配音频帧单元，其中，该匹配音频帧单元包括多个连续的匹配音频帧，由歌曲确定单元303根据所述候选歌曲标识对应的所述匹配音频帧单元，从所述候选歌曲标识集合中获取目标歌曲标识，并根据所述目标歌曲标识确定所述插曲所属的目标歌曲；
该方案可以先获取视频插曲所属候选歌曲的候选歌曲标识集合，然后，基于视频的音频文件与歌曲之间的匹配音频帧，从候选歌曲标识集合中选取视频插曲所属歌曲的标识，从而确定视频插曲所属的歌曲，相对于现有技术而言，可以提高确定或者定位视频插曲对应歌曲的精确性和效率。
此外，本发明实施例装置还可以在确定视频插曲所属歌曲之后，根据目标歌曲标识及其对应的匹配音频帧单元将该插曲对应的歌词填充至该视频；该方案还可以自动完成视频插曲与歌曲的匹配，以确定视频插曲所属的歌曲，并可以自动获取视频插曲的歌词进行填充，相对于现有技术而言，还可以提高视频插曲歌词填充的准确性以及效率。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种歌曲确定方法和装置和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (25)

1.一种歌曲确定方法，其特征在于，包括：
提取视频中的音频文件，并获取所述音频文件中插曲所属候选歌曲的候选歌曲标识，以得到候选歌曲标识集合；
获取候选歌曲标识对应的候选歌曲文件，并获取所述候选歌曲文件与所述音频文件之间相匹配的匹配音频帧，以得到匹配音频帧单元，其中，所述匹配音频帧单元包括多个连续的匹配音频帧；
根据所述候选歌曲标识对应的所述匹配音频帧单元，从所述候选歌曲标识集合中获取目标歌曲标识，并根据所述目标歌曲标识确定所述插曲所属的目标歌曲；
所述获取所述音频文件中插曲所属候选歌曲的候选歌曲标识包括：将所述音频文件划分成多个音频段，并获取所述音频段的音频指纹；确定预设样本集合中是否存在与所述音频指纹匹配的指纹样本；若是，则获取匹配指纹样本对应的歌曲标识，以得到所述音频段对应的歌曲标识集合，所述歌曲标识集合包括多个所述歌曲标识；从所述歌曲标识集合中，选取所述插曲所属候选歌曲的候选歌曲标识；
所述获取所述音频段的音频指纹包括：获取所述音频段中音频帧对应的频谱；从所述频谱中提取所述音频帧对应的频谱峰值点，以得到所述音频段对应的峰值集合，所述峰值集合包括所述音频帧对应的频谱峰值点；根据所述频谱峰值点之间的时间差以及频率差，对所述峰值集合中频谱峰值点进行过滤；将所述峰值集合中频谱峰值点两两进行组合，以得到所述音频段的音频指纹，所述对所述峰值集合中频谱峰值点进行过滤包括将所述峰值集合中时间间距较小且频率间距较小的频谱峰值点过滤掉；
在获取所述音频指纹之后，选取候选歌曲标识之前，所述歌曲确定方法还包括：获取所述音频指纹在所述音频段中的第一偏移时间、以及根据预设时间映射关系集合，获取所述匹配指纹样本在匹配歌曲中的第二偏移时间，其中，所述第一偏移时间为所述频谱峰值点在所述音频段内的时间，所述匹配歌曲为所述歌曲标识对应的歌曲，所述预设时间映射关系集合包括：指纹样本与所述指纹样本其所属歌曲中的偏移时间之间的映射关系。
2.如权利要求1所述的歌曲确定方法，其特征在于，所述获取所述候选歌曲文件与所述音频文件之间相匹配的匹配音频帧，以得到匹配音频帧单元的步骤具体包括：
将所述候选歌曲文件中第一音频帧的音频特征与所述音频文件中第二音频帧的音频特征进行匹配，以得到匹配结果；
根据所述匹配结果获取所述候选歌曲文件与所述音频文件之间相匹配的匹配音频帧；
根据所述匹配音频帧获取匹配音频帧单元。
3.如权利要求2所述的歌曲确定方法，其特征在于，所述将所述候选歌曲文件中第一音频帧对应的音频特征与所述音频文件中第二音频帧对应的音频特征进行匹配，以得到匹配结果的步骤具体包括：
获取所述候选歌曲文件中第一音频帧的帧数，从所述音频文件中选取音频帧单元，所述音频帧单元包括与所述帧数相等数量的第二音频帧；
将所述候选歌曲文件中第一音频帧的音频特征与所述音频帧单元中第二音频帧的音频特征进行匹配，以得到音频特征匹配结果；
所述根据所述匹配结果获取所述候选歌曲文件与所述音频文件之间相匹配的匹配音频帧的步骤具体包括：
根据所述音频特征匹配结果获取所述候选歌曲文件与所述音频文件之间相匹配的匹配音频帧，所述匹配音频帧为音频特征匹配成功的音频帧；
所述根据所述匹配音频帧获取匹配音频帧单元的步骤具体包括：
根据匹配音频帧获取帧连续单元，所述帧连续单元包括多个连续的所述匹配音频帧；
获取帧连续单元中匹配音频帧的个数，并根据所述个数确定所述帧连续单元为匹配音频帧单元。
4.如权利要求1所述的歌曲确定方法，其特征在于，所述根据所述候选歌曲标识对应的所述匹配音频帧单元，从所述候选歌曲标识集合中获取目标歌曲标识的步骤具体包括：
对所述候选歌曲标识对应的所述匹配音频帧单元进行音频帧扩展，以得到所述候选歌曲标识对应的匹配歌曲片段；
根据所述匹配歌曲片段获取候选歌曲标识对应的时间信息，所述时间信息包括：所述匹配歌曲片段在所述视频中的第一起始时间、在所述候选歌曲中的第二起始时间以及所述匹配歌曲片段的时长；
根据所述候选歌曲标识对应的时间信息从所述候选歌曲标识集合中获取目标歌曲标识。
5.如权利要求4所述的歌曲确定方法，其特征在于，所述对所述候选歌曲标识对应的所述匹配音频帧单元进行音频帧扩展，以得到所述候选歌曲标识对应的匹配歌曲片段的步骤具体包括：
分别在所述候选歌曲文件和所述音频文件中对所述匹配音频帧单元进行音频帧扩展，以得到所述候选歌曲文件中的第一匹配音频帧扩展单元以及所述音频文件中的第二匹配音频帧扩展单元；
将所述第一匹配音频帧扩展单元中第一音频帧的音频特征与所述第二匹配音频帧扩展单元中第二音频帧的音频特征进行匹配，以得到扩展单元之间的匹配音频帧；
根据所述扩展单元之间的匹配音频帧的数量，确定所述第一匹配音频帧扩展单元或者第二匹配音频帧扩展单元为所述候选歌曲文件与所述音频文件之间相匹配的匹配歌曲片段。
6.如权利要求2所述的歌曲确定方法，其特征在于，在根据候选歌曲标识获取相应的候选歌曲文件之后，将所述候选歌曲文件中第一音频帧对应的音频特征与所述音频文件中第二音频帧对应的音频特征进行匹配之前，所述歌曲确定方法还包括：
获取所候选歌曲文件中每个第一音频帧对应的频谱；
将所述第一音频帧对应的频谱划分成预设数量的频段，并获取所述频段对应的平均幅值；
将每个所述频段的平均幅值与上一个第一音频帧对应频段的平均幅值进行比较，以得到比较结果；
根据所述比较结果获取所述第一音频帧对应的音频特征。
7.如权利要求4所述的歌曲确定方法，其特征在于，所述根据所述候选歌曲标识对应的时间信息从所述候选歌曲标识集合中获取目标歌曲标识的步骤具体包括：
根据候选歌曲标识对应的第二起始时间和所述时长获取所述候选歌曲标识对应的播放时间，所述播放时间为所述匹配歌曲片段在所述视频中的播放时间；
根据候选歌曲标识对应的播放时间对所述候选歌曲标识集合中的候选歌曲标识进行过滤，以得到过滤后的候选标识集合；
将所述过滤后的候选标识集合中的所述候选歌曲作为目标歌曲标识。
8.如权利要求4所述的歌曲确定方法，其特征在于，在获取所述插曲所属目标歌曲的目标歌曲标识之后，所述方法还包括：
根据所述目标歌曲标识及其对应的匹配音频帧单元，将所述插曲对应的歌词填充至所述视频。
9.如权利要求5所述的歌曲确定方法，其特征在于，所述根据所述目标歌曲标识及其对应的匹配音频帧单元，将所述插曲对应的歌词填充至所述视频的步骤具体包括：
根据目标歌曲标识及其对应的所述第一起始时间、所述时长，获取所述插曲对应的歌词；
根据所述目标歌曲标识对应的所述第二起始时间和所述时长，将所述歌词填充至所述视频。
10.如权利要求9所述的歌曲确定方法，其特征在于，在获取所述插曲对应的歌词之后，将歌词填充至所述视频之前，所述歌曲确定方法还包括：
确定所述歌词是否为完整的语句；
若是，则执行根据所述目标歌曲标识对应的所述第二起始时间和所述时长，将所述歌词填充至所述视频的步骤。
11.如权利要求1所述的歌曲确定方法，其特征在于，所述将所述峰值集合中频谱峰值点两两进行组合，以得到所述音频段的音频指纹的步骤具体包括：
确定与所述频谱峰值点相组合的目标频谱峰值点；
将所述频谱峰值点与所述目标频谱峰值点进行组合，以得到音频段的音频指纹，所述音频指纹包括：所述频谱峰值点对应的频率、所述频谱峰值点与所述目标频谱峰值点之间的时间差和频率差。
12.如权利要求11所述的歌曲确定方法，其特征在于，
所述从所述歌曲标识集合中，选取所述插曲所属候选歌曲的候选歌曲标识的步骤具体包括：
根据所述第一偏移时间和所述第二偏移时间，获取所述音频段在所述匹配歌曲中的起始时间；
根据所述音频段在匹配歌曲中的起始时间，从所述歌曲标识集合中选取所述候选歌曲标识。
13.如权利要求12所述的歌曲确定方法，其特征在于，所述根据所述音频段在匹配歌曲中的起始时间，从所述歌曲标识集合中选取所述候选歌曲标识的步骤具体包括：
获取所述歌曲标识集合中歌曲标识对应的起始时间，以得到时间集合；
根据每种所述起始时间的个数从所述时间集合中确定目标起始时间；
从歌曲标识集合中选取所述目标起始时间对应的歌曲标识作为候选歌曲标识。
14.如权利要求4所述的歌曲确定方法，其特征在于，在获取所述插曲所属目标歌曲的目标歌曲标识之后，所述歌曲确定方法还包括：
根据目标歌曲标识在所述视频中设置跳转接口，以使得终端在播放所述插曲时通过所述跳转接口跳转至播放所述插曲所属的目标歌曲。
15.如权利要求1所述的歌曲确定方法，其特征在于，在获取目标歌曲标识之后，所述方法还包括：
根据目标歌曲标识在所述视频中设置添加接口，以使得终端在播放所述插曲时通过所述添加接口将所述目标歌曲添加到音乐软件的歌曲列表中。
16.一种歌曲确定装置，其特征在于，包括：
标识获取单元，用于提取视频中的音频文件，并获取所述音频文件中插曲所属候选歌曲的候选歌曲标识，以得到候选歌曲标识集合；
音频帧获取单元，用于获取候选歌曲标识对应的候选歌曲文件，并获取所述候选歌曲文件与所述音频文件之间相匹配的匹配音频帧，以得到匹配音频帧单元，其中，所述匹配音频帧单元包括多个连续的匹配音频帧；
歌曲确定单元，用于根据所述候选歌曲标识对应的所述匹配音频帧单元，从所述候选歌曲标识集合中获取目标歌曲标识，并根据所述目标歌曲标识确定所述插曲所属的目标歌曲；
所述获取所述音频文件中插曲所属候选歌曲的候选歌曲标识包括：将所述音频文件划分成多个音频段，并获取所述音频段的音频指纹；确定预设样本集合中是否存在与所述音频指纹匹配的指纹样本；若是，则获取匹配指纹样本对应的歌曲标识，以得到所述音频段对应的歌曲标识集合，所述歌曲标识集合包括多个所述歌曲标识；从所述歌曲标识集合中，选取所述插曲所属候选歌曲的候选歌曲标识；
所述获取所述音频段的音频指纹包括：获取所述音频段中音频帧对应的频谱；从所述频谱中提取所述音频帧对应的频谱峰值点，以得到所述音频段对应的峰值集合，所述峰值集合包括所述音频帧对应的频谱峰值点；根据所述频谱峰值点之间的时间差以及频率差，对所述峰值集合中频谱峰值点进行过滤；将所述峰值集合中频谱峰值点两两进行组合，以得到所述音频段的音频指纹，所述对所述峰值集合中频谱峰值点进行过滤包括将所述峰值集合中时间间距较小且频率间距较小的频谱峰值点过滤掉；
在获取所述音频指纹之后，选取候选歌曲标识之前，所述歌曲确定方法还包括：获取所述音频指纹在所述音频段中的第一偏移时间、以及根据预设时间映射关系集合，获取所述匹配指纹样本在匹配歌曲中的第二偏移时间，其中，所述第一偏移时间为所述频谱峰值点在所述音频段内的时间，所述匹配歌曲为所述歌曲标识对应的歌曲，所述预设时间映射关系集合包括：指纹样本与所述指纹样本其所属歌曲中的偏移时间之间的映射关系。
17.如权利要求16所述的歌曲确定装置，其特征在于，所述音频帧获取单元具体包括：匹配子单元、第一获取子单元以及第二获取子单元；
所述匹配子单元，用于将所述候选歌曲文件中第一音频帧的音频特征与所述音频文件中第二音频帧的音频特征进行匹配，以得到匹配结果；
所述第一获取子单元，用于根据所述匹配结果获取所述候选歌曲文件与所述音频文件之间相匹配的匹配音频帧；
所述第二获取子单元，用于根据所述匹配音频帧获取匹配音频帧单元。
18.权利要求17所述的歌曲确定装置，其特征在于，
所述匹配子单元，具体用于：
获取所述候选歌曲文件中第一音频帧的帧数，从所述音频文件中选取音频帧单元，所述音频帧单元包括与所述帧数相等数量的第二音频帧；
将所述候选歌曲文件中第一音频帧的音频特征与所述音频帧单元中第二音频帧的音频特征进行匹配，以得到音频特征匹配结果；
所述第一获取子单元，具体用于：根据所述音频特征匹配结果获取所述候选歌曲文件与所述音频文件之间相匹配的匹配音频帧，所述匹配音频帧为音频特征匹配成功的音频帧；
所述第二获取子单元，具体用于：
根据匹配音频帧获取帧连续单元，所述帧连续单元包括多个连续的所述匹配音频帧；
获取帧连续单元中匹配音频帧的个数，并根据所述个数确定所述帧连续单元为匹配音频帧单元。
19.如权利要求16所述的歌曲确定装置，其特征在于，所述歌曲确定单元具体包括：音频帧扩展子单元、时间获取子单元、标识获取子单元以及歌曲确定子单元；
所述音频帧扩展子单元，用于对所述候选歌曲标识对应的所述匹配音频帧单元进行音频帧扩展，以得到所述候选歌曲标识对应的匹配歌曲片段；
所述时间获取子单元，用于根据所述匹配歌曲片段获取候选歌曲标识对应的时间信息，所述时间信息包括：所述匹配歌曲片段在所述视频中的第一起始时间、在所述候选歌曲中的第二起始时间以及所述匹配歌曲片段的时长；
所述标识获取子单元，用于根据所述候选歌曲标识对应的时间信息从所述候选歌曲标识集合中获取目标歌曲标识；
所述歌曲确定子单元，用于根据所述目标歌曲标识确定所述插曲所属的目标歌曲。
20.如权利要求19所述的歌曲确定装置，其特征在于，所述标识获取子单元，具体用于：
根据候选歌曲标识对应的第二起始时间和所述时长获取所述候选歌曲标识对应的播放时间，所述播放时间为所述匹配歌曲片段在所述视频中的播放时间；
根据候选歌曲标识对应的播放时间对所述候选歌曲标识集合中的候选歌曲标识进行过滤，以得到过滤后的候选标识集合；
将所述过滤后的候选标识集合中的所述候选歌曲作为所述插曲所属目标歌曲的目标歌曲标识。
21.如权利要求19所述的歌曲确定装置，其特征在于，还包括：歌词填充单元；
所述歌词填充单元，用于根据所述目标歌曲标识及其对应的匹配音频帧单元，将所述插曲对应的歌词填充至所述视频。
22.如权利要求21所述的歌曲确定装置，其特征在于，所述歌词填充单元包括：歌词获取子单元和填充子单元；
所述歌词获取子单元，用于根据目标歌曲标识及其对应的所述第一起始时间、所述时长，获取所述插曲对应的歌词；
所述填充子单元，用于根据所述目标歌曲标识对应的所述第二起始时间和所述时长，将所述歌词填充至所述视频。
23.如权利要求16所述的歌曲确定装置，其特征在于，所述标识获取单元具体包括：音频提取子单元、指纹获取子单元、确定子单元、标识集合获取子单元以及选取子单元；
所述音频提取子单元，用于提取视频中的音频文件；
所述指纹获取子单元，用于将所述音频文件划分成多个音频段，并获取所述音频段的音频指纹；
所述确定子单元，用于确定预设样本集合中是否存在与所述音频指纹匹配的指纹样本；
所述标识集合获取子单元，用于在确定存在与所述音频指纹匹配的指纹样本时，获取匹配指纹样本对应的歌曲标识，以得到所述音频段对应的歌曲标识集合，所述歌曲标识集合包括多个所述歌曲标识；
所述选取子单元，用于从所述歌曲标识集合中，选取所述插曲所属候选歌曲的候选歌曲标识。
24.一种服务器，其特征在于，包括存储器和处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至15任一项所述方法中的步骤。
25.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至15任一项所述方法中的步骤。
CN201610244446.8A 2016-04-19 2016-04-19 一种歌曲确定方法和装置 Active CN105868397B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201610244446.8A CN105868397B (zh) 2016-04-19 2016-04-19 一种歌曲确定方法和装置
PCT/CN2017/079631 WO2017181852A1 (zh) 2016-04-19 2017-04-06 一种歌曲确定方法和装置、存储介质
KR1020187010247A KR102110057B1 (ko) 2016-04-19 2017-04-06 노래 확정 방법과 장치, 기억 매체
JP2018526229A JP6576557B2 (ja) 2016-04-19 2017-04-06 歌曲確定方法及び装置、記憶媒体
MYPI2018701777A MY194965A (en) 2016-04-19 2017-04-06 Song determining method and device, and storage medium
US16/102,478 US10719551B2 (en) 2016-04-19 2018-08-13 Song determining method and device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610244446.8A CN105868397B (zh) 2016-04-19 2016-04-19 一种歌曲确定方法和装置

Publications (2)

Publication Number Publication Date
CN105868397A CN105868397A (zh) 2016-08-17
CN105868397B true CN105868397B (zh) 2020-12-01

Family

ID=56633482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610244446.8A Active CN105868397B (zh) 2016-04-19 2016-04-19 一种歌曲确定方法和装置

Country Status (6)

Country Link
US (1) US10719551B2 (zh)
JP (1) JP6576557B2 (zh)
KR (1) KR102110057B1 (zh)
CN (1) CN105868397B (zh)
MY (1) MY194965A (zh)
WO (1) WO2017181852A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868397B (zh) * 2016-04-19 2020-12-01 腾讯科技（深圳）有限公司 一种歌曲确定方法和装置
CN106708990B (zh) * 2016-12-15 2020-04-24 腾讯音乐娱乐（深圳）有限公司 一种音乐片段提取方法和设备
US20190019522A1 (en) * 2017-07-11 2019-01-17 Dubbydoo, LLC, c/o Fortis LLP Method and apparatus for multilingual film and audio dubbing
CN107918663A (zh) * 2017-11-22 2018-04-17 腾讯科技（深圳）有限公司 音频文件检索方法及装置
EP3729817A1 (de) 2017-12-22 2020-10-28 NativeWaves GmbH Verfahren zum synchronisieren von einem zusatzsignal zu einem hauptsignal
US10929097B2 (en) * 2018-06-26 2021-02-23 ROVl GUIDES, INC. Systems and methods for switching operational modes based on audio triggers
CN109558509B (zh) * 2018-07-04 2021-10-15 北京邮电大学 一种广播音频中广告检索的方法和装置
CN112004134B (zh) * 2019-05-27 2022-12-09 腾讯科技（深圳）有限公司 多媒体数据的展示方法、装置、设备及存储介质
CN110992983B (zh) * 2019-11-26 2023-04-18 腾讯音乐娱乐科技（深圳）有限公司 识别音频指纹的方法、装置、终端及存储介质
CN111161758B (zh) * 2019-12-04 2023-03-31 厦门快商通科技股份有限公司 一种基于音频指纹的听歌识曲方法、系统及音频设备
CN111400543B (zh) * 2020-03-20 2023-10-10 腾讯科技（深圳）有限公司 音频片段的匹配方法、装置、设备及存储介质
CN111475672B (zh) * 2020-03-27 2023-12-08 咪咕音乐有限公司 一种歌词分配方法、电子设备及存储介质
CN111404808B (zh) * 2020-06-02 2020-09-22 腾讯科技（深圳）有限公司 一种歌曲的处理方法
US20220027407A1 (en) * 2020-07-27 2022-01-27 Audible Magic Corporation Dynamic identification of unknown media
US11657814B2 (en) * 2020-10-08 2023-05-23 Harman International Industries, Incorporated Techniques for dynamic auditory phrase completion
CN112866584B (zh) * 2020-12-31 2023-01-20 北京达佳互联信息技术有限公司 视频合成方法、装置、终端及存储介质
CN112764612A (zh) * 2021-01-21 2021-05-07 北京字跳网络技术有限公司 互动方法、装置、电子设备和存储介质
CN112906369A (zh) * 2021-02-19 2021-06-04 脸萌有限公司 一种歌词文件生成方法及装置
CN113436641A (zh) * 2021-06-22 2021-09-24 腾讯音乐娱乐科技（深圳）有限公司 一种音乐转场时间点检测方法、设备及介质
CN113780180B (zh) * 2021-09-13 2024-06-25 俞加利 一种音频长时指纹提取及匹配方法
CN114020958B (zh) * 2021-09-26 2022-12-06 天翼爱音乐文化科技有限公司 一种音乐分享方法、设备及存储介质
CN114071184A (zh) * 2021-11-11 2022-02-18 腾讯音乐娱乐科技（深圳）有限公司 一种字幕定位方法、电子设备及介质
EP4216206A1 (en) * 2021-12-09 2023-07-26 Bellevue Investments GmbH & Co. KGaA System and method for ai/xi based automatic song finding method for videos
CN114339081A (zh) * 2021-12-22 2022-04-12 腾讯音乐娱乐科技（深圳）有限公司 一种字幕生成方法、电子设备及计算机可读存储介质
CN114666653A (zh) * 2022-03-23 2022-06-24 腾讯音乐娱乐科技（深圳）有限公司 一种音乐片段的字幕显示方法、设备及可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596705A (en) * 1995-03-20 1997-01-21 International Business Machines Corporation System and method for linking and presenting movies with their underlying source information
US5809471A (en) * 1996-03-07 1998-09-15 Ibm Corporation Retrieval of additional information not found in interactive TV or telephony signal by application using dynamically extracted vocabulary
US6209028B1 (en) * 1997-03-21 2001-03-27 Walker Digital, Llc System and method for supplying supplemental audio information for broadcast television programs
WO2005101243A1 (en) * 2004-04-13 2005-10-27 Matsushita Electric Industrial Co. Ltd. Method and apparatus for identifying audio such as music
KR100716290B1 (ko) * 2005-07-04 2007-05-09 삼성전자주식회사 영상처리장치, 부가정보처리장치 및 영상처리방법
US8168876B2 (en) 2009-04-10 2012-05-01 Cyberlink Corp. Method of displaying music information in multimedia playback and related electronic device
US20110292992A1 (en) * 2010-05-28 2011-12-01 Microsoft Corporation Automating dynamic information insertion into video
US9093120B2 (en) * 2011-02-10 2015-07-28 Yahoo! Inc. Audio fingerprint extraction by scaling in time and resampling
CN103116629B (zh) * 2013-02-01 2016-04-20 腾讯科技（深圳）有限公司 一种音频内容的匹配方法和系统
CN103971689B (zh) * 2013-02-04 2016-01-27 腾讯科技（深圳）有限公司 一种音频识别方法及装置
CN103440330A (zh) * 2013-09-03 2013-12-11 网易（杭州）网络有限公司 一种音乐节目信息获取方法和设备
CN103853836B (zh) * 2014-03-14 2017-01-25 广州酷狗计算机科技有限公司 一种基于音乐指纹特征的音乐检索方法及系统
CN104142989B (zh) * 2014-07-28 2017-10-17 广州酷狗计算机科技有限公司 一种匹配检测方法及装置
CN104409087B (zh) * 2014-11-18 2017-06-16 广东欧珀移动通信有限公司 歌曲文件播放方法和系统
CN104598541A (zh) * 2014-12-29 2015-05-06 乐视网信息技术（北京）股份有限公司 多媒体文件的识别方法、装置
CN105868397B (zh) * 2016-04-19 2020-12-01 腾讯科技（深圳）有限公司 一种歌曲确定方法和装置

Also Published As

Publication number Publication date
MY194965A (en) 2022-12-28
JP6576557B2 (ja) 2019-09-18
US20180349494A1 (en) 2018-12-06
US10719551B2 (en) 2020-07-21
KR102110057B1 (ko) 2020-05-12
JP2019505874A (ja) 2019-02-28
KR20180050745A (ko) 2018-05-15
CN105868397A (zh) 2016-08-17
WO2017181852A1 (zh) 2017-10-26

Similar Documents

Publication Publication Date Title
CN105868397B (zh) 一种歌曲确定方法和装置
CN103971689B (zh) 一种音频识别方法及装置
KR101578279B1 (ko) 데이터 스트림 내 콘텐트를 식별하는 방법 및 시스템
CN107591149B (zh) 音频合成方法、装置及存储介质
US6748360B2 (en) System for selling a product utilizing audio content identification
CN106708990B (zh) 一种音乐片段提取方法和设备
KR102614021B1 (ko) 오디오 컨텐츠 인식 방법 및 장치
CN106055659B (zh) 一种歌词数据匹配方法及其设备
CN112445935A (zh) 一种基于内容分析的视频精选合集的自动生成方法
KR101648931B1 (ko) 리듬 게임 제작 방법, 장치 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램
WO2023040520A1 (zh) 视频配乐方法、装置、计算机设备和存储介质
KR100916310B1 (ko) 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법
CN112182327A (zh) 一种数据处理方法、装置、设备及介质
CN112597335B (zh) 一种戏曲选段的输出装置及输出方法
CN110400578B (zh) 哈希码的生成及其匹配方法、装置、电子设备和存储介质
CN114329063B (zh) 视频片段检测方法、装置以及设备
KR102255156B1 (ko) 복수의 음악 파일들을 관리하는 장치 및 방법
CN108648733B (zh) 一种迪曲生成方法及系统
CN111475672B (zh) 一种歌词分配方法、电子设备及存储介质
RU2773876C2 (ru) Способ извлечения биг-битовой информации из долей музыкального такта, носитель данных и терминал
US20230197114A1 (en) Storage apparatus, playback apparatus, storage method, playback method, and medium
JP2009103945A (ja) 映像コンテンツ処理装置およびプログラム
JP2016153958A (ja) 情報処理方法、情報処理装置、及びプログラム
JP2013171139A (ja) 音楽放送の楽曲音声データと曲名との関連付け方法
CN117750148A (zh) 一种戏曲字幕识别方法及系统、电子设备、存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant