CN110971969B - 视频配乐方法、装置、电子设备及计算机可读存储介质 - Google Patents

视频配乐方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110971969B
CN110971969B CN201911251090.0A CN201911251090A CN110971969B CN 110971969 B CN110971969 B CN 110971969B CN 201911251090 A CN201911251090 A CN 201911251090A CN 110971969 B CN110971969 B CN 110971969B
Authority
CN
China
Prior art keywords
video
sample
neural network
network model
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911251090.0A
Other languages
English (en)
Other versions
CN110971969A (zh
Inventor
高永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Douyin Vision Beijing Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201911251090.0A priority Critical patent/CN110971969B/zh
Publication of CN110971969A publication Critical patent/CN110971969A/zh
Application granted granted Critical
Publication of CN110971969B publication Critical patent/CN110971969B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

本公开提供了一种视频配乐方法、装置、电子设备及计算机可读存储介质，涉及视频处理技术领域。该方法包括：将待配乐的视频输入预先训练的第一神经网络模型，得到待配乐的视频的特定维度视频特征；将特定维度视频特征输入预定的第二神经网络模型，得到待配乐的视频的情感类别；在曲库池中获取与情感类别对应的多个曲目，分别提取多个曲目的音频特征；根据待配乐的视频的特定维度视频特征与各个曲目的音频特征进行欧式距离计算，并将欧式距离在预设范围内的曲目作为待配乐的视频的推荐曲目。本公开实现了基于视频所表达的情感类别，可以对视频进行自动化配乐，提高了用户的使用体验。

Description

视频配乐方法、装置、电子设备及计算机可读存储介质
技术领域
本公开涉及视频处理技术领域，具体而言，本公开涉及一种视频配乐方法、装置、电子设备及计算机可读存储介质。
背景技术
随着科技的日益进步和互联网的普及，越来越多的人通过视频来传输信息和分享生活，为了贴切符合用户的生活需求，对视频进行情感类别识别并进行合适配乐是非常重要的一个环节
但是现有技术都是人为的对视频内容进行情感判断，并自行找到与视频情感相符合的配乐，人为判断复杂度高，准确率低，且由于音乐认知的不确定性，人为寻找配乐局限性很大。故如何基于视频传达的情感类别而对其进行自动化配乐的是一个亟待解决的问题。
发明内容
本公开提供了一种视频配乐的方法、装置、电子设备及计算机可读存储介质，可以基于视频传达的情感类别为视频进行自动配乐。所述技术方案如下：
第一方面，提供了一种视频配乐的方法，该方法包括：
将所述待配乐的视频输入预先训练的第一神经网络模型，得到所述待配乐的视频的特定维度视频特征；
将所述特定维度视频特征输入预定的第二神经网络模型，得到所述待配乐的视频的情感类别，所述第二神经网络模型是用于对输入视频特征进行情感类别分类的神经网络模型；
在曲库池中获取与所述情感类别对应的多个曲目，分别提取所述多个曲目的音频特征；
根据所述待配乐的视频的特定维度视频特征与各个曲目的音频特征进行欧式距离计算，并将欧式距离在预设范围内的曲目作为所述待配乐的视频的推荐曲目。
第二方面，提供了一种视频配乐的装置，该装置包括：
第一输入模块：用于将所述待配乐的视频输入预先训练的第一神经网络模型，得到所述待配乐的视频的特定维度视频特征；
第二输入模块：用于将所述特定维度视频特征输入预定的第二神经网络模型，得到所述待配乐的视频的情感类别，所述第二神经网络模型是用于对输入视频特征进行情感类别分类的神经网络模型；
提取模块：用于在曲库池中获取与所述情感类别对应的多个曲目，分别提取所述多个曲目的音频特征；
推荐模块：用于根据所述待配乐的视频的特定维度视频特征与各个曲目的音频特征进行欧式距离计算，并将欧式距离在预设范围内的曲目作为所述待配乐的视频的推荐曲目。
第三方面，提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行实现如本公开的第一方面所示的视频配乐方法。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行实现如本公开第一方面所示的视频配乐的方法。
本公开提供的技术方案通过将待配乐的视频输入预先训练的第一神经网络模型可以得到该视频的特定维度视频特征，将该特定维度视频特征输入预定的第二神经网络模型得到上述待配乐的视频对应的情感类别，基于该情感类别在曲库池中获取与其对应的曲目，并提取对应曲目的音频特征，将上述特定维度特征与上述对应曲目的音频特征进行欧氏距离计算，并将欧式距离在预设范围内的曲目作为上述待配乐的视频的推荐曲目。本公开所提供的视频配乐方案，可以基于对视频特征的分析确定视频的情感类别，并根据情感类型为视频进行自动配乐，实现了为不同风格的视频自动匹配符合视频所表达情感的音乐，提高了配乐的准确性，提升了匹配音乐与视频之间的和谐性，可以广泛应用于视频的自动配乐中。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例提供的一种视频配乐方法的流程示意图；
图2为本公开实施例提供的一种第一神经网络模型训练过程的流程示意图；
图3为本公开实施例提供的一种C3D网络结构；
图4为本公开实施例提供的一种将待配乐的视频输入预先训练的第一神经网络模型的流程示意图；
图5为本公开实施例提供的一种获取样本视频所对应的特定维度视频特征的流程示意图；
图6为本公开实施例提供的一种通过多媒体样本文件中获取样本视频的流程示意图；
图7为本公开实施例提供的一种视频配乐装置的结构示意图；
图8为本公开实施例提供的一种第一输入模块的结构示意图；
图9为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对装置、模块或单元进行区分，并非用于限定这些装置、模块或单元一定为不同的装置、模块或单元，也并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。
本公开提供的视频配乐方法、装置、电子设备和计算机可读存储介质，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。
需要说明的是，本公开实施例提供的一种视频配乐方法可以应用于电子设备中。在具体应用中，该电子设备可以是各种终端设备，例如：计算机、智能手机、平板电脑，也可以是服务器，本公开对此并不限定。
本公开实施例中提供了一种视频配乐的方法，如图1所示，该方法包括：
S101：将待配乐的视频输入预先训练的第一神经网络模型，得到待配乐的视频的特定维度视频特征；
其中，待配乐的视频可以是时长较短的短视频，也可以是时长较长的普通视频，可以是休闲游戏类视频，也可以是娱乐综艺类视频等，本公开对此不做限定。
第一神经网络模型是根据样本视频和样本视频对应的特定维度视频特征训练得到的、用于对视频进行提取特定维度视频特征的模型。样本视频的特定维度视频特征是根据样本音频的音频特征所确定的。
为了得到待配乐的视频的特定维度视频特征，可以预先根据样本视频和样本视频对应的特定维度视频特征训练第一神经网络模型。通过将待配乐的视频输入训练好的第一神经网络模型，得到待配乐的视频所对应的特定维度视频特征。本实施例中，待配乐的视频所对应的视频特征的特定维度可以是36维。
可选的，本公开实施例中提供了一种可能的实现方式，如图2所示，步骤S101中的第一神经网络模型的训练过程，包括：
S201：从多媒体样本文件中获取样本视频，并将样本视频输入初始神经网络模型中进行特征提取，得到样本视频的第一维度视频特征；
其中，多媒体文件一般遵循特定的命名规则，一般由主名和扩展名两部分组成，扩展名通常用于表示文件的格式类型，因此只需在多媒体文件中寻找有关视频格式的文件，便可以在多媒体文件中获取样本视频。
在本公开的实施例中，不对初始的神经网络模型的网络类型进行限制。可选的，如图3所示，初始的神经网络模型的结构可以是：C3D网络结构。将样本视频输入上述初始神经网络模型进行特征提取，输出样本视频的第一维度特征，可选的，样本视频的第一维度特征可以是4096维度的视频特征。
S202：获取样本视频所对应的特定维度视频特征；
可选的，样本视频所对应的特定维度视频特征可以是36维度的视频特征，获取样本视频所对应的特定维度的视频特征的具体步骤将在下文实施例进行详述，此处不再详述。
S203：基于样本视频、样本视频对应的特定维度视频特征以及样本视频的第一维度视频特征，对初始神经网络模型中的参数进行训练，直至初始神经网络模型输出与样本视频对应的特定维度视频特征，得到训练后的第一神经网络模型。
通常情况下，初始的神经网络模型所输出的样本视频的第一维度视频特征与所需要的样本视频的特定维度视频特征相差比较大，因此，需要调整该初始的神经网络模型的各个参数，并再次将步骤S2011获取的样本视频继续输入至参数调整后的神经网络模型中，直至初始神经网络模型输出样本视频对应的特定维度视频特征，则模型训练完成。得到第一神经网络模型后，就可以利用该第一神经网络模型对待配乐的视频提取待配乐的视频对应的特定维度视频特征。
其中，常用的调整参数的方法有SGD(Stochastic Gradient Descent，随机梯度下降算法)、Mu(Momentum update，动力更新算法)等等，本公开对调整参数所使用的方法不作限定。
S102：将特定维度视频特征输入预定的第二神经网络模型，得到待配乐的视频的情感类别，第二神经网络模型用于对输入视频特征进行情感类别分类的神经网络模型；
需要说明的是：本公开中的第二神经网络模型可以是预先设定的神经网络模型，即可以是直接调用的用于对输入视频特征进行情感类别分类的神经网络模型。
可选的，本实施例中，可以设定多种情感类别，例如：浪漫、轻松、悲哀、愉悦、兴奋、愤怒、等。那么，第二神经网络模型可以输出：待配乐的视频情感类别为多种情感类别中的某一种的情感类别识别结果，比如待配乐的视频的情感类别为悲哀；或者输出待配乐的视频分别属于各个情感类别的概率，比如待配乐的视频所对应的情感类别的概率分别为：浪漫0.8，轻松0.1，愉悦0.1等。
S103：在曲库池中获取与情感类别对应的多个曲目，分别提取多个曲目的音频特征；
音乐是情感的表达，标签是音乐的诠释，大量情感标签可以从多个角度描述同一首音乐所表达的情感信息。可以理解的是：曲库池中一般包含大量的曲目，出于分类或者用户搜索的考虑，曲库池中的曲目一般会被细分化相应标签，比如用情感标签对曲库池中的曲目进行划分，曲目被划分为浪漫、轻松、悲哀、愉悦、兴奋、愤怒等多个标签，每一个标签下对应多个曲目，同样的，每一个曲目也可能会同时包含多个标签。
在获得上述待配乐的视频的情感类别后，可以基于上述情感类别，在曲库池中获取与上述情感类别相对应的曲目，可以理解的是：每个情感类别下对应的曲目可以是多个，每个曲目对应的情感类别也可以是多个。
可选的，音频特征可以包括：频域特征和/或时域特征，当然，音频特征还可以包括一些其他的相关的特征，这里并不限定。
音频特征的提取方式存在多种，具体的，不同的音频特征相应地可以对应有不同的提取方式。以音频特征包括频域特征为例，该音频特征可以是对音频进行傅里叶变换所得的特征。傅里叶变换表示能将满足一定条件的某个函数表示成三角函数(正弦和/或余弦函数)或者它们的积分的线性组合。在音频领域，对音频进行傅里叶变换，可以分析音频的频域特性，得到音频的频域特征。
可选的，还可以根据音频提取工具，如：pyAudioAnalysis、librosa等音频特征工具包，可以直接从曲目中提取该曲目的音频特征。
一般来说，音频特征通常有34中通用特征，10秒曲目的音频特征可以是13566维。
S104：根据待配乐的视频的特定维度视频特征与各个曲目的音频特征进行欧式距离计算，并将欧式距离在预设范围内的曲目作为待配乐的视频的推荐曲目。
可以理解的是：因为欧氏距离计算是基于各维度特征的绝对数值，所以欧氏度量需要保证各维度指标在相同的刻度级别，即曲目的音频特征的维度和待配乐的视频的特定维度的视频特征的维度需要保持相同。
因此，可以采用降维工具对上述曲目的音频特征进行降维处理，可选的，可以采用PCA(Principal Component Analysis，主成分分析)工具，对上述音频特征进行降维处理。
示例性的，提取上述曲目的音频特征，保留6位小数，利用PCA降维工具保留95％的能量特征，每一维特征皆进行归一化处理，使其特征范围处于(0，1)之间，处理后的特征保留6位小数。可选的，归一化处理的公式为：(feature-mean)/(max-min)*0.5+0.5，其中，feature-mean为特征均值，max为最大特征值，min为最小特征值，最终结果使得该曲目的音频特征维度从13566维降至36维。
为了使用户可以有更多的选择，可选的，可以将欧氏距离在前三名或者前五名的曲目进行推荐，提高用户的选择性。
本公开提供的技术方案通过将待配乐的视频输入预先训练的第一神经网络模型可以得到该视频的特定维度视频特征，将该特定维度视频特征输入预订第二神经网络模型得到上述待配乐的视频对应的情感类别，基于该情感类别在曲库池中获取与其对应的曲目，并提取对应曲目的音频特征，将上述特定维度特征与上述对应曲目的音频特征进行欧氏距离计算，并将欧式距离在预设范围内的曲目作为上述待配乐的视频的推荐曲目。因此，本公开所提供的视频配乐方案，可以基于对视频特征的分析确定视频的情感类别，并根据情感类型为视频进行自动配乐，实现了为不同风格的视频自动匹配符合视频所表达情感的音乐，提高了配乐的准确性，提升了匹配音乐与视频之间的和谐性，可以广泛应用于视频的自动配乐中。
可选的：本公开实施例中提供了一种可能的实现方式，在获得推荐曲目后还可以考虑推荐曲目的时长与待配乐的视频的剪辑时长。
具体的：如果推荐曲目时长大于待配乐的视频的剪辑时长，则对推荐曲目的时长进行剪辑，剪辑后的推荐曲目时长与待配乐的视频的剪辑时长一致；如果推荐曲目时长小于视频剪辑时长，则重新选取推荐曲目；如果推荐曲目的时长都小于待配乐的视频的剪辑时长，则将对待配乐的视频进行剪辑，剪辑后的待配乐的视频时长为推荐曲目中时长最长的时长。
本公开上述实施例使得推荐曲目与待配乐的视频的时长更贴合，避免网络资源的浪费，提高用户的使用体验。
可选的：本公开实施例中提供了一种可能的实现方式，如图4所示，将待配乐的视频输入预先训练的第一神经网络模型，得到待配乐的视频的特定维度视频特征，包括：
S401：将待配乐的视频进行切片处理，得到多个切片后的第一视频片段；
S402：对各个第一视频片段分别进行图像帧采样，得到多个第一采样图像；
S403：将多个第一采样图像输入预先训练的第一神经网络模型，得到待配乐的视频的特定维度视频特征。
其中，本公开实施例中可以对待配乐的视频进行切片，例如平均每10秒进行一次切割，切割后的视频为多个10秒的第一视频片段。可以理解的是：视频切片技术具有可以节省网络带宽、保证视频的安全性等的特点。本公开实施例中将待配乐的视频进行切片处理，得到多个切片后的第一视频片段可以防止待配乐的视频在后续处理中如果发生中断导致从头进行处理的情况。
对上述各个10秒第一视频片段进行图像帧采样，可以得到多个第一采样图像，结合图3，图3中共有8次卷积操作，4次池化操作。其中卷积核的大小均为$333$，步长为$111$。池化核的大小为$222$，步长为$222$，但第一层池化除外，其大小和步长均为$1*22$。这是为了不过早缩减时序上的长度。最终网络在经过两次全连接层和softmax层后就得到了最终的输出结果。网络的输入尺寸为$316112112$，即一次输入16帧图像。例如可以对上述各个10秒第一视频片段进行均匀图像帧采样，得到多个16帧的第一采样图像。将得到的多个16帧的第一采样图像输入预先训练的第一神经网络模型进行特征提取，便可以得到待配乐的视频的特定维度如36维的视频特征。
可选的：本公开实施例中提供了一种可能的实现方式，将样本视频输入初始神经网络模型中进行特征提取，得到样本视频的第一维度视频特征，包括：
将样本视频进行切片处理，得到多个切片后的第二视频片段；
对各个第二视频片段分别进行图像帧采样，得到多个第二采样图像；
将多个第二采样图像输入初始神经网络模型进行特征提取，得到样本视频的第一维度视频特征。
本公开将样本视频输入初始神经网络模型中进行特征提取，得到样本视频的第一维度视频特征的具体步骤，与将待配乐的视频输入预先训练的第一神经网络模型，得到待配乐的视频的特定维度视频特征的具体步骤类似，此处不再赘述。
可选的，本公开实施例中提供了一种可能的实现方式，如图5所示，获取样本视频所对应的特定维度视频特征，包括：
S501：从多媒体样本文件中获取样本视频对应的样本音频，并从样本音频中提取样本音频的原始音频特征；
其中，在获取样本视频后，对应的，可以提取样本视频中的音频数据作为样本音频。
可选的，可以根据音频提取工具，如：pyAudioAnalysis、librosa等音频特征工具包，可以直接从样本音频中提取该样本音频的音频特征。
一般来说，音频特征通常有34中通用特征，10秒样本音频的原始音频特征可以是13566维。
S502：将原始样本音频的音频特征通过预设降维工具进行降维，得到样本音频的特定维度音频特征；
可选的，预设降维工具可以是PCA(Principal Component Analysis，主成分分析)工具，通过上述降维工具对样本音频的原始音频数据进行降维，得到样本音频的特定维度音频特征。
示例性的：提取上述样本音频的音频特征，保留6位小数，利用PCA降维工具保留95％的能量特征，每一维特征皆进行归一化处理，使其特征范围处于(0，1)之间，处理后的特征保留6位小数。可选的，归一化处理的公式为：(feature-mean)/(max-min)*0.5+0.5，其中，feature-mean为特征均值，max为最大特征值，min为最小特征值，最终结果使得样本音频的原始音频特征维度从13566维降至36维。
S503：将样本视频的第一维度视频特征与样本音频的特定维度音频特征进行回归处理，得到样本视频的特定维度视频特征，其中，样本视频的第一维度视频特征与音频样本的特定维度音频特征具有关联关系。
回归通常指研究一组随机变量和另一组变量之间关系的统计分析方法。可以理解的是：将样本视频的第一维度视频特征与样本音频的特定维度音频特征进行回归处理，可以是将样本视频的第一维度视频特征理解成变量，将样本音频的特定维度音频特征理解为随机变量，将二者进行关联。
具体的，在将样本视频的第一维度视频特征与音频样本的特定维度音频特征进行关联回归后，可以得到样本视频的特定维度视频特征，可以将样本视频的视频特征维度从4096维降到36维。
本公开上述实施例通过先提取样本音频的原始音频特征，利用预设降维工具得到样本音频的特定维度音频特征，最后利用回归方法，将样本视频的第一维度视频特征降至同样本音频的特定维度音频特征同一维度，得到样本视频特定维度视频特征，为训练第一神经网络模型提供了标注信息，推进了第一神经网络模型的训练。
可选的：本公开实施例中提供了一种可能的实现方式，如图6所示，通过多媒体样本文件中获取样本视频，包括：
S601：获取多媒体样本文件，多媒体样本文件中包括第一网络视频；
S602：基于第一网络视频进行剪辑处理，得到多个符合预设时长的第二网络视频作为样本视频。
其中，可以基于多媒体文件中的扩展名获取多媒体文件中的第一网络视频，可以理解的是，当待配乐的视频属于轻度休闲游戏或者短视频时，其视频时长通长在1分钟左右，因此在获取第一网络视频后可以对第一网络视频进行剪辑处理，得到符合预设时长如30秒、1分钟的第二网络视频作为样本视频，可以理解的是，控制样本视频的时长可以更快速的训练初始神经网络模型，节省网络资源。
可选的：本公开实施例中提供了一种可能的实现方式，从多媒体样本文件中获取样本视频对应的样本音频，包括：
获取多媒体样本文件，多媒体样本文件中包括第一网络视频与第一网络视频对应的第一网络音频；
基于第一网络音频进行剪辑处理，得到多个符合预设时长的第二网络音频作为样本视频对应的样本音频。
本公开通过多媒体样本文件中获取样本视频对应的样本音频的具体步骤，与通过多媒体样本文件中获取样本视频的具体步骤类似，此处不再赘述。
本公开实施例提供了一种视频配乐装置，如图7所示，该视频配乐装置70可以包括：第一输入模块701、第二输入模块702、提取模块703以及推荐模块704，其中，
第一输入模块701：用于将待配乐的视频输入预先训练的第一神经网络模型，得到待配乐的视频的特定维度视频特征；
第二输入模块702：用于将特定维度视频特征输入预定的第二神经网络模型，得到待配乐的视频的情感类别，第二神经网络模型是用于对输入视频特征进行情感类别分类的神经网络模型；
提取模块703：用于在曲库池中获取与情感类别对应的多个曲目，分别提取多个曲目的音频特征；
推荐模块704：用于根据待配乐的视频的特定维度视频特征与各个曲目的音频特征进行欧式距离计算，并将欧式距离在预设范围内的曲目作为待配乐的视频的推荐曲目。
本实施例的视频配乐装置可执行本公开前述实施例所示的视频配乐方法，其实现原理相类似，此处不再赘述。
本公开提供的技术方案通过将待配乐的视频输入预先训练的第一神经网络模型可以得到该视频的特定维度视频特征，将该特定维度视频特征输入预定的第二神经网络模型得到上述待配乐的视频对应的情感类别，基于该情感类别在曲库池中获取与其对应的曲目，并提取对应曲目的音频特征，将上述特定维度特征与上述对应曲目的音频特征进行欧氏距离计算，并将欧式距离在预设范围内的曲目作为上述待配乐的视频的推荐曲目。本公开所提供的视频配乐方案，可以基于对视频特征的分析确定视频的情感类别，并根据情感类型为视频进行自动配乐，实现了为不同风格的视频自动匹配符合视频所表达情感的音乐，提高了配乐的准确性，提升了匹配音乐与视频之间的和谐性，可以广泛应用于视频的自动配乐中。
可选的，本公开实施例中提供了一种可能的实现方式，如图8所示，第一输入模块701具体包括：
切片单元801：用于将待配乐的视频进行切片处理，得到多个切片后的第一视频片段；
采样单元802：用于对各个第一视频片段分别进行图像帧采样，得到多个第一采样图像；
提取单元803：用于将多个第一采样图像输入预先训练的第一神经网络模型，得到待配乐的视频的特定维度视频特征。
其中，本公开实施例中可以基于对待配乐的视频进行切片，例如平均每10秒进行一次切割，切割后的视频为多个10秒的第一视频片段。可以理解的是：视频切片技术具有可以节省网络带宽、保证视频的安全性等的特点。本公开实施例中将待配乐的视频进行切片处理，得到多个切片后的第一视频片段可以防止待配乐的视频在后续处理中如果发生中断导致从头进行处理的情况。
对上述各个10秒第一视频片段进行图像帧采样，可以得到多个第一采样图像，结合图3，图3中共有8次卷积操作，4次池化操作。其中卷积核的大小均为$333$，步长为$111$。池化核的大小为$222$，步长为$222$，但第一层池化除外，其大小和步长均为$1*22$。这是为了不过早缩减时序上的长度。最终网络在经过两次全连接层和softmax层后就得到了最终的输出结果。网络的输入尺寸为$316112112$，即一次输入16帧图像。例如可以对上述各个10秒第一视频片段进行均匀图像帧采样，得到多个16帧的第一采样图像。将得到的多个16帧的第一采样图像输入预先训练的第一神经网络模型进行特征提取，便可以得到待配乐的视频的特定维度如36维的视频特征。
下面参考图9，其示出了适于用来实现本公开实施例的电子设备900的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图9示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
电子设备包括：存储器以及处理器，其中，这里的处理器可以称为下文所述的处理装置901，存储器可以包括下文中的只读存储器(ROM)902、随机访问存储器(RAM)903以及存储装置908中的至少一项，具体如下所示：
如图9所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储装置908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有电子设备900操作所需的各种程序和数据。处理装置901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
通常，以下装置可以连接至I/O接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置907；包括例如磁带、硬盘等的存储装置908；以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图9示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从ROM 902被安装。在该计算机程序被处理装置901执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
将所述待配乐的视频输入预先训练的第一神经网络模型，得到所述待配乐的视频的特定维度视频特征；
将所述特定维度视频特征输入预定的第二神经网络模型，得到所述待配乐的视频的情感类别，所述第二神经网络模型用于对输入视频特征进行情感类别分类的神经网络模型；
在曲库池中获取与所述情感类别对应的曲目，提取所述曲目的音频特征；
根据所述待配乐的视频的特定维度视频特征与所述曲目的音频特征进行欧式距离计算，并将欧式距离在预设范围内的曲目作为所述待配乐的视频的推荐曲目。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块或单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，提供了一种视频配乐方法，包括：
将所述待配乐的视频输入预先训练的第一神经网络模型，得到所述待配乐的视频的特定维度视频特征；
将所述特定维度视频特征输入预定的第二神经网络模型，得到所述待配乐的视频的情感类别，所述第二神经网络模型用于对输入视频特征进行情感类别分类的神经网络模型；
在曲库池中获取与所述情感类别对应的曲目，提取所述曲目的音频特征；
根据所述待配乐的视频的特定维度视频特征与所述曲目的音频特征进行欧式距离计算，并将欧式距离在预设范围内的曲目作为所述待配乐的视频的推荐曲目。
可选的，所述将所述待配乐的视频输入预先训练的第一神经网络模型，得到所述待配乐的视频的特定维度视频特征，包括：
将所述待配乐的视频进行切片处理，得到多个切片后的第一视频片段；
对各个第一视频片段分别进行图像帧采样，得到多个第一采样图像；
将所述多个第一采样图像输入预先训练的第一神经网络模型，得到所述待配乐的视频的特定维度视频特征。
可选的，所述第一神经网络模型的训练过程，包括：
从多媒体样本文件中获取样本视频，并将所述样本视频输入初始神经网络模型中进行特征提取，得到所述样本视频的第一维度视频特征；
获取所述样本视频所对应的特定维度视频特征；
基于所述样本视频、所述样本视频对应的特定维度视频特征以及所述样本视频的第一维度视频特征，对所述初始神经网络模型中的参数进行训练，直至所述初始神经网络模型输出与所述样本视频对应的特定维度视频特征，得到训练后的第一神经网络模型。
可选的，所述将所述样本视频输入初始神经网络模型中进行特征提取，得到所述样本视频的第一维度视频特征，包括：
将所述样本视频进行切片处理，得到多个切片后的第二视频片段；
对各个第二视频片段分别进行图像帧采样，得到多个第二采样图像；
将所述多个第二采样图像输入初始神经网络模型进行特征提取，得到所述样本视频的第一维度视频特征。
可选的，所述获取样本视频所对应的特定维度视频特征，包括：
从多媒体样本文件中获取所述样本视频对应的样本音频，并从所述样本音频中提取所述样本音频的原始音频特征；
将所述原始样本音频通过预设降维工具进行降维，得到所述样本音频的特定维度音频特征；
将所述样本视频的第一维度视频特征与所述样本音频的特定维度音频特征进行回归处理，得到所述样本视频的特定维度视频特征，其中，所述样本视频的第一维度视频特征与所述音频样本的特定维度音频特征具有关联关系。
可选的，所述通过多媒体样本文件中获取样本视频，包括：
获取所述多媒体样本文件，所述多媒体样本文件中包括第一网络视频；
基于所述第一网络视频进行剪辑处理，得到多个符合预设时长的第二网络视频作为所述样本视频。
可选的，所述从多媒体样本文件中获取所述样本视频对应的样本音频，包括：
获取所述多媒体样本文件，所述多媒体样本文件中包括第一网络视频与所述第一网络视频对应的第一网络音频；
基于所述第一网络音频进行剪辑处理，得到多个符合预设时长的第二网络音频作为所述样本视频对应的样本音频。
可选的，所述第一神经网络模型包括：
所述第一神经网络模型的结构为C3D(3D ConvNets，深度3维卷积)网络结构。
根据本公开的一个或多个实施例，提供了一种视频配乐的装置，还包括：
第一输入模块：用于将所述待配乐的视频输入预先训练的第一神经网络模型，得到所述待配乐的视频的特定维度视频特征；
第二输入模块：用于将所述特定维度视频特征输入预定的第二神经网络模型，得到所述待配乐的视频的情感类别，所述第二神经网络模型用于对输入视频特征进行情感类别分类的神经网络模型；
提取模块：用于在曲库池中获取与所述情感类别对应的曲目，提取所述曲目的音频特征；
推荐模块：用于根据所述待配乐的视频的特定维度视频特征与所述曲目的音频特征进行欧式距离计算，并将欧式距离在预设范围内的曲目作为所述待配乐的视频的推荐曲目。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (11)

1.一种视频配乐方法，其特征在于，包括：
将待配乐的视频输入预先训练的第一神经网络模型，得到所述待配乐的视频的特定维度视频特征，所述第一神经网络模型是用于对输入的视频提取特定维度视频特征的神经网络模型；其中，所述第一神经网络模型是根据样本视频和样本视频所对应的特定维度视频特征训练得到的；所述样本视频所对应的特定维度视频特征是根据所述样本视频对应的样本音频的音频特征和样本视频的第一维度视频特征所确定的；所述样本视频的第一维度视频特征是将所述样本视频输入预设的初始神经网络模型中进行特征提取得到的；所述样本视频是从预设的多媒体样本文件中获取的；
将所述第一神经网络模型输出的所述特定维度视频特征输入预定的第二神经网络模型，得到所述待配乐的视频的情感类别，所述第二神经网络模型是用于对输入视频特征进行情感类别分类的神经网络模型；
在曲库池中获取与所述情感类别对应的多个曲目，分别提取所述多个曲目的音频特征；
根据所述待配乐的视频的特定维度视频特征与各个曲目的音频特征进行欧式距离计算，并将欧式距离在预设范围内的曲目作为所述待配乐的视频的推荐曲目。
2.根据权利要求1所述的方法，其特征在于，所述将所述待配乐的视频输入预先训练的第一神经网络模型，得到所述待配乐的视频的特定维度视频特征，包括：
将所述待配乐的视频进行切片处理，得到多个切片后的第一视频片段；
对各个第一视频片段分别进行图像帧采样，得到多个第一采样图像；
将所述多个第一采样图像输入预先训练的第一神经网络模型，得到所述待配乐的视频的特定维度视频特征。
3.根据权利要求1-2任一项所述的方法，其特征在于，所述第一神经网络模型的训练过程，包括：
获取所述样本视频所对应的特定维度视频特征；
基于所述样本视频、所述样本视频对应的特定维度视频特征以及所述样本视频的第一维度视频特征，对所述初始神经网络模型中的参数进行训练，直至所述初始神经网络模型输出与所述样本视频对应的特定维度视频特征，得到训练后的第一神经网络模型。
4.根据权利要求3所述的方法，其特征在于，所述将所述样本视频输入初始神经网络模型中进行特征提取，得到所述样本视频的第一维度视频特征，包括：
将所述样本视频进行切片处理，得到多个切片后的第二视频片段；
对各个第二视频片段分别进行图像帧采样，得到多个第二采样图像；
将所述多个第二采样图像输入初始神经网络模型进行特征提取，得到所述样本视频的第一维度视频特征。
5.根据权利要求3所述的方法，其特征在于，所述获取样本视频所对应的特定维度视频特征，包括：
从多媒体样本文件中获取所述样本视频对应的样本音频，并从所述样本音频中提取所述样本音频的原始音频特征；
将所述原始样本音频通过预设降维工具进行降维，得到所述样本音频的特定维度音频特征；
将所述样本视频的第一维度视频特征与所述样本音频的特定维度音频特征进行回归处理，得到所述样本视频的特定维度视频特征，其中，所述样本视频的第一维度视频特征与所述音频样本的特定维度音频特征具有关联关系。
6.根据权利要求3-5任一项所述的方法，其特征在于，所述通过多媒体样本文件中获取样本视频，包括：
获取所述多媒体样本文件，所述多媒体样本文件中包括第一网络视频；
基于所述第一网络视频进行剪辑处理，得到多个符合预设时长的第二网络视频作为所述样本视频。
7.根据权利要求5所述的方法，其特征在于，所述从多媒体样本文件中获取所述样本视频对应的样本音频，包括：
获取所述多媒体样本文件，所述多媒体样本文件中包括第一网络视频与所述第一网络视频对应的第一网络音频；
基于所述第一网络音频进行剪辑处理，得到多个符合预设时长的第二网络音频作为所述样本视频对应的样本音频。
8.根据权利要求7所述的方法，其特征在于：所述第一神经网络模型包括：
所述第一神经网络模型的结构为3D卷积网络结构。
9.一种视频配乐装置，其特征在于，包括：
第一输入模块：用于将待配乐的视频输入预先训练的第一神经网络模型，得到所述待配乐的视频的特定维度视频特征，所述第一神经网络模型是用于对输入的视频提取特定维度视频特征的神经网络模型；其中，所述第一神经网络模型是根据样本视频和样本视频所对应的特定维度视频特征训练得到的；所述样本视频所对应的特定维度视频特征是根据所述样本视频对应的样本音频的音频特征和样本视频的第一维度视频特征所确定的；所述样本视频的第一维度视频特征是将所述样本视频输入预设的初始神经网络模型中进行特征提取得到的；所述样本视频是从预设的多媒体样本文件中获取的；
第二输入模块：用于将所述第一神经网络模型输出的所述特定维度视频特征输入预定的第二神经网络模型，得到所述待配乐的视频的情感类别，所述第二神经网络模型是用于对输入视频特征进行情感类别分类的神经网络模型；
提取模块：用于在曲库池中获取与所述情感类别对应的多个曲目，分别提取所述多个曲目的音频特征；
推荐模块：用于根据所述待配乐的视频的特定维度视频特征与各个曲目的音频特征进行欧式距离计算，并将欧式距离在预设范围内的曲目作为所述待配乐的视频的推荐曲目。
10.一种电子设备，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1~8任一项所述的视频配乐方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述权利要求1~8中任一项所述的视频配乐方法。
CN201911251090.0A 2019-12-09 2019-12-09 视频配乐方法、装置、电子设备及计算机可读存储介质 Active CN110971969B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911251090.0A CN110971969B (zh) 2019-12-09 2019-12-09 视频配乐方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911251090.0A CN110971969B (zh) 2019-12-09 2019-12-09 视频配乐方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110971969A CN110971969A (zh) 2020-04-07
CN110971969B true CN110971969B (zh) 2021-09-07

Family

ID=70033580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911251090.0A Active CN110971969B (zh) 2019-12-09 2019-12-09 视频配乐方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110971969B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111800650B (zh) * 2020-06-05 2022-03-25 腾讯科技（深圳）有限公司 视频配乐方法、装置、电子设备及计算机可读介质
CN111918094B (zh) * 2020-06-29 2023-01-24 北京百度网讯科技有限公司 视频处理方法、装置、电子设备和存储介质
CN111767431A (zh) * 2020-06-29 2020-10-13 北京字节跳动网络技术有限公司 用于视频配乐的方法和装置
US20230260548A1 (en) * 2020-07-03 2023-08-17 Harmix Inc. A system (variants) for providing a harmonious combination of video files and audio files and a related method
CN112040273B (zh) * 2020-09-11 2022-02-25 腾讯科技（深圳）有限公司 视频合成方法及装置
CN112597320A (zh) * 2020-12-09 2021-04-02 上海掌门科技有限公司 社交信息生成方法、设备及计算机可读介质
CN112584062B (zh) * 2020-12-10 2023-08-08 上海幻电信息科技有限公司 背景音频构建方法及装置
CN113572981B (zh) * 2021-01-19 2022-07-19 腾讯科技（深圳）有限公司 视频配乐方法及装置、电子设备、存储介质
CN112954453B (zh) * 2021-02-07 2023-04-28 北京有竹居网络技术有限公司 视频配音方法和装置、存储介质和电子设备
CN112860800A (zh) * 2021-02-22 2021-05-28 深圳市星网储区块链有限公司 基于区块链和联邦学习的可信网络应用方法和装置
CN113190709B (zh) * 2021-03-31 2022-12-06 浙江大学 一种基于短视频关键帧的背景音乐推荐方法和装置
CN113282788B (zh) * 2021-05-27 2023-09-26 平安科技（深圳）有限公司 基于神经网络技术的视频配乐推荐方法、装置以及设备
CN114466170B (zh) * 2021-08-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法及系统
CN113923517B (zh) * 2021-09-30 2024-05-07 北京搜狗科技发展有限公司 一种背景音乐生成方法、装置及电子设备
CN114390342B (zh) * 2021-12-10 2023-08-29 阿里巴巴（中国）有限公司 一种视频配乐方法、装置、设备及介质
CN114501059A (zh) * 2022-01-12 2022-05-13 阿里巴巴（中国）有限公司 视频配乐处理方法、装置、电子设备及可读存储介质
CN114512113B (zh) * 2022-04-11 2023-04-04 科大讯飞(苏州)科技有限公司 一种音频合成方法及相关方法和设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854014A (zh) * 2014-02-25 2014-06-11 中国科学院自动化研究所 一种基于上下文稀疏表示的恐怖视频识别方法及装置
CN107247919A (zh) * 2017-04-28 2017-10-13 深圳大学 一种视频情感内容的获取方法及系统
CN108989882A (zh) * 2018-08-03 2018-12-11 百度在线网络技术（北京）有限公司 用于输出视频中的音乐片段的方法和装置
CN109063163A (zh) * 2018-08-14 2018-12-21 腾讯科技（深圳）有限公司 一种音乐推荐的方法、装置、终端设备和介质
CN109587554A (zh) * 2018-10-29 2019-04-05 百度在线网络技术（北京）有限公司 视频数据的处理方法、装置及可读存储介质
CN110263215A (zh) * 2019-05-09 2019-09-20 众安信息技术服务有限公司 一种视频情感定位方法及系统
CN110309327A (zh) * 2018-02-28 2019-10-08 北京搜狗科技发展有限公司 音频生成方法、装置以及用于音频的生成装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9554188B2 (en) * 2014-08-27 2017-01-24 Verizon Patent And Licensing Inc. Shock block
CN105654067A (zh) * 2016-02-02 2016-06-08 北京格灵深瞳信息技术有限公司 一种车辆检测方法及装置
CN105959678B (zh) * 2016-04-20 2018-04-10 杭州当虹科技有限公司 一种基于音视频解码器hash特征值检测的高效回归测试方法
US10734026B2 (en) * 2016-09-01 2020-08-04 Facebook, Inc. Systems and methods for dynamically providing video content based on declarative instructions
CN109344781A (zh) * 2018-10-11 2019-02-15 上海极链网络科技有限公司 一种基于声音视觉联合特征的视频内表情识别方法
CN110267119B (zh) * 2019-06-28 2023-06-30 北京奇艺世纪科技有限公司 视频精彩度的评价方法及相关设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103854014A (zh) * 2014-02-25 2014-06-11 中国科学院自动化研究所 一种基于上下文稀疏表示的恐怖视频识别方法及装置
CN107247919A (zh) * 2017-04-28 2017-10-13 深圳大学 一种视频情感内容的获取方法及系统
CN110309327A (zh) * 2018-02-28 2019-10-08 北京搜狗科技发展有限公司 音频生成方法、装置以及用于音频的生成装置
CN108989882A (zh) * 2018-08-03 2018-12-11 百度在线网络技术（北京）有限公司 用于输出视频中的音乐片段的方法和装置
CN109063163A (zh) * 2018-08-14 2018-12-21 腾讯科技（深圳）有限公司 一种音乐推荐的方法、装置、终端设备和介质
CN109587554A (zh) * 2018-10-29 2019-04-05 百度在线网络技术（北京）有限公司 视频数据的处理方法、装置及可读存储介质
CN110263215A (zh) * 2019-05-09 2019-09-20 众安信息技术服务有限公司 一种视频情感定位方法及系统

Also Published As

Publication number Publication date
CN110971969A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN110971969B (zh) 视频配乐方法、装置、电子设备及计算机可读存储介质
CN112489620B (zh) 语音合成方法、装置、可读介质及电子设备
CN113470619B (zh) 语音识别方法、装置、介质及设备
CN112153460B (zh) 一种视频的配乐方法、装置、电子设备和存储介质
CN112509562B (zh) 用于文本后处理的方法、装置、电子设备和介质
CN111883117B (zh) 语音唤醒方法及装置
CN111667810B (zh) 多音字语料的获取方法、装置、可读介质和电子设备
CN110990598B (zh) 资源检索方法、装置、电子设备及计算机可读存储介质
CN113378586B (zh) 语音翻译方法、翻译模型训练方法、装置、介质及设备
CN111324700A (zh) 资源召回方法、装置、电子设备及计算机可读存储介质
CN112364829A (zh) 一种人脸识别方法、装置、设备及存储介质
CN110851032A (zh) 用于目标设备的显示样式调整方法和装置
CN112257459B (zh) 语言翻译模型的训练方法、翻译方法、装置和电子设备
CN113011169B (zh) 一种会议纪要的处理方法、装置、设备及介质
CN112242143B (zh) 一种语音交互方法、装置、终端设备及存储介质
CN110335237B (zh) 用于生成模型的方法、装置和用于识别图像的方法、装置
CN111382262A (zh) 用于输出信息的方法和装置
CN111027332B (zh) 生成翻译模型的方法和装置
CN114429629A (zh) 图像处理方法、装置、可读存储介质及电子设备
CN113420723A (zh) 获取视频热点的方法、装置、可读介质和电子设备
CN113051400A (zh) 标注数据确定方法、装置、可读介质及电子设备
CN111967375A (zh) 一种基于人物画像的服务方法
CN112214695A (zh) 信息处理方法、装置和电子设备
CN113345426B (zh) 一种语音意图识别方法、装置及可读存储介质
CN115204124A (zh) 词语例句生成方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Tiktok vision (Beijing) Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Douyin Vision Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: Tiktok vision (Beijing) Co.,Ltd.

CP01 Change in the name or title of a patent holder