CN114501059A - 视频配乐处理方法、装置、电子设备及可读存储介质 - Google Patents

视频配乐处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN114501059A
CN114501059A CN202210032141.6A CN202210032141A CN114501059A CN 114501059 A CN114501059 A CN 114501059A CN 202210032141 A CN202210032141 A CN 202210032141A CN 114501059 A CN114501059 A CN 114501059A
Authority
CN
China
Prior art keywords
score
video
audio
recommended
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210032141.6A
Other languages
English (en)
Inventor
康力
陈思宇
邓俊祺
王立波
陈颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210032141.6A priority Critical patent/CN114501059A/zh
Publication of CN114501059A publication Critical patent/CN114501059A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提出了一种视频配乐处理方法、装置、电子设备及可读存储介质。该方法包括：接收用户上传的视频，所述视频携带有第一配乐；在检测到所述第一配乐存在风险情况下，基于所述视频的视频特征以及音频特征，向用户推荐第二配乐；将所述第二配乐作为所述视频的配乐进行配乐处理。

Description

视频配乐处理方法、装置、电子设备及可读存储介质
技术领域
本说明书实施例涉及计算机技术领域，更具体的，涉及一种视频配乐处理方法、装置、电子设备及可读存储介质。
背景技术
由于短视频具有较强的感染力，感官冲击力以及娱乐性，能够全方位展示产品的特性，并激发用户购买的欲望。在制作短视频的过程中，短视频的配乐具有重要的作用，合适的配乐能迅速提升短视频的感染力。
用户在制作短视频时，通常会使用自己喜欢的音乐作为短视频的配乐，但该音乐有可能带来版权风险。在相关技术中，在检测到视频配乐存在版权问题后，会直接对配乐进行静音处理，或者随机选择一首没有版权问题的音乐作为替换配乐。
然而，静音处理或者随机选择替换配乐，都会破坏视频的情绪表达，影响用户体验。
发明内容
本说明书实施例提供一种视频配乐处理的方法，以在检测到视频的配乐存在风险时，为视频更换风格类似的、不具有风险的新配乐。
根据本说明书的第一方面，提供了一种视频配乐处理方法，包括：
接收用户上传的视频，所述视频携带有第一配乐；
在检测到所述第一配乐存在风险情况下，基于所述视频的视频特征以及音频特征，向用户推荐第二配乐；
将所述第二配乐作为所述视频的配乐进行配乐处理。
可选地，所述基于所述视频的视频特征以及音频特征，向用户推荐第二配乐，包括：
根据所述视频特征和所述音频特征，在预设配乐曲库中进行匹配，确定多个与所述第一配乐的相似度符合预设相似度阈值的推荐配乐；
向用户展示配乐推荐歌单；所述配乐推荐歌单中包括多个所述推荐配乐；
根据所述用户对所述配乐推荐歌单中任一所述推荐配乐的选择，确定所述第二配乐。
可选地，所述基于所述视频的视频特征以及音频特征，向用户推荐第二配乐之前，所述方法还包括：
获取所述视频的视频内容和第一配乐内容；
根据所述视频内容获取所述视频特征，并根据所述第一配乐内容获取所述音频特征。
可选地，所述根据所述视频内容获取所述视频特征，并根据所述第一配乐内容获取所述音频特征，包括：
基于第一神经网络算法对所述视频内容进行视频特征分析，得到视频签名，将所述视频签名确定为所述视频特征；以及，
基于第二神经网络算法对所述第一配乐内容进行音频特征分析，得到音频签名，并对所述第一配乐内容进行音频指纹分析，得到音频指纹；
将所述音频签名和所述音频指纹确定为所述音频特征。
可选地，所述基于所述视频的视频特征以及音频特征，向用户推荐第二配乐，包括：
从所述预设配乐曲库中检索出与所述视频签名的相似度符合第一阈值的第一待推荐配乐；
从所述预设配乐曲库中检索出与所述音频签名的相似度符合第二阈值的第二待推荐配乐；以及，
从所述预设配乐曲库中检索出与所述音频指纹的相似度符合第三阈值的第三待推荐配乐；
根据所述第一待推荐配乐，所述第二待推荐配乐以及所述第三待推荐配乐，向用户推荐所述第二配乐。
可选地，所述风险为版权风险；
检测所述第一配乐存在风险，包括：
基于所述第一配乐在预设配乐曲库中进行检测，在检测结果为不包含所述第一配乐的版权的情况下，确定所述第一配乐存在所述版权风险。
根据本说明书的第二方面，还提供一种视频配乐处理装置，包括：
接收模块，用于接收用户上传的视频，所述视频携带有第一配乐；
推荐模块，用于在检测到所述第一配乐存在风险情况下，基于所述视频的视频特征以及音频特征，向用户推荐第二配乐；
处理模块，用于将所述第二配乐作为所述视频的配乐进行配乐处理。
根据本说明书的第三方面，还提供了一种电子设备，其中，包括：
如本说明书的第二方面所述的视频配乐处理装置；或者，
处理器和存储器，所述存储器用于存储指令，所述指令用于控制所述处理器执行根据本说明书的第一方面中任一项所述的方法。
根据本说明书的第四方面，还提供一种计算机可读存储介质，存储介质存储有可执行指令，所述可执行指令被处理器执行时，执行如本说明书的第一方面中任一项所述的方法。
在一个实施例中，通过接收用户上传的视频，所述视频携带有第一配乐；在检测到所述第一配乐存在风险情况下，基于所述视频的视频特征以及音频特征，向用户推荐第二配乐；将所述第二配乐作为所述视频的配乐进行配乐处理。本说明书实施例中，获取视频的视频特征和音频特征，并基于视频特征和音频特征获取对应的配乐匹配结果，再根据配乐匹配结果向用户推荐第二配乐，这样，从视频主题和音频主题方面得到与原配乐风格最相似的配乐作为所述视频的配乐，从而可以在检测到视频的配乐存在风险时，为视频更换风格类似的、不具有风险问题的新配乐。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1示出了能够用于实施一个实施例的视频配乐处理方法的一种电子设备的组成结构示意图；
图2是根据本说明书实施例的视频配乐处理方法的流程示意图；
图3是根据本说明书实施例的视频配乐处理方法的一个例子的示意图；
图4是可用于本说明书实施例的视频配乐处理装置的原理框图；
图5是可用于实施本说明书实施例的电子设备的原理框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<硬件配置>
用户在制作视频时，通常会使用自己喜欢的音乐作为视频的配乐，但有时该音乐可能会带来版权风险。在本说明书实施例中，在检测到用户所使用的音乐存在风险时，会从预设配乐曲库中选择相似的音乐推荐给用户用于视频配乐。
在进行音乐推荐时，可以从三方面对推荐的音乐进行选择：在第一方面，对视频内容进行理解，以根据对视频内容的理解得到一个音乐；在第二方面，对音频内容进行理解，以根据对音频内容的理解得到一个音乐；在第三方面，对音频进行指纹分析，以根据音频指纹得到一个音乐。然后，再对这三个结果进行融合，从而确定出推荐给用户用于视频配乐的音乐。
本说明书实施例可以由电子设备执行，该电子设备可以是服务器，也可以是智能终端。
图1示出了能够用于实施一个实施例的视频配乐处理方法的一种电子设备的组成结构示意图。
如图1所示，本实施例的电子设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800，等等。
其中，处理器1100用于执行程序指令，该程序指令可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘等。扬声器1700用于输出语音信息。麦克风1800用于采集语音信息。
电子设备1000可以是智能手机、便携式电脑、台式计算机、平板电脑等任意设备。
本实施例中，电子设备1000的存储器1200用于存储指令，所述指令用于控制所述处理器1100进行操作以支持实现根据本说明书任意实施例的视频配乐处理方法。技术人员可以根据本说明书所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
本领域技术人员应当理解，尽管在图1中示出了电子设备1000的多个装置，但是，本说明书实施例的电子设备1000可以仅涉及其中的部分装置，例如，只涉及处理器1100、存储器1200、显示装置1500、输入装置1600等。
图1所示的电子设备1000仅是解释性的，并且决不是为了要限制本说明书、其应用或用途。
<方法实施例>
图2是根据本说明书实施例的视频配乐处理方法的流程示意图，该方法可以由电子设备实施，该电子设备例如是图1所示的电子设备1000。
如图2所示，本实施例的视频配乐处理方法可以包括如下步骤2100～2300：
步骤2100，接收用户上传的视频，所述视频携带有第一配乐。
在接收到用户上传的视频时，会先对所述第一配乐进行检测，以确定所述第一配乐是否存在风险。在确定所述第一配乐不存在风险时，直接生成所述视频。在确定所述第一配乐存在风险时，执行步骤2200。
在一个例子中，所述风险可以为版权风险。在检测所述第一配乐是否存在风险时，可以基于所述第一配乐在预设版权曲库中进行检测，在检测结果为不包含所述第一配乐的版权的情况下，确定所述第一配乐存在所述版权风险。在检测结果为包含所述第一配乐的版权的情况下，确定所述第一配乐不存在所述版权风险。
在其他例子中，所述风险可以是不符合设定规则的风险，示例性的，可以是所述配乐不适合面向某类人群，如，青少年，儿童；或者，所述配乐具有负面内容，禁止在公共平台传播等。
步骤2200，在检测到所述第一配乐存在风险情况下，基于所述视频的视频特征以及音频特征，向用户推荐第二配乐。
实际应用中，可以设置一个预设配乐曲库，所述预设配乐曲库中的配乐都是不存在风险的配乐，及所述配乐对应的特征。当检测到第一配乐存在风险的情况下，可以根据所述视频特征和所述音频特征，在预设配乐曲库中进行匹配，确定多个与所述第一配乐的相似度符合预设相似度阈值的推荐配乐；将多个推荐配乐以列表的形式形成配乐推荐歌单，并向用户展示配乐推荐歌单。用户可以根据自己的喜好从所述配乐推荐歌单中选择任意一首推荐配乐，电子设备1000根据所述用户对所述配乐推荐歌单中任一所述推荐配乐的选择，确定所述第二配乐。
在一个例子中，所述电子设备1000在获取所述视频的视频特征以及音频特征时，具体可以获取所述视频的视频内容和第一配乐内容；根据所述视频内容获取所述视频特征，并根据所述第一配乐内容获取所述音频特征。
示例性的，所述电子设备1000在根据所述视频内容获取所述视频特征时，可以基于第一神经网络算法对所述视频内容进行视频特征分析，得到视频签名；将所述视频签名确定为所述视频特征。其中，视频签名包括视频特征向量和签名向量，是一个n维的实数向量，可以用于表征整个视频的内容。
所述电子设备1000在根据所述第一配乐内容获取所述音频特征时，可以基于第二神经网络算法对所述第一配乐内容进行音频特征分析，得到音频签名；并对所述配乐内容进行音频指纹分析，得到音频指纹；将所述音频签名和所述音频指纹确定为所述音频特征。
示例性的，所述电子设备1000在进行音频特征分析时，可以基于第二神经网络算法对第一配乐内容进行音频特征分析，得到音频签名。音频签名包括音频特征向量和签名向量，是一个n维的实数向量，可以用于表征整个视频的内容。
所述电子设备1000在进行音频指纹分析时，可以通过音频指纹算法将第一配乐内容中特有的数字特征以标识符的形式提取出来，得到音频指纹。可以理解的是，音频指纹的提取过程不受配乐内容本身的存储格式、编码方式、码率和压缩技术的影响。
在获取到音频特征和视频特征后，从所述预设配乐曲库中检索出与所述视频签名的相似度符合第一阈值的第一待推荐配乐；从所述预设配乐曲库中检索出与所述音频签名的相似度符合第二阈值的第二待推荐配乐；以及，从所述预设配乐曲库中检索出与所述音频指纹的相似度符合第三阈值的第三待推荐配乐。
示例性的，所述电子设备1000可以以视频签名为索引，在所述预设配乐曲库中进行检索，从所述预设配乐曲库中检索出与所述视频签名的相似度符合第一阈值的第一待推荐配乐。这样，可以检索到适合所述视频的主题的配乐。
示例性的，所述电子设备1000可以以所述音频签名为索引，在所述预设配乐曲库中进行检索，从所述预设配乐曲库中检索出与所述音频签名的相似度符合第二阈值的第二待推荐配乐。这样，可以检索到与所述视频的第一配乐的音频主题相匹配的配乐。
示例性的，所述电子设备1000可以以所述音频指纹为索引，在所述预设配乐曲库中进行检索，从所述预设配乐曲库中检索出与所述音频指纹的相似度符合第三阈值的第三待推荐配乐。这样，可以检索到与所述视频的第一配乐的音乐风格相匹配的配乐。
需要说明的是，所述第一阈值、所述第二阈值和所述第三阈值可以相同，也可以不同，具体可以根据实际使用需求进行设定，本实施例对此不做具体限定。
在得到所述第一待推荐配乐，所述第二待推荐配乐以及所述第三待推荐配乐后，所述电子设备1000可以根据所述第一待推荐配乐，所述第二待推荐配乐以及所述第三待推荐配乐，向用户推荐所述第二配乐。其中，所述预设配乐曲库中的配乐都是不存在风险的。
在一个例子中，所述电子设备1000可以对所述第一待推荐配乐，所述第二待推荐配乐以及所述第三待推荐配乐进行融合操作，得到所述视频的第二配乐。也就是说，所述电子设备1000对所述第一待推荐配乐、所述第二待推荐配乐和所述第三待推荐配乐进行融合，形成一个融合歌单后输出，提供给用户进行选择。
<例子>
如图3所示，在应用本实施例的视频配乐处理方法的过程中，在检测到视频的第一配乐存在版权风险的情况下，所述电子设备1000将所述视频划分为视频内容和音频内容。
所述电子设备1000对视频内容进行做视频内容理解，通过第一神经网络算法对视频内容进行视频特征分析，得到视频签名，根据视频签名在预设配乐曲库中进行检索，得到配乐歌单1。
所述电子设备1000对音频内容进行音频内容理解，通过第二神经网络算法对音频内容进行音频特征分析，得到音频签名，根据音频签名在预设配乐曲库中进行检索，得到配乐歌单2。
所述电子设备1000对音频内容进行音频指纹分析，得到音频指纹，根据音频指纹在预设配乐曲库中进行检索，得到配乐歌单3。
将配乐歌单1、配乐歌单2和配乐歌单3进行融合操作，输出融合歌单。
用户可以根据配乐融合歌单重新为视频选择配乐，从而避免了版权风险，同时不影响视频的情绪表达。
以上已结合附图和例子对本说明书实施例的视频配乐处理方法进行了说明，在本实施例中，通过接收用户上传的视频，所述视频携带有第一配乐；在检测到所述第一配乐存在风险情况下，基于所述视频的视频特征以及音频特征，向用户推荐第二配乐；将所述第二配乐作为所述视频的配乐进行配乐处理。本说明书实施例中，获取视频的视频特征和音频特征，并基于视频特征和音频特征分别获取对应的配乐匹配结果，再根据配乐匹配结果向用户推荐第二配乐，这样，从视频主题和音频主题方面得到与原配乐风格最相似的配乐作为所述视频的配乐，从而可以在检测到视频的配乐存在风险时，为视频更换风格类似的、不具有风险的新配乐。
<装置实施例>
在本实施例中，还提供一种视频配乐处理装置，该视频配乐处理装置例如可以设置在如图1所示的电子设备1000中。
如图4所示，该视频配乐处理装置4000包括：接收模块4100，推荐模块4200和处理模块4300。
其中，接收模块4100，用于接收用户上传的视频，所述视频携带有第一配乐。
推荐模块4200，用于在检测到所述第一配乐存在风险情况下，基于所述视频的视频特征以及音频特征，向用户推荐第二配乐。
处理模块4300，用于将所述第二配乐作为所述视频的配乐进行配乐处理。
在一个实施例中，所述推荐模块4200具体用于：根据所述视频特征和所述音频特征，在预设配乐曲库中进行匹配，确定多个与所述第一配乐的相似度符合预设相似度阈值的推荐配乐；向用户展示配乐推荐歌单；所述配乐推荐歌单中包括多个所述推荐配乐；根据所述用户对所述配乐推荐歌单中任一所述推荐配乐的选择，确定所述第二配乐。
在一个实施例中，所述装置还可以包括获取模块，用于获取所述视频的视频内容和第一配乐内容；根据所述视频内容获取所述视频特征，并根据所述第一配乐内容获取所述音频特征。
其中，所述获取模块在获取所述视频特征时，可以基于第一神经网络算法对所述视频内容进行视频特征分析，得到视频签名；将所述视频签名确定为所述视频特征。
在一个实施例中，所述获取模块4100具体用于：基于第二神经网络算法对所述第一配乐内容进行音频特征分析，得到音频签名；对所述第一配乐内容进行音频指纹分析，得到音频指纹；将所述音频签名和所述音频指纹确定为所述音频特征。
在一个实施例中，所述推荐模块4200具体可以用于：从所述预设配乐曲库中检索出与所述视频签名的相似度符合第一阈值的第一待推荐配乐；从所述预设配乐曲库中检索出与所述音频签名的相似度符合第二阈值的第二待推荐配乐；以及，从所述预设配乐曲库中检索出与所述音频指纹的相似度符合第三阈值的第三待推荐配乐；根据所述第一待推荐配乐，所述第二待推荐配乐以及所述第三待推荐配乐，向用户推荐所述第二配乐。
在一个实施例中，所述风险为版权风险；所述装置还包括检测模块，用于基于所述第一配乐在预设版权曲库中进行检测，在检测结果为不包含所述第一配乐的版权的情况下，确定所述第一配乐存在所述版权风险。
本实施例的视频配乐处理装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
<设备实施例>
本实施例中，还提供一种电子设备，该电子设备包括本说明书装置实施例中描述的视频配乐处理装置4000；或者，该电子设备为图5所示的电子设备5000，包括：
存储器5100，用于存储可执行命令。
处理器5200，用于在存储器5100存储的可执行命令的控制下，执行本说明书任意方法实施例中描述的方法。
在电子设备根据所执行的方法实施例的实施主体，可以是服务器，也可以是电子设备。
<计算机可读存储介质实施例>
本实施例提供一种计算机可读存储介质，该存储介质中存储有可执行命令，该可执行命令被处理器执行时，执行本说明书任意方法实施例中描述的方法。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (9)

1.一种视频配乐处理方法，其特征在于，包括：
接收用户上传的视频，所述视频携带有第一配乐；
在检测到所述第一配乐存在风险情况下，基于所述视频的视频特征以及音频特征，向用户推荐第二配乐；
将所述第二配乐作为所述视频的配乐进行配乐处理。
2.根据权利要求1所述的方法，其特征在于，所述基于所述视频的视频特征以及音频特征，向用户推荐第二配乐，包括：
根据所述视频特征和所述音频特征，在预设配乐曲库中进行匹配，确定多个与所述第一配乐的相似度符合预设相似度阈值的推荐配乐；
向用户展示配乐推荐歌单；所述配乐推荐歌单中包括多个所述推荐配乐；
根据所述用户对所述配乐推荐歌单中任一所述推荐配乐的选择，确定所述第二配乐。
3.根据权利要求1所述的方法，其特征在于，所述基于所述视频的视频特征以及音频特征，向用户推荐第二配乐之前，所述方法还包括：
获取所述视频的视频内容和第一配乐内容；
根据所述视频内容获取所述视频特征，并根据所述第一配乐内容获取所述音频特征。
4.根据权利要求3所述的方法，其特征在于，所述根据所述视频内容获取所述视频特征，并根据所述第一配乐内容获取所述音频特征，包括：
基于第一神经网络算法对所述视频内容进行视频特征分析，得到视频签名，将所述视频签名确定为所述视频特征；以及，
基于第二神经网络算法对所述第一配乐内容进行音频特征分析，得到音频签名，并对所述第一配乐内容进行音频指纹分析，得到音频指纹；
将所述音频签名和所述音频指纹确定为所述音频特征。
5.根据权利要求4所述的方法，其特征在于，所述基于所述视频的视频特征以及音频特征，向用户推荐第二配乐，包括：
从所述预设配乐曲库中检索出与所述视频签名的相似度符合第一阈值的第一待推荐配乐；
从所述预设配乐曲库中检索出与所述音频签名的相似度符合第二阈值的第二待推荐配乐；以及，
从所述预设配乐曲库中检索出与所述音频指纹的相似度符合第三阈值的第三待推荐配乐；
根据所述第一待推荐配乐，所述第二待推荐配乐以及所述第三待推荐配乐，向用户推荐所述第二配乐。
6.根据权利要求1所述的方法，其特征在于，所述风险为版权风险；
检测所述第一配乐是否存在风险，包括：
基于所述第一配乐在预设版权曲库中进行检测，在检测结果为不包含所述第一配乐的版权的情况下，确定所述第一配乐存在所述版权风险。
7.一种视频配乐处理装置，其特征在于，包括：
接收模块，用于接收用户上传的视频，所述视频携带有第一配乐；
推荐模块，用于在检测到所述第一配乐存在风险情况下，基于所述视频的视频特征以及音频特征，向用户推荐第二配乐；
处理模块，用于将所述第二配乐作为所述视频的配乐进行配乐处理。
8.一种电子设备，其中，包括：
如权利要求7所述的视频配乐处理装置；或者，
处理器和存储器，所述存储器用于存储指令，所述指令用于控制所述处理器执行根据权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质，存储介质存储有可执行指令，所述可执行指令被处理器执行时，执行如权利要求1至6中任一项所述的方法。
CN202210032141.6A 2022-01-12 2022-01-12 视频配乐处理方法、装置、电子设备及可读存储介质 Pending CN114501059A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210032141.6A CN114501059A (zh) 2022-01-12 2022-01-12 视频配乐处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210032141.6A CN114501059A (zh) 2022-01-12 2022-01-12 视频配乐处理方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114501059A true CN114501059A (zh) 2022-05-13

Family

ID=81512527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210032141.6A Pending CN114501059A (zh) 2022-01-12 2022-01-12 视频配乐处理方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114501059A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115190367A (zh) * 2022-07-07 2022-10-14 北京字跳网络技术有限公司 一种视频播放方法、装置、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120586A1 (en) * 2001-01-05 2002-08-29 Teruo Masaki Copyrighted work managing method and apparatus thereof
CN105930429A (zh) * 2016-04-19 2016-09-07 乐视控股（北京）有限公司 一种音乐推荐的方法及装置
CN110971969A (zh) * 2019-12-09 2020-04-07 北京字节跳动网络技术有限公司 视频配乐方法、装置、电子设备及计算机可读存储介质
CN110992218A (zh) * 2019-11-21 2020-04-10 山东爱城市网信息技术有限公司 一种基于区块链的音乐版权保护方法及设备、介质
CN111125480A (zh) * 2018-10-30 2020-05-08 阿里巴巴集团控股有限公司 背景音乐的播放方法、设备、客户端装置及电子设备
CN113569088A (zh) * 2021-09-27 2021-10-29 腾讯科技（深圳）有限公司 一种音乐推荐方法、装置以及可读存储介质
CN113747233A (zh) * 2021-08-24 2021-12-03 北京达佳互联信息技术有限公司 一种音乐替换方法、装置、电子设备及存储介质
CN113778830A (zh) * 2021-09-18 2021-12-10 长沙理工大学 一种基于rpa技术的短视频背景音乐侵权行为自动监测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120586A1 (en) * 2001-01-05 2002-08-29 Teruo Masaki Copyrighted work managing method and apparatus thereof
CN105930429A (zh) * 2016-04-19 2016-09-07 乐视控股（北京）有限公司 一种音乐推荐的方法及装置
CN111125480A (zh) * 2018-10-30 2020-05-08 阿里巴巴集团控股有限公司 背景音乐的播放方法、设备、客户端装置及电子设备
CN110992218A (zh) * 2019-11-21 2020-04-10 山东爱城市网信息技术有限公司 一种基于区块链的音乐版权保护方法及设备、介质
CN110971969A (zh) * 2019-12-09 2020-04-07 北京字节跳动网络技术有限公司 视频配乐方法、装置、电子设备及计算机可读存储介质
CN113747233A (zh) * 2021-08-24 2021-12-03 北京达佳互联信息技术有限公司 一种音乐替换方法、装置、电子设备及存储介质
CN113778830A (zh) * 2021-09-18 2021-12-10 长沙理工大学 一种基于rpa技术的短视频背景音乐侵权行为自动监测方法
CN113569088A (zh) * 2021-09-27 2021-10-29 腾讯科技（深圳）有限公司 一种音乐推荐方法、装置以及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吕军辉;: "基于深度学习的视频背景音乐自动推荐算法研究", 电视技术, no. 10 *
王晖楠;魏娇;: "基于人工智能识别的音乐片段指纹检索技术研究", 自动化与仪器仪表, no. 05 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115190367A (zh) * 2022-07-07 2022-10-14 北京字跳网络技术有限公司 一种视频播放方法、装置、设备和存储介质
CN115190367B (zh) * 2022-07-07 2023-12-01 北京字跳网络技术有限公司 一种视频播放方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
US11487503B2 (en) Interactive control method and device for voice and video communications
CN109886326B (zh) 一种跨模态信息检索方法、装置和存储介质
JP7123255B2 (ja) テキストシーケンス認識方法及びその装置、電子機器並びに記憶媒体
KR102554121B1 (ko) 텍스트의 엔티티 포커스의 마이닝 방법 및 장치
CN113052328B (zh) 深度学习模型生产系统、电子设备和存储介质
US20120150537A1 (en) Filtering confidential information in voice and image data
CN109582825B (zh) 用于生成信息的方法和装置
KR102353797B1 (ko) 영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템
CN112182255A (zh) 用于存储媒体文件和用于检索媒体文件的方法和装置
CN108449255B (zh) 评论交互方法、设备、客户端装置及电子设备
CN114241471B (zh) 视频文本识别方法、装置、电子设备及可读存储介质
CN114501059A (zh) 视频配乐处理方法、装置、电子设备及可读存储介质
CN117610539A (zh) 意图执行方法、装置、电子设备及存储介质
CN110221978B (zh) 测试用例生成方法及装置
WO2023097952A1 (zh) 预训练模型发布方法及装置、电子设备、存储介质和计算机程序产品
CN114625876B (zh) 作者特征模型的生成方法、作者信息处理方法和装置
CN113360127B (zh) 音频播放方法以及电子设备
CN114298227A (zh) 文本去重方法、装置、设备及介质
CN114548407A (zh) 层级目标定向因果发现方法、装置及电子设备
US11395051B2 (en) Video content relationship mapping
CN113221514A (zh) 文本处理方法、装置、电子设备和存储介质
CN112037821A (zh) 语音情感的视觉化表示方法、装置及计算机存储介质
CN113065544A (zh) 一种文字识别方法、装置及电子设备
CN113626722A (zh) 舆论引导方法、装置、设备及计算机可读存储介质
EP3422201A1 (en) Method and apparatus for correcting text

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40073996

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220513