CN114756706A - 一种资源合成方法、装置、设备及存储介质 - Google Patents

一种资源合成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114756706A
CN114756706A CN202210359938.7A CN202210359938A CN114756706A CN 114756706 A CN114756706 A CN 114756706A CN 202210359938 A CN202210359938 A CN 202210359938A CN 114756706 A CN114756706 A CN 114756706A
Authority
CN
China
Prior art keywords
resource
music
dance
sample
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210359938.7A
Other languages
English (en)
Inventor
王鹏睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202210359938.7A priority Critical patent/CN114756706A/zh
Publication of CN114756706A publication Critical patent/CN114756706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/65—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

本公开关于一种资源合成方法、装置、设备及存储介质，涉及计算机技术领域，可以提高舞蹈与音乐的合成效率。该资源合成方法包括：获取待合成的音乐资源；待合成的音乐资源包括至少一个音乐片段；确定与至少一个音乐片段一一对应的至少一个特征信息；将至少一个特征信息输入到预设模型中，以得到与至少一个特征信息一一对应的至少一个舞蹈资源；预设模型为根据多个样本资源对训练至满足第一预设条件，用于确定输入的特征信息对应的舞蹈资源的模型；一个样本资源对包括一个音乐样本资源和一个舞蹈样本资源；根据至少一个舞蹈资源和至少一个音乐片段，生成合成资源；合成资源包括待合成的音乐资源和与待合成的音乐资源对应的舞蹈资源。

Description

一种资源合成方法、装置、设备及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种资源合成方法、装置、设备及存储介质。
背景技术
具备类真人行为的数字虚拟人是元宇宙、游戏、虚拟直播、虚拟现实等技术的重要组成部分。在虚拟人直播中，如果虚拟人能够拥有类似真人的才艺，比如给定音乐附和音乐进行自动编舞，将会为虚拟人带来巨大的吸引力。
目前在多数关于虚拟人跳舞动作的场景中，往往需要会舞蹈的动捕演员根据音乐进行编舞，然后通过光学捕捉设备进行动作捕捉，最后还要人工修复动捕数据，才能应用到虚拟人上。这种方式虽然舞蹈动作准确生动但是消耗了大量的人工成本、时间成本和经济成本，降低了舞蹈与音乐的合成效率。
发明内容
本公开提供一种资源合成方法、装置、设备及存储介质，可以提高舞蹈与音乐的合成效率。
本公开实施例的技术方案如下：
根据本公开实施例的第一方面，提供一种资源合成方法，该方法可以应用于电子设备。该方法可以包括：
获取待合成的音乐资源；待合成的音乐资源包括至少一个音乐片段；
确定与至少一个音乐片段一一对应的至少一个特征信息；
将至少一个特征信息输入到预设模型中，以得到与至少一个特征信息一一对应的至少一个舞蹈资源；预设模型为根据多个样本资源对训练至满足第一预设条件，用于确定输入的特征信息对应的舞蹈资源的模型；一个样本资源对包括一个音乐样本资源和一个舞蹈样本资源；
根据至少一个舞蹈资源和至少一个音乐片段，生成合成资源；合成资源包括待合成的音乐资源和与待合成的音乐资源对应的舞蹈资源。
可选的，特征信息包括：音乐类型特征信息和音乐节奏特征信息；
确定与至少一个音乐片段一一对应的至少一个特征信息，包括：
将至少一个音乐片段输入到音乐类型特征提取模型中，以得到与至少一个音乐片段一一对应的至少一个音乐类型特征信息；音乐类型特征提取模型为根据第一样本资源训练得到的；第一样本资源为多个样本资源对中，包括音乐类型特征的样本资源；
将至少一个音乐片段输入到音乐节奏特征提取模型中，以得到与至少一个音乐片段一一对应的至少一个音乐节奏特征信息；音乐节奏特征提取模型为根据第二样本资源训练得到的；第二样本资源为多个样本资源对中，包括音乐节奏特征的样本资源。
可选的，至少一个音乐片段包括：第一音乐片段和与第一音乐片段连续的第二音乐片段；至少一个舞蹈资源包括：与第一音乐片段对应的第一舞蹈资源和与第二音乐片段对应的第二舞蹈资源；第一舞蹈资源包括：按照第一舞蹈资源的舞蹈动作的先后顺序划分的结尾动作；第二舞蹈资源包括：按照第二舞蹈资源的舞蹈动作的先后顺序划分的起始动作；
当结尾动作和起始动作为非连续的舞蹈动作时，根据至少一个舞蹈资源和至少一个音乐片段，生成合成资源，包括：
将结尾动作和起始动作输入到动作补全模型中，以得到与结尾动作对应的第一动作和与起始动作对应的第二动作；动作补全模型为根据第三样本资源训练得到的；第三样本资源为多个样本资源对中，包括舞蹈动作特征的样本资源；第一动作和第二动作为连续的舞蹈动作；
将结尾动作更新为第一动作，以得到更新后的第一舞蹈资源；
将起始动作更新为第二动作，以得到更新后的第二舞蹈资源；
根据第一音乐片段、第二音乐片段、更新后的第一舞蹈资源和更新后的第二舞蹈资源，生成合成资源。
可选的，资源合成方法还包括：
获取多个样本资源对；一个样本资源对包括多个样本资源对片段；一个样本资源对片段包括一个音乐样本资源片段和一个舞蹈样本资源片段；
根据多个样本资源对片段和聚类算法，确定多个样本资源对片段的至少一个聚类结果；一个聚类结果对应一个舞蹈资源；
采用至少一个聚类结果，对预设的隐马尔可夫模型进行训练至满足第一预设条件，以得到预设模型。
可选的，获取多个样本资源对之后，还包括：
采用多个样本资源对片段中的音乐样本资源片段，对预设的分类任务模型进行训练至满足第二预设条件，以得到音乐类型特征提取模型。
可选的，获取多个样本资源对之后，还包括：
从多个样本资源对片段中的每个样本资源对片段的音乐样本资源片段中，获取与音乐节拍对应的节奏特征；
从每个样本资源对片段的舞蹈样本资源片段中，获取与音乐节拍对应的动作特征；
采用节奏特征和动作特征，对预设的特征提取模型进行训练至满足第三预设条件，以得到音乐节奏特征提取模型。
可选的，多个样本资源对片段包括：第一样本资源对片段和第二样本资源对片段；第一样本资源对片段包括：第一舞蹈样本资源片段；第二样本资源对片段包括：第二舞蹈样本资源片段；
获取多个样本资源对之后，还包括：
获取第一子片段和第二子片段；第一子片段为第一舞蹈样本资源片段中，按照舞蹈动作顺序从后往前排序的至少一个子片段；第二子片段为第二舞蹈样本资源片段中，按照舞蹈动作顺序从前往后排序的至少一个子片段；
根据第一子片段、第二子片段和预设算法，训练得到动作补全模型。
根据本公开实施例的第二方面，提供一种资源合成装置，可以应用于电子设备。该装置可以包括：获取单元、处理单元和生成单元；
获取单元，用于获取待合成的音乐资源；待合成的音乐资源包括至少一个音乐片段；
处理单元，用于确定与至少一个音乐片段一一对应的至少一个特征信息；
处理单元，还用于将至少一个特征信息输入到预设模型中，以得到与至少一个特征信息一一对应的至少一个舞蹈资源；预设模型为根据多个样本资源对训练至满足第一预设条件，用于确定输入的特征信息对应的舞蹈资源的模型；一个样本资源对包括一个音乐样本资源和一个舞蹈样本资源；
生成单元，用于根据至少一个舞蹈资源和至少一个音乐片段，生成合成资源；合成资源包括待合成的音乐资源和与待合成的音乐资源对应的舞蹈资源。
可选的，特征信息包括：音乐类型特征信息和音乐节奏特征信息；
处理单元，具体用于：
将至少一个音乐片段输入到音乐类型特征提取模型中，以得到与至少一个音乐片段一一对应的至少一个音乐类型特征信息；音乐类型特征提取模型为根据第一样本资源训练得到的；第一样本资源为多个样本资源对中，包括音乐类型特征的样本资源；
将至少一个音乐片段输入到音乐节奏特征提取模型中，以得到与至少一个音乐片段一一对应的至少一个音乐节奏特征信息；音乐节奏特征提取模型为根据第二样本资源训练得到的；第二样本资源为多个样本资源对中，包括音乐节奏特征的样本资源。
可选的，至少一个音乐片段包括：第一音乐片段和与第一音乐片段连续的第二音乐片段；至少一个舞蹈资源包括：与第一音乐片段对应的第一舞蹈资源和与第二音乐片段对应的第二舞蹈资源；第一舞蹈资源包括：按照第一舞蹈资源的舞蹈动作的先后顺序划分的结尾动作；第二舞蹈资源包括：按照第二舞蹈资源的舞蹈动作的先后顺序划分的起始动作；
当结尾动作和起始动作为非连续的舞蹈动作时，生成单元，具体用于：
将结尾动作和起始动作输入到动作补全模型中，以得到与结尾动作对应的第一动作和与起始动作对应的第二动作；动作补全模型为根据第三样本资源训练得到的；第三样本资源为多个样本资源对中，包括舞蹈动作特征的样本资源；第一动作和第二动作为连续的舞蹈动作；
将结尾动作更新为第一动作，以得到更新后的第一舞蹈资源；
将起始动作更新为第二动作，以得到更新后的第二舞蹈资源；
根据第一音乐片段、第二音乐片段、更新后的第一舞蹈资源和更新后的第二舞蹈资源，生成合成资源。
可选的，获取单元，还用于获取多个样本资源对；一个样本资源对包括多个样本资源对片段；一个样本资源对片段包括一个音乐样本资源片段和一个舞蹈样本资源片段；
处理单元，还用于根据多个样本资源对片段和聚类算法，确定多个样本资源对片段的至少一个聚类结果；一个聚类结果对应一个舞蹈资源；
处理单元，还用于采用至少一个聚类结果，对预设的隐马尔可夫模型进行训练至满足第一预设条件，以得到预设模型。
可选的，处理单元，还用于采用多个样本资源对片段中的音乐样本资源片段，对预设的分类任务模型进行训练至满足第二预设条件，以得到音乐类型特征提取模型。
可选的，处理单元，还用于从多个样本资源对片段中的每个样本资源对片段的音乐样本资源片段中，获取与音乐节拍对应的节奏特征；
从每个样本资源对片段的舞蹈样本资源片段中，获取与音乐节拍对应的动作特征；
采用节奏特征和动作特征，对预设的特征提取模型进行训练至满足第三预设条件，以得到音乐节奏特征提取模型。
可选的，多个样本资源对片段包括：第一样本资源对片段和第二样本资源对片段；第一样本资源对片段包括：第一舞蹈样本资源片段；第二样本资源对片段包括：第二舞蹈样本资源片段；
获取单元，还用于获取第一子片段和第二子片段；第一子片段为第一舞蹈样本资源片段中，按照舞蹈动作顺序从后往前排序的至少一个子片段；第二子片段为第二舞蹈样本资源片段中，按照舞蹈动作顺序从前往后排序的至少一个子片段；
处理单元，还用于根据第一子片段、第二子片段和预设算法，训练得到动作补全模型。
根据本公开实施例的第三方面，提供一种电子设备，可以包括：处理器和用于存储处理器可执行指令的存储器；其中，处理器被配置为执行所述指令，以实现上述第一方面中任一种可选地资源合成方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，计算机可读存储介质上存储有指令，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述第一方面中任一种可选地资源合成方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，该计算机程序产品包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如第一方面中任一种可选地实现方式所述的资源合成方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
本公开的实施例提供的技术方案至少带来以下有益效果：
基于上述任一方面，本公开中，在获取待合成的音乐资源，可以将获取待合成的音乐资源划分为至少一个音乐片段，并确定与至少一个音乐片段一一对应的至少一个特征信息。后续，将至少一个特征信息输入到预设模型中，以得到与至少一个特征信息一一对应的至少一个舞蹈资源，并根据至少一个舞蹈资源和至少一个音乐片段，生成合成资源。由于预设模型为根据多个样本资源对训练至满足第一预设条件，用于确定输入的特征信息对应的舞蹈资源的模型，且合成资源包括待合成的音乐资源和与待合成的音乐资源对应的舞蹈资源，因此，本公开可以通过预设模型快速、准确的确定与待合成的音乐资源对应的舞蹈资源，并生成合成资源，无需为每一首音乐单独设计一套舞蹈动作，也无需通过舞蹈人员进行模拟采集舞蹈资源，提高了音乐资源与舞蹈资源的合成效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1示出了本公开实施例提供的一种资源合成方法的流程示意图；
图2示出了本公开实施例提供的又一种资源合成方法的流程示意图；
图3示出了本公开实施例提供的又一种资源合成方法的流程示意图；
图4示出了本公开实施例提供的又一种资源合成方法的流程示意图；
图5示出了本公开实施例提供的又一种资源合成方法的流程示意图；
图6示出了本公开实施例提供的又一种资源合成方法的流程示意图；
图7示出了本公开实施例提供的又一种资源合成方法的流程示意图；
图8示出了本公开实施例提供的又一种资源合成装置的结构示意图；
图9示出了本公开实施例提供的一种终端的结构示意图；
图10示出了本公开实施例提供的一种服务器的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
还应当理解的是，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素和/或组件的存在或添加。
本公开所涉及的数据可以为经用户授权或者经过各方充分授权的数据。
如背景技术所描述，直接采集舞蹈数据的方式需要消耗大量的人工成本、时间成本和经济成本，降低舞蹈生成的效率。而通过神经网络直接预测出舞蹈动作则易产生不合理的姿态动作，需要大量的后期修复工作，降低了舞蹈与音乐的合成效率。
基于此，本公开实施例提供一种资源合成方法，在获取待合成的音乐资源，可以将获取待合成的音乐资源划分为至少一个音乐片段，并确定与至少一个音乐片段一一对应的至少一个特征信息。后续，将至少一个特征信息输入到预设模型中，以得到与至少一个特征信息一一对应的至少一个舞蹈资源，并根据至少一个舞蹈资源和至少一个音乐片段，生成合成资源。由于预设模型为根据多个样本资源对训练至满足第一预设条件，用于确定输入的特征信息对应的舞蹈资源的模型，且合成资源包括待合成的音乐资源和与待合成的音乐资源对应的舞蹈资源，因此，本公开可以通过预设模型快速、准确的确定与待合成的音乐资源对应的舞蹈资源，并生成合成资源，无需为每一首音乐单独设计一套舞蹈动作，也无需通过舞蹈人员进行模拟采集舞蹈资源，提高了音乐资源与舞蹈资源的合成效率。
以下对本公开实施例提供的资源合成方法进行示例性说明：
本公开提供的资源合成方法可以应用于电子设备。
一些实施例中，电子设备可以是服务器，也可以是终端，还可以是其他用于进行资源合成的电子设备，本公开对此不作限定。
其中，服务器可以是单独的一个服务器，或者，也可以是由多个服务器构成的服务器集群。部分实施方式中，服务器集群还可以是分布式集群。本公开对服务器的具体实现方式也不作限制。
终端可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备等可以安装并使用内容社区应用(如快手)的设备，本公开对该电子设备的具体形态不作特殊限制。其可以与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互。
下面结合附图对本申请实施例提供的资源合成方法进行详细介绍。
如图1所示，当资源合成方法应用于电子设备时，该资源合成方法可以包括：
S101、电子设备获取待合成的音乐资源。
其中，待合成的音乐资源包括至少一个音乐片段。
可选的，待合成的音乐资源可以是一段音乐。由于这一段音乐中可以包括多种音乐风格或者多种音乐节奏，因此，电子设备可以将该音乐资源可以按照音乐的小节，划分为至少一个音乐片段。
可选的，电子设备按照音乐的小节，划分待合成的音乐资源时，可以通过检测音乐的每秒的节拍数，找到音乐的小节。接着，由于每个小节的时长可能不同，因此，电子设备可以将每个小节设定为固定时长，从而得到至少一个音乐片段。
S102、电子设备确定与至少一个音乐片段一一对应的至少一个特征信息。
可选的，特征信息可以包括音乐类型特征信息和音乐节奏特征信息。
其中，音乐类型特征信息用于表示该音乐片段的音乐类型。音乐类型又可以称为音乐风格，例如爵士乐、摇滚乐、嘻哈乐、古典乐等。
音乐节奏特征信息用于表示该音乐片段的音乐节奏。例如切分节奏、三连音节奏等。
可选的，电子设备确定与至少一个音乐片段一一对应的至少一个特征信息时，可以通过特征提取模型，确定至少一个特征信息，也可以通过特定的特征提取算法，确定至少一个特征信息，本公开对此不作限定。
S103、电子设备将至少一个特征信息输入到预设模型中，以得到与至少一个特征信息一一对应的至少一个舞蹈资源。
其中，预设模型为根据多个样本资源对训练至满足第一预设条件，用于确定输入的特征信息对应的舞蹈资源的模型；一个样本资源对包括一个音乐样本资源和一个舞蹈样本资源。
具体的，由于预设模型为根据多个样本资源对训练至满足第一预设条件，用于确定输入的特征信息对应的舞蹈资源的模型，因此，预设模型可以包括多个舞蹈资源。在这种情况下，电子设备可以将至少一个特征信息输入到预设模型中，从而得到与至少一个特征信息一一对应的至少一个舞蹈资源。
可选的，第一预设条件可以是根据多个样本资源对训练至收敛状态，即最后一次训练得到的模型输出的误差值小于第一预设阈值，也可以是根据多个样本资源对训练至第二预设次数，还可以是其他的训练结束条件，本公开对此不作限定。
可选的，预设模型可以是隐马尔可夫模型(Hidden Markov Model，HMM)。隐马尔可夫模型是一种统计模型，用来描述一个含有隐含未知参数的马尔可夫过程。
当预设模型为隐马尔可夫模型时，电子设备将至少一个特征信息输入到预设模型中，以得到与至少一个特征信息一一对应的至少一个舞蹈资源时，执行的是一个在一阶马尔可夫模型上的搜索。
隐马尔可夫模型可以包括与多个舞蹈资源一一对应的舞蹈动作单元(CAU)。其中每个CAU为一个状态，状态之间的转移概率(即舞蹈资源之间的相似性)可以使用经验值，或者使用音乐风格特征的相似度。每个状态的发射概率(即下一个舞蹈资源中的舞蹈动作与上一个舞蹈资源中的舞蹈动作相同的概率)由与该状态对应的舞蹈资源的类型以及节奏特征的相似度决定。可选的，当预设模型中的舞蹈资源的数量巨大时，若一一确定一个特征信息与大量的舞蹈资源中的每个舞蹈资源之间的相似度，耗时耗力，效率较低。在这种情况下，电子设备可以采用束搜索的方法，从大量的舞蹈资源确定与该特征信息对应的舞蹈资源，提高了搜索效率。
S104、电子设备根据至少一个舞蹈资源和至少一个音乐片段，生成合成资源。
其中，合成资源包括待合成的音乐资源和与待合成的音乐资源对应的舞蹈资源。
具体的，在确定至少一个舞蹈资源后，电子设备可以将至少一个舞蹈资源与至少一个音乐片段进行一一对应的合成，进而得到合成资源。
但是，由于合成资源中的舞蹈资源不一定是连续的，若直接合成，则可能导致合成资源的舞蹈动作衔接不合理。因此，电子设备在根据至少一个舞蹈资源和至少一个音乐片段，生成合成资源时，可以将不连续的舞蹈资源进行平滑处理，从而得到舞蹈动作为合理的、连续的合成资源。
可选的，电子设备将不连续的舞蹈资源进行平滑处理时，可以根据动作补全模型确定衔接合理的舞蹈动作，也可以通过其他补全算法，确定衔接合理的舞蹈动作，本公开对此不作限定。
上述实施例提供的技术方案至少带来以下有益效果：由S101-S104可知，电子设备在获取待合成的音乐资源，可以将获取待合成的音乐资源划分为至少一个音乐片段，并确定与至少一个音乐片段一一对应的至少一个特征信息。后续，将至少一个特征信息输入到预设模型中，以得到与至少一个特征信息一一对应的至少一个舞蹈资源，并根据至少一个舞蹈资源和至少一个音乐片段，生成合成资源。由于预设模型为根据多个样本资源对训练至满足第一预设条件，用于确定输入的特征信息对应的舞蹈资源的模型，且合成资源包括待合成的音乐资源和与待合成的音乐资源对应的舞蹈资源，因此，本公开可以通过预设模型快速、准确的确定与待合成的音乐资源对应的舞蹈资源，并生成合成资源，无需为每一首音乐单独设计一套舞蹈动作，也无需通过舞蹈人员进行模拟采集舞蹈资源，提高了音乐资源与舞蹈资源的合成效率。
在一种实施例中，特征信息包括：音乐类型特征信息和音乐节奏特征信息。结合图1，如图2所示，上述S102中，电子设备确定与至少一个音乐片段一一对应的至少一个特征信息的方法具体包括：
S201、电子设备将至少一个音乐片段输入到音乐类型特征提取模型中，以得到与至少一个音乐片段一一对应的至少一个音乐类型特征信息。
其中，音乐类型特征提取模型为根据第一样本资源训练得到的；第一样本资源为多个样本资源对中，包括音乐类型特征的样本资源。
具体的，由于音乐类型特征提取模型为根据第一样本资源训练得到的，并且第一样本资源为多个样本资源对中，包括音乐类型特征的样本资源，因此，音乐类型特征提取模型可以包括多个音乐类型。在这种情况下，电子设备可以将至少一个特征信息输入到音乐类型特征提取模型中，从而确定每个特征信息与每个音乐类型的相似度。
接着，针对每个特征信息，电子设备均可以从与每个音乐类型的相似度中，选取大于预设相似度阈值的相似度对应的音乐类型，确定为该特征信息对应的音乐类型特征信息。
可选的，预设相似度阈值可以是根据人为经验设定的。在实际应用中，电子设备还可以选取相似度最大的音乐类型，确定为该特征信息对应的音乐类型特征信息。
S202、电子设备将至少一个音乐片段输入到音乐节奏特征提取模型中，以得到与至少一个音乐片段一一对应的至少一个音乐节奏特征信息。
其中，音乐节奏特征提取模型为根据第二样本资源训练得到的；第二样本资源为多个样本资源对中，包括音乐节奏特征的样本资源。
具体的，由于音乐节奏特征提取模型为根据第二样本资源训练得到的，并且第二样本资源为多个样本资源对中，包括音乐节奏特征的样本资源，因此，音乐节奏特征提取模型可以包括多个音乐节奏。在这种情况下，电子设备可以将至少一个特征信息输入到音乐节奏特征提取模型中，从而确定每个特征信息与每个音乐节奏的相似度。
接着，针对每个特征信息，电子设备均可以从与每个音乐节奏的相似度中，选取大于预设相似度阈值的相似度对应的音乐节奏，确定为该特征信息对应的音乐节奏特征信息。
可选的，预设相似度阈值可以是根据人为经验设定的。在实际应用中，电子设备还可以选取相似度最大的音乐节奏，确定为该特征信息对应的音乐节奏特征信息。
需要说明的是，电子设备可以先执行S201，后执行S202；也可以先执行S202，后执行S201；还可以同时执行S201和S202，本公开对此不作限定。
上述实施例提供的技术方案至少带来以下有益效果：由S201-S202可知，电子设备可以通过音乐类型特征提取模型、快速、准确的确定与至少一个音乐片段一一对应的至少一个音乐类型特征信息，以及通过音乐节奏特征提取模型、快速、准确的确定与至少一个音乐片段一一对应的至少一个音乐节奏特征信息，以便于后续根据特征信息确定对应的舞蹈资源，进而提高音乐资源与舞蹈资源的合成效率。
在一种实施例中，至少一个音乐片段包括：第一音乐片段和与第一音乐片段连续的第二音乐片段；至少一个舞蹈资源包括：与第一音乐片段对应的第一舞蹈资源和与第二音乐片段对应的第二舞蹈资源；第一舞蹈资源包括：按照第一舞蹈资源的舞蹈动作的先后顺序划分的结尾动作；第二舞蹈资源包括：按照第二舞蹈资源的舞蹈动作的先后顺序划分的起始动作。
结合图1，如图3所示，当结尾动作和起始动作为非连续的舞蹈动作时，上述S104中，电子设备根据至少一个舞蹈资源和至少一个音乐片段，生成合成资源的方法具体包括：
S301、电子设备将结尾动作和起始动作输入到动作补全模型中，以得到与结尾动作对应的第一动作和与起始动作对应的第二动作。
其中，动作补全模型为根据第三样本资源训练得到的；第三样本资源为多个样本资源对中，包括舞蹈动作特征的样本资源；。
相关技术通常是通过神经网络建立音乐与舞蹈动作关联的模型，然后输入音乐预测出舞蹈动作。这种方式前期需要按照依靠动捕设备录入较多的音乐舞蹈配对数据，才能保证训练出较为稳定的网络模型。此外，模型预测的舞蹈动作无法保证不出现不合理的舞蹈动作，并且动作平滑性难以保证。
本申请中，第一音乐片段和第二音乐片段为至少一个音乐片段中的任意两个连续的音乐片段。将第一音乐片段的特征信息和第二音乐片段的特征信息输入到预设模型中，以得到与第一音乐片段对应的第一舞蹈资源，以及与第二音乐片段对应的第二舞蹈资源后，电子设备可以提取第一舞蹈资源和第二舞蹈资源中的舞蹈动作。
由于第一音乐片段和第二音乐片段为连续的音乐片段，因此，第一舞蹈资源与第二舞蹈资源也是连续的舞蹈资源。在提取第一舞蹈资源和第二舞蹈资源中的舞蹈动作后，电子设备可以判断第一舞蹈资源的结尾动作和第二舞蹈资源的起始动作是否为连续的舞蹈动作。
当结尾动作和起始动作为非连续的舞蹈动作时，为了使得舞蹈动作的衔接更加合理，电子设备可以将结尾动作和起始动作输入到动作补全模型中，以得到与结尾动作对应的第一动作和与起始动作对应的第二动作。
其中，第一动作和第二动作为连续的舞蹈动作。
示例性的，预设第一舞蹈资源按照舞蹈动作的先后顺序划分为舞蹈动作A和舞蹈动作B，第二舞蹈资源包括舞蹈动作C和舞蹈动作D。其中，舞蹈动作B为第一舞蹈资源的结尾动作，舞蹈动作C为第二舞蹈资源的起始动作。
当舞蹈动作B和舞蹈动作C为非连续的舞蹈动作时，为了使得舞蹈动作的衔接更加合理，电子设备可以将舞蹈动作B和舞蹈动作C输入到动作补全模型中，以得到与舞蹈动作B对应的第一动作和与舞蹈动作C对应的第二动作。
可选的，结尾动作可以是第一舞蹈资源的最后一个动作，也可以是最后的多个动作(例如最后2个动作、最后3个动作等)。相应的，起始动作可以是第二舞蹈资源的第一个动作，也可以是前几个动作(例如前2个动作、前3个动作等)。
S302、电子设备将结尾动作更新为第一动作，以得到更新后的第一舞蹈资源。
S303、电子设备将起始动作更新为第二动作，以得到更新后的第二舞蹈资源。
S304、电子设备根据第一音乐片段、第二音乐片段、更新后的第一舞蹈资源和更新后的第二舞蹈资源，生成合成资源。
具体的，将结尾动作更新为第一动作，以得到更新后的第一舞蹈资源，以及将起始动作更新为第二动作，以得到更新后的第二舞蹈资源后，电子设备需要将第一音乐片段与更新后的第一舞蹈资源进行合成。相应的，电子设备还需要将第二音乐片段和更新后的第二舞蹈资源进行合成。此外，对于其他舞蹈资源，电子设备可以执行相同的操作，从而生成合成资源。
上述实施例提供的技术方案至少带来以下有益效果：由S301-S304可知，电子设备可以通过动作补全模型、快速、准确的将不连续的舞蹈动作更新为连续的舞蹈动作，从而生成包括平滑、衔接合理的舞蹈资源的合成资源。
在一种实施例中，如图4所示，该资源合成方法，还包括：
S401、电子设备获取多个样本资源对。
具体的，为了训练得到预设模型，电子设备可以获取大量的样本资源对。
其中，一个样本资源对包括多个样本资源对片段；一个样本资源对片段包括一个音乐样本资源片段和一个舞蹈样本资源片段。
可选的，样本资源对可以是已经合成好的，包括音乐与舞蹈的多媒体资源。多个样本资源对可以包括正样本资源对和负样本资源对。
其中，正样本资源对可以是音乐的类型以及节奏与舞蹈相匹配的多媒体资源。相应的，负样本资源对可以是音乐的类型以及节奏与舞蹈不匹配的多媒体资源。
在获取多个样本资源对后，电子设备可以按照S101中，电子设备按照音乐的小节，划分待合成的音乐资源的方法，将每个样本资源对划分为多个样本资源对片段。
S402、电子设备根据多个样本资源对片段和聚类算法，确定多个样本资源对片段的至少一个聚类结果。
具体的，在获取多个样本资源对，并将每个样本资源对划分为多个样本资源对片段后，为了训练得到预设模型，电子设备可以根据多个样本资源对片段和聚类算法，确定多个样本资源对片段的至少一个聚类结果，即将多个样本资源对按照舞蹈资源和音乐资源的类型，进行聚类。
其中，一个聚类结果对应一个舞蹈资源。
可选的，电子设备根据多个样本资源对片段和聚类算法，确定多个样本资源对片段的至少一个聚类结果时，可以在频率域计算每个样本资源对片段与聚类中心的相似度，并选择相似度差异大的样本资源对片段，从而确定多个样本资源对片段的至少一个聚类结果。
可选的，电子设备还可以通过K-Means(K均值)聚类算法等聚类算法，确定多个样本资源对片段的至少一个聚类结果，本公开对此不作限定。
可选的，为了便于确定多个样本资源对片段的至少一个聚类结果，电子设备还可以通过特征提取模型，提取多个样本资源对片段的特征信息，并根据多个样本资源对片段的特征信息和聚类算法，确定多个样本资源对片段的至少一个聚类结果。
S403、电子设备采用至少一个聚类结果，对预设的隐马尔可夫模型进行训练至满足第一预设条件，以得到预设模型。
隐马尔可夫模型(Hidden Markov Model，HMM)是一种统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。
隐马尔可夫模型中包括与至少一个聚类结果一一对应至少一个状态。
上述至少一个状态中，状态之间的转移概率可以使用经验值，或者使用音乐类型特征信息之间的相似度确定。每个状态的发射概率由与该状态对应的聚类结果所对应的样本对资源的类型以及节奏特征的相似度决定。
上述实施例提供的技术方案至少带来以下有益效果：由S401-S403可知，给出了一种电子设备训练得到预设模型的具体实现方式，以便于后续根据预设模型确定与待合成的音乐资源对应的舞蹈资源，进而提高音乐资源与舞蹈资源的合成效率。
在一种实施例中，结合图4，如图5所示，上述S401之后，该资源合成方法还包括：
S501、电子设备采用多个样本资源对片段中的音乐样本资源片段，对预设的分类任务模型进行训练至满足第二预设条件，以得到音乐类型特征提取模型。
具体的，在训练得到音乐类型特征提取模型时，由于音乐类型与舞蹈资源不相关，因此，电子设备仅需要从采用多个样本资源对片段中的音乐样本资源片段，对预设的分类任务模型进行训练至满足第二预设条件，即可得到音乐类型特征提取模型。
预设的分类任务模型可以机器学习中常见的分类任务的初始模型。由于初始模型的模型参数为初始值，因此，采用多个样本资源对片段中的音乐样本资源片段，对预设的分类任务模型进行训练，从而调整模型的模型参数，进而得到音乐类型特征提取模型。
可选的，预设的分类任务模型可以是二分类模型、多类别分类模型等。
可选的，第二预设条件可以是对预设的分类任务模型进行训练至收敛状态，即最后一次训练得到的模型输出的误差值小于第二预设阈值，也可以是对预设的分类任务模型进行训练至第二预设次数，还可以是其他的训练结束条件，本公开对此不作限定。
可选的，第一预设阈值和第二预设阈值可以相同，也可以不同；第一预设次数和第二预设次数可以相同，也可以不同，本公开对此不作限定。
上述实施例提供的技术方案至少带来以下有益效果：由S501可知，给出了一种电子设备训练得到音乐类型特征提取模型的具体实现方式，以便于后续根据音乐类型特征提取模型确定音乐类型特征信息，以便于后续根据特征信息确定对应的舞蹈资源，进而提高音乐资源与舞蹈资源的合成效率。
在一种实施例中，结合图5，如图6所示，上述S401之后，该资源合成方法还包括：
S601、电子设备从多个样本资源对片段中的每个样本资源对片段的音乐样本资源片段中，获取与音乐节拍对应的节奏特征。
可选的，电子设备获取与音乐节拍对应的节奏特征时，可以通过检测音乐每秒的节拍数，从而找到音乐的小节，进而根据音乐的小节获取与音乐节拍对应的节奏特征。
S602、电子设备从每个样本资源对片段的舞蹈样本资源片段中，获取与音乐节拍对应的动作特征。
可选的，动作特征主要包括舞蹈资源中，舞蹈对象的关节的运动节奏信息。
可选的，电子设备获取与音乐节拍对应的动作特征时，可以根据音乐的小节中的节奏位置(例如每个小节有8个节奏位置)，检测这些位置是否有运动的节拍点，从而得到与音乐节拍对应的动作特征。
S603、电子设备采用节奏特征和动作特征，对预设的特征提取模型进行训练至满足第三预设条件，以得到音乐节奏特征提取模型。
预设的特征提取模型可以机器学习中常见的用于提取特征的初始模型。由于初始模型的模型参数为初始值，因此，采用节奏特征和动作特征，对预设的特征提取模型进行训练，从而调整模型的模型参数，进而得到音乐节奏特征提取模型。
可选的，第三预设条件可以是对预设的特征提取模型进行训练至收敛状态，即最后一次训练得到的模型输出的误差值小于第三预设阈值，也可以是对预设的特征提取模型进行训练至第三预设次数，还可以是其他的训练结束条件，本公开对此不作限定。
可选的，第一预设阈值、第二预设阈值和第三预设阈值可以相同，也可以不同；第一预设次数、第二预设次数和第三预设次数可以相同，也可以不同，本公开对此不作限定。
上述实施例提供的技术方案至少带来以下有益效果：由S601-S603可知，给出了一种电子设备训练得到音乐节奏特征提取模型的具体实现方式，以便于后续根据音乐节奏特征提取模型确定音乐节奏特征信息，以便于后续根据特征信息确定对应的舞蹈资源，进而提高音乐资源与舞蹈资源的合成效率。
在一种实施例中，多个样本资源对片段包括：第一样本资源对片段和第二样本资源对片段；第一样本资源对片段包括：第一舞蹈样本资源片段；第二样本资源对片段包括：第二舞蹈样本资源片段。
结合图6，如图7所示，上述S401之后，该资源合成方法还包括：
S701、电子设备获取第一子片段和第二子片段。
具体的，在训练得到动作补全模型时，电子设备可以对多个样本资源对片段中的第一样本资源对片段和第二样本资源对片段进行训练。
第一样本资源对片段和第二样本资源对片段为多个样本资源对片段中的任意两个样本资源对片段。
由于每个样本资源对片段都包括一个舞蹈样本资源片段，因此，电子设备可以获取第一子片段和第二子片段。
其中，第一子片段为第一舞蹈样本资源片段中，按照舞蹈动作顺序从后往前排序的至少一个子片段；第二子片段为第二舞蹈样本资源片段中，按照舞蹈动作顺序从前往后排序的至少一个子片段。
可选的，至少一个子片段的数量可以根据舞蹈样本资源片段的片段长度确定。例如，至少一个子片段的数量可以是舞蹈样本资源片段的片段长度1/2、1/4等。
示例性的，第一舞蹈样本资源片段按照舞蹈动作顺序从后往前排序，划分为子片段1、子片段2和子片段3，第二舞蹈样本资源片段按照舞蹈动作顺序从前往后排序，划分为子片段4、子片段5和子片段6。
预设电子设备需要获取第一舞蹈样本资源片段和第二舞蹈样本资源片段的衔接处，第一舞蹈样本资源片段的2个子片段，以及第二舞蹈样本资源片段的2个子片段。在这种情况下，电子设备可以获取第一子片段为子片段1和子片段2。相应的，电子设备可以获取第二子片段为子片段4和子片段5。
S702、电子设备根据第一子片段、第二子片段和预设算法，训练得到动作补全模型。
具体的，在获取第一子片段和第二子片段后，电子设备可以提取第一子片段和第二子片段中的舞蹈动作，并判断第一子片段的结尾动作和第二子片段的起始动作是否为为连续的舞蹈动作。
可选的，预设算法可以为自监督学习算法。
当第一子片段的结尾动作与第二子片段的起始动作为连续的舞蹈动作时，电子设备可以根据自监督学习算法，对结尾动作与起始动作为连续的舞蹈动作的两个子片段进行训练。
相应的，当第一子片段的结尾动作与第二子片段的起始动作为非连续的舞蹈动作时，、电子设备可以根据自监督学习算法，对除第一子片段和第二子片段以外的其他舞蹈样本资源片段进行训练，对第一子片段和第二子片段不进行监督。
示例性的，电子设备可以把长度为T的两个舞蹈样本资源片段(即第一舞蹈样本资源片段和第二舞蹈样本资源片段)拼接在一起，扣掉拼接处左右各一部分S(即第一子片段和第二子片段)，进行预测。
如果两个子片段(即第一子片段和第二子片段)是连续的，那么对整个2T序列(即第一舞蹈样本资源片段和第二舞蹈样本资源片段)进行完全预测。
如果两个片段(即第一子片段和第二子片段)是非连续的，那么预测的序列监督时在拼接处左右S/4到S/2长度随机不进行监督。这样就可以训练出动作补全模型。
上述实施例提供的技术方案至少带来以下有益效果：由S701-S702可知，给出了一种电子设备训练得到动作补全模型的具体实现方式，以便于后续根据动作补全模型，将不连续的舞蹈动作更新为连续的舞蹈动作，从而生成包括平滑、衔接合理的舞蹈资源的合成资源。
可以理解的，在实际实施时，本公开实施例所述的终端/服务器可以包含有用于实现前述对应资源合成方法的一个或多个硬件结构和/或软件模块，这些执行硬件结构和/或软件模块可以构成一个电子设备。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的算法步骤，本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
基于这样的理解，本公开实施例还对应提供一种资源合成装置，可以应用于电子设备。图8示出了本公开实施例提供的资源合成装置的结构示意图。如图8所示，该资源合成装置可以包括：
获取单元801、处理单元802和生成单元803；
获取单元801，用于获取待合成的音乐资源；待合成的音乐资源包括至少一个音乐片段；
处理单元802，用于确定与至少一个音乐片段一一对应的至少一个特征信息；
处理单元802，还用于将至少一个特征信息输入到预设模型中，以得到与至少一个特征信息一一对应的至少一个舞蹈资源；预设模型为根据多个样本资源对训练至满足第一预设条件，用于确定输入的特征信息对应的舞蹈资源的模型；一个样本资源对包括一个音乐样本资源和一个舞蹈样本资源；
生成单元803，用于根据至少一个舞蹈资源和至少一个音乐片段，生成合成资源；合成资源包括待合成的音乐资源和与待合成的音乐资源对应的舞蹈资源。
可选的，特征信息包括：音乐类型特征信息和音乐节奏特征信息；
处理单元802，具体用于：
将至少一个音乐片段输入到音乐类型特征提取模型中，以得到与至少一个音乐片段一一对应的至少一个音乐类型特征信息；音乐类型特征提取模型为根据第一样本资源训练得到的；第一样本资源为多个样本资源对中，包括音乐类型特征的样本资源；
将至少一个音乐片段输入到音乐节奏特征提取模型中，以得到与至少一个音乐片段一一对应的至少一个音乐节奏特征信息；音乐节奏特征提取模型为根据第二样本资源训练得到的；第二样本资源为多个样本资源对中，包括音乐节奏特征的样本资源。
可选的，至少一个音乐片段包括：第一音乐片段和与第一音乐片段连续的第二音乐片段；至少一个舞蹈资源包括：与第一音乐片段对应的第一舞蹈资源和与第二音乐片段对应的第二舞蹈资源；第一舞蹈资源包括：按照第一舞蹈资源的舞蹈动作的先后顺序划分的结尾动作；第二舞蹈资源包括：按照第二舞蹈资源的舞蹈动作的先后顺序划分的起始动作；
当结尾动作和起始动作为非连续的舞蹈动作时，生成单元803，具体用于：
将结尾动作和起始动作输入到动作补全模型中，以得到与结尾动作对应的第一动作和与起始动作对应的第二动作；动作补全模型为根据第三样本资源训练得到的；第三样本资源为多个样本资源对中，包括舞蹈动作特征的样本资源；第一动作和第二动作为连续的舞蹈动作；
将结尾动作更新为第一动作，以得到更新后的第一舞蹈资源；
将起始动作更新为第二动作，以得到更新后的第二舞蹈资源；
根据第一音乐片段、第二音乐片段、更新后的第一舞蹈资源和更新后的第二舞蹈资源，生成合成资源。
可选的，获取单元801，还用于获取多个样本资源对；一个样本资源对包括多个样本资源对片段；一个样本资源对片段包括一个音乐样本资源片段和一个舞蹈样本资源片段；
处理单元802，还用于根据多个样本资源对片段和聚类算法，确定多个样本资源对片段的至少一个聚类结果；一个聚类结果对应一个舞蹈资源；
处理单元802，还用于采用至少一个聚类结果，对预设的隐马尔可夫模型进行训练至满足第一预设条件，以得到预设模型。
可选的，处理单元802，还用于采用多个样本资源对片段中的音乐样本资源片段，对预设的分类任务模型进行训练至满足第二预设条件，以得到音乐类型特征提取模型。
可选的，处理单元802，还用于从多个样本资源对片段中的每个样本资源对片段的音乐样本资源片段中，获取与音乐节拍对应的节奏特征；
从每个样本资源对片段的舞蹈样本资源片段中，获取与音乐节拍对应的动作特征；
采用节奏特征和动作特征，对预设的特征提取模型进行训练至满足第三预设条件，以得到音乐节奏特征提取模型。
可选的，多个样本资源对片段包括：第一样本资源对片段和第二样本资源对片段；第一样本资源对片段包括：第一舞蹈样本资源片段；第二样本资源对片段包括：第二舞蹈样本资源片段；
获取单元801，还用于获取第一子片段和第二子片段；第一子片段为第一舞蹈样本资源片段中，按照舞蹈动作顺序从后往前排序的至少一个子片段；第二子片段为第二舞蹈样本资源片段中，按照舞蹈动作顺序从前往后排序的至少一个子片段；
处理单元802，还用于根据第一子片段、第二子片段和预设算法，训练得到动作补全模型。
如上所述，本公开实施例可以根据上述方法示例对电子设备进行功能模块的划分。其中，上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。另外，还需要说明的是，本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。
关于上述实施例中的资源合成装置，其中各个模块执行操作的具体方式、以及具备的有益效果，均已经在前述方法实施例中进行了详细描述，此处不再赘述。
本公开实施例还提供一种终端，终端可以是手机、电脑等用户终端。图9示出了本公开实施例提供的终端的结构示意图。该终端可以是资源合成装置可以包括至少一个处理器61，通信总线62，存储器63以及至少一个通信接口64。
处理器61可以是一个处理器(central processing units，CPU)，微处理单元，ASIC，或一个或多个用于控制本公开方案程序执行的集成电路。作为一个示例，结合图8，电子设备中的处理单元802实现的功能与图9中的处理器61实现的功能相同。
通信总线62可包括一通路，在上述组件之间传送信息。
通信接口64，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如服务器、以太网，无线接入网(radio access network，RAN)，无线局域网(wireless localarea networks，WLAN)等。作为一个示例，
存储器63可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。
其中，存储器63用于存储执行本公开方案的应用程序代码，并由处理器61来控制执行。处理器61用于执行存储器63中存储的应用程序代码，从而实现本公开方法中的功能。
在具体实现中，作为一种实施例，处理器61可以包括一个或多个CPU，例如图9中的CPU0和CPU1。
在具体实现中，作为一种实施例，终端可以包括多个处理器，例如图9中的处理器61和处理器65。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中，作为一种实施例，终端还可以包括输入设备66和输出设备67。输入设备66和输出设备67通信，可以以多种方式接受用户的输入。例如，输入设备66可以是鼠标、键盘、触摸屏设备或传感设备等。输出设备67和处理器61通信，可以以多种方式来显示信息。例如，输出设备61可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备等。
本领域技术人员可以理解，图9中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本公开实施例还提供一种服务器。图10示出了本公开实施例提供的服务器的结构示意图。该服务器可以是资源合成装置。该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器71和一个或一个以上的存储器72。其中，存储器72中存储有至少一条指令，至少一条指令由处理器71加载并执行以实现上述各个方法实施例提供的资源合成方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
本公开还提供了一种包括指令的计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述计算机可读存储介质中的指令由计算机设备的处理器执行时，使得计算机能够执行上述所示实施例提供的资源合成方法。例如，计算机可读存储介质可以为包括指令的存储器63，上述指令可由终端的处理器61执行以完成上述方法。又例如，计算机可读存储介质可以为包括指令的存储器72，上述指令可由服务器的处理器71执行以完成上述方法。可选地，计算机可读存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
本公开还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行上述图1-图7任一附图所示的资源合成方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种资源合成方法，其特征在于，包括：
获取待合成的音乐资源；所述待合成的音乐资源包括至少一个音乐片段；
确定与所述至少一个音乐片段一一对应的至少一个特征信息；
将所述至少一个特征信息输入到预设模型中，以得到与所述至少一个特征信息一一对应的至少一个舞蹈资源；所述预设模型为根据多个样本资源对训练至满足第一预设条件，用于确定输入的特征信息对应的舞蹈资源的模型；一个样本资源对包括一个音乐样本资源和一个舞蹈样本资源；
根据所述至少一个舞蹈资源和所述至少一个音乐片段，生成合成资源；所述合成资源包括所述待合成的音乐资源和与所述待合成的音乐资源对应的舞蹈资源。
2.根据权利要求1所述的资源合成方法，其特征在于，所述特征信息包括：音乐类型特征信息和音乐节奏特征信息；
所述确定与所述至少一个音乐片段一一对应的至少一个特征信息，包括：
将所述至少一个音乐片段输入到音乐类型特征提取模型中，以得到与所述至少一个音乐片段一一对应的至少一个音乐类型特征信息；所述音乐类型特征提取模型为根据第一样本资源训练得到的；所述第一样本资源为所述多个样本资源对中，包括音乐类型特征的样本资源；
将所述至少一个音乐片段输入到音乐节奏特征提取模型中，以得到与所述至少一个音乐片段一一对应的至少一个音乐节奏特征信息；所述音乐节奏特征提取模型为根据第二样本资源训练得到的；所述第二样本资源为所述多个样本资源对中，包括音乐节奏特征的样本资源。
3.根据权利要求1所述的资源合成方法，其特征在于，所述至少一个音乐片段包括：第一音乐片段和与所述第一音乐片段连续的第二音乐片段；所述至少一个舞蹈资源包括：与所述第一音乐片段对应的第一舞蹈资源和与所述第二音乐片段对应的第二舞蹈资源；所述第一舞蹈资源包括：按照所述第一舞蹈资源的舞蹈动作的先后顺序划分的结尾动作；所述第二舞蹈资源包括：按照所述第二舞蹈资源的舞蹈动作的先后顺序划分的起始动作；
当所述结尾动作和所述起始动作为非连续的舞蹈动作时，所述根据所述至少一个舞蹈资源和所述至少一个音乐片段，生成合成资源，包括：
将所述结尾动作和所述起始动作输入到动作补全模型中，以得到与所述结尾动作对应的第一动作和与所述起始动作对应的第二动作；所述动作补全模型为根据第三样本资源训练得到的；所述第三样本资源为所述多个样本资源对中，包括舞蹈动作特征的样本资源；所述第一动作和所述第二动作为连续的舞蹈动作；
将所述结尾动作更新为所述第一动作，以得到更新后的第一舞蹈资源；
将所述起始动作更新为所述第二动作，以得到更新后的第二舞蹈资源；
根据所述第一音乐片段、所述第二音乐片段、所述更新后的第一舞蹈资源和所述更新后的第二舞蹈资源，生成所述合成资源。
4.根据权利要求1所述的资源合成方法，其特征在于，还包括：
获取所述多个样本资源对；一个样本资源对包括多个样本资源对片段；一个样本资源对片段包括一个音乐样本资源片段和一个舞蹈样本资源片段；
根据所述多个样本资源对片段和聚类算法，确定所述多个样本资源对片段的至少一个聚类结果；一个聚类结果对应一个舞蹈资源；
采用所述至少一个聚类结果，对预设的隐马尔可夫模型进行训练至满足所述第一预设条件，以得到所述预设模型。
5.根据权利要求4所述的资源合成方法，其特征在于，所述获取所述多个样本资源对之后，还包括：
采用所述多个样本资源对片段中的音乐样本资源片段，对预设的分类任务模型进行训练至满足第二预设条件，以得到音乐类型特征提取模型。
6.根据权利要求4所述的资源合成方法，其特征在于，所述获取所述多个样本资源对之后，还包括：
从所述多个样本资源对片段中的每个样本资源对片段的音乐样本资源片段中，获取与音乐节拍对应的节奏特征；
从所述每个样本资源对片段的舞蹈样本资源片段中，获取与所述音乐节拍对应的动作特征；
采用所述节奏特征和所述动作特征，对预设的特征提取模型进行训练至满足第三预设条件，以得到音乐节奏特征提取模型。
7.一种资源合成装置，其特征在于，包括：获取单元、处理单元和生成单元；
所述获取单元，用于获取待合成的音乐资源；所述待合成的音乐资源包括至少一个音乐片段；
所述处理单元，用于确定与所述至少一个音乐片段一一对应的至少一个特征信息；
所述处理单元，还用于将所述至少一个特征信息输入到预设模型中，以得到与所述至少一个特征信息一一对应的至少一个舞蹈资源；所述预设模型为根据多个样本资源对训练至满足第一预设条件，用于确定输入的特征信息对应的舞蹈资源的模型；一个样本资源对包括一个音乐样本资源和一个舞蹈样本资源；
所述生成单元，用于根据所述至少一个舞蹈资源和所述至少一个音乐片段，生成合成资源；所述合成资源包括所述待合成的音乐资源和与所述待合成的音乐资源对应的舞蹈资源。
8.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1-6中任一项所述的资源合成方法。
9.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-6中任一项所述的资源合成方法。
10.一种计算机程序产品，包括指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-6中任一项所述的资源合成方法。
CN202210359938.7A 2022-04-06 2022-04-06 一种资源合成方法、装置、设备及存储介质 Pending CN114756706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210359938.7A CN114756706A (zh) 2022-04-06 2022-04-06 一种资源合成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210359938.7A CN114756706A (zh) 2022-04-06 2022-04-06 一种资源合成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114756706A true CN114756706A (zh) 2022-07-15

Family

ID=82329615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210359938.7A Pending CN114756706A (zh) 2022-04-06 2022-04-06 一种资源合成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114756706A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132399A (zh) * 2023-10-25 2023-11-28 广州捷晨教育科技有限公司 应用于元宇宙的资源管理系统
WO2024103637A1 (zh) * 2022-11-17 2024-05-23 腾讯音乐娱乐科技（深圳）有限公司 舞蹈动作生成方法、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024103637A1 (zh) * 2022-11-17 2024-05-23 腾讯音乐娱乐科技（深圳）有限公司 舞蹈动作生成方法、计算机设备及存储介质
CN117132399A (zh) * 2023-10-25 2023-11-28 广州捷晨教育科技有限公司 应用于元宇宙的资源管理系统

Similar Documents

Publication Publication Date Title
CN111652380B (zh) 针对机器学习算法进行算法参数调优的方法及系统
US10579922B2 (en) Deep learning using alternating direction method of multipliers
CN114756706A (zh) 一种资源合成方法、装置、设备及存储介质
CN108875955B (zh) 基于参数服务器的梯度提升决策树的实现方法及相关设备
US20200090073A1 (en) Method and apparatus for generating machine learning model
US8896609B2 (en) Video content generation system, video content generation device, and storage media
CN108417210A (zh) 一种词嵌入语言模型训练方法、词语识别方法及系统
CN110955786A (zh) 一种舞蹈动作数据的生成方法及装置
CN108665072A (zh) 一种基于云架构的机器学习算法全过程训练方法及系统
CN108431794A (zh) 用于训练学习机的方法和装置
CN108897829A (zh) 数据标签的修正方法、装置和存储介质
CN111444967A (zh) 生成对抗网络的训练方法、生成方法、装置、设备及介质
US11907821B2 (en) Population-based training of machine learning models
CN112489676A (zh) 模型训练方法、装置、设备及存储介质
CN111127598B (zh) 动画播放速度的调整方法、装置、电子设备和介质
CN111461345A (zh) 深度学习模型训练方法及装置
CN114419205B (zh) 虚拟数字人的驱动方法及位姿获取模型的训练方法
EP3842940A1 (en) Method and system for uniformly performing feature extraction
CN112973130B (zh) 虚拟场景的回放模型构建方法、装置、设备及存储介质
CN116151384B (zh) 量子电路处理方法、装置及电子设备
US20230090995A1 (en) Virtual-musical-instrument-based audio processing method and apparatus, electronic device, computer-readable storage medium, and computer program product
Wang et al. Large-scale human action recognition with spark
CN116824650A (zh) 一种目标对象的视频生成方法及相关装置
CN116980543A (zh) 视频生成方法、装置、存储介质及计算机设备
CN116167447B (zh) 量子电路处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination