CN108202334A - 一种能够识别音乐节拍和风格的舞蹈机器人 - Google Patents
一种能够识别音乐节拍和风格的舞蹈机器人 Download PDFInfo
- Publication number
- CN108202334A CN108202334A CN201810241017.4A CN201810241017A CN108202334A CN 108202334 A CN108202334 A CN 108202334A CN 201810241017 A CN201810241017 A CN 201810241017A CN 108202334 A CN108202334 A CN 108202334A
- Authority
- CN
- China
- Prior art keywords
- music
- style
- robot
- beat
- dancing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 74
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 30
- 238000001228 spectrum Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 20
- 230000009471 action Effects 0.000 claims description 17
- 230000003068 static effect Effects 0.000 claims description 13
- 238000013461 design Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 230000005236 sound signal Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 9
- 238000011160 research Methods 0.000 description 8
- 230000033764 rhythmic process Effects 0.000 description 7
- 230000036544 posture Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 241001050985 Disco Species 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/003—Manipulators for entertainment
- B25J11/0035—Dancing, executing a choreography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Toys (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种能够识别音乐节拍和风格的舞蹈机器人，包括：节拍识别模块，用于基于深度循环神经网络对输入的音乐信号进行节拍识别；风格识别模块，用于基于卷积神经网络对输入的音乐信号进行风格识别；执行模块，用于根据节拍识别模块和风格识别模块的识别结果进行舞蹈动作的编排并控制机器人完成编排的舞蹈动作。本发明能够让机器人根据音乐进行音乐风格和节拍识别并以相应的舞蹈动作做出反应。
Description
技术领域
本发明涉及一种舞蹈机器人，特别是涉及一种能够识别音乐节拍和风格的舞蹈机器人。
背景技术
现如今，随着人们生活水平的提高，对精神文化消费有了越来越高的追求。因此音乐已经在我们生活中无处不在。无论是日常消遣娱乐，还是正式庄重的场合，音乐总是不可或缺。节奏是音乐的核心部分。人们会很自然的根据听到的音乐，感受到的音乐节奏、旋律等来表达自身的情感，也会无意识地根据音乐随之拍打节拍、扭动身体。
随着科技的进步，多媒体和电子设备的飞速发展已经促进了人类具有前所未有的音乐欣赏和创作兴趣。一方面，鼓舞人们享受音乐。在另一方面，这是支撑科技发展的重要力量，不同种类的新技术为我们的带来巨大的方便。音乐是多媒体音频中最重要的一种表达情感的方式，音乐通过计算机将其各个音乐要素结合起来，充分的展现了丰富的内心情感活动。悦耳动听的音乐不但可以使我们心情愉快，而且可以使人们的工作效率提高，甚至可以帮助治疗自闭症患者，从而改善人们对生活的向往，对未来充满希望。所以，音乐领域受到越来越多的计算机研究人员的密切关注。
按研究目的的不同，音乐分析可以分成：节拍识别、音色识别、音乐检索、音乐风格识别等多个研究方向。节拍识别主要用于音乐驱动运动；音乐检索、音色识别在多媒体数据库建立和检索研究领域有重要作用；风格识别在日常生活中随处可见，如音乐喷泉。
随着社会的进步和生活水平的不断提高，人们对传统的娱乐方式产生了厌倦，对娱乐也有了新的认识和更高的追求。为了满足人们的需求，近年来舞蹈机器人也越来越受到关注，不管在国内外，设计舞蹈机器人技术已经相当成熟。对我们人来说，跟踪节拍是很容易做到的。我们可以很自然的根据音乐节奏进行相应反应，即使节拍发生变化，人也可以迅速做出反应立即跟随它。然而，对于机器，拍子跟踪的任务却比较困难，尤其当音乐风格不同的情况下。音乐节拍和风格识别已经成为研究热点，结合它们将运用到舞蹈机器人中具有重大的研究意义。
发明内容
本发明所要解决的技术问题是提供一种能够识别音乐节拍和风格的舞蹈机器人，能够让机器人根据音乐进行音乐风格和节拍识别并以相应的舞蹈动作做出反应。
本发明解决其技术问题所采用的技术方案是：提供一种能够识别音乐节拍和风格的舞蹈机器人，包括：节拍识别模块，用于基于深度循环神经网络对输入的音乐信号进行节拍识别；风格识别模块，用于基于卷积神经网络对输入的音乐信号进行风格识别；执行模块，用于根据节拍识别模块和风格识别模块的识别结果进行舞蹈动作的编排并控制机器人完成编排的舞蹈动作。
所述节拍识别模块在识别过程中首先进行数据的预处理，使得输入的音乐信号在频域上进行分析；接着选用梅尔声谱，使得音乐信号经过梅尔声谱处理频域信号，再转化成幅度谱，作为深度循环神经网络的输入；其中，深度循环神经网络采用多层GRU网络结构对音乐节拍进行有效提取。
所述风格识别模块在识别过程中首先进行数据预处理，使用原始脉冲编码调制音频信号作为输入，使得输入的音乐信号在频域上进行分析，接着选用梅尔声谱，使得音乐信号通过梅尔声谱处理频域信号获得幅度谱，将幅度谱作为卷积神经网络的输入；其中，卷积神经网络采用完全卷积神经网络结构对音乐风格进行有效提取。
所述执行模块在对舞蹈机器人进行控制时首先定义各关节的帧数值和该帧的时刻，并将各关节的帧数值和该帧的时刻放入一个列表里面，并生成3个列表；将这3个列表通过API中的代理对象，运行函数即可按照指定动作与时刻控制机器人；在采集机器人各关节数据时，首先连接至机器人，然后新建一个指令盒，选择时间轴进行相应设置；接着，将机器人各关节调整至所需要的位置，触碰机器人头部传感器，或者点击虚拟机器人界面上的记录按钮，当前时刻的机器人的静态动作就会被记录下来；重复上述过程记录一系列静态动作，然后通过机器人软件导出为连续动作的python代码。
所述执行模块在进行舞蹈动作的编排需要建立舞蹈库，所述舞蹈库中的舞蹈动作通过基本动作序列来组成，每一个基本动作为由一系列关键帧形成的连续动作，在各个基本动作的设计时，认为以任何执行顺序都是安全的为准则。
所述执行模块在进行舞蹈动作的编排时使用由机器人收集的静态姿态数据来估计每个基本动作的激活值，然后选择基本动作来匹配音乐的风格；其中，使用一阶马尔科夫模型来随机生成舞蹈，生成时各状态对应于基本动作，状态转换概率用于产生平滑的运动序列，这一平滑的运动序列的产生过程为：比较当前基本动作的最后一个关键帧与另一个基本动作的起始关键帧的空间距离，若这两者空间位置最接近则其作为下一个基本动作；状态转换概率还取决于音乐风格，使得在任何给定时间，状态转换概率将优先反映当前音乐的风格状态。
所述执行模块还用于进行时间轴的校正，具体包括通过getTime函数重新计算基本动作的实际持续时间，通过使用updateBeta函数来更新基本动作中的时间参数β来调整每个基本动作的执行持续时间。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明针对音乐节拍和风格识别及其在机器人中的应用方法进行分析与应用，不同于传统机器学习的方法，创新的运用深度学习中循环神经网络和卷积神经网络对音乐节拍和风格识别。同时也不同于传统的非智能化预编程方法，运用智能化方法将机器人舞蹈动作编排，实现音乐节拍和风格在机器人中的应用。将智能技术与传统艺术形式相结合，智能化表演动作和形式，提高娱乐内容的科技性，为后续更多多模式、多领域的融合奠定了基础，将智能融入生活的方方面面。
附图说明
图1是本发明的系统框图；
图2是系统信号流图；
图3是节拍识别方法的基本工作流程图；
图4是三个基本动作的马尔科夫链模型的示例图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种能够识别音乐节拍和风格的舞蹈机器人，如图1所示，包括：节拍识别模块，用于基于深度循环神经网络对输入的音乐信号进行节拍识别；风格识别模块，用于基于卷积神经网络对输入的音乐信号进行风格识别；执行模块，用于根据节拍识别模块和风格识别模块的识别结果进行舞蹈动作的编排并控制机器人完成编排的舞蹈动作。
本实施方式中，音乐节拍的识别采用深度循环神经网络。如今，循环神经网络由于自身结构特点在针对时序问题时具有较大的优势，并且已经在语音识别，机器翻译等领域有了不错的进展，所以本发明采用此网络进行操作。目前最常用的节拍识别算法是从音乐信号处理中的相关技术提取一系列特征参数，通过对一系列参数的研究来估算出信号的周期和相位，由信号的周期得出节拍速度，而相位信息可以确定节拍位置。这个过程包括音频信号的特征提取、周期估算、相位检测和节拍位置的判断。音乐信号处理属于时序问题，本实施方式，建立多层循环神经网络对周期估算，结果表明具有较好的效果。
本发明以音乐基础知识和信号处理技术为基础，结合深度学习知识，设计多层Gated Recurrent Unit(GRU)网络结构对音乐节拍进行有效提取，在TensorFlow框架上用Python编写代码。
如图2所示，在音乐节拍的识别过程中，首先进行数据的预处理。由于音乐中一些重要特征都是体现频谱上，所以信号在频域上的分析更加有效。在声音信号的处理方面，选用了梅尔声谱，音乐信号经过梅尔声谱处理频域信号，再转化成幅度谱，以此来作为网络的输入。
本发明设计中采用了单声道信号，采样频率是44.1kHz。在梅尔声谱中选用23.2ms，46.4ms和92.8ms的窗口长度，任意窗口都选用了40个梅尔滤波器。将得到的数据组合到一起，任意一个音乐小段被预处理成4000*120维度的数据，将其作为网络模型的输入。在模型训练过程中，还需进行相应的参数设置，如学习率、随机失活率等。
本发明设计还包括音乐风格识别过程。本发明运用不同于传统机器学习的方法，提出一种新的音乐风格识别算法，使用完全卷积神经网络结构(fully convolutionalneural network,FCN)。
该过程包括也数据的预处理过程，使用原始脉冲编码调制(PCM)音频信号作为输入。为了降低计算复杂度，方法同上，通过平均两个通道将立体声信号转换为单声道信号。音频信号通过梅尔声谱变换到频域获得幅度谱，将幅度谱作为网络的输入。
所述音乐风格的识别还包括卷积神经网络的搭建，包括参数设置和网络结构设计部分。卷积神经网络(convolutional neural network，CNN)的发展受到生物视觉系统的启发，其中局部的信息被许多感知细胞重复捕获，并用于捕获更高级别的信息。因此，CNN旨在提供一种学习强大功能的方法，该功能可以响应具有局部变换和平移不变性的某些视觉对象。尽管音频信号的拓扑与视觉图像的拓扑不同，但是这些优点通常也可以很好地用于音频信号。
迄今为止，CNN已应用于各种音频分析任务，主要是假设听觉事件可以通过观察他们的时间频率表示来检测或识别。虽然深度学习的优点是学习特征，但仍需仔细设计网络的架构，考虑属性(例如不变性)在多大程度上是需要的。这两个原因可以表明在自动识别中使用CNN是有优势的。首先，音乐风格通常被认为是最高级的高级特征之一，它们表示中等水平特征之类的歌曲级信息，例如随时间和频率发生变化的和弦，节拍，音调。这种层次结构适用于CNN，因为它被设计用于学习多层结构的分层特征。第二，当与识别相关的目标音乐事件可以出现在任何时间或频率范围时，诸如局部变换和平移不变等CNN的属性可用于学习音乐特征。
另外关于机器人方面的设计与实现。我们的目的是让机器人通过前面所得音乐节拍识别和音乐风格识别结果，从所设计的基本动作库中自动选取基本动作，自动编排与音乐节拍同步的舞蹈，且风格也与其相适应。另外，这里还提供了一个实时同步算法，以尽量减少运动的执行和计划之间的错误。
本实施方式以NAO机器人为例，该机器人可以使用python代码对机器人进行控制，控制的过程大致分以下两步：
1)定义各关节的帧数值与该帧的时刻，皆放入一个列表里面，并生成3个列表。
2)将这3个列表通过API中的代理对象，运行函数即可按照指定动作与时刻控制机器人。
在采集机器人各关节数据时，使用NAO机器人官方软件Choregraphe，首先连接至机器人，然后新建一个指令盒，选择时间轴进行相应设置。接着，将机器人各关节调整至所需要的位置，触碰机器人头部传感器，或者点击虚拟机器人界面上的记录按钮，当前时刻的机器人的静态动作就会被记录下来。重复上述过程就可以记录一系列静态动作，然后可以通过Choregraphe导出为该连续动作的python代码。
另外，关于舞蹈库的建立。以往机器人跳舞的动作通常是由编舞家创作的，并且是为特定的音乐而设计的。如果音乐改变，机器人的舞蹈动作将不得不被重新创建。我们给舞蹈机器人建立动作库，让机器人的舞蹈动作不是被预先固定的，而是随机产生，并且使机器人舞蹈动作与节拍同步并反映所选择音乐的风格。这里重要的是从运动库中产生一系列舞蹈动作来自动执行机器人舞蹈编排的任务。自动生成的编排应该满足几个目标。首先，编排应该是安全的表现。例如，它不应该导致机器人跌落或破裂。其次，舞蹈应该反映音乐的情感特征。风格节奏舒缓的音乐应该和节奏较快、风格激昂的音乐有不同的编排。第三，舞蹈应该与音乐同步。最后，舞蹈不应该是确定性的。即使音乐的风格和节奏保持不变，舞蹈也应该包含有趣的变化。
为了达到安全的目的，本实施方式从基本动作序列来组成舞蹈。每一个基本动作又是由一系列关键帧(静态姿势)形成的连续动作。在各个基本动作的设计时，认为以任何执行顺序都是安全的为准则。
本实施方式中使用的NAO机器人是一个独立的自主机器人，一共有21个关节。将关节分为4类：
(1)头(Head)：HeadYaw，HeadPitch
(2)左臂(LArm)：LShoulderPitch，LShoulderRoll，LElbowYaw，LElbowRoll
(3)右臂(RArm)：RShoulderPitch，RShoulderRoll，RElbowYaw，RElbowRoll
(4)腿(Legs)：LHipYawPitch，LHipRoll，LHipPitch，LKneePitch，LAnklePitch，LAnkleRoll，RHipRoll，RHipPitch，RKneePitch，RAnklePitch，RAnkleRoll
该过程还包括舞蹈编排策略的设计。用一维激活值表示各个音乐风格的激烈程度，比如负数表示音乐风格是舒缓安静的(如Blues和Classical)，零表示适中的激烈程度(如Country和Pop)，值越大音乐越激烈(如Disco和Metal)。在舞蹈编排过程中，提供了一种算法，使用由NAO类人机器人收集的静态姿态数据来估计每个运动基元的激活价值。然后选择基本动作来匹配音乐的风格。为了在舞蹈中创造有趣的变化，使用一阶马尔科夫模型(见图4)来随机生成舞蹈。各状态对应于基本动作。状态转换概率用于产生平滑的运动序列，这一平滑序列的产生过程为：比较当前基本动作的最后一个关键帧与另一个基本动作的起始关键帧的空间距离，若这两者空间位置最接近则其作为下一个基本动作。状态转换概率还取决于音乐风格，使得在任何给定时间，状态转换概率将优选反映当前音乐的风格状态。我们为10种不同的音乐风格分配了不同的激活值(ActivationValue)，为了标记每个基本动作，根据基本动作和具有已知激活值的静态姿势之间的加权和来体现两者的相似性，基本动作与已知激活值的静态姿势的加权和越大，说明该基本动作所反应出的音乐风格与该静态姿势的音乐风格越相似。例如SP[genre]会返回四个静态姿势(关键帧)的动作参数矢量，其中
genre∈{Blues,Classical,Country,Disco,Hiphop,Jazz,Metal,Pop,Reggae,Rock}。例如，SP[Blues]会返回反应布鲁斯风格的四个关键帧的动作参数矢量。
该过程还包含了时间轴的校正，由于机器人运动中实际所需要的时间与计算出的所需要的时间存在一定差异，比如等待的时间差异，或者其它环节造成的其它差异。因此基本动作时间序列的开始和结束时间将偏离计划，与音乐节拍会完全不同步。为了纠正这种偏离，我们使用了实时自适应算法，该算法是受实时自动音乐伴奏的启发。在算法中start和end是两个用作追踪每个基本动作Mc,m的理想开始与结束时间的变量。由于执行阶段的偏差，基本动作Mc,m-1不会在理想结束时刻精准地结束。因此，基本动作Mc,m会在无论Mc,m-1是否结束后就启动。通过getTime函数重新计算了基本动作的实际持续时间。由于持续时间的重新计算，基本动作Mc,m会在理想时刻结束。继续向前执行时，基本动作Mc,m+1会被重新计算持续时间，然后继续。该算法通过使用updateBeta函数来更新基本动作中的时间参数β来调整每个基本动作的执行持续时间，以避免累计的时序错误。时间参数β用于保证每一个基本动作恰好在节拍时间点上，通过增加时间参数β来延长动作持续时间，以满足节拍时间的要求。该设计最终可以实现追踪基本动作时间序列的执行，并补偿发现的任何时间错误，确保了机器人舞蹈动作和音乐之间的同步。进一步实现了让机器人做到根据相关音乐风格做出符合该风格的舞蹈动作，并使动作的关键点处于节奏点上。
不难发现，本发明针对音乐节拍和风格识别及其在机器人中的应用方法进行分析研究和应用，不同于传统机器学习的方法，创新的运用深度学习中循环神经网络和卷积神经网络对音乐节拍和风格识别。同时也不同于传统的非智能化预编程方法，运用智能化方法将机器人舞蹈动作编排，实现音乐节拍和风格在机器人中的应用。
Claims (7)
1.一种能够识别音乐节拍和风格的舞蹈机器人，其特征在于，包括：节拍识别模块，用于基于深度循环神经网络对输入的音乐信号进行节拍识别；风格识别模块，用于基于卷积神经网络对输入的音乐信号进行风格识别；执行模块，用于根据节拍识别模块和风格识别模块的识别结果进行舞蹈动作的编排并控制机器人完成编排的舞蹈动作。
2.根据权利要求1所述的能够识别音乐节拍和风格的舞蹈机器人，其特征在于，所述节拍识别模块在识别过程中首先进行数据的预处理，使得输入的音乐信号在频域上进行分析；接着选用梅尔声谱，使得音乐信号经过梅尔声谱处理频域信号，再转化成幅度谱，作为深度循环神经网络的输入；其中，深度循环神经网络采用多层GRU网络结构对音乐节拍进行有效提取。
3.根据权利要求1所述的能够识别音乐节拍和风格的舞蹈机器人，其特征在于，所述风格识别模块在识别过程中首先进行数据预处理，使用原始脉冲编码调制音频信号作为输入，使得输入的音乐信号在频域上进行分析，接着选用梅尔声谱，使得音乐信号通过梅尔声谱处理频域信号获得幅度谱，将幅度谱作为卷积神经网络的输入；其中，卷积神经网络采用完全卷积神经网络结构对音乐风格进行有效提取。
4.根据权利要求1所述的能够识别音乐节拍和风格的舞蹈机器人，其特征在于，所述执行模块在对舞蹈机器人进行控制时首先定义各关节的帧数值和该帧的时刻，并将各关节的帧数值和该帧的时刻放入一个列表里面，并生成3个列表；将这3个列表通过API中的代理对象，运行函数即可按照指定动作与时刻控制机器人；在采集机器人各关节数据时，首先连接至机器人，然后新建一个指令盒，选择时间轴进行相应设置；接着，将机器人各关节调整至所需要的位置，触碰机器人头部传感器，或者点击虚拟机器人界面上的记录按钮，当前时刻的机器人的静态动作就会被记录下来；重复上述过程记录一系列静态动作，然后通过机器人软件导出为连续动作的python代码。
5.根据权利要求1所述的能够识别音乐节拍和风格的舞蹈机器人，其特征在于，所述执行模块在进行舞蹈动作的编排需要建立舞蹈库，所述舞蹈库中的舞蹈动作通过基本动作序列来组成，每一个基本动作为由一系列关键帧形成的连续动作，在各个基本动作的设计时，认为以任何执行顺序都是安全的为准则。
6.根据权利要求1所述的能够识别音乐节拍和风格的舞蹈机器人，其特征在于，所述执行模块在进行舞蹈动作的编排时使用由机器人收集的静态姿态数据来估计每个基本动作的激活值，然后选择基本动作来匹配音乐的风格；其中，使用一阶马尔科夫模型来随机生成舞蹈，生成时各状态对应于基本动作，状态转换概率用于产生平滑的运动序列，这一平滑的运动序列的产生过程为：比较当前基本动作的最后一个关键帧与另一个基本动作的起始关键帧的空间距离，若这两者空间位置最接近则其作为下一个基本动作；状态转换概率还取决于音乐风格，使得在任何给定时间，状态转换概率将优先反映当前音乐的风格状态。
7.根据权利要求1所述的能够识别音乐节拍和风格的舞蹈机器人，其特征在于，所述执行模块还用于进行时间轴的校正，具体包括通过getTime函数重新计算基本动作的实际持续时间，通过使用updateBeta函数来更新基本动作中的时间参数β来调整每个基本动作的执行持续时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810241017.4A CN108202334B (zh) | 2018-03-22 | 2018-03-22 | 一种能够识别音乐节拍和风格的舞蹈机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810241017.4A CN108202334B (zh) | 2018-03-22 | 2018-03-22 | 一种能够识别音乐节拍和风格的舞蹈机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108202334A true CN108202334A (zh) | 2018-06-26 |
| CN108202334B CN108202334B (zh) | 2020-10-23 |
Family
ID=62606715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810241017.4A Expired - Fee Related CN108202334B (zh) | 2018-03-22 | 2018-03-22 | 一种能够识别音乐节拍和风格的舞蹈机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108202334B (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109176541A (zh) * | 2018-09-06 | 2019-01-11 | 南京阿凡达机器人科技有限公司 | 一种实现机器人跳舞的方法、设备和储存介质 |
| CN109271926A (zh) * | 2018-09-14 | 2019-01-25 | 西安电子科技大学 | 基于gru深度卷积网络的智能辐射源识别方法 |
| CN109308912A (zh) * | 2018-08-02 | 2019-02-05 | 平安科技（深圳）有限公司 | 音乐风格识别方法、装置、计算机设备及存储介质 |
| CN110197666A (zh) * | 2019-05-30 | 2019-09-03 | 广东工业大学 | 一种基于神经网络的语音识别方法、装置 |
| CN110782917A (zh) * | 2019-11-01 | 2020-02-11 | 广州美读信息技术有限公司 | 一种诗词吟诵风格的分类方法与系统 |
| CN110853670A (zh) * | 2019-11-04 | 2020-02-28 | 南京理工大学 | 音乐驱动的舞蹈生成方法 |
| CN110955786A (zh) * | 2019-11-29 | 2020-04-03 | 网易（杭州）网络有限公司 | 一种舞蹈动作数据的生成方法及装置 |
| CN111048111A (zh) * | 2019-12-25 | 2020-04-21 | 广州酷狗计算机科技有限公司 | 检测音频的节奏点的方法、装置、设备及可读存储介质 |
| CN111104964A (zh) * | 2019-11-22 | 2020-05-05 | 北京永航科技有限公司 | 音乐与动作的匹配方法、设备及计算机存储介质 |
| CN111179385A (zh) * | 2019-12-31 | 2020-05-19 | 网易（杭州）网络有限公司 | 一种舞蹈动画的处理方法及装置、电子设备、存储介质 |
| CN111709284A (zh) * | 2020-05-07 | 2020-09-25 | 西安理工大学 | 基于cnn-lstm的舞蹈情感识别方法 |
| WO2020224107A1 (zh) * | 2019-05-05 | 2020-11-12 | 平安科技（深圳）有限公司 | 音乐风格分类方法、装置、计算机设备及存储介质 |
| CN111958588A (zh) * | 2020-07-06 | 2020-11-20 | 佛山科学技术学院 | 一种多机器人数据同步的控制方法及系统 |
| CN112508047A (zh) * | 2019-09-13 | 2021-03-16 | 国际商业机器公司 | 生成模拟图像训练数据 |
| CN112565882A (zh) * | 2019-09-26 | 2021-03-26 | 北京字节跳动网络技术有限公司 | 视频生成方法、装置、电子设备和计算机可读介质 |
| CN112720527A (zh) * | 2020-12-25 | 2021-04-30 | 航天科工深圳（集团）有限公司 | 音乐舞蹈自编程机器人 |
| CN113223487A (zh) * | 2020-02-05 | 2021-08-06 | 字节跳动有限公司 | 一种信息识别方法及装置、电子设备和存储介质 |
| CN113246147A (zh) * | 2021-04-30 | 2021-08-13 | 嘉应学院 | 一种基于视觉处理建立机器人舞蹈动作库的方法 |
| CN113521711A (zh) * | 2021-07-13 | 2021-10-22 | 济南幼儿师范高等专科学校 | 一种舞蹈训练辅助系统及方法 |
| CN113643442A (zh) * | 2021-08-06 | 2021-11-12 | 福建凯米网络科技有限公司 | 一种虚拟对象舞蹈生成方法及计算机存储介质 |
| CN113894801A (zh) * | 2020-06-22 | 2022-01-07 | 山西农业大学 | 一种控制机器人跳舞的方法 |
| CN114419205A (zh) * | 2021-12-22 | 2022-04-29 | 北京百度网讯科技有限公司 | 虚拟数字人的驱动方法及位姿获取模型的训练方法 |
| CN116728419A (zh) * | 2023-08-09 | 2023-09-12 | 之江实验室 | 弹琴机器人的连续弹琴动作规划方法、系统、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007066819A1 (ja) * | 2005-12-09 | 2007-06-14 | Sony Corporation | 音楽編集装置及び音楽編集方法 |
| CN101504834A (zh) * | 2009-03-25 | 2009-08-12 | 深圳大学 | 一种基于隐马尔可夫模型的哼唱式旋律识别方法 |
| CN101693371A (zh) * | 2009-09-30 | 2010-04-14 | 深圳先进技术研究院 | 跟踪音乐节拍跳舞的机器人 |
| CN104834642A (zh) * | 2014-02-11 | 2015-08-12 | 北京三星通信技术研究有限公司 | 改变音乐演绎风格的方法、装置及设备 |
| CN105773612A (zh) * | 2016-03-28 | 2016-07-20 | 深圳前海勇艺达机器人有限公司 | 机器人舞蹈的控制系统及其方法 |
| CN105881535A (zh) * | 2015-02-13 | 2016-08-24 | 鸿富锦精密工业（深圳）有限公司 | 可根据音乐节拍跳舞的机器人 |
-
2018
- 2018-03-22 CN CN201810241017.4A patent/CN108202334B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007066819A1 (ja) * | 2005-12-09 | 2007-06-14 | Sony Corporation | 音楽編集装置及び音楽編集方法 |
| CN101504834A (zh) * | 2009-03-25 | 2009-08-12 | 深圳大学 | 一种基于隐马尔可夫模型的哼唱式旋律识别方法 |
| CN101693371A (zh) * | 2009-09-30 | 2010-04-14 | 深圳先进技术研究院 | 跟踪音乐节拍跳舞的机器人 |
| CN104834642A (zh) * | 2014-02-11 | 2015-08-12 | 北京三星通信技术研究有限公司 | 改变音乐演绎风格的方法、装置及设备 |
| CN105881535A (zh) * | 2015-02-13 | 2016-08-24 | 鸿富锦精密工业（深圳）有限公司 | 可根据音乐节拍跳舞的机器人 |
| CN105773612A (zh) * | 2016-03-28 | 2016-07-20 | 深圳前海勇艺达机器人有限公司 | 机器人舞蹈的控制系统及其方法 |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109308912A (zh) * | 2018-08-02 | 2019-02-05 | 平安科技（深圳）有限公司 | 音乐风格识别方法、装置、计算机设备及存储介质 |
| CN109308912B (zh) * | 2018-08-02 | 2024-02-20 | 平安科技（深圳）有限公司 | 音乐风格识别方法、装置、计算机设备及存储介质 |
| CN109176541A (zh) * | 2018-09-06 | 2019-01-11 | 南京阿凡达机器人科技有限公司 | 一种实现机器人跳舞的方法、设备和储存介质 |
| CN109176541B (zh) * | 2018-09-06 | 2022-05-06 | 南京阿凡达机器人科技有限公司 | 一种实现机器人跳舞的方法、设备和储存介质 |
| CN109271926A (zh) * | 2018-09-14 | 2019-01-25 | 西安电子科技大学 | 基于gru深度卷积网络的智能辐射源识别方法 |
| WO2020224107A1 (zh) * | 2019-05-05 | 2020-11-12 | 平安科技（深圳）有限公司 | 音乐风格分类方法、装置、计算机设备及存储介质 |
| CN110197666A (zh) * | 2019-05-30 | 2019-09-03 | 广东工业大学 | 一种基于神经网络的语音识别方法、装置 |
| CN110197666B (zh) * | 2019-05-30 | 2022-05-10 | 广东工业大学 | 一种基于神经网络的语音识别方法、装置 |
| CN112508047A (zh) * | 2019-09-13 | 2021-03-16 | 国际商业机器公司 | 生成模拟图像训练数据 |
| US11710510B2 (en) | 2019-09-26 | 2023-07-25 | Beijing Bytedance Network Technology Co., Ltd. | Video generation method and apparatus, electronic device, and computer readable medium |
| CN112565882A (zh) * | 2019-09-26 | 2021-03-26 | 北京字节跳动网络技术有限公司 | 视频生成方法、装置、电子设备和计算机可读介质 |
| CN110782917B (zh) * | 2019-11-01 | 2022-07-12 | 广州美读信息技术有限公司 | 一种诗词吟诵风格的分类方法与系统 |
| CN110782917A (zh) * | 2019-11-01 | 2020-02-11 | 广州美读信息技术有限公司 | 一种诗词吟诵风格的分类方法与系统 |
| CN110853670A (zh) * | 2019-11-04 | 2020-02-28 | 南京理工大学 | 音乐驱动的舞蹈生成方法 |
| CN110853670B (zh) * | 2019-11-04 | 2023-10-17 | 南京理工大学 | 音乐驱动的舞蹈生成方法 |
| CN111104964B (zh) * | 2019-11-22 | 2023-10-17 | 北京永航科技有限公司 | 音乐与动作的匹配方法、设备及计算机存储介质 |
| CN111104964A (zh) * | 2019-11-22 | 2020-05-05 | 北京永航科技有限公司 | 音乐与动作的匹配方法、设备及计算机存储介质 |
| CN110955786B (zh) * | 2019-11-29 | 2023-10-27 | 网易（杭州）网络有限公司 | 一种舞蹈动作数据的生成方法及装置 |
| CN110955786A (zh) * | 2019-11-29 | 2020-04-03 | 网易（杭州）网络有限公司 | 一种舞蹈动作数据的生成方法及装置 |
| CN111048111A (zh) * | 2019-12-25 | 2020-04-21 | 广州酷狗计算机科技有限公司 | 检测音频的节奏点的方法、装置、设备及可读存储介质 |
| CN111179385A (zh) * | 2019-12-31 | 2020-05-19 | 网易（杭州）网络有限公司 | 一种舞蹈动画的处理方法及装置、电子设备、存储介质 |
| CN113223487A (zh) * | 2020-02-05 | 2021-08-06 | 字节跳动有限公司 | 一种信息识别方法及装置、电子设备和存储介质 |
| CN113223487B (zh) * | 2020-02-05 | 2023-10-17 | 字节跳动有限公司 | 一种信息识别方法及装置、电子设备和存储介质 |
| CN111709284A (zh) * | 2020-05-07 | 2020-09-25 | 西安理工大学 | 基于cnn-lstm的舞蹈情感识别方法 |
| CN113894801A (zh) * | 2020-06-22 | 2022-01-07 | 山西农业大学 | 一种控制机器人跳舞的方法 |
| CN111958588A (zh) * | 2020-07-06 | 2020-11-20 | 佛山科学技术学院 | 一种多机器人数据同步的控制方法及系统 |
| CN112720527A (zh) * | 2020-12-25 | 2021-04-30 | 航天科工深圳（集团）有限公司 | 音乐舞蹈自编程机器人 |
| CN112720527B (zh) * | 2020-12-25 | 2024-04-09 | 航天科工深圳（集团）有限公司 | 音乐舞蹈自编程机器人 |
| CN113246147A (zh) * | 2021-04-30 | 2021-08-13 | 嘉应学院 | 一种基于视觉处理建立机器人舞蹈动作库的方法 |
| CN113521711A (zh) * | 2021-07-13 | 2021-10-22 | 济南幼儿师范高等专科学校 | 一种舞蹈训练辅助系统及方法 |
| CN113643442A (zh) * | 2021-08-06 | 2021-11-12 | 福建凯米网络科技有限公司 | 一种虚拟对象舞蹈生成方法及计算机存储介质 |
| CN113643442B (zh) * | 2021-08-06 | 2024-05-14 | 福建凯米网络科技有限公司 | 一种虚拟对象舞蹈生成方法及计算机存储介质 |
| CN114419205A (zh) * | 2021-12-22 | 2022-04-29 | 北京百度网讯科技有限公司 | 虚拟数字人的驱动方法及位姿获取模型的训练方法 |
| CN114419205B (zh) * | 2021-12-22 | 2024-01-02 | 北京百度网讯科技有限公司 | 虚拟数字人的驱动方法及位姿获取模型的训练方法 |
| CN116728419A (zh) * | 2023-08-09 | 2023-09-12 | 之江实验室 | 弹琴机器人的连续弹琴动作规划方法、系统、设备及介质 |
| CN116728419B (zh) * | 2023-08-09 | 2023-12-22 | 之江实验室 | 弹琴机器人的连续弹琴动作规划方法、系统、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108202334B (zh) | 2020-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108202334A (zh) | 一种能够识别音乐节拍和风格的舞蹈机器人 | |
| CN108717852B (zh) | 一种基于白光通信和类脑认知的智能机器人语义交互系统和方法 | |
| Zhou et al. | Dance and choreography in HCI: a two-decade retrospective | |
| Augello et al. | Creative robot dance with variational encoder | |
| CN108492817A (zh) | 一种基于虚拟偶像的歌曲数据处理方法及演唱交互系统 | |
| CN106625678A (zh) | 机器人表情控制方法和装置 | |
| Yoshii et al. | A biped robot that keeps steps in time with musical beats while listening to music with its own ears | |
| CN109176535A (zh) | 基于智能机器人的交互方法及系统 | |
| Gkiokas et al. | Convolutional Neural Networks for Real-Time Beat Tracking: A Dancing Robot Application. | |
| WO2018006371A1 (zh) | 一种同步语音及虚拟动作的方法、系统及机器人 | |
| CN105701196A (zh) | 面向智能机器人的音频处理方法和智能机器人 | |
| Qin et al. | A music-driven dance system of humanoid robots | |
| WO2018000267A1 (zh) | 一种机器人交互内容的生成方法、系统及机器人 | |
| Dubbin et al. | Learning to dance through interactive evolution | |
| Camurri et al. | Multimodal analysis of expressive gesture in music performance | |
| CN106292424A (zh) | 针对人形机器人的音乐数据处理方法及装置 | |
| Shiratori et al. | Synthesizing dance performance using musical and motion features | |
| Assayag | Creative symbolic interaction | |
| Tang et al. | Anidance: Real-time dance motion synthesize to the song | |
| Angulo et al. | Aibo jukeBox–A robot dance interactive experience | |
| Suzuki et al. | Development of an autonomous humanoid robot, iSHA, for harmonized human-machine environment | |
| Liu et al. | Self-supervised music motion synchronization learning for music-driven conducting motion generation | |
| CN108255308A (zh) | 一种基于虚拟人的手势交互方法及系统 | |
| Shinozaki et al. | Study of dance entertainment using robots | |
| Assayag | Improvising in creative symbolic interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201023 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |