CN110959172B - 演奏解析方法、演奏解析装置以及存储介质 - Google Patents

演奏解析方法、演奏解析装置以及存储介质 Download PDF

Info

Publication number
CN110959172B
CN110959172B CN201880049017.2A CN201880049017A CN110959172B CN 110959172 B CN110959172 B CN 110959172B CN 201880049017 A CN201880049017 A CN 201880049017A CN 110959172 B CN110959172 B CN 110959172B
Authority
CN
China
Prior art keywords
performance
information
tendency
candidate
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880049017.2A
Other languages
English (en)
Other versions
CN110959172A (zh
Inventor
前泽阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN110959172A publication Critical patent/CN110959172A/zh
Application granted granted Critical
Publication of CN110959172B publication Critical patent/CN110959172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/161—Note sequence effects, i.e. sensing, altering, controlling, processing or synthesising a note trigger selection or sequence, e.g. by altering trigger timing, triggered note values, adding improvisation or ornaments or also rapid repetition of the same note onset
    • G10H2210/165—Humanizing effects, i.e. causing a performance to sound less machine-like, e.g. by slightly randomising pitch or tempo
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375—Tempo or beat alterations; Music timing control
    • G10H2210/385—Speed change, i.e. variations from preestablished tempo, tempo change, e.g. faster or slower, accelerando or ritardando, without change in pitch
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Auxiliary Devices For Music (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明所涉及的演奏解析方法具有下述步骤：根据与由利用者进行的乐曲的演奏相关的观测演奏信息、和基于特定的倾向演奏了所述乐曲时的推定演奏信息，生成所述利用者的演奏倾向所涉及的信息。

Description

演奏解析方法、演奏解析装置以及存储介质
技术领域
本发明涉及对乐曲的演奏进行解析的技术。
背景技术
例如在专利文献1中公开有下述技术，即，通过对表示乐曲的演奏音的音响信号进行处理，从而将演奏音中的任意的乐器的音色变更为其他乐器的音色。另外，在专利文献1中，公开有生成赋予了特定的音乐性表情的音响信号的技术。
专利文献1：国际公开第2010/095622号
发明内容
在现实的乐曲的演奏中，将演奏者所特有的倾向(音乐性表情或者演奏的习惯)赋予至演奏音。如果能够推定由演奏者实现的演奏的倾向，则例如针对乐曲中的以特定的倾向进行了演奏的区间，能够通过专利文献1而实现赋予特定的音乐性表情这样的处理。考虑上述的情况，本发明的目的在于，对由演奏者实现的演奏的倾向进行推定。
为了解决上述的课题，本发明的优选的方式所涉及的演奏解析方法具有下述步骤：根据与由利用者进行的乐曲的演奏相关的观测演奏信息、和基于特定的倾向演奏了所述乐曲时的推定演奏信息，生成所述利用者的演奏倾向所涉及的信息。
本发明的优选的方式所涉及的演奏解析装置，其具有：存储部，其对表示乐曲的内容的乐曲信息进行存储；以及控制部，所述控制部构成为执行下述步骤：根据与由利用者进行的所述乐曲的演奏相关的观测演奏信息、和基于特定的倾向演奏了所述乐曲时的推定演奏信息，生成所述利用者的演奏倾向所涉及的信息
本发明的优选的方式所涉及的存储介质，是存储有由计算机可读取的程序的非暂时性的存储介质，构成为使所述计算机执行下述步骤：根据与由利用者进行的乐曲的演奏相关的观测演奏信息、和基于特定的倾向演奏了所述乐曲时的推定演奏信息，生成所述利用者的演奏倾向所涉及的信息。
另外，本发明的优选的方式所涉及的程序使计算机执行下述步骤：根据与由利用者进行的乐曲的演奏相关的观测演奏信息、和基于特定的倾向演奏了所述乐曲时的推定演奏信息，生成所述利用者的演奏倾向所涉及的信息。
附图说明
图1是表示本发明的第1实施方式所涉及的演奏解析装置的结构的框图。
图2是乐曲信息及单位信息的示意图。
图3是表示演奏信息生成部的结构的框图。
图4是特征信息的说明图。
图5是演奏倾向的说明图。
图6是表示乐曲信息编辑的内容的流程图。
图7是表示第3实施方式所涉及的演奏解析装置的结构的框图。
具体实施方式
<第1实施方式>
图1是表示本发明的第1实施方式所涉及的演奏解析装置100的结构的框图。如图1所例示，第1实施方式的演奏解析装置100由具备控制装置11、存储装置12以及演奏装置13的计算机系统实现。将例如个人计算机等各种设备用作演奏解析装置100。
控制装置11包含例如CPU(Central Processing Unit)等处理电路。例如由单个或者多个芯片(处理器)实现控制装置11。存储装置12对由控制装置11执行的程序和由控制装置11使用的各种数据进行存储。例如可以任意地采用半导体记录介质及磁记录介质等公知的记录介质、或者多种记录介质的组合作为存储装置12。
本实施方式的存储装置12存储表示乐曲的内容的乐曲信息S。该乐曲信息S针对构成乐曲的多个音符的每一个而指定音高、强度以及发声期间(发声时刻及持续长度)。乐曲信息S能够采用各种方式，例如，MIDI(Musical Instrument Digital Interface，乐器数字接口)形式的文件(SMF：Standard MIDI File，标准MIDI文件)是乐曲信息S的优选例，该MIDI形式的文件中按时间序列排列有对音高以及强度进行指定而指示发声或者消音的指示数据、以及指定各指示数据的发声时刻的时间数据。
如图2所例示，乐曲信息S被划分为多个(M个)部分(以下称为“单位信息”)U1～UM。任意一个单位信息Um(m＝1～M)对在时间轴上将乐曲划分出的M个单位期间Q1～QM中的第m个单位期间Qm内的演奏内的容进行指定。即，单位信息Um针对乐曲的单位期间Qm所包含的大于或等于1个音符的每一个音符而指定音高、强度和发音期间。各单位期间Qm是与例如乐曲的规定的音价(例如，八分音符)相对应的时间长度的期间。
图1的演奏装置13是利用者在乐曲的演奏时所利用的输入设备。例如优选使用排列有由利用者进行操作的多个键的键盘乐器型的演奏设备(例如MIDI乐器)，但也可以是其他乐器。演奏装置13与由利用者进行的操作联动地依次输出指示信息Z。指示信息Z是针对构成乐曲的多个音符的每一个音符而被生成，指定该音符的音高和强度而指示发音或者消音的数据(例如MIDI事件数据)。
第1实施方式的演奏解析装置100对在利用者通过演奏装置13演奏了乐曲时的该演奏的倾向(以下称为“演奏倾向”)Em进行推定。演奏倾向Em是演奏者所特有的音乐性表情或者演奏的习惯。演奏倾向Em的生成是针对每个单位期间Qm执行的。与不同的单位期间Qm对应的M个演奏倾向E1～EM的时间序列意味着利用者演奏乐曲时的演奏倾向的时间上的变迁。第1实施方式的演奏解析装置100将不同的多种(K种)的演奏倾向(以下称为“候选倾向”)中的任一种推定为利用者的演奏倾向Em。
如图1所例示那样，第1实施方式的控制装置11通过执行在存储装置12中存储的程序，从而作为用于根据指示信息Z对演奏倾向Em进行推定的多个要素(演奏推定部21、演奏观测部22及倾向生成部23)起作用。此外，也可以将控制装置11的一部分的功能通过专用的电子电路实现。
如图1所例示那样，演奏推定部21生成与不同的候选倾向Ck(k＝1～K)对应的K个推定演奏信息ym 1～ym K。与候选倾向Ck对应的推定演奏信息ym k是与该候选倾向Ck相关的变量。第1实施方式的推定演奏信息ym k是例如基于该候选倾向Ck演奏乐曲时的演奏速度(节拍)。针对每个单位期间Qm生成K个推定演奏信息ym 1～ym K。即，推定演奏信息ym k可以针对每个单位期间Qm发生变化。
如上述所示，在作为演奏倾向而选择了演奏速度(节拍)的情况下，作为候选倾向Ck，例如，在单位期间Qm中，存在(i)速度逐渐地变快、(ii)速度逐渐地变慢、(iv)速度提前或延迟地变化、(iv)速度恒定(平坦)等，设定有K种上述这样的候选倾向Ck。
第1实施方式的演奏推定部21如图1所例示那样，具备与不同的候选倾向Ck对应的K个演奏信息生成部G1～GK。任意1个演奏信息生成部Gk根据乐曲信息S针对每个单位期间Qm生成与候选倾向Ck对应的推定演奏信息ym k。
图3是表示任意1个演奏信息生成部Gk的结构框图。如图3所例示那样，第1实施方式的演奏信息生成部Gk具备系数生成部31和运算处理部32。
第1实施方式的推定演奏信息ym k是通过由以下的式(1)表示的自回归过程而生成的。
[式1]
图3的系数生成部31根据乐曲信息S生成单位期间Qm中的线性预测系数(自回归系数)amj k。演奏信息生成部Gk的系数生成部31包含有反映了候选倾向Ck的神经网络(学习器)Nk。神经网络Nk是通过利用沿着候选倾向Ck的大量的教师数据的机器学习而设定模型参数θk(θa，θb)的数理模型。具体地说，将模型参数θk设定为使得通过式(1)算出的推定演奏信息ym k与表示沿候选倾向Ck的演奏的演奏信息(教师数据)之间的误差最小化。因此，第1实施方式的神经网络Nk基于从在机器学习时利用的大量的教师数据提取的候选倾向Ck而输出对乐曲信息S而言妥当的线性预测系数amj k(am1 k、am2 k、am3 k、…、amP k)。
即，该神经网络Nk通过基于由规定的演奏者进行的演奏的教师数据来学习，使得能够根据乐曲信息S和与单位期间Qm相比过去的至少大于或等于一个单位期间Qm的演奏信息而对单位期间Qm中的演奏信息ym k进行预测(输出)。即，在K个神经网络Nk之中包含有如上所述的、通过包含节拍逐渐地变慢的候选倾向的教师数据学习的神经网络、通过包含节拍逐渐地变快的候选倾向教师数据学习的神经网络等。此外，教师数据能够通过各种方法生成，例如能够基于由特定的一位演奏者进行的演奏、由特定类型(Genre)的乐曲中的特定演奏者(或一般的演奏者)进行的演奏等而生成。
如图3所例示那样，第1实施方式的神经网络Nk是由第1神经网络(第1学习器)Na和第2神经网络(第2学习器)Nb构成的。第1神经网络Na及第2神经网络Nb各自例如是在包含卷积层和最大值池化层在内的多层的层叠中连接了批量归一化层和全连接层的卷积神经网络(CNN：Convolutional NeuralNetwork)。作为激活函数优选的是Leaky ReLU(RectifiedLinear Unit)。但是，神经网络N(Na、Nb)的构造及激活函数的种类是任意的。
第1神经网络Na如图4所例示那样，根据乐曲信息S生成应该生成线性预测系数amj k的单位期间Qm(一个单位期间的例示)中的特征信息Fm k。具体地说，第1神经网络Na将乐曲信息S作为输入，根据与包含单位期间Qm的解析期间Am对应的多个(2W+1个)单位信息Um-w～Um+w，生成该单位期间Qm的特征信息Fm k。解析期间Am是从单位期间Qm的过去(前方)的单位期间Qm-w至后方的单位期间Qm+w为止的期间。
如图4所例示那样，特征信息Fm k是与解析期间Am内的多个单位信息Um-w～Um+w各自对应的多个特征量Φm-w～Φm+w的系列。第1神经网络Na的模型参数θa通过利用了包含多个单位信息的时间系列和特征信息在内的大量的教师数据的机器学习而设定。因此，第1神经网络Na基于从大量的教师数据提取的倾向，输出对多个单位信息Um-w～Um+w而言妥当的特征信息Fm k。特征信息Fm k相当于对解析期间Am内的演奏内容的音乐性特征进行归纳得到的信息。具体地说，除了乐曲内的音符的时间系列之外，还生成表示各种音乐性表现的特征信息Fm k。作为在特征信息Fm k中反映的音乐性表现(上下文(context))，例示乐曲内的调号、拍点的位置、强弱记号(例如渐强)及速度记号(例如渐慢)等。
图3的第2神经网络Nb将通过第1神经网络Na生成的特征信息Fm k、和单位期间Qm的过去的期间中的P个(P是大于或等于2的自然数)的推定演奏信息ym-1 k～ym-P k作为输入，输出单位期间Qm的线性预测系数amj k。第2神经网络Nb的模型参数θb是通过利用了大量的教师数据的机械学习而设定的，该教师数据包括线性预测系数和包含特征信息及多个演奏信息的时间系列的矢量。因此，第2神经网络Nb基于候选倾向Ck而输出对特征信息Fm k和P个推定演奏信息ym-1 k～ym-P k而言妥当的线性预测系数amj k。即，第2神经网络Nb进行学习以使得在成为输出的线性预测系数amj k中包含规定的演奏的倾向。
图3的运算处理部32通过对由系数生成部31生成的线性预测系数amj k和过去的P个推定演奏信息ym-1 k～ym-P k执行前述的式(1)的运算，从而生成单位期间Qm的推定演奏信息ym k。如上所述，在第1实施方式中，基于与单位期间Qm相比过去的P个推定演奏信息ym-1 k～ym-P k，输出该单位期间Qm中的推定演奏信息ym k，将所输出的推定演奏信息ym k作为第2神经网络Nb的输入而进行反馈。即，基于加上了推定演奏信息ym k的演奏信息ym k～ym-P k，通过第2神经网络Nb预测下一个单位期间Qm+1中的推定演奏信息ym+1 k。然后，依次重复该处理。
如根据以上说明理解那样，第1实施方式的演奏信息生成部Gk通过将乐曲信息S(多个单位信息Um-w～Um+w)和过去的P个推定演奏信息ym-1 k～ym-P k赋予给神经网络Nk，从而针对单位期间Qm而生成反映了候选倾向Ck的推定演奏信息ym k。根据与单位期间Qm对应的特征信息Fm k和过去的P个推定演奏信息ym-1 k～ym-P k生成推定演奏信息ym k的处理，是针对乐曲内的M个单位期间Q1～QM的每一个按照时间系列的顺序逐次地执行的。通过以上的处理由演奏信息生成部Gk生成的M个推定演奏信息y1 k～yM k的时间系列，相当于基于候选倾向Ck演奏了乐曲时的演奏速度的时间变化。
如根据以上的说明理解那样，第1实施方式的演奏推定部21通过对反映了不同的候选倾向Ck的K个神经网络N1～NK的每一个赋予乐曲信息S，从而生成基于各候选倾向Ck演奏了乐曲时的推定演奏信息k ym。
图1的演奏观测部22根据由演奏装置13供给的多个指示信息Z的时间系列依次生成观测演奏信息xm(x1～xM)。观测演奏信息xm是与乐曲的演奏的倾向相关的变量。第1实施方式的观测演奏信息xm与推定演奏信息ym k同样地，是乐曲的演奏速度。观测演奏信息xm是针对每个单位期间Qm依次生成的。即，观测演奏信息xm能够针对每个单位期间Qm而变化。如根据以上的说明理解那样，与K个推定演奏信息ym 1～ym K中的与利用者的演奏倾向类似的候选倾向Ck对应的推定演奏信息ym k具有与由演奏观测部22生成的观测演奏信息xm类似的倾向。(y1 2)
倾向生成部23根据由演奏推定部21生成的K个推定演奏信息ym 1～ym K和由演奏观测部22生成的观测演奏信息xm而推定利用者的演奏倾向Em。具体地说，倾向生成部23对K个推定演奏信息ym 1～ym K的每一个和观测演奏信息xm进行对比。而且，倾向生成部23生成K个推定演奏信息ym 1～ym K中的与观测演奏信息xm类似的推定演奏信息ym k所对应的候选倾向Ck而作为利用者的演奏倾向Em。通过倾向生成部23进行的演奏倾向Em的生成是针对每个单位期间Qm而依次执行的。因此，例如，生成如图5所示的演奏倾向Em。在图5所示的例子中，在单位期间Q1、Q2、Qm、QM中，生成分别选择了候选倾向C2(推定演奏信息y1 2)、C3(推定演奏信息y2 3)、C2(推定演奏信息ym 2)、C1(推定演奏信息yM 1)的演奏倾向Em。
第1实施方式的倾向生成部23与在赋予了候选倾向Ck和乐曲信息S的条件下观测到观测演奏信息xm的后验概率p(xm|Um，Ck)对应地生成演奏倾向Em。后验概率p(xm|Um，Ck)是在基于候选倾向Ck演奏了由单位信息Um指定的音符时观测出观测演奏信息xm的附条件概率。具体地说，倾向生成部23如由以下的式(2)表示的那样，在K种候选倾向C1～CK中选择后验概率p(xm|Um，Ck)最大的候选倾向Ck，作为利用者的演奏倾向Em。此外，后验概率p(xm|Um，Ck)的概率分布例如是正态分布。如根据以上的说明理解那样，第1实施方式的控制装置11作为根据与由利用者进行的乐曲的演奏相关的观测演奏信息xm对演奏倾向Em进行确定的要素(演奏解析部)起作用。
[式2]
图5是例示由控制装置11推定利用者的演奏倾向Em的处理(以下称为“演奏解析处理”)的内容的流程图。例如将对演奏解析装置100的来自利用者的指示作为契机，开始图6的演奏解析处理。
如果开始演奏解析处理，则控制装置11对乐曲内的M个单位期间Q1～QM中的未被选择的最前的单位期间Qm进行选择(S1)。控制装置11针对单位期间Qm执行演奏推定处理S2、演奏观测处理S3以及倾向处理S4。演奏推定处理S2是由演奏推定部21执行的，演奏观测处理S3是由演奏观测部22执行的，倾向处理S4是由倾向生成部23执行的。此外，也可以在执行演奏观测处理S3后执行演奏推定处理S2。
演奏推定处理S2是通过将乐曲信息S和过去的P个推定演奏信息ym-1 k～ym-P k赋予给各神经网络Nk，从而针对单位期间Qm生成与不同的候选倾向Ck对应的K个推定演奏信息ym 1～ym K的处理(S21－S23)。此外，作为未被选择的最前的单位期间，在选择了乐曲内的起始的单位期间Q1的阶段中，将作为初始值准备的推定演奏信息y0与乐曲信息S一起赋予给各神经网络Nk。
具体地说，演奏信息生成部Gk的系数生成部31通过第1神经网络Na生成与乐曲信息S中的多个单位信息Um-w～Um+w相对应的特征信息Fm k，该多个单位信息Um-w～Um+w对应于单位期间Qm的周边的解析期间Am(S21)。系数生成部31通过第2神经网络Nb生成与特征信息Fm k和过去的P个推定演奏信息ym-1 k～ym-P k相对应的线性预测系数amj k(S22)。而且，运算处理部32根据线性预测系数amj k和过去的P个推定演奏信息ym-1 k～ym-P k而生成单位期间Qm的推定演奏信息ym k(S23)。
演奏观测处理S3是根据由演奏装置13输出的多个指示信息Z的时间系列生成单位期间Qm的观测演奏信息xm的处理。倾向处理S4是根据在演奏推定处理S2中生成的K个推定演奏信息ym 1～ym K、和在演奏观测处理S3中生成的观测演奏信息xm，推定利用者的演奏倾向Em的处理。
如果执行倾向处理S4，则控制装置11判定针对乐曲内的全部(M个)单位期间Q1～QM是否完成以上的处理(S2～S4)(S5)。在存在未处理的单位期间Qm的情况下(S5：NO)，控制装置11重新选择紧接着在当前时刻选择的单位期间Qm之后的单位期间Qm+1(S1)，执行演奏推定处理S2、演奏观测处理S3以及倾向处理S4。另一方面，如果针对乐曲内的全部单位期间Q1～QM完成了处理(S5：YES)，则控制装置11结束图6的演奏解析处理。在演奏解析处理结束的时刻，生成乐曲的整个区间范围的演奏倾向E1～EM。
如以上说明那样，在第1实施方式中，能够根据与由利用者进行的乐曲的演奏相关的观测演奏信息xm生成利用者的演奏倾向Em。在第1实施方式中，将基于不同的候选倾向Ck演奏了乐曲时的K个推定演奏信息ym 1～ym K分别与观测演奏信息xm进行对比。因此，能够生成K种候选倾向C1～CK中的任一个而作为利用者的演奏倾向Em。
根据第1实施方式，通过对反映了候选倾向Ck的神经网络Nk赋予乐曲的乐曲信息S，从而能够适当地生成基于该候选倾向Ck演奏了该乐曲时的推定演奏信息ym k。另外，与在赋予了候选倾向Ck和乐曲信息S的条件下观测到推定演奏信息ym k的后验概率p(xm|Um、Ck)对应地，生成K种候选倾向C1～CK中的任一个而作为利用者的演奏倾向Em。因此，能够适当地生成K种候选倾向C1～CK中的最大似然的演奏倾向Em。
由此，能够得到以下效果。例如，在与演奏装置13的演奏同步地驱动影像装置、照明装置等其他装置时，能够对其他装置赋予演奏倾向Em。因此，其他装置能够基于演奏倾向Em而显示影像、或进行照明。因此，在使演奏和其他装置同步时，能够防止其他装置的驱动产生延迟。
另外，例如，在使人的演奏与由机器进行的自动演奏联动的情况下，如果能够从人的演奏中取得观测演奏信息xm，并根据该观测演奏信息xm生成演奏倾向Em，则能够基于演奏倾向Em进行自动演奏，因此能够实现人的演奏和机器的演奏的合奏。即，能够基于人的演奏倾向Em，进行自动演奏，因此能够防止演奏产生延迟等，能够将自动演奏的演奏速度(节拍)与人的演奏精确地匹配。
<第2实施方式>
对本发明的第2实施方式进行说明。此外，在以下例示的各方式中对作用或者功能与第1实施方式相同的要素沿用在第1实施方式的说明中使用过的标号而适当地省略各自的详细说明。
第1实施方式的倾向生成部23如上述的式(2)那样，将在赋予了候选倾向Ck和乐曲信息S的条件下观测到观测演奏信息xm的后验概率p(xm|Um，Ck)成为最大的候选倾向Ck选择为利用者的演奏倾向Em。第2实施方式的倾向生成部23如由以下的式(3)表示的那样，根据后验概率p(xm|Um，Ck)和候选倾向Ck的发生概率πk，将K种候选倾向C1～CK的任一个选择为利用者的演奏倾向Em。
[式3]
发生概率πk是发生候选倾向Ck的概率，针对每个候选倾向Ck单独地设定。具体地说，针对大量的演奏者的演奏，将容易观测到的候选倾向Ck的发生概率πk设定为大的数值，并将不是一般性的且限定为少数演奏者的候选倾向Ck的发生概率πk设定为小的数值。例如演奏解析装置100的提供者参照乐曲的演奏倾向的统计资料，适当地设定各候选倾向Ck的发生概率πk。此外，也可以将各候选倾向Ck的发生概率πk设定为由演奏解析装置100的利用者指示的数值。
如根据式(3)理解那样，第2实施方式的倾向生成部23选择K种候选倾向C1～CK中的将后验概率p(xm|Um，Ck)和发生概率πk的乘积最大化的候选倾向Ck而作为利用者的演奏倾向Em。因此，存在发生概率πk越大的候选倾向Ck越容易被选择为利用者的演奏倾向Em的倾向。
除了倾向生成部23的动作以外与第1实施方式相同。因此，在第2实施方式中也能实现与第1实施方式同样的效果。另外，在第2实施方式中，除了后验概率p(xm|Um，Ck)之外，还将各候选倾向Ck的发生概率πk加入至演奏倾向Em的生成。因此，具有下述优点：能够基于在现实的演奏的场面中是否容易观测到K种候选倾向C1～CK的每一个这样的倾向，高精度推定利用者的演奏倾向Em。
<第3实施方式>
图7是表示第3实施方式中的演奏解析装置100的结构的框图。如图7所例示那样，第3实施方式的演奏推定部21针对每个单位期间Qm而生成在基于与演奏相关的特定的倾向(以下成为“基准倾向”)CREF演奏了乐曲时的推定演奏信息ym。具体地说，第3实施方式的演奏推定部21是与第1实施方式中的任意1个演奏信息生成部Gk同样的结构，具备反映了基准倾向CREF的神经网络N。即，演奏推定部21通过将乐曲信息S(多个单位信息Um-w～Um+w)和过去的P个推定演奏信息ym-1～ym-P赋予给神经网络N，从而针对单位期间Qm生成反映了基准倾向CREF的推定演奏信息ym。演奏观测部22的结构及动作与第1实施方式相同。
倾向生成部23通过对由演奏推定部21生成的推定演奏信息ym和由演奏观测部22生成的观测演奏信息xm进行对比，从而生成利用者的演奏倾向Em。第3实施方式的演奏倾向Em是推定演奏信息ym和观测演奏信息xm之间的相关性(例如类似性)的指标。即，生成表示利用者的演奏的倾向和基准倾向CREF之间的近似程度的评价值而作为演奏倾向Em。例如，如果将模范的演奏的倾向设定为基准倾向CREF，则能够将演奏倾向Em用作利用者的演奏的熟练度(与模范的演奏接近到何种程度)的指标。
如根据以上的说明理解那样，根据第3实施方式，能够生成利用者的演奏和基准倾向CREF的关系的指标而作为演奏倾向Em。因此，第3实施方式所涉及的演奏倾向Em与第1及第2实施方式所涉及的演奏倾向Em不同。此外，如根据第3实施方式的例示理解那样，生成与不同的候选倾向Ck对应的K个推定演奏信息ym 1～ym K的结构、以及选择K种候选倾向C1～CK的任一个而作为利用者的演奏倾向Em的结构在本实施方式中不是必须的。
<变形例>
以下例示出附加于以上例示的各方式的具体的变形的方式。也可以将从以下的例示任意地选择出的大于或等于两个方式在相互不矛盾的范围内适当地合并。
(1)在针对每个单位期间Qm选择K种候选倾向C1～CK中的任一个的结构(第1实施方式或者第2实施方式)中，作为演奏倾向Em被选择的候选倾向Ck能够针对每个单位期间Qm而变更。另一方面，在K种候选倾向C1～CK之中存在容易转换的组合和不容易转换的组合。考虑上述情况，还优选将从任意两种候选倾向Ck中的一个转换到另一个的概率(以下称为“转换概率”)τ加入至演奏倾向Em的生成的结构。
具体地说，针对从K种候选倾向C1～CK中选择两种而成的每个组合，设定从该组合中的一个候选倾向Ck1向另一个候选倾向Ck2转换的转换概率τ(k1＝1～K、k2＝1～K)。例如，针对从K种候选倾向C1～CK中允许重复而选择两种候选倾向Ck的所有组合设定转换概率τ。从组合中的一个候选倾向Ck1向另一个候选倾向Ck2越容易转换，该组合的转换概率τ设定为越大的数值。
倾向生成部23除了后验概率p(xm|Um、Ck)之外还加入转换概率τ，选择K种候选倾向C1～CK中的任一个而作为利用者的演奏倾向Em。具体地说，倾向生成部23以使得成为从被选择为前一个演奏倾向Em-1的候选倾向Ck起的转换概率τ越高的候选倾向Ck，越容易被选择为单位期间Qm的演奏倾向Em的方式，选择K种候选倾向Ck中的任一个而作为演奏倾向Em。根据以上的结构，能够以反映了现实的演奏中的倾向的转换的自然的组合使演奏倾向Em转换。此外，除了后验概率p(xm|Um、Ck)和转换概率τ之外，还可以加入第2实施方式的发生概率πk而生成利用者的演奏倾向Em。
(2)在前述的各方式中，例示出以单位期间Qm为中心的解析期间Am，但单位期间Qm和解析期间Am的关系并不限定于以上的例示。在解析期间Am内，位于单位期间Qm之前的单位期间的个数和位于单位期间Qm之后的单位期间的个数也可以不同。
(3)也能够通过经由例如移动通信网络或互联网等通信网络与终端装置(例如，移动电话或智能手机)通信的服务器装置实现演奏解析装置100。具体地说，演奏解析装置100根据从终端装置接收到的指示信息Z和乐曲信息S依次生成演奏倾向Em，并将各演奏倾向Em发送给终端装置。此外，在将由终端装置内的演奏观测部22生成的观测演奏信息xm从终端装置发送到演奏解析装置100的结构中，演奏观测部22从演奏解析装置100中被省略。
(4)在前述的各方式中，将乐曲的演奏速度作为推定演奏信息ym k而例示，但推定演奏信息ym k所表示的变量并不限定于以上的例示。例如，乐曲的演奏强度等根据每个演奏者可能不同的与音乐性表情相关的任意的变量被用作推定演奏信息ym k。关于观测演奏信息xm也同样地，并不限定于演奏速度。即，与音乐性表情相关的各种的变量(例如演奏强度)被用作观测演奏信息xm。
(5)在上述实施方式中，将神经网络N分为2个，但也能够设为一个。即，也可以通过一个神经网络N根据乐曲信息S和过去的推定演奏信息ym-1 k～ym-P k，预测下一个单位期间Qm中的推定演奏信息ym k。另外，第1神经网络Na用于从乐曲信息S提取特征信息Fm k，但也可以不使用神经网络，而是通过对乐曲信息S进行解析而提取特征信息Fm k。
(6)在上述实施方式中，通过使用神经网络，从而预测出单位期间Qm中的推定演奏信息ym k，但作为如上所述的进行预测的学习器，例如除了上述神经网络之外，也能够使用由支持向量机、自组织图、或通过强化学习进行学习的学习器构成的学习器。
(7)根据以上例示的方式，例如掌握以下的结构。
<方式1>
本发明的优选的方式(方式1)所涉及的演奏解析方法是计算机根据与由利用者进行的乐曲的演奏相关的观测演奏信息、和基于特定的倾向演奏了所述乐曲时的推定演奏信息，生成所述利用者的演奏倾向。根据上述的方式，能够根据与由利用者进行的乐曲的演奏相关的观测演奏信息而生成该利用者的演奏倾向。
<方式2>
在方式1的优选例(方式2)中，所述演奏倾向的生成，包含：演奏推定处理，针对不同的多个候选倾向的每一个，生成基于该候选倾向演奏了所述乐曲时的推定演奏信息；以及倾向处理，通过对针对所述多个候选倾向分别生成的多个推定演奏信息的每一个和所述观测演奏信息进行对比，从而生成所述多个候选倾向的任一个而作为所述利用者的演奏倾向。在上述的方式中，将基于不同的候选倾向演奏了乐曲时的多个推定演奏信息的每一个与观测演奏信息进行对比。因此，能够生成多个候选倾向中的任一个而作为利用者的演奏倾向。
<方式3>
在方式2的优选例(方式3)中，在所述演奏推定处理中，针对所述多个候选倾向的每一个，向反映了该候选倾向的神经网络赋予表示所述乐曲的内容的乐曲信息，由此生成所述推定演奏信息。在上述的方式中，通过对反映了候选倾向的神经网络赋予乐曲信息，从而能够适当地生成基于该候选倾向演奏了乐曲时的推定演奏信息。
<方式4>
在方式2或者方式3的优选例(方式4)中，在所述倾向处理中，与在赋予了所述各候选倾向和所述乐曲信息的条件下观测到所述观测演奏信息的后验概率对应地，生成所述多个候选倾向的任一个而作为所述利用者的演奏倾向。根据上述的方式，能够适当地生成多个候选倾向中的最大似然的演奏倾向。
<方式5>
在方式4的优选例(方式5)中，在所述倾向处理中，根据与所述各候选倾向对应的后验概率和该候选倾向的发生概率，生成所述多个候选倾向的任一个而作为所述利用者的演奏倾向。
<方式6>
在方式1的优选例(方式6)中，所述演奏倾向的生成，包含：演奏推定处理，生成基于特定的倾向演奏了所述乐曲时的推定演奏信息；以及倾向处理，通过对所述推定演奏信息和所述观测演奏信息进行对比，从而生成所述利用者的演奏倾向。根据上述的方式，能够生成利用者的演奏和特定的倾向之间的关系的指标而作为演奏倾向。
<方式7>
本发明的优选的方式(方式7)所涉及的程序使计算机作为演奏解析部起作用，即，根据与由利用者进行的乐曲的演奏相关的观测演奏信息、和基于特定的倾向演奏了所述乐曲时的推定演奏信息，生成所述利用者的演奏倾向。根据上述的方式，能够根据与由利用者进行的乐曲的演奏相关的观测演奏信息而生成该利用者的演奏倾向。
方式7所涉及的程序以存储于例如计算机可读取的记录介质的方式进行提供并安装于计算机。记录介质例如是非暂时性(non-transitory)的记录介质，CD-ROM等光学式记录介质(光盘)是优选例，但也可以包含半导体记录介质或磁记录介质等公知的任意形式的记录介质。此外，所谓非暂时性的记录介质，包含除了暂时性的传输信号(transitory，propagatingsignal)以外的任意的记录介质，不排除易失性的记录介质。另外，也可以以经由通信网络发布的方式将程序提供给计算机。
标号的说明
100…演奏解析装置，11…控制装置，12…存储装置，13…演奏装置，21…演奏推定部，22…演奏观测部，23…倾向生成部，31…系数生成部，32…运算处理部。

Claims (5)

1.一种演奏解析方法，其是包含表示乐曲的内容的多个单位信息的乐曲信息用的演奏解析方法，该演奏解析方法具有演奏推定处理和倾向处理：
在演奏推定处理中，针对所述乐曲信息中的多个单位期间的每一个单位期间生成与不同的多个候选倾向对应的多个推定演奏信息，
在倾向处理中，通过将针对不同的所述多个候选倾向分别生成的所述多个推定演奏信息中的每一个与生成的观测演奏信息进行对比，来根据生成的所述多个推定演奏信息和生成的所述观测演奏信息生成针对每个单位期间的与利用者的演奏倾向对应的演奏倾向信息。
2.根据权利要求1所述的演奏解析方法，其中，
在所述倾向处理中，与在赋予了所述各候选倾向和所述乐曲信息的条件下观测到所述观测演奏信息的后验概率对应地，将所述多个候选倾向的任一个设为所述利用者的演奏倾向。
3.根据权利要求2所述的演奏解析方法，其中，
在所述倾向处理中，根据与所述各候选倾向对应的后验概率和该候选倾向的发生概率，将所述多个候选倾向的任一个设为所述利用者的演奏倾向。
4.一种演奏解析装置，其具有：
存储部，其对包含表示乐曲的内容的多个单位信息的乐曲信息进行存储；以及
控制部，其包含至少一个控制器，
所述控制器构成为执行下述步骤：
针对所述乐曲信息中的多个单位期间的每一个单位期间生成与不同的多个候选倾向对应的多个推定演奏信息；以及
通过将针对不同的所述多个候选倾向分别生成的所述多个推定演奏信息中的每一个与生成的观测演奏信息进行对比，来根据生成的所述多个推定演奏信息和生成的所述观测演奏信息生成针对每个单位期间的与利用者的演奏倾向对应的演奏倾向信息。
5.一种存储介质，其是存储有由计算机可执行的程序的非暂时性的存储介质，
该存储介质构成为使所述计算机执行包含表示乐曲的内容的多个单位信息的乐曲信息用的演奏解析方法，所述方法包含下述步骤：
针对所述乐曲信息中的多个单位期间的每一个单位期间生成与不同的多个候选倾向对应的多个推定演奏信息；以及
通过将针对不同的所述多个候选倾向分别生成的所述多个推定演奏信息中的每一个与生成的观测演奏信息进行对比，来根据生成的所述多个推定演奏信息和生成的所述观测演奏信息生成针对每个单位期间的与利用者的演奏倾向对应的演奏倾向信息。
CN201880049017.2A 2017-07-25 2018-07-25 演奏解析方法、演奏解析装置以及存储介质 Active CN110959172B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-143981 2017-07-25
JP2017143981A JP6708180B2 (ja) 2017-07-25 2017-07-25 演奏解析方法、演奏解析装置およびプログラム
PCT/JP2018/027837 WO2019022117A1 (ja) 2017-07-25 2018-07-25 演奏解析方法およびプログラム

Publications (2)

Publication Number Publication Date
CN110959172A CN110959172A (zh) 2020-04-03
CN110959172B true CN110959172B (zh) 2023-10-31

Family

ID=65040186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880049017.2A Active CN110959172B (zh) 2017-07-25 2018-07-25 演奏解析方法、演奏解析装置以及存储介质

Country Status (4)

Country Link
US (1) US11600252B2 (zh)
JP (1) JP6708180B2 (zh)
CN (1) CN110959172B (zh)
WO (1) WO2019022117A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6708179B2 (ja) * 2017-07-25 2020-06-10 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
JP6724938B2 (ja) * 2018-03-01 2020-07-15 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1345027A (zh) * 2000-09-19 2002-04-17 日本胜利株式会社 演奏信息记录装置、压缩装置、解码装置和电话终端装置
CN1542732A (zh) * 2003-02-28 2004-11-03 ������������ʽ���� 演奏练习装置以及演奏练习程序
CN101916568A (zh) * 2008-12-05 2010-12-15 索尼株式会社 信息处理设备、信息处理方法和程序
CN104170006A (zh) * 2012-04-18 2014-11-26 雅马哈株式会社 演奏评价装置、卡拉ok装置及服务器装置
JP2015191183A (ja) * 2014-03-28 2015-11-02 パイオニア株式会社 演奏評価システム、サーバ装置、端末装置、演奏評価方法及びコンピュータプログラム
CN105474288A (zh) * 2013-08-28 2016-04-06 李星昊 音源评价方法、用于其的演奏信息分析方法和记录媒体及利用其的音源评价装置
CN106340286A (zh) * 2016-09-27 2017-01-18 华中科技大学 一种通用的实时乐器演奏评价系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3577561B2 (ja) * 1995-12-28 2004-10-13 カシオ計算機株式会社 演奏分析装置及び演奏分析方法
US6236966B1 (en) * 1998-04-14 2001-05-22 Michael K. Fleming System and method for production of audio control parameters using a learning machine
AUPP547898A0 (en) * 1998-08-26 1998-09-17 Canon Kabushiki Kaisha System and method for automatic music generation
JP2006030414A (ja) * 2004-07-13 2006-02-02 Yamaha Corp 音色設定装置及びプログラム
JP4457983B2 (ja) * 2005-06-27 2010-04-28 ヤマハ株式会社 演奏操作援助装置及びプログラム
JP5283289B2 (ja) 2009-02-17 2013-09-04 国立大学法人京都大学 音楽音響信号生成システム
JP5935503B2 (ja) * 2012-05-18 2016-06-15 ヤマハ株式会社 楽曲解析装置および楽曲解析方法
EP2772904B1 (en) * 2013-02-27 2017-03-29 Yamaha Corporation Apparatus and method for detecting music chords and generation of accompaniment.
WO2014189137A1 (ja) * 2013-05-23 2014-11-27 ヤマハ株式会社 演奏解析方法及び演奏解析装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1345027A (zh) * 2000-09-19 2002-04-17 日本胜利株式会社 演奏信息记录装置、压缩装置、解码装置和电话终端装置
CN1542732A (zh) * 2003-02-28 2004-11-03 ������������ʽ���� 演奏练习装置以及演奏练习程序
CN101916568A (zh) * 2008-12-05 2010-12-15 索尼株式会社 信息处理设备、信息处理方法和程序
CN104170006A (zh) * 2012-04-18 2014-11-26 雅马哈株式会社 演奏评价装置、卡拉ok装置及服务器装置
CN105474288A (zh) * 2013-08-28 2016-04-06 李星昊 音源评价方法、用于其的演奏信息分析方法和记录媒体及利用其的音源评价装置
JP2015191183A (ja) * 2014-03-28 2015-11-02 パイオニア株式会社 演奏評価システム、サーバ装置、端末装置、演奏評価方法及びコンピュータプログラム
CN106340286A (zh) * 2016-09-27 2017-01-18 华中科技大学 一种通用的实时乐器演奏评价系统

Also Published As

Publication number Publication date
CN110959172A (zh) 2020-04-03
US20200160820A1 (en) 2020-05-21
WO2019022117A1 (ja) 2019-01-31
JP6708180B2 (ja) 2020-06-10
US11600252B2 (en) 2023-03-07
JP2019028107A (ja) 2019-02-21

Similar Documents

Publication Publication Date Title
US10878789B1 (en) Prediction-based communication latency elimination in a distributed virtualized orchestra
JP5799977B2 (ja) 音符列解析装置
CN110246472B (zh) 一种音乐风格的转换方法、装置及终端设备
CN111602193B (zh) 用于处理乐曲的演奏的信息处理方法和装置
US10748515B2 (en) Enhanced real-time audio generation via cloud-based virtualized orchestra
CN112567450B (zh) 乐谱数据的信息处理装置
CN111052223A (zh) 播放控制方法、播放控制装置及程序
JP6729699B2 (ja) 制御方法、及び、制御装置
WO2019022118A1 (ja) 情報処理方法
CN115176307A (zh) 推定模型构建方法、演奏解析方法、推定模型构建装置及演奏解析装置
CN110959172B (zh) 演奏解析方法、演奏解析装置以及存储介质
JP7327497B2 (ja) 演奏解析方法、演奏解析装置およびプログラム
CN113196381B (zh) 音响解析方法以及音响解析装置
CN113272890B (zh) 影像控制系统及影像控制方法
WO2019176954A1 (en) Machine learning method, electronic apparatus, electronic musical instrument, model generator for part selection, and method of part determination
JP6733487B2 (ja) 音響解析方法および音響解析装置
KR102490769B1 (ko) 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치
CN113168824B (zh) 音响解析方法、音响解析装置以及模型构建方法
CN112632401A (zh) 推荐装置、信息提供系统、推荐方法及存储介质
JP6838357B2 (ja) 音響解析方法および音響解析装置
Nymoen et al. Self-awareness in active music systems
US20230410676A1 (en) Information processing system, electronic musical instrument, information processing method, and machine learning system
WO2022190453A1 (ja) 運指提示装置、訓練装置、運指提示方法および訓練方法
WO2023139883A1 (ja) 信号処理装置、及び信号処理方法
JP7571804B2 (ja) 情報処理システム、電子楽器、情報処理方法および機械学習システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant