CN111602193A - 用于处理乐曲的演奏的信息处理方法和装置 - Google Patents

用于处理乐曲的演奏的信息处理方法和装置 Download PDF

Info

Publication number
CN111602193A
CN111602193A CN201980008431.3A CN201980008431A CN111602193A CN 111602193 A CN111602193 A CN 111602193A CN 201980008431 A CN201980008431 A CN 201980008431A CN 111602193 A CN111602193 A CN 111602193A
Authority
CN
China
Prior art keywords
performance
data
information processing
tendency
music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980008431.3A
Other languages
English (en)
Other versions
CN111602193B (zh
Inventor
前泽阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN111602193A publication Critical patent/CN111602193A/zh
Application granted granted Critical
Publication of CN111602193B publication Critical patent/CN111602193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/46—Volume control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/051—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or detection of onsets of musical sounds or notes, i.e. note attack timings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/161—Note sequence effects, i.e. sensing, altering, controlling, processing or synthesising a note trigger selection or sequence, e.g. by altering trigger timing, triggered note values, adding improvisation or ornaments or also rapid repetition of the same note onset
    • G10H2210/165—Humanizing effects, i.e. causing a performance to sound less machine-like, e.g. by slightly randomising pitch or tempo
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明提供生成适合于用户的演奏的倾向的多样的时序数据的信息处理装置。所述信息处理装置包括：指标确定单元(22)，通过将表示用户对乐曲的演奏的观测演奏数据(X)赋予学习完毕模型(La)，确定表示所述演奏的演奏倾向的演奏倾向信息；以及信息处理单元(23)，根据所述演奏倾向信息，生成与乐曲有关的时序数据(Z)。

Description

用于处理乐曲的演奏的信息处理方法和装置
技术领域
本发明涉及处理与乐曲的演奏有关的数据的技术。
背景技术
例如在专利文献1中，公开了通过处理表示乐曲的演奏音的音响信号，将演奏音之中任意的乐器的音色变更为其他乐器的音色的技术。此外，在专利文献1中，还公开了生成被赋予了确定的音乐性的表情的音响信号的技术。
现有技术文献
专利文献
专利文献1：国际公开第2010/095622号
发明内容
发明要解决的课题
在乐曲的演奏中，反映了演奏者特有的倾向(例如音乐性的表情或者演奏的嗜好)。为了使与演奏有关的确定的倾向被反映在表示乐曲的标准的演奏的内容的现有的乐曲数据(例如MIDI数据)中，音乐制作者等工作人员需要进行以人工方式编辑乐曲数据的作业，存在作业负荷过大的问题。考虑到以上的情况，本发明将生成适合用户的演奏的倾向的多样的时序数据作为目的。
用于解决课题的方案
为了解决以上课题，本发明的优选方式的信息处理方法包括：通过将表示用户对乐曲的演奏的观测演奏数据输入到学习完毕模型中，确定表示所述演奏的演奏倾向的演奏倾向信息；以及根据所述演奏倾向信息，生成与所述乐曲有关的时序数据。本发明的另一优选方式的信息处理方法包括：通过将表示用户对乐曲的演奏的观测演奏数据输入到学习完毕模型中，对不同的多个演奏倾向的各个演奏倾向，确定表示所述演奏与该演奏倾向相符合的准确度的指标值；从分别表示与所述多个演奏倾向对应的信息的时序的多组基础数据，根据对于所述各演奏倾向确定的指标值，生成表示与所述乐曲有关的信息的时序的时序数据。
本发明的优选方式的信息处理装置包括：确定单元，通过将表示用户对乐曲的演奏的观测演奏数据输入到学习完毕模型中，确定表示所述演奏的演奏倾向；以及信息处理单元，根据所述演奏倾向信息，生成与所述乐曲有关的时序数据。本发明的另一优选方式的信息处理装置包括：指标确定单元，通过将表示用户对乐曲的演奏的观测演奏数据赋予学习完毕模型，对于不同的多个演奏倾向的每一个，确定表示所述演奏与该演奏倾向相符合的准确度的指标值；以及信息处理单元，从分别表示与所述多个演奏倾向对应的信息的时序的多组基础数据，根据对于所述各演奏倾向确定的指标值，生成表示与所述乐曲有关的信息的时序的时序数据。
附图说明
图1是例示本发明的第1实施方式的信息处理装置的结构的框图。
图2是各基础数据指定的音符的说明图。
图3是例示信息处理装置中包含的控制装置的功能性结构的框图。
图4是信息处理装置的动作的说明图。
图5是例示演奏分析处理的过程的流程图。
图6是在第2实施方式中合成多组基础数据的处理的说明图。
图7是例示第3实施方式的信息处理装置的功能性结构的框图。
图8是第4实施方式中的观测演奏数据的说明图。
具体实施方式
＜第1实施方式＞
图1是例示本发明的第1实施方式的信息处理装置100的结构的框图。如图1中例示的，第1实施方式的信息处理装置100是包括控制装置11、存储装置12、音源装置13和放音装置14的计算机系统。例如移动电话或者智能手机等便携式的信息终端、或个人计算机等便携式或者固定式的信息终端适合被用作信息处理装置100。
第1实施方式的信息处理装置100上连接演奏装置16。信息处理装置100和演奏装置16之间的连接方式为有线和无线的哪一个都可以。演奏装置16是用户U用于乐曲(以下称为“演奏乐曲”)的演奏的输入设备。例如排列了用户U操作的多个键的键盘乐器型的演奏设备(例如MIDI乐器)优选用作演奏装置16。再者，也可以一体地构成演奏装置16和信息处理装置100。
演奏装置16对用户U进行的每个操作顺序地输出指示数据E。指示数据E是，对于用户U演奏的多个音符的每一个生成的、指定该音符的音高和音量并指示发声或者消音的数据(例如MIDI事件数据)。在第1实施方式中，假定用户U利用演奏装置16演奏构成演奏乐曲的多个演奏部分之中的第1演奏部分的情况。第1演奏部分例如是演奏乐曲的旋律部分。
在用户U对演奏装置16的演奏中，反映了该用户U特有的倾向(以下称为“演奏倾向”)。演奏倾向是，起因于演奏者的音乐性的意图或表情或者演奏动作的嗜好等事情而附加在演奏中的特征。具体地说，演奏倾向根据每个音符的音长和音量的倾向而被分类。例如，假定标准的演奏倾向(正常)、加长演奏各音符并且减弱音量的演奏倾向(细腻)、加长演奏各音符并且增强音量的演奏倾向(力度)、缩短演奏各音符的演奏倾向(悠扬)等多个演奏倾向。
控制装置11例如是CPU(Central Processing Unit；中央处理单元)等的处理电路，集中地控制信息处理装置100的各元素。存储装置12(存储器)存储控制装置11执行的程序和控制装置11使用的各种数据。存储装置12例如由磁记录介质或半导体记录介质等公知的记录介质、或多种记录介质的组合构成。再者，也可以准备与信息处理装置100分开的存储装置12，控制装置11通过通信网执行对存储装置12的写入和读出。即，也可以从信息处理装置100中省略存储装置12。
第1实施方式的存储装置12存储与不同的演奏倾向(以下称为“候选倾向”)对应的多个(K个)组的基础数据B_1～B_K。各组基础数据B_K(k＝1～K)是表示演奏乐曲的内容的时序数据。具体地说，各组基础数据B_k指定构成演奏乐曲的第2演奏部分的音符的时序。第2演奏部分是演奏乐曲之中用户U演奏的第1演奏部分以外的演奏部分。例如演奏乐曲的1个以上的伴奏部分是第2演奏部分的优选例子。具体地说，各组基础数据B_k指定对于构成演奏乐曲的第2演奏部分的多个音符的每一个的音高和音量及发声期间。指定音高和音量并指示发声或者消音的指示数据、以及指定各指示数据的处理时间点的时间数据被时序地排列的MIDI形式的文件(SMF：Standard MIDI File；标准MIDI文件)是基础数据B_k的优选例子。
各组基础数据B_k与K种候选倾向C_1～C_K之中第k候选倾向C_k对应。与任意的一种候选倾向C_k对应的基础数据B_k指定在该候选倾向C_k下要演奏的演奏乐曲的第2演奏部分的内容。即，基础数据B_k表示的第2演奏部分对在与候选倾向C_k近似的演奏倾向下演奏的第1演奏部分进行音乐性协调。
图2是K个基础数据B_1～B_K指定的音符的说明图。在图2中，方便起见例示了基础数据B_k1和基础数据B_k2的2个组(k1，k2＝1～K，k1≠k2)。如图2中例示的，在K个组的基础数据B_1～B_K之间，尽管各音符是相互对应的，但各音符的特性值(音长和音量)起因于演奏倾向的不同而不同。也可以表现为在K个组的基础数据B_1～B_K之间编曲(arrange)不同。
第1实施方式的控制装置11根据从演奏装置16顺序地供给的指示数据E，从K个组的基础数据B_1～B_K生成时序数据Z。时序数据Z指定构成演奏乐曲的第2演奏部分的音符的时序。具体地说，与各组基础数据B_k同样，假定时序数据Z指定对于构成演奏乐曲的第2演奏部分的多个音符的每一个的音高和音量及发声期间。第1实施方式的控制装置11生成表示了反映用户U的演奏倾向的第2演奏部分的演奏内容的时序数据Z。
图1的音源装置13生成与控制装置11生成的时序数据Z对应的音响信号A。音响信号A是表示由时序数据Z指定的第2演奏部分的演奏音的信号。例如MIDI音源优选用作音源装置13。放音装置14将表示音源装置13生成的音响信号A的音响放出。例如扬声器装置或者头戴式耳机优选用作放音装置14。再者，为方便起见省略了将音源装置13生成的音响信号A从数字信号转换为模拟信号的D/A转换器、以及将音响信号A放大的放大器的图示。如从以上的说明所理解的，从放音装置14放出反映了用户U对第1演奏部分的演奏倾向的第2演奏部分的演奏音。再者，图1中例示了信息处理装置100包括音源装置13和放音装置14的结构，但也可以将音源装置13和放音装置14两者或者一方设置在信息处理装置100的外部。例如，例示了将与信息处理装置100分开的音源装置13或者放音装置14通过有线或者无线方式连接到信息处理装置100的结构。
图3是例示信息处理装置100中包含的控制装置11的功能性结构的框图。如图3中例示的，控制装置11通过执行存储在存储装置12中的程序，实现用于从指示数据E的时序和K个组的基础数据B_1～B_K生成时序数据Z的多个功能(演奏分析单元21、指标确定单元22和信息处理单元23)。再者，可以由相互分开方式构成的多个装置实现控制装置11的功能，也可以由专用的电子电路实现控制装置11的一部分功能或者全部功能。
演奏分析单元21从演奏装置16顺序地输出的指示数据E生成观测演奏数据X。观测演奏数据X是表示用户U对乐曲的演奏的数据。对时间轴上的每个单位期间(帧)顺序地执行由演奏分析单元21生成观测演奏数据X。单位期间被设定为与演奏乐曲的1个音符比较充分短的时长。
第1实施方式的观测演奏数据X是，表示对可由演奏装置16演奏的多个(N个)音高的每一个的演奏音量(速率)的N维向量。即，在观测演奏数据X所示的向量的N个元素Vx之中，与用户U演奏的音高对应的元素Vx被设定为表示基于用户U的演奏音量的数值，与用户U不演奏的音高对应的元素Vx被设定为意味着用户U不演奏的数值(例如0)。
图3的指标确定单元22从演奏分析单元21顺序地生成的观测演奏数据X，确定与不同的候选倾向C_k对应的K个指标值W_1～W_K。与任意的一种候选倾向C_k对应的指标值W_k是，表示用户U的演奏倾向与该候选倾向C_k相符合的准确度的指标。具体地说，用户U的演奏倾向越近似候选倾向C_k，指标值W_k为越大的数值。因此，K个指标值W_1～W_K也被唤作表示用户U的演奏倾向的信息。在第1实施方式中，例示了将归一化的几率作为指标值W_k，使得K个指标值W_1～W_K的合计值为1。若组合K个指标值W_1～W_K，则成为与用户U的演奏有关的、表示多个演奏倾向C_1～C_K的各自的配合的信息，所以指标值W_1～W_K的组合是表示用户U的演奏的演奏倾向的信息(演奏倾向信息)。第1实施方式的指标确定单元22对时间轴上的每个规定长度的期间(以下称为“分析期间”)确定K个指标值W_1～W_K。即，在任意的1个分析期间中，从该分析期间内的观测演奏数据X确定K个指标值W_1～W_K。分析期间是包含多个单位期间的期间。例如相当于演奏乐曲的1小节的期间优选作为分析期间。
第1实施方式的指标确定单元22通过将表示由用户U演奏的演奏乐曲的观测演奏数据X输入到学习完毕模型La中而确定K个指标值W_1～W_K。学习完毕模型La是学习了观测演奏数据X和K个指标值W_1～W_K之间的关系的统计性预测模型，输出对输入观测演奏数据X的K个指标值W_1～W_K。作为学习完毕模型La，优选利用神经网络。例如，学习完毕模型La由相互串联地连接的多个长短期存储(LSTM：Long Short Term Memory)单元构成。长短期存储单元是适合于分析时序数据的递归型神经网络(RNN：Recurrent Neural Network)的具体例子。学习完毕模型La从各单位期间的观测演奏数据X对每个单位期间输出K个指标值W_1～W_K。指标确定单元22从对分析期间内的各单位期间推算出的K个指标值W_1～W_K推算该分析期间的确定的K个指标值W_1～W_K。例如，分析期间内的多个单位期间中的指标值W_k的代表值(例如平均值或者中心值)被确定作为该分析期间的指标值W_k。再者，从分析期间内的多个单位期间中的指标值W_k确定该分析期间的指标值W_k的方法是任意的。例如，也可以将分析期间内的多个单位期间中的指标值W_k之中的最新的数值(即分析期间内的最后的单位期间的指标值W_k)确定作为该分析期间的指标值W_k。
学习完毕模型La由使控制装置11执行从观测演奏数据X生成K个指标值W_1～W_K的运算的程序(例如构成人工智能软件的程序模块)和适用于该运算的多个系数ω组合实现。多个系数ω通过利用了许多组的教师数据的机械学习(特别是深层学习)而被设定并被存储在存储装置12中。
机械学习中被利用的各组教师数据是，将某个单位期间中的观测演奏数据X和K个指标值W_1～W_K相互关联的(即，为某一单位期间中的观测演奏数据X和K个指标值W_1～W_K的对)数据。在机械学习中，学习完毕模型La的多个系数ω被设定，使得表示在将教师数据的观测演奏数据X输入到临时性模型时生成的K个指标值W_1～W_K与该教师数据的K个指标值W_1～W_K(即正解)的差异的损失函数最小。因此，学习完毕模型La根据从机械学习中被利用的许多组的教师数据中提取的倾向，对未知的观测演奏数据X输出统计上妥当的K个指标值W_1～W_K。
图3的信息处理单元23从存储在存储装置12中的K个组的基础数据B_1～B_K，根据对于各候选倾向C_k确定的指标值W_k，生成时序数据Z。图4是信息处理单元23的动作的说明图。如图4中例示的，对每个分析期间在时间轴上划分K个组的基础数据B_1～B_K的每一个。若对任意的1个分析期间被确定K个指标值W_1～W_K，则信息处理单元23通过合成K个组的基础数据B_1～B_K之中该分析期间内的部分而生成单位数据Zu。即，对每个分析期间生成单位数据Zu。与各分析期间对应的多组单位数据Zu的时序是时序数据Z。如从以上说明理解的，信息处理单元23对于时间轴上任意的1个分析期间，从K个组的基础数据B_1～B_K中的该分析期间内的部分，根据对该分析期间确定的候选倾向C_1～C_K的指标值W_1～W_K，生成时序数据Z之中该分析期间内的部分即单位数据Zu。因此，可对每个分析期间切换时序数据Z中的演奏倾向。
第1实施方式的信息处理单元23通过根据各候选倾向C_k的指标值W_k合成K个组的基础数据B_1～B_K之间相互对应的音符，生成时序数据Z的单位数据Zu。具体地说，按以下的数学式(1)表现的，信息处理单元23通过将指标值W_k作为加权值而加权平均K个组的基础数据B_1～B_K之间相互对应的音符的特性值F_k(F_1～F_K)，确定单位数据Zu的1个音符的特性值Fz。各音符的特性值F_k是例如该音符的音长或者音量。通过对分析期间内的每个音符执行数学式(1)的运算，确定对单位数据Zu的多个音符的每一个的特性值Fz。
Fz＝W_1·F_1+W_2·F_2+…+W_K·F_K (1)
如从数学式(1)理解的，越是指标值W_k较大的基础数据B_k指定的音符的特性值F_k，对于时序数据Z越有优势地被反映。如前述，用户U的演奏倾向越近似候选倾向C_k，指标值W_k为越大的数值。因此，越是近似用户U的演奏倾向的候选倾向C_k的基础数据B_k，对于时序数据Z越有优势地被反映。即，信息处理单元23生成反映了用户U的演奏倾向的时序数据Z。
图5是例示第1实施方式的控制装置11生成时序数据Z的处理(以下称为“演奏分析处理”)的过程的流程图。例如演奏分析处理将来自用户对信息处理装置100的指示作为契机而开始，对每个分析期间反复进行。
若开始演奏分析处理，则演奏分析单元21从由演奏装置16被顺序地供给的指示数据E生成观测演奏数据X(S1)。指标确定单元22通过将观测演奏数据X输入到学习完毕模型La中，对不同的K种候选倾向C_1～C_K的每一个确定指标值W_k(S2)。信息处理单元23从存储在存储装置12中的K个组的基础数据B_1～B_K，根据对各候选倾向C_k确定的指标值W_k，生成时序数据Z之中与处理对象的分析期间对应的单位数据Zu(S3)。通过在以上的过程中生成的单位数据Zu被顺序地供给音源装置13，从放音装置14放出反映了用户U的演奏倾向的第2演奏部分的演奏音。
如在以上说明的，根据第1实施方式，从与不同的候选倾向C_k对应的K个组的基础数据B_1～B_K，根据各候选倾向C_k的指标值W_k生成时序数据Z，所以具有可以生成适合于用户U的演奏倾向的多样的时序数据Z这样的优点。具体地说，能够生成表示用户U在自身的演奏倾向下容易演奏的音符的时序的时序数据Z。
＜第2实施方式＞
说明本发明的第2实施方式。再者，对于在以下例示的各方式中功能与第1实施方式同样的元素，转用在第1实施方式的说明中使用的标号并适当地省略各自的详细说明。第2实施方式是从第1实施方式变更了信息处理单元23的动作的方式。信息处理装置100的其他元素的结构和动作与第1实施方式是同样的。
图6是第2实施方式中信息处理装置100合成K个组的基础数据B_1～B_K的处理的说明图。在图6中，一并记载基础数据B_k1指定的音符的时序和基础数据B_k2指定的音符的时序。
如图6中例示的，第2实施方式中各组基础数据B_k指定的多个音符被区别为在K个组的基础数据B_1～B_K之间相互对应的音符(以下称为“共同音符”)和按基础数据B_k的每个组而不同的音符(以下称为“个别音符”)。共同音符是在K个组的基础数据B_1～B_K中共同地存在的音符。具体地说，共同音符在K个组的基础数据B_1～B_K之间，音高共同，时间轴上的位置近似或者一致。另一方面，个别音符是各组基础数据B_k中特有的音符，在其他的基础数据B中不存在。即，个别音符是用于表现在各候选倾向C_k中特有的特征的音符。
对于共同音符，与第1实施方式同样，信息处理单元23根据各候选倾向C_k的指标值W_k在K个组的基础数据B_1～B_K之间进行合成。具体地说，通过对各共同音符的特性值F_k执行上述数学式(1)的运算，确定时序数据Z的音符的特性值Fz。另一方面，对各候选倾向C_k的基础数据B_k表示的个别音符，信息处理单元23根据该候选倾向C_k的指标值W_k，判定是否选择作为时序数据Z的音符。具体地说，在指标值W_K超过规定的阈值的情况下，信息处理单元23将基础数据B_k的个别音符选择作为时序数据Z的音符。另一方面，在指标值W_k低于阈值的情况下，信息处理单元23不选择基础数据B_k的个别音符。即，该个别音符不包含在时序数据Z内。如从以上说明理解的，相对于对共同音符在K个组的基础数据B_1～B_K之间被合成，对个别音符，不与其他基础数据B的音符合成，而根据指标值W_K和阈值的比较的结果，判别选择和不选择中的哪一个。
第2实施方式中也实现了与第1实施方式同样的效果。此外，在第2实施方式中，根据候选倾向C_k的指标值W_k来选择对于每组基础数据B_k的个别音符。因此，具有可以生成适当地反映了各组基础数据B_k的内容的时序数据Z的优点。
＜第3实施方式＞
说明本发明的第3实施方式。图7是例示第3实施方式中的信息处理装置100的功能性结构的框图。第3实施方式的存储装置12除了存储K个组的基础数据B_1～B_K之外，还存储表示演奏乐曲的第1演奏部分的内容的乐曲数据D。乐曲数据D指定构成第1演奏部分的音符的时序。具体地说，乐曲数据D对于构成第1演奏部分的多个音符的每一个指定音高和音量及发声期间。与各组基础数据B_k同样，MIDI形式的文件优选用作乐曲数据D。
如图7中例示的，第3实施方式的控制装置11除了与第1实施方式同样的元素(演奏分析单元21、指标确定单元22和信息处理单元23)之外，还具有作为演奏分析单元24的功能。演奏分析单元24从存储在存储装置12中的乐曲数据D，对每个单位期间顺序地生成参考演奏数据Y。参考演奏数据Y是表示乐曲的标准的演奏(例如忠实于乐谱的演奏)的数据。具体地说，参考演奏数据Y是表示演奏乐曲之中确定的时间点(以下称为“演奏时间点”)中的每个音高的演奏音量的向量。演奏时间点是从用户U开始了演奏乐曲的演奏的时间点起按与该演奏乐曲的演奏速度(拍子)相应的速度在时间轴上行进的时间点。在参考演奏数据Y表示的向量的N个元素Vy之中，与由乐曲数据D指示演奏时间点中的演奏的音高对应的元素Vy被设定为表示乐曲数据D指定的音量的数值，与没有被指示演奏时间点中的演奏的音高对应的元素Vy被设定为意味着不被演奏的数值(例如0)。
再者，也可以将演奏乐曲之中估计为用户U正在演奏的时间点(演奏位置)设为演奏时间点而生成参考演奏数据Y。在估计用户U正在演奏的位置中，可任意地采用例如日本特开2015－79183号公报等中公开的公知的音响分析技术(得分对齐)。
如图7中例示的，包含演奏分析单元21生成的观测演奏数据X和演奏分析单元24生成的参考演奏数据Y的演奏数据Xy对每个单位期间被供给到指标确定单元22。指标确定单元22通过将演奏数据Xy输入到学习完毕模型Lb而确定K个指标值W_1～W_K。第3实施方式的学习完毕模型Lb是学习了演奏数据Xy和K个指标值W_1～W_K之间的关系的统计性预测模型，对演奏数据Xy的输入，输出K个指标值W_1～W_K。与第1实施方式的学习完毕模型La同样，第2实施方式的学习完毕模型Lb由相互串联地连接的多个长短期存储单元构成。
规定学习完毕模型Lb的多个系数ω，通过利用了许多组的教师数据的机械学习(特别是深层学习)而被设定并被存储在存储装置12中。各组教师数据是将1单位期间中的演奏数据Xy和K个指标值W_1～W_K相互关联的(即，为1单位期间中的演奏数据Xy和K个指标值W_1～W_K的对)数据。在机械学习中，学习完毕模型Lb的多个系数ω被设定，使得表示在将教师数据的演奏数据Xy输入到临时性模型时生成的K个指标值W_1～W_K与该教师数据的K个指标值W_1～W_K的差异的损失函数最小。因此，根据从机械学习中利用的许多组教师数据中提取的倾向，学习完毕模型Lb对于未知的演奏数据Xy输出统计上妥当的K个指标值W_1～W_K。再者，在观测演奏数据X和参考演奏数据Y之间的关系(例如两者间的不同)对于K个指标值W_1～W_K的确定来说重要的情况下，通过机械学习被设定多个系数ω，使得反映观测演奏数据X和参考演奏数据Y之间的关系。信息处理单元23利用指标确定单元22确定的K个指标值W_1～W_K生成时序数据Z的处理的具体过程，与第1实施方式是同样的。
在第3实施方式中也实现了与第1实施方式同样的效果。此外，在第3实施方式中，观测演奏数据X和参考演奏数据Y被输入到学习完毕模型Lb，所以具有例如还考虑观测演奏数据X和参考演奏数据Y之间的差异，确定每个候选倾向C_k的指标值W_k这样的优点。再者，也可以将使处理因共同音符和个别音符而不同的第2实施方式的结构适用于第3实施方式。
＜第4实施方式＞
说明本发明的第4实施方式。第4实施方式是从第1实施方式变更了观测演奏数据X的形式的方式。信息处理装置100的其他元素的结构和动作与第1实施方式是同样的。
在第1实施方式中，作为观测演奏数据X例示了对于N个的音高排列了表示每个音高的演奏音量的元素Vx所得的N维向量。如图8中例示的，第4实施方式的观测演奏数据X包含与不同的音高对应的N个的音量数据V_1～V_N而构成。各音量数据V_n(n＝1～N)是排列了与不同的音量对应的M个元素G_1～G_M所得的M维向量。即，第4实施方式的观测演奏数据X表示M行×N列的矩阵。
在各音高的音量数据V_n中的M个元素G_1～G_M之中，与用户U演奏了该音高的音量对应的1个元素G_M(m＝1～M)被设定为数值λ1，剩余的(M－1)个元素G被设定为与数值λ1不同的数值λ2。数值λ1(第1值的例示)例如为1，数值λ2(第2值的例示)例如为0。再者，在用户U演奏由多个音符构成的和弦的情况下，对于与该和弦对应的2个以上的音高的每一个对应的音量数据V，M个元素G_1～G_M之中与演奏音量相应的1个元素G_M被设定为数值λ1。
指标确定单元22通过将以上例示的形式的观测演奏数据X输入到学习完毕模型La，确定与不同的候选倾向C_k对应的K个指标值W_1～W_K。学习完毕模型La的机械学习中利用的教师数据的观测演奏数据X是包含N个音量数据V_1～V_N的图8的数据。信息处理单元23利用指标确定单元22确定的K个指标值W_1～W_K生成时序数据Z的处理的具体过程，与第1实施方式是同样的。
第4实施方式中也实现了与第1实施方式同样的效果。再者，在将含有表示各音高的音量的元素Vx的第1实施方式的观测演奏数据X输入到学习完毕模型La的结构中，有用户U演奏了各音符的音量未被充分地反映在K个指标值W_1～W_K中的情况。在学习完毕模型La中利用长短期存储单元的结构中，以上的倾向特别地显著。在第4实施方式中，对于N个音高排列了由M个元素G_1～G_M的序列2值地表示音量的音量数据V_n的观测演奏数据X被输入到学习完毕模型La。因此，例如即使在学习完毕模型La中利用了长短期存储单元的情况下，也具有可以确定适当地反映了用户U演奏了各音符的音量的指标值W_K的优点。即，演奏音量作为用户U的演奏倾向被有效地检测。
再者，也可以将使处理因共同音符和个别音符而不同的第2实施方式的结构适用于第4实施方式。此外，通过将观测演奏数据X和参考演奏数据Y输入到学习完毕模型Lb，也可以将确定K个指标值W_1～W_K的第3实施方式的结构适用于第4实施方式。在将第3实施方式的结构适用于第4实施方式的情况下，与观测演奏数据X同样，对于参考演奏数据Y，也利用对于N个音高排列了通过M个元素G_1～G_M而2值地表示音量的音量数据V_n所得到的数据。
＜变形例＞
以下例示在以上例示的各方式中附加的具体的变形的方式。也可以在相互不矛盾的范围内适当地合并从以下的例示中任意选择的2个以上的方式。
(1)在前述的各方式中，从由演奏装置16供给的指示数据E，演奏分析单元21生成了观测演奏数据X，但也可以例如从表示演奏乐曲的演奏音的波形的音响信号，演奏分析单元21生成观测演奏数据X。例如，演奏分析单元21通过对音响信号执行短时傅里叶变换等的频率分析来推算频谱，生成与频谱的峰对应的元素Vx被设定为该峰中的强度的观测演奏数据X。如从以上说明理解的，在生成观测演奏数据X上指示数据E不是必需的。
(2)在前述的各方式中，通过根据各自的指标值W_k合成K个组的基础数据B_1～B_K而生成了时序数据Z，但也可以将K个组的基础数据B_1～B_K的任意一个根据指标值W_k选择作为时序数据Z。例如，信息处理单元23将与K个指标值W_1～W_K的最大值对应的1组基础数据B_k选择作为对每个分析期间的单位数据Zu。如从以上说明理解的，在生成时序数据Z中，不仅包含合成K个组的基础数据B_1～B_K，还包含选择K个组的基础数据B_1～B_K中的任意一个。
(3)在前述的各方式中，将控制装置11生成的时序数据Z供给音源装置13，但时序数据Z的供给目的地不限定于音源装置13。例如，对可放出时序数据Z指定的音响的乐器(例如电子乐器)，也可以供给控制装置11生成的时序数据Z。将时序数据Z供给乐器的结构，也可以唤作利用了乐器作为前述各方式中的音源装置13和放音装置14的方式。作为被供给时序数据Z的乐器的优选例子，假定通过例如根据时序数据Z驱动发声源(例如弦)而执行演奏乐曲的自动演奏的自动演奏乐器(例如自动演奏钢琴)。
(4)由通过例如互联网等通信网与终端装置(例如移动电话或者智能手机)通信的服务器装置那样的计算机，也可以实现信息处理装置100。具体地说，信息处理装置100通过对从终端装置接收到的指示数据E的演奏分析处理(图5)而生成时序数据Z，将该时序数据Z发送到终端装置。再者，也可以通过终端装置执行由演奏分析单元21生成观测演奏数据X、或者由演奏分析单元24生成参考演奏数据Y。即，也可以从信息处理装置100中省略演奏分析单元21和演奏分析单元24。
(5)在前述的各方式中，生成了表示音符的时序的时序数据Z，但时序数据Z指定的信息不限定于音符的时序。例如，从表示显示在显示装置上的对象(例如虚拟的演奏者)的动作的K个组的基础数据B_1～B_K，也可以生成根据用户U的演奏倾向使对象动作的时序数据Z。此外，从例如用于控制照明装置的发光(例如闪烁、光量或者发光色)的K个组的基础数据B_1～B_K，也可以生成根据用户U的演奏倾向使照明装置动作的时序数据Z。如从以上说明理解的，时序数据Z被综合性地表现，作为表示与演奏乐曲有关的信息的时序的数据。
(6)前述的各方式的信息处理装置100的功能，通过计算机(例如控制装置11)和程序的协同而实现。本发明的优选方式的程序，使计算机执行：指标确定处理(S2)，通过将表示由用户U进行的演奏乐曲的演奏的观测演奏数据X赋予学习完毕模型La，对不同的K种候选倾向C_1～C_K的每一个，确定表示用户U的演奏与该候选倾向C_k相符合的准确度的指标值W_k；以及信息处理(S3)，从分别表示与K种候选倾向C_1～C_K对应的信息的时序的K个组基础数据B_1～B_K，根据对各候选倾向C_k确定的指标值W_k，生成表示与演奏乐曲有关的信息的时序的时序数据Z。
以上例示的程序以存储在计算机可读取的记录介质中的方式提供并安装在计算机上。记录介质例如是非暂时性(non-transitory)的记录介质，CD-ROM等光学式记录介质(光盘)是优选例子，但包含半导体记录介质或磁记录介质等公知的任意的形式的记录介质。再者，非暂时性的记录介质包含除暂时性的传播信号(transitory,propagatingsignal)以外的任意的记录介质，不排除易失性的记录介质。此外，也可以按通过通信网的分发的方式，将程序提供给计算机。
(7)用于实现学习完毕模型(La，Lb)的人工智能软件的执行主体不限定于CPU。例如，张量处理单元(Tensor Processing Unit)和神经引擎(Neural Engine)等的神经网络专用的处理电路、或专用于人工智能的DSP(Digital Signal Processor；数字信号处理器)也可以执行人工智能软件。此外，从以上的例示中选择出的多种处理电路协同，也可以执行人工智能软件。
＜附注＞
从以上例示的方式，例如掌握以下的结构。
本发明的优选方式(第1方式)的信息处理方法，通过将表示用户对乐曲的演奏的观测演奏数据输入到学习完毕模型中，对不同的多个演奏倾向的每一个，确定表示用户的演奏与该演奏倾向相符合的准确度的指标值，从分别表示与多个演奏倾向对应的信息的时序的多组基础数据，根据对各演奏倾向确定的指标值，生成表示与乐曲有关的信息的时序的时序数据。根据以上方式，从不同的演奏倾向对应的多组基础数据，根据各演奏倾向的指标值生成时序数据，所以可生成适合于用户的演奏倾向的多样的时序数据。
在第1方式的优选例子(第2方式)中，对时间轴上的多个分析期间的各个分析期间，从该分析期间内的观测演奏数据确定各演奏倾向的指标值，从多组基础数据中的该分析期间内的部分，根据对该分析期间确定的各演奏倾向的指标值，生成在时序数据之中的该分析期间内的部分。在以上的方式中，对时间轴上的多个分析期间的各个分析期间，执行确定每个演奏倾向的指标值、和生成时序数据之中与该分析期间对应的部分。因此，可以对每个分析期间切换时序数据中的演奏倾向。
在第1方式或者第2方式的优选例子(第3方式)中，时序数据是表示音符的时序的数据。根据以上方式，可以生成表示用户在自己的演奏倾向下容易演奏的音符的时序的时序数据。
在第3方式的优选例子(第4方式)中，通过在生成时序数据中，根据各演奏倾向的指标值合成在多组基础数据之间相互对应的音符，生成时序数据。根据以上方式，通过合成在多组基础数据之间相互对应的音符，可以生成反映了多组基础数据的内容的时序数据。
在第4方式的优选例子(第5方式)中，各演奏倾向的基础数据表示的音符的时序包含在多组基础数据之间相互对应的共同音符、以及对每个基础数据组不同的个别音符，在生成时序数据中，通过根据各演奏倾向的指标值合成在多组基础数据之间相互对应的共同音符，并且根据该演奏倾向的指标值选择与各演奏倾向对应的基础数据表示的个别音符，生成时序数据。根据以上方式，通过合成在多组基础数据之间相互对应的音符，可以生成反映了多组基础数据的内容的时序数据。此外，对每组基础数据的个别音符，根据演奏倾向的指标值来选择。即，对个别音符不与其他音符合成。因此，具有可以生成适当地反映了各组基础数据的内容的时序数据这样的优点。
在第1方式至第5方式的任意一个优选例子(第6方式)中，通过将由指定构成乐曲的音符的时序的乐曲数据而生成且表示该乐曲的演奏的参考演奏数据、以及观测演奏数据赋予学习完毕模型，确定表示用户的演奏与确定的演奏倾向相符合的准确度的指标值。在以上的方式中，观测演奏数据和参考演奏数据被赋予学习完毕模型，所以例如也可以还考虑观测演奏数据和参考演奏数据之间的关系(例如两者间的差异)而确定每个演奏倾向的指标值。
在第1方式至第6方式的任意一个优选例子(第7方式)中，对于多个音高的每一个，观测演奏数据包含含有与不同的音量对应的多个元素的音量数据，在各音高的音量数据中的多个元素之中，与用户演奏该音高的音量对应的元素被设定为第1值，剩余的元素被设定为与第1值不同的第2值。根据以上方式，例如即使在利用了长短期存储(LSTM)单元作为学习完毕模型的情况下，也可以确定适当地反映了用户对各音符的演奏的音量的指标值。
即使作为执行以上例示的各方式的信息处理方法的信息处理装置、或者使计算机执行以上例示的各方式的信息处理方法的程序，也可实现本发明的优选方式。
标号说明
100…信息处理装置、11…控制装置、12…存储装置、13…音源装置、14…放音装置、16…演奏装置、21…演奏分析单元、22…指标确定单元(确定单元)、23…信息处理单元、24…演奏分析单元。

Claims (19)

1.一种信息处理方法，包括：
通过将表示用户对乐曲的演奏的观测演奏数据输入到学习完毕模型中，确定表示所述演奏的演奏倾向的演奏倾向信息；以及
根据所述演奏倾向信息，生成与所述乐曲有关的时序数据。
2.如权利要求1所述的信息处理方法，
对于不同的多个演奏倾向的每一个，所述演奏倾向信息包含表示所述演奏与该演奏倾向相符合的准确度的指标值，
生成所述时序数据包括：从与所述多个演奏倾向分别对应的多组基础数据，根据对所述各演奏倾向确定的所述指标值，生成所述时序数据。
3.如权利要求1所述的信息处理方法，
确定所述演奏倾向信息包括：对时间轴上的多个分析期间的各个分析期间，从该分析期间内的所述观测演奏数据确定所述演奏倾向信息，
生成所述时序数据包括：对所述多个分析期间的各个分析期间，根据对该分析期间确定的所述演奏倾向信息，生成在所述时序数据之中的该分析期间内的部分。
4.如权利要求2所述的信息处理方法，
对时间轴上的多个分析期间的各个分析期间，
确定所述演奏倾向信息包括：从该分析期间内的所述观测演奏数据确定所述各演奏倾向的指标值，
生成所述时序数据包括：从所述多组基础数据中的该分析期间内的部分，根据对该分析期间确定的所述各演奏倾向的指标值，生成所述时序数据之中的该分析期间内的部分。
5.如权利要求1或权利要求3所述的信息处理方法，
所述时序数据是表示音符的时序的数据。
6.如权利要求2或权利要求4所述的信息处理方法，
所述时序数据是表示音符的时序的数据。
7.如权利要求6所述的信息处理方法，
生成所述时序数据包括：通过根据所述各演奏倾向的指标值合成所述多组基础数据之间相互对应的音符，生成所述时序数据。
8.如权利要求7所述的信息处理方法，
所述各演奏倾向的基础数据所表示的音符的时序包括：所述多组基础数据之间相互对应的共同音符；以及按所述基础数据的每个组而不同的个别音符，
生成所述时序数据包括：通过根据所述各演奏倾向的指标值合成所述多组基础数据之间相互对应的所述共同音符，并且根据该演奏倾向的指标值选择或者不选择与所述各演奏倾向对应的基础数据所表示的所述个别音符，生成所述时序数据。
9.如权利要求1至权利要求8的任意一项所述的信息处理方法，
确定所述演奏倾向信息包括：通过将由用于指定构成所述乐曲的音符的时序的乐曲数据而生成且表示该乐曲的演奏的参考演奏数据、以及所述观测演奏数据赋予所述学习完毕模型，确定所述演奏倾向信息。
10.如权利要求1至权利要求9的任意一项所述的信息处理方法，
所述观测演奏数据对于多个音高的每一个包含音量数据，所述音量数据包含与不同的音量对应的多个元素，
在所述各音高的音量数据中的所述多个元素之中，与用户演奏该音高的音量对应的元素被设定为第1值，剩余的元素被设定为与所述第1值不同的第2值。
11.一种信息处理装置，包括：
确定单元，通过将表示用户对乐曲的演奏的观测演奏数据输入到学习完毕模型中，确定表示所述演奏的演奏倾向的演奏倾向信息；以及
信息处理单元，根据所述演奏倾向信息，生成与所述乐曲有关的时序数据。
12.如权利要求11所述的信息处理装置，
对于不同的多个演奏倾向的每一个，所述演奏倾向信息包含表示所述演奏与该演奏倾向相符合的准确度的指标值，
所述信息处理单元从与所述多个演奏倾向分别对应的多组基础数据，根据对于所述各演奏倾向确定的所述指标值，生成所述时序数据。
13.如权利要求12所述的信息处理装置，
对时间轴上的多个分析期间的每一个，
所述确定单元从该分析期间内的所述观测演奏数据确定所述各演奏倾向的指标值，
所述信息处理单元从所述多组基础数据中的该分析期间内的部分，根据对该分析期间确定的所述各演奏倾向的指标值，生成所述时序数据之中的该分析期间内的部分。
14.如权利要求12或权利要求13所述的信息处理装置，
所述时序数据是表示音符的时序的数据。
15.如权利要求14所述的信息处理装置，
所述信息处理单元通过将在所述多组基础数据之间相互对应的音符根据所述各演奏倾向的指标值进行合成，生成所述时序数据。
16.如权利要求15所述的信息处理装置，
所述各演奏倾向的基础数据所表示的音符的时序包括：所述多组基础数据之间相互对应的共同音符；以及按所述基础数据的每个组而不同的个别音符，
所述信息处理单元通过将在所述多组基础数据之间相互对应的所述共同音符根据所述各演奏倾向的指标值进行合成，并且根据该演奏倾向的指标值选择或不选择与所述各演奏倾向对应的基础数据所表示的所述个别音符，生成所述时序数据。
17.如权利要求11至权利要求16的任意一项所述的信息处理装置，
所述确定单元通过将由用于指定构成所述乐曲的音符的时序的乐曲数据而生成且表示该乐曲的演奏的参考演奏数据、以及所述观测演奏数据赋予所述学习完毕模型，确定所述演奏倾向信息。
18.如权利要求11至权利要求17的任意一项所述的信息处理装置，
所述观测演奏数据对于多个音高的每一个包含音量数据，所述音量数据包含与不同的音量对应的多个元素，
在所述各音高的音量数据中的所述多个元素之中，与用户演奏该音高的音量对应的元素被设定为第1值，剩余的元素被设定为与所述第1值不同的第2值。
19.一种信息处理程序，
使计算机执行：
通过将表示用户对乐曲的演奏的观测演奏数据输入到学习完毕模型中，确定表示所述演奏的演奏倾向的演奏倾向信息；以及
根据所述演奏倾向信息，生成与所述乐曲有关的时序数据。
CN201980008431.3A 2018-03-01 2019-02-19 用于处理乐曲的演奏的信息处理方法和装置 Active CN111602193B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018036650A JP6724938B2 (ja) 2018-03-01 2018-03-01 情報処理方法、情報処理装置およびプログラム
JP2018-036650 2018-03-01
PCT/JP2019/006048 WO2019167719A1 (ja) 2018-03-01 2019-02-19 楽曲の演奏を処理するための情報処理方法および装置

Publications (2)

Publication Number Publication Date
CN111602193A true CN111602193A (zh) 2020-08-28
CN111602193B CN111602193B (zh) 2023-08-22

Family

ID=67806165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980008431.3A Active CN111602193B (zh) 2018-03-01 2019-02-19 用于处理乐曲的演奏的信息处理方法和装置

Country Status (4)

Country Link
US (1) US11488567B2 (zh)
JP (1) JP6724938B2 (zh)
CN (1) CN111602193B (zh)
WO (1) WO2019167719A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6724938B2 (ja) * 2018-03-01 2020-07-15 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
JP7147384B2 (ja) * 2018-09-03 2022-10-05 ヤマハ株式会社 情報処理方法および情報処理装置
JP7424468B2 (ja) * 2020-03-17 2024-01-30 ヤマハ株式会社 パラメータ推論方法、パラメータ推論システム、及びパラメータ推論プログラム
CN116830179A (zh) * 2021-02-10 2023-09-29 雅马哈株式会社 信息处理系统、电子乐器、信息处理方法及机器学习系统
WO2022176506A1 (ja) * 2021-02-16 2022-08-25 ヤマハ株式会社 情報処理システム、電子楽器、情報処理方法、および学習済モデルの生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6297439B1 (en) * 1998-08-26 2001-10-02 Canon Kabushiki Kaisha System and method for automatic music generation using a neural network architecture
JP2001290474A (ja) * 2000-04-06 2001-10-19 Japan Science & Technology Corp 音楽情報解析装置、音楽情報解析方法及び音楽情報解析プログラムを記録した記録媒体
JP2004272067A (ja) * 2003-03-11 2004-09-30 Yamaha Corp 演奏練習装置及びプログラム
US20050076772A1 (en) * 2003-10-10 2005-04-14 Gartland-Jones Andrew Price Music composing system

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040123726A1 (en) * 2002-12-24 2004-07-01 Casio Computer Co., Ltd. Performance evaluation apparatus and a performance evaluation program
JP2006030414A (ja) * 2004-07-13 2006-02-02 Yamaha Corp 音色設定装置及びプログラム
JP5283289B2 (ja) * 2009-02-17 2013-09-04 国立大学法人京都大学 音楽音響信号生成システム
US8629342B2 (en) * 2009-07-02 2014-01-14 The Way Of H, Inc. Music instruction system
WO2014189137A1 (ja) * 2013-05-23 2014-11-27 ヤマハ株式会社 演奏解析方法及び演奏解析装置
KR101459324B1 (ko) * 2013-08-28 2014-11-07 이성호 음원 평가방법 및 이를 이용한 음원의 평가장치
JP6187132B2 (ja) 2013-10-18 2017-08-30 ヤマハ株式会社 スコアアライメント装置及びスコアアライメントプログラム
WO2018016581A1 (ja) * 2016-07-22 2018-01-25 ヤマハ株式会社 楽曲データ処理方法およびプログラム
JP6708179B2 (ja) * 2017-07-25 2020-06-10 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
JP6708180B2 (ja) * 2017-07-25 2020-06-10 ヤマハ株式会社 演奏解析方法、演奏解析装置およびプログラム
JP6724879B2 (ja) * 2017-09-22 2020-07-15 ヤマハ株式会社 再生制御方法、再生制御装置およびプログラム
JP6699677B2 (ja) * 2018-02-06 2020-05-27 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
JP7069768B2 (ja) * 2018-02-06 2022-05-18 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
JP6724938B2 (ja) * 2018-03-01 2020-07-15 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
CN112567450B (zh) * 2018-08-10 2024-03-29 雅马哈株式会社 乐谱数据的信息处理装置
US20210342490A1 (en) * 2020-05-04 2021-11-04 Cerebri AI Inc. Auditable secure reverse engineering proof machine learning pipeline and methods
US20220036866A1 (en) * 2020-07-31 2022-02-03 Yamaha Corporation Reproduction control method, reproduction control system, and reproduction control apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6297439B1 (en) * 1998-08-26 2001-10-02 Canon Kabushiki Kaisha System and method for automatic music generation using a neural network architecture
JP2001290474A (ja) * 2000-04-06 2001-10-19 Japan Science & Technology Corp 音楽情報解析装置、音楽情報解析方法及び音楽情報解析プログラムを記録した記録媒体
JP2004272067A (ja) * 2003-03-11 2004-09-30 Yamaha Corp 演奏練習装置及びプログラム
US20050076772A1 (en) * 2003-10-10 2005-04-14 Gartland-Jones Andrew Price Music composing system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
G WIDMER等: ""Using AI and machine learning to study expressive music performance: Project survey and first report"" *

Also Published As

Publication number Publication date
WO2019167719A1 (ja) 2019-09-06
CN111602193B (zh) 2023-08-22
US11488567B2 (en) 2022-11-01
US20200394989A1 (en) 2020-12-17
JP2019152716A (ja) 2019-09-12
JP6724938B2 (ja) 2020-07-15

Similar Documents

Publication Publication Date Title
CN111602193B (zh) 用于处理乐曲的演奏的信息处理方法和装置
CN112382257B (zh) 一种音频处理方法、装置、设备及介质
JP6708179B2 (ja) 情報処理方法、情報処理装置およびプログラム
JP6784022B2 (ja) 音声合成方法、音声合成制御方法、音声合成装置、音声合成制御装置およびプログラム
CN113160779A (zh) 电子乐器、方法及存储介质
CN113160780B (zh) 电子乐器、方法及存储介质
CN113874932A (zh) 电子乐器、电子乐器的控制方法及存储介质
US10298192B2 (en) Sound processing device and sound processing method
JP7069819B2 (ja) コード特定方法、コード特定装置およびプログラム
CN115176307A (zh) 推定模型构建方法、演奏解析方法、推定模型构建装置及演奏解析装置
JP6175812B2 (ja) 楽音情報処理装置及びプログラム
CN110959172B (zh) 演奏解析方法、演奏解析装置以及存储介质
CN113196381A (zh) 音响解析方法以及音响解析装置
CN114402389A (zh) 音响解析方法、音响解析装置及程序
WO2022153875A1 (ja) 情報処理システム、電子楽器、情報処理方法およびプログラム
JP4259532B2 (ja) 演奏制御装置、およびプログラム
JP2019159146A (ja) 電子機器、情報処理方法、及びプログラム
CN115349147A (zh) 音信号生成方法、推定模型训练方法、音信号生成系统及程序
JP7425558B2 (ja) コード検出装置及びコード検出プログラム
US20240005896A1 (en) Music generation method and apparatus
JP2019028251A (ja) カラオケ装置
US20230290325A1 (en) Sound processing method, sound processing system, electronic musical instrument, and recording medium
JP2010175739A (ja) 電子メトロノーム、およびプログラム
JP4760348B2 (ja) 楽曲選択装置および楽曲選択用コンピュータプログラム
JP2021015138A (ja) 演奏評価方法、演奏評価装置およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant