CN115244614A - 参数推论方法、参数推论系统及参数推论程序 - Google Patents

参数推论方法、参数推论系统及参数推论程序 Download PDF

Info

Publication number
CN115244614A
CN115244614A CN202180019533.2A CN202180019533A CN115244614A CN 115244614 A CN115244614 A CN 115244614A CN 202180019533 A CN202180019533 A CN 202180019533A CN 115244614 A CN115244614 A CN 115244614A
Authority
CN
China
Prior art keywords
information
parameter
performance
musical instrument
electronic musical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180019533.2A
Other languages
English (en)
Inventor
前泽阳
井口胜浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN115244614A publication Critical patent/CN115244614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/135—Musical aspects of games or videogames; Musical instrument-shaped game input interfaces
    • G10H2220/151—Musical difficulty level setting or selection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

本发明的一个技术方案涉及的由计算机实现的参数推论方法具有如下处理：取得表示使用了电子乐器的乐曲的演奏的对象演奏信息，使用通过机器学习而生成的训练好的推论模型，根据所述对象演奏信息对与适合于所述演奏的倾向的所述电子乐器的参数的设定相关的辅助信息进行推论，输出所推论出的与所述参数的设定相关的辅助信息。

Description

参数推论方法、参数推论系统及参数推论程序
技术领域
本发明涉及用于取得与演奏信息对应的电子乐器的参数的参数推论方法、参数推论系统及参数推论程序。
背景技术
例如，电子钢琴、电子琴、合成器等各种电子乐器在各种情况下被使用。电子乐器构成为能够对规定针对演奏操作的反应的参数的值进行变更。与此相对应地，电子乐器的用户能够通过对电子乐器的参数进行调整，从而变更针对同一演奏操作的电子乐器的反应。
例如，在专利文献1中提出有如下技术，即，按照与演奏操作对应的演奏信息的分析结果，对作为电子乐器的参数的一种的变换特性(表示与操作速度的音量之间的关系的触摸曲线(touch curve))进行变更。
专利文献1：日本特开平2－137890号公报
发明内容
根据专利文献1所提出的技术，能够按照规定的算法对触摸曲线进行调整。但是，电子乐器的参数的种类不限于触摸曲线，是各种各样的。另外，适合于演奏倾向的参数的值可以针对每个用户而不同。在以往的方法中，存在下述问题，即，针对每个参数及每个用户对算法进行调整，取得适合于演奏倾向的参数的值会花费工时。
本发明就是鉴于以上的情况而提出的，其目的在于，提供用于削减取得适合于用户的演奏倾向的电子乐器的参数的值所花费的工时的技术。
为了实现上述目的，本发明的一个方式涉及的由1个或多个计算机实现的参数推论方法具有如下处理：取得表示使用了电子乐器的乐曲的演奏的对象演奏信息，使用通过机器学习而生成的训练好的推论模型，根据所述对象演奏信息对与适合于所述演奏的倾向的所述电子乐器的参数的设定相关的辅助信息进行推论，输出所推论出的与所述参数的设定相关的辅助信息。
发明的效果
根据本发明，能够削减取得适合于用户的演奏倾向的电子乐器的参数的值所花费的工时。
附图说明
图1示出第1实施方式涉及的信息处理系统的结构的一个例子。
图2示出第1实施方式涉及的电子乐器的硬件结构的一个例子。
图3示出第1实施方式涉及的信息处理装置的硬件结构的一个例子。
图4示出第1实施方式涉及的服务器的硬件结构的一个例子。
图5示出第1实施方式的信息处理系统的软件结构的一个例子。
图6是表示第1实施方式的与机器学习相关的处理流程的一个例子的时序图。
图7是表示第1实施方式的与参数推论相关的处理流程的一个例子的时序图。
图8示出第2实施方式的信息处理系统的软件结构的一个例子。
图9示出第2实施方式的与参数推论相关的处理流程的一个例子。
具体实施方式
以下，参照附图详细地说明本发明的实施方式。以下所说明的各实施方式不过是能够实现本发明的结构的一个例子。以下的各实施方式能够根据应用本发明的装置的结构、各种条件而适当进行修正或变更。另外，以下的各实施方式所包含的要素的全部组合并非都是实现本发明所必须的，可以适当地省略要素的一部分。因此，本发明的范围不受以下的各实施方式所记载的结构限定。另外，只要彼此不矛盾，则还可以采用将实施方式中所记载的多个结构组合而得到的结构。
＜1.第1实施方式＞
图1示出第1实施方式涉及的信息处理系统S的结构的一个例子。如图1所示，本实施方式涉及的信息处理系统S具有电子乐器100、信息处理装置200及服务器300。信息处理系统S是参数推论系统的一个例子。
电子乐器100是在演奏乐曲时用户使用的装置。电子乐器100例如可以是电子键盘乐器(例如，电子钢琴等)、电子弦乐器(例如，电吉他等)、电子管乐器(例如，电吹管合成器(wind synthesizer)等)等。电子乐器100只要构成为通过对参数的值进行变更而能够对反应进行变更，则其种类可以不特别限定。电子乐器100例如可以在平板终端、移动终端(例如，智能手机)等通用的计算机上通过软件而实现。
信息处理装置200是在进行与电子乐器100的设定相关的操作时用户使用的计算机。信息处理装置200例如是平板终端、个人计算机(PC)等计算机。电子乐器100及信息处理装置200可以构成为能够以无线或有线方式相互进行通信。或者，电子乐器100及信息处理装置200也可以一体地构成。
服务器300是在与信息处理装置200之间收发数据的计算机。服务器300例如可以是云端服务器、边缘服务器等。服务器300构成为能够经由网络NW与信息处理装置200进行通信。
概略地，在学习阶段，在本实施方式的信息处理系统S中，服务器300基于从电子乐器100及信息处理装置200收集到的数据，生成通过第1演奏信息A1及正确信息L1的组合而分别构成的多个数据集DS。第1演奏信息A1构成为表示使用了电子乐器100的乐曲的演奏。正确信息L1构成为，表示与在该演奏时被赋予的(即，适合于第1演奏信息A1所表示的演奏倾向的)电子乐器的参数的设定相关的辅助信息的真值。辅助信息例如包含能够利用于后述的指示信息B、演奏的音色的设定等对电子乐器100的反应进行规定的参数的设定的信息即可，其结构及形式可以与实施方式相对应地适当决定。服务器300使用所生成的多个数据集DS，执行学习模型M1的机器学习。学习模型M1相当于推论模型。在机器学习中，服务器300针对各数据集DS，以使得通过学习模型M1从第1演奏信息A1推论出辅助信息的结果适合于所对应的正确信息L1的方式，对学习模型M1进行训练。由此，能够生成训练好的学习模型M1。所生成的训练好的学习模型M1可以在任意的定时提供给信息处理装置200。服务器300是模型生成装置的一个例子。
另一方面，在推论阶段，信息处理装置200取得表示使用了电子乐器100的乐曲的演奏的第2演奏信息A2。信息处理装置200使用通过上述机器学习而生成的训练好的学习模型M1，根据第2演奏信息A2而推论出与适合于演奏的倾向的电子乐器100的参数的设定相关的辅助信息。信息处理装置200输出所推论出的与参数的设定相关的辅助信息。信息处理装置200是参数推论装置的一个例子。此外，如上所述，在本实施方式中，将学习阶段的演奏信息A称为“第1演奏信息A1”，将推论阶段的演奏信息A称为“第2演奏信息A2”。在不区分阶段的情况下简称为“演奏信息A”。第1演奏信息A1也可以称为“训练演奏信息”。第2演奏信息A2相当于对象演奏信息。
例如，同一乐器的演奏水平相似的演奏者彼此的演奏操作相仿，因此针对电子乐器的设定也相仿。即，在用户的演奏倾向相似的情况下，存在该用户的电子乐器的参数设定也相似的倾向。因此，能够生成能根据演奏信息A适当地对辅助信息进行推论的训练好的模型。而且，根据所生成的训练好的模型(训练好的学习模型M1)，能够将取得电子乐器100的参数的值的作业的至少一部分自动化。因此，根据本实施方式，能够削减取得适合于用户的演奏倾向的电子乐器100的参数的值所花费的工时。
＜2.硬件结构例＞
(电子乐器)
图2示出本实施方式涉及的电子乐器100的硬件结构的一个例子。如图2所示，电子乐器100是将CPU(Central Processing Unit)101、RAM(Random Access Memory)102、储存器103、演奏操作部104、设定操作部105、显示部106、声源部107、声音系统(sound system)108及收发部109通过总线U1电气性地连接的计算机。
CPU 101由用于执行电子乐器100的各种运算的1个或多个处理电路(处理器)构成。CPU 101是处理器资源(processor resources)的一个例子。处理器的种类也可以与实施方式相对应地适当选择。RAM 102是易失性的存储介质，作为保存在CPU 101使用的设定值等信息并且供各种程序展开的工作存储器而进行动作。储存器103是非易失性的存储介质，对由CPU 101使用的各种程序及数据进行存储。RAM 102及储存器103是保存由处理器资源执行的程序的存储器资源(memory resource)的一个例子。
在本实施方式中，储存器103对程序81等各种信息进行存储。程序81是用于使电子乐器100执行与演奏及参数设定相关的信息处理的程序。程序81包含该信息处理的一系列的命令。
演奏操作部104构成为，接受乐曲的演奏的用户的操作，与接受到的操作相对应地生成演奏信息A，将生成的演奏信息A供给至CPU 101。作为一个例子，在电子乐器100是电子键盘乐器的情况下，演奏操作部104可以是电子键盘。
设定操作部105构成为，接受由用户进行的参数设定的操作，与接受到的操作相对应地生成设定操作数据，将生成的设定操作数据供给至CPU 101。设定操作部105例如是操作开关等。
显示部106例如构成为，执行将电子乐器100的参数设定的信息等各种信息显示于输出装置的处理。作为一个例子，在电子乐器100具有显示器(未图示)的情况下，显示部106也可以构成为，将与各种信息对应的影像信号发送至显示器。
声源部107构成为，基于从CPU 101供给的演奏信息A及所设定的参数(参数P1)而生成声音信号，将生成的声音信号输入至声音系统108。
声音系统108构成为产生与从声源部107输入的声音信号对应的声音。作为一个例子，声音系统108也可以由放大器及扬声器构成。
收发部109构成为以无线或有线方式与其他装置(例如，信息处理装置200)收发数据。收发部109例如可以由Bluetooth(注册商标)模块、Wi-Fi(注册商标)模块、USB(Universal Serial Bus)端口、专用端口等模块构成。收发部109也可以包含多个模块。
总线U1是将电子乐器100的上述硬件的结构要素相互且电气性地连接的信号传输路。此外，关于电子乐器100的具体硬件结构，可以与实施方式相对应地适当进行结构要素的省略、置换及追加。
(信息处理装置)
图3示出本实施方式涉及的信息处理装置200的硬件结构的一个例子。如图3所示，信息处理装置200是将CPU 201、RAM 202、储存器203、输入输出部204、收发部205及驱动器206通过总线U2电气性地连接的计算机。
CPU 201由用于执行信息处理装置200的各种运算的1个或多个处理电路(处理器)构成。CPU 201是处理器资源的一个例子。处理器的种类可以与实施方式相对应地适当选择。RAM 202是易失性的存储介质，作为保存在CPU 201使用的设定值等各种信息并且供各种程序展开的工作存储器而进行动作。储存器203是非易失性的存储介质，对由CPU 201使用的各种程序及数据进行存储。RAM 202及储存器203是保存由处理器资源执行的程序的存储器资源的一个例子。
在本实施方式中，储存器203对程序82、表示训练好的学习模型M1的数据等各种信息进行存储。程序82是用于使信息处理装置200执行使用训练好的学习模型M1对电子乐器100的辅助信息进行推论的信息处理(后述的图7、图9)的程序。程序82包含该信息处理的一系列的命令。程序82是参数推论程序的一个例子。
输入输出部204构成为，作为用户接口，接受用户针对信息处理装置200的操作并且对各种信息进行显示。输入输出部204例如可以由触摸面板显示器等一体地构成。或者，输入输出部204例如也可以通过键盘、鼠标、显示器、扬声器等而分别构成输入部及输出部。
收发部205构成为，与上述收发部109相同地，以无线或有线方式与其他装置(例如，电子乐器100、服务器300等)收发数据。收发部205也可以包含多个模块(例如，Bluetooth(注册商标)模块、Wi-Fi(注册商标)模块、USB(Universal Serial Bus)端口、专用端口等)。作为一个例子，收发部205也可以构成为，通过Bluetooth(注册商标)模块与电子乐器100进行通信，并且通过Wi-Fi(注册商标)模块与服务器300进行通信。
驱动器206是用于读入存储介质92所存储的程序等各种信息的驱动器装置。存储介质92是以计算机、其他装置、机器等能够读取所存储的程序等各种信息的方式，将该程序等信息通过电、磁、光学、机械或化学的作用而积蓄的介质。存储介质92例如可以是软盘、光盘(例如，压缩盘、数字多功能盘、蓝光光盘)、光磁盘、磁带、非易失性的存储卡(例如，闪存)等。驱动器206的种类可以与存储介质92的种类相对应地任意选择。上述程序82及表示训练好的学习模型M1的数据中的至少任意者可以被存储于存储介质92，信息处理装置200也可以从该存储介质92读出程序82及表示训练好的学习模型M1的数据中的至少任意者。
总线U2是将信息处理装置200的上述硬件的结构要素相互且电气性地连接的信号传输路。此外，关于信息处理装置200的具体的硬件结构，能够与实施方式相对应地适当进行结构要素的省略、置换及追加。
(服务器)
图4示出本实施方式涉及的服务器300的硬件结构的一个例子。如图4所示，服务器300是将CPU 301、RAM 302、储存器303、输入部304、输出部305、收发部306及驱动器307通过总线U3电气性地连接的计算机。
CPU 301由用于执行服务器300的各种运算的1个或多个处理电路(处理器)构成。CPU 301是处理器资源的一个例子。处理器的种类也可以与实施方式相对应地适当选择。RAM 302是易失性的存储介质，作为保存在CPU 301使用的设定值等各种信息并且供各种程序展开的工作存储器而进行动作。储存器303是非易失性的存储介质，对由CPU 301使用的各种程序及数据进行存储。RAM 302及储存器303是保存由处理器资源执行的程序的存储器资源的一个例子。
在本实施方式中，储存器303对程序83、表示训练好的学习模型M1的数据等各种信息进行存储。程序83是用于使服务器300执行与学习模型M1的机器学习相关的信息处理(后述的图6)的程序。程序83包含该信息处理的一系列的命令。程序83是模型生成程序的一个例子。在本实施方式中，表示训练好的学习模型M1的数据作为由服务器300执行程序83所包含的一系列的命令的结果而生成。
输入部304由用于接受针对服务器300的操作的输入装置构成。输入部304例如也可以构成为，从与服务器300连接的键盘、鼠标等1个或多个输入装置接受输入信号。
输出部305由用于输出各种信息的输出装置构成。输出部305例如也可以构成为，对与服务器300连接的液晶显示器、扬声器等1个或多个输出装置输出信息(例如，影像信号、声音信号等)。
收发部306构成为，与上述收发部109等相同地，以无线或有线方式与其他装置(例如，信息处理装置200)收发数据。收发部308例如可以由网络卡(NIC)构成。
驱动器307与上述驱动器206相同地，是用于读入存储介质93所存储的程序等各种信息的驱动器装置。驱动器307的种类可以与存储介质93的种类相对应地任意选择。存储介质93与上述存储介质92相同地，是以计算机、其他装置、机械等能够读取所存储的程序等各种信息的方式，将该程序等信息通过电、磁、光学、机械或化学的作用而积蓄的介质。上述程序83可以存储于存储介质93，服务器300也可以从该存储介质92读出程序83。
总线U3是将服务器300的上述硬件的结构要素相互且电气性地连接的信号传输路。此外，关于服务器300的具体硬件结构，能够与实施方式相对应地适当进行结构要素的省略、置换及追加。
＜3.软件结构例＞
图5示出第1实施方式涉及的信息处理系统S的软件结构的一个例子。
(电子乐器)
电子乐器100具有控制部150及存储部160。控制部150构成为，通过CPU 101及RAM102综合地对电子乐器100的动作进行控制。存储部160由RAM 102及储存器103构成。电子乐器100的CPU 101将储存器103所存储的程序81展开至RAM 102，执行在RAM 102展开的程序81所包含的命令。由此，电子乐器100(控制部150)作为计算机而进行动作，该计算机具有演奏取得部151及参数设定部152作为软件模块。
演奏取得部151构成为，与用户的演奏操作相对应地取得由演奏操作部104生成的演奏信息A。演奏信息A例如可以适当构成为，包含演奏操作、演奏音、能表现演奏音所包含的声音的特性等演奏的倾向的信息。作为一个例子，演奏信息A可以包含表示用户的演奏的多个音的发音时刻及音高的信息。演奏信息A还可以包含表示与多个音分别对应的长度及强度的信息。演奏信息A可以由表现用户的演奏的高维的时间序列数据构成。演奏取得部151可以构成为，将所取得的演奏信息A供给至声源部107。并且，演奏取得部151也可以构成为，经由收发部109向信息处理装置200(演奏接收部252)供给所取得的演奏信息A。
参数设定部152构成为，基于从信息处理装置200供给的信息(例如，后述的指示信息B或参数P1)进行电子乐器100(声源部107)的参数设定。
(信息处理装置)
信息处理装置200具有控制部250及存储部260。控制部250构成为，通过CPU 201及RAM 202综合地对信息处理装置200的动作进行控制。存储部260构成为，通过RAM 202及储存器203对在控制部250中使用的各种数据进行存储。信息处理装置200的CPU201将储存器203所存储的程序82展开至RAM 202，执行在RAM 202展开的程序82所包含的命令。由此，信息处理装置200(控制部250)作为计算机而进行动作，该计算机具有认证部251、演奏接收部252、指示取得部253、数据前处理部254、推论处理部255及调整部256作为软件模块。
认证部251构成为，与服务器300(后述的认证部351)等外部装置协同动作而对用户进行认证。在一个例子中，认证部251构成为，将用户使用输入输出部204而输入的用户识别符及密码等认证信息发送至服务器300，基于从服务器300接收到的认证结果，对用户的访问进行许可或拒绝。认证部251可以构成为，将得到认证的(许可了访问的)用户的用户识别符供给至其他软件模块。
演奏接收部252构成为，接收从电子乐器100(演奏取得部151)供给的演奏信息A，将接收到的演奏信息A作为第2演奏信息A2而储存于存储部260、或供给至数据前处理部254。演奏接收部252也可以构成为，将从认证部251供给的用户识别符与第2演奏信息A2相关联地储存于存储部260。另外，演奏接收部252构成为，通过收发部205将演奏信息A发送至服务器300。服务器300取得从信息处理装置200发送来的演奏信息A作为第1演奏信息A1。在该第1演奏信息A1也可以与上述第2演奏信息A2相同地关联有用户识别符。
指示取得部253构成为，与用户针对输入输出部204的指示操作相对应地生成指示信息B，将所生成的指示信息B储存于存储部260。指示取得部253也可以构成为，将从认证部251供给的用户识别符与指示信息B(或由指示信息B指定的参数)相关联地储存于存储部260。指示信息B也可以适当构成为，包含对电子乐器100的参数的值进行指定的信息。在一个例子中，指示信息B也可以构成为，包含用户的操作时刻及操作内容(例如，在触摸面板显示器上被触摸的位置及通过操作而被指定的音色等)。即，指示信息B也可以构成为，表示由用户进行的参数设定的操作履历。在本实施方式中，能够通过指示信息B对与在进行了该操作的时间点的用户的演奏倾向相适合的参数的值进行确定。参数是对与电子乐器100的演奏相关的反应进行规定的。参数的种类可以与电子乐器100的种类等相对应地适当决定。参数例如可以是电子乐器100(声源部107)的演奏的音色(乐器类别)、操作画面的设定、均衡器设定、电子钢琴的触摸曲线设定、电吉他的效果器设定等。指示取得部253构成为，将指示信息B或根据指示信息B确定出的参数的值通过收发部205而供给至电子乐器100(参数设定部152)。另外，指示取得部253构成为，将指示信息B或根据指示信息B确定出的参数的值通过收发部205而发送至服务器300。也可以在向电子乐器100及服务器300各自供给的指示信息B或参数的值关联有用户识别符。
数据前处理部254构成为，为了使第2演奏信息A2适合于训练好的学习模型M1的输入形式，例如针对该第2演奏信息A2执行缩放等数据前处理。第2演奏信息A2也可以从存储部260及演奏接收部252的任意者供给。
推论处理部255构成为，使用训练好的学习模型M1，根据第2演奏信息A2对与适合于演奏的倾向的电子乐器100的参数的设定相关的辅助信息进行推论。具体而言，推论处理部255将进行了前处理后的第2演奏信息A2输入至训练好的学习模型M1，执行训练好的学习模型M1的运算处理。作为该运算处理的结果，推论处理部255从训练好的学习模型M1取得所推论的辅助信息。在一个例子中，辅助信息由与上述指示信息B同类的数据(即，用于对电子乐器100指示参数的值的数据)或参数的值构成。在本实施方式涉及的学习模型M1可以采用任意的机器学习模型。优选地，在学习模型M1采用适合于时间序列数据的递归神经网络(RNN)及其衍生物的结构(长短期存储(LSTM)、门控递归单元(GRU)等)的至少任一者。
调整部256构成为，基于由推论处理部255推论出的辅助信息，使电子乐器100的参数设定部152对参数的值进行调整(例如，设定声源部107的参数的值)。调整部256是构成为输出所推论出的辅助信息的输出处理部的一个例子，基于所推论出的辅助信息使电子乐器100对参数的值进行调整是输出所推论出的辅助信息的一个例子。此时，调整部256也可以将由所推论出的辅助信息指定的参数(例如，声源部107的音色)的值显示于输入输出部204。与此相对应地，调整部256也可以针对用户而接受是否使用该参数的值的选择操作。而且，调整部256也可以经由输入输出部204，与接受到选择使用由所推论出的辅助信息指定的参数的值的操作相对应地，将辅助信息或该参数的值发送至电子乐器100(参数设定部152)。由此，调整部256也可以针对电子乐器100，将电子乐器100的参数的设定值调整为由辅助信息指定的值。作为一个例子，输出辅助信息的情况可以包含基于所推论出的与参数的设定相关的辅助信息，对电子乐器100的音色的设定进行调整的情况。另外，输出辅助信息的情况也可以包含基于所推论出的与参数的设定相关的辅助信息，对电子乐器100的操作画面进行调整的情况。此外，基于所推论出的辅助信息对参数的值进行调整的方法可以不限定于上述例子。在其他一个例子中，调整部256也可以构成为，将由所推论出的辅助信息指定的参数的值显示于输入输出部204，由此将电子乐器100的参数设定的操作提示给用户。
(服务器)
服务器300具有控制部350及存储部360。控制部350构成为，通过CPU 301及RAM302，综合地对服务器300的动作进行控制。存储部360构成为，通过RAM 302及储存器303，对在控制部350中使用的各种数据(例如，从信息处理装置200供给的第1演奏信息A1及指示信息B)进行存储。此外，在多个用户分别使用电子乐器100及信息处理装置200的情况下，存储部360优选将针对每个用户而生成的第1演奏信息A1及指示信息B(或参数的值)通过用户识别符进行区分而存储。服务器300的CPU 301将储存器303所存储的程序83展开至RAM 302，执行在RAM 302展开的程序83所包含的命令。由此，服务器300(控制部350)作为计算机而进行动作，该计算机具有认证部351、数据前处理部352、学习处理部353及模型发行部354作为软件模块。
认证部351构成为，与信息处理装置200(认证部251)协同动作而对用户进行认证。认证部351构成为，对从信息处理装置200供给的认证信息与存储部360所储存的认证信息是否一致进行判定，将认证结果(许可或拒绝)发送至信息处理装置200。
数据前处理部352构成为，为了使第1演奏信息A1适合于学习模型M1的输入形式，例如针对该第1演奏信息A1执行缩放等数据前处理。第1演奏信息A1可以从存储部360供给。
学习处理部353构成为，根据从信息处理装置200供给的指示信息B或由指示信息B指定的参数的值对辅助信息的真值进行确定，生成表示所确定出的真值的正确信息L1。在一个例子中，学习处理部353可以将指示信息B或由指示信息B指定的参数的值直接作为正确信息L1而利用。在其他一个例子中，学习处理部353也可以通过针对指示信息B或由指示信息B指定的参数的值执行任意的运算处理(例如，对值进行修正)，从而生成正确信息L1。学习处理部353构成为，通过所生成的正确信息L1与相对应的第1演奏信息A1相关联而生成各数据集DS。而且，学习处理部353构成为，将所生成的各数据集DS的数据前处理后的第1演奏信息A1作为训练数据(输入数据)而使用，将相对应的正确信息L1作为教师信号(正确数据)而使用，由此执行学习模型M1的机器学习。由此，能够生成训练好的学习模型M1。学习处理部353生成用于对所生成的训练好的学习模型M1进行播放的学习结果数据，将所生成的学习结果数据保存于任意的存储区域。
在一个例子中，学习处理部353也可以参照相关联的用户识别符，使用与特定的用户相对应地收集到的多个数据集DS而实施学习模型M1的机器学习。由此，学习处理部353也可以面向特定的用户而生成训练好的学习模型M1。或者，学习处理部353在面向特定的用户而生成训练好的学习模型M1的情况下，除了与特定的用户相关联的数据集DS以外，还可以将与其他用户相关联的数据集DS任意地用于机器学习。在与特定的用户有关联的数据集DS的件数少的情况下，通过如上所述将与其他用户有关联的数据集DS也用于机器学习，能够提高训练好的学习模型M的推论精度。
模型发行部354构成为，将由学习处理部353生成的学习结果数据发送至信息处理装置200，由此将训练好的学习模型M1发行给用户。在面向特定的用户而生成了训练好的学习模型M1的情况下，模型发行部354也可以构成为，发行与通过用户识别符确定的用户的信息处理装置200对应的学习结果数据(训练好的学习模型M1)。
(其他)
在本实施方式中，说明了电子乐器100、信息处理装置200及服务器300的各软件模块都通过通用的CPU而实现的例子。但是，上述软件模块的一部分或全部也可以由1个或多个专用的处理器实现。上述各模块也可以作为硬件模块而实现。另外，关于电子乐器100、信息处理装置200及服务器300各自的软件结构可以与实施方式相对应地适当进行软件模块的省略、置换及追加。
＜4.动作例＞
(学习模型的机器学习)
图6是表示由第1实施方式涉及的信息处理系统S进行的与学习模型M1的机器学习相关的处理流程的一个例子的时序图。以下的处理流程是训练好的推论模型的建立方法的一个例子。但是，对于以下的处理流程，可以与实施方式相对应地适当进行步骤的省略、置换及追加。
在执行学习处理之前，服务器300的CPU 301经由信息处理装置200而对电子乐器100的第1演奏信息A1进行收集。另外，CPU301对与第1演奏信息A1对应的指示信息B(或由指示信息B指定的参数的值)进行收集。收集到的第1演奏信息A1及指示信息B(或参数的值)(以下，还记载为“各种数据”)相关联地储存于存储部360。各种数据也可以与用户识别符关联地储存。
在执行学习处理时，CPU 301作为学习处理部353而进行动作，使用在存储部360积蓄的各种数据而生成多个数据集DS。在本实施方式中，为了使得与演奏的音色的设定相关的信息包含于所推论的辅助信息，由正确信息L1表示的辅助信息的真值可以包含由相对应的第1演奏信息A1表示的演奏的音色的真值。另外，为了使得与电子乐器100的操作画面的设定相关的信息包含于所推论的辅助信息，由正确信息L1表示的辅助信息的真值也可以包含适合于在相对应的第1演奏信息A1表示的演奏的倾向的电子乐器100的操作画面的真值。
在步骤S610中，CPU 301作为数据前处理部352而进行动作，针对各数据集DS的第1演奏信息A1而执行数据前处理。
在步骤S620中，CPU 301作为学习处理部353而进行动作，将各数据集DS的数据前处理后的第1演奏信息A1作为训练数据而使用，将相对应的正确信息L1作为教师信号而使用，由此执行学习模型M1的机器学习。具体而言，CPU 301针对各数据集DS，以使得通过学习模型M1根据数据前处理后的第1演奏信息A1推论出辅助信息的结果适合于相对应的正确信息L1的方式，对学习模型M1进行训练(对构成学习模型M1的运算参数的值进行调整)。作为该机器学习的结果，能够生成获得了下述能力的训练好的学习模型M1，即，将与适合于演奏信息A所表示的演奏的倾向的电子乐器100的参数的设定相关的辅助信息(指示信息或参数的值)根据该演奏信息A进行推论的能力。CPU 301可以生成表示训练好的学习模型M1的学习结果数据，将所生成的学习结果数据储存于存储部360。
在步骤S630中，CPU 301作为模型发行部354而进行动作，经由网络NW而将表示所生成的训练好的学习模型M1的学习结果数据发送至信息处理装置200。由此，服务器300将训练好的学习模型M1发行给信息处理装置200。信息处理装置200的CPU 201将接收到的学习模型M1(学习结果数据)储存于存储部260。
根据上述，与本动作例涉及的学习模型M1的机器学习相关的处理流程结束。上述机器学习的处理可以定期地执行，或者也可以与来自用户(信息处理装置200)的请求相对应地执行。此外，也可以在执行步骤S610的处理之前，信息处理装置200的CPU 201及服务器300的CPU 301分别作为认证部(251、351)而进行动作，对用户进行认证。由此，服务器300也可以使用与得到认证的用户的用户识别符有关联的数据，生成面向该得到认证的用户的训练好的学习模型M1。
(参数的推论处理)
图7是表示由第1实施方式涉及的信息处理系统S进行的与参数的推论相关的处理流程的一个例子的时序图。以下的处理流程是参数推论方法的一个例子。但是，对于以下的处理流程，可以与实施方式相对应地适当进行步骤的省略、置换及追加。此外，在本实施方式中，信息处理装置200构成为执行参数的推论处理。另外，信息处理装置200构成为，作为输出辅助信息的处理的一个例子，基于所得到的推论结果对电子乐器100的参数P1的值进行设定。
在步骤S710中，信息处理装置200的CPU 201作为演奏接收部252而进行动作，取得表示使用了电子乐器100的乐曲的演奏的第2演奏信息A2。在一个例子中，CPU 201从电子乐器100接收由演奏取得部151得到的第2演奏信息A2。CPU 201将所取得的第2演奏信息A2供给至数据前处理部254。在其他一个例子中，CPU 201也可以作为演奏接收部252而进行动作，预先从电子乐器100接收第2演奏信息A2，将接收到的第2演奏信息A2储存于存储部260。在该情况下，CPU 201也可以从存储部260读出第2演奏信息A2，将读出的第2演奏信息A2供给至数据前处理部254。
在步骤S720中，CPU 201作为数据前处理部254而进行动作，针对从演奏接收部252供给的第2演奏信息A2而执行数据前处理。而且，CPU 201将数据前处理后的第2演奏信息A2供给至推论处理部255。
在步骤S730中，CPU 201作为推论处理部255而进行动作，使用通过上述机器学习而生成的训练好的学习模型M1，根据第2演奏信息A2对与适合于演奏的倾向的电子乐器100的参数的设定相关的辅助信息进行推论。CPU 201参照存储部260所储存的学习结果数据，对训练好的学习模型M1进行设定。CPU 201将进行了前处理后的第2演奏信息A2输入至训练好的学习模型M1，执行训练好的学习模型M1的运算处理。作为该运算处理的结果，CPU 201从训练好的学习模型M1取得与推论出辅助信息的结果对应的输出。在本实施方式中，所推论的辅助信息由与指示信息B同类的数据或参数的推定值构成。在机器学习所使用的正确信息L1包含有演奏的音色的真值的情况下，所推论的辅助信息包含与演奏的音色的设定相关的信息。在机器学习所使用的正确信息L1包含有操作画面的真值的情况下，所推论的辅助信息(辅助信息的推论结果)包含与适合于第2演奏信息A2所表示的演奏的倾向的电子乐器100的操作画面的设定相关的信息。CPU 201将辅助信息的推论结果供给至调整部256。
在步骤S740中，CPU 201作为调整部256而进行动作，将通过步骤S730的处理得到的辅助信息的推论结果通过输入输出部204(显示器)进行显示。由此，提示用户进行是否使用由所推论出的辅助信息指定的参数P1的值的确认。
在步骤S750中，CPU 201作为调整部256而进行动作，从输入输出部204接收用户针对是否使用通过步骤S740的处理而显示的参数P1的值的响应(操作)。
在步骤S760中，CPU 201作为调整部256而进行动作，基于通过步骤S750的处理得到的用户响应，对是否调整电子乐器100的参数进行判定。CPU 201在接收到表示使用(接纳)由所推论出的辅助信息指定的参数P1的值的用户的响应的情况下，使处理进入步骤S770。另一方面，在接收到表示不使用(拒绝)参数P1的值的用户的响应的情况下，省略步骤S779的处理，结束本动作例涉及的处理流程。
在步骤S770中，CPU 201作为调整部256而进行动作，将使电子乐器100的参数P1的设定值变更为由所推论出的辅助信息指定的参数P1的值的指示向电子乐器100(参数设定部152)发送。此外，在本步骤S770中，CPU 201可以将所指定的参数P1的值直接发送至电子乐器100，或者也可以将与参数P1的值对应的指示信息发送至电子乐器100。
在步骤S780中，电子乐器100的CPU 101作为参数设定部152而进行动作，将电子乐器100的参数P1的值变更为由从信息处理装置200接收到的指示指定的值。在所推论出的辅助信息包含与演奏的音色的设定相关的信息的情况下，CPU 101按照来自信息处理装置200的指示，进行声源部107的音色的设定。在所推论出的辅助信息包含与电子乐器100的操作画面的设定相关的信息的情况下，CPU101按照来自信息处理装置200的指示，进行电子乐器100的操作画面的设定。
(特征)
根据本实施方式，通过使用训练好的学习模型M1，能够取得适合于用户的演奏倾向的电子乐器100的参数P1的值，削减通过所取得的值进行参数P1的设定所花费的工时。另外，能够提供能与由演奏信息A表示的用户的演奏的倾向的变化相对应地自动调整电子乐器100的设定的信息处理系统S。
另外，在本实施方式中，辅助信息包含与演奏的音色的设定相关的信息及与操作画面的设定相关的信息中的至少任一者，由此能够削减进行电子乐器100的音色及操作画面中的至少任一者的设定所花费的工时。并且，根据本实施方式，能够针对通过用户识别符而识别的每个用户而生成训练好的学习模型M1，将所生成的训练好的学习模型M1提供给各用户的信息处理装置200。用户即使将电子乐器100及信息处理装置200中的至少一者更换，也能够继续利用用于对适合于自身的演奏的倾向的参数P1进行推论的训练好的学习模型M1。
＜5.第2实施方式＞
以下，对本发明的第2实施方式进行说明。在以下所例示的各实施方式中，对作用、动作与第1实施方式相同的结构，沿用在以上说明中参照的标号，有时适当省略各自的说明。
上述第1实施方式涉及的信息处理系统S作为输出辅助信息的处理，执行通过步骤S740～步骤S770的处理对由所推论的辅助信息指定的参数P1的值进行显示，与用户的接纳响应相对应地对电子乐器100的参数P1的值进行调整的处理。与此相对，在第2实施方式中，电子乐器100的参数P2例如包含与乐曲的种类、用户的熟练度等演奏的特性(与演奏相关的特征)对应的参数。所推论的辅助信息包含表示演奏的特性的特性信息C。学习模型M2被训练为，获得使用多个数据集DS而根据演奏信息A对上述辅助信息进行推论的能力。信息处理装置200基于所推论出的辅助信息，执行针对用户的信息提示(例如，广告显示等)。除了这些方面，第2实施方式可以与上述第1实施方式相同地构成。此外，第2实施方式的信息提示可以取代第1实施方式的参数设定而执行，或者也可以与第1实施方式的参数设定同时地执行。
(软件结构)
图8示出第2实施方式涉及的信息处理系统S的软件结构的一个例子。在第2实施方式中，电子乐器100、信息处理装置200及服务器300所具有的软件模块的结构与上述第1实施方式的结构局部地不同。
特性取得部283构成为，取得与针对演奏的参数P2相关的特性信息C，将所取得的特性信息C储存于存储部260。特性取得部283也可以构成为，将从认证部251供给的用户识别符与特性信息C(或由特性信息C表示的参数P2的值)相关联地储存于存储部260。本实施方式涉及的参数P2例如与由演奏信息A表示的乐曲的种类、进行了相当于演奏信息A的演奏的用户的熟练度等演奏的特性相关。特性信息C由为了对参数P2的值进行确定而使用的数据构成。特性取得部283构成为，将所取得的特性信息C通过收发部205发送至服务器300。在向服务器300发送的特性信息C也可以关联有用户识别符。
数据前处理部284构成为，与上述数据前处理部254相同地，为了使第2演奏信息A2适合于训练好的学习模型M2的输入形式，针对该第2演奏信息A2而执行例如缩放等数据前处理。第2演奏信息A2可以从存储部260及演奏接收部252中的任意者供给。
推论处理部285构成为，使用训练好的学习模型M2，根据第2演奏信息A2对与适合于演奏的倾向的电子乐器100的参数P2相关的辅助信息进行推论。具体而言，推论处理部285将进行了前处理后的第2演奏信息A2输入至训练好的学习模型M2，执行训练好的学习模型M2的运算处理。作为该运算处理的结果，推论处理部285根据训练好的学习模型M2取得所推论的辅助信息。在第2实施方式中，所推论的辅助信息构成为包含与特性信息C同类的数据或参数P2的推定值。辅助信息的推论结果被供给至显示控制部286。构成学习模型M2的机器学习模型可以与上述学习模型M1相同。
显示控制部286构成为，基于由推论处理部285得到的辅助信息的推论结果，执行任意的显示控制。在所推论的辅助信息由与特性信息C同类的数据构成的情况下，显示控制部286例如可以通过应用规则库的处理、使用训练好的模型等任意的方法，根据辅助信息的推论结果而确定参数P2的值。
显示控制部286是构成为输出所推论出的辅助信息的输出处理部的一个例子。作为输出辅助信息的处理的一个例子，显示控制部286可以取得广告信息，将所取得的广告信息输出(由输入输出部204显示)，该广告信息是适合于所推论出的与参数P2相关的辅助信息的信息。在参数P2与乐曲的种类相关的情况下，显示控制部286也可以对适合于所推论的种类的音色数据、伴奏模式(伴奏)数据等广告信息进行显示。在参数P2与用户的熟练度相关的情况下，显示控制部286也可以对适合于熟练度的电子乐器100的广告信息进行显示。
另外，显示控制部286也可以构成为，基于辅助信息的推论结果，对针对电子乐器100的用户而在信息处理装置200上显示的操作画面(用户接口)进行调整。在参数P2与用户的熟练度相关的情况下，显示控制部286也可以对操作画面进行调整，以使得将与熟练度相对应的菜单(例如，项目少的初学者用菜单、能够特别设定的高级别者用菜单等)显示于输入输出部204。
此外，在图8中，未图示出第1实施方式的指示取得部253～调整部256，但在除了参数P2以外还取得参数P1的结构中，第2实施方式涉及的信息处理装置200也可以具有指示取得部253～调整部256作为软件模块。
数据前处理部382构成为，与上述数据前处理部352相同地，为了使第1演奏信息A1适合于训练对象的学习模型M2的输入形式，针对该第1演奏信息A1而执行例如缩放等数据前处理。第1演奏信息A1也可以从存储部360供给。
学习处理部383构成为，根据从信息处理装置200供给的特性信息C或由特性信息C确定的参数P2的值，对辅助信息的真值进行确定，生成表示所确定出的真值的正确信息L1。学习处理部383构成为，通过将所生成的正确信息L1与相对应的第1演奏信息A1进行关联，从而生成各数据集DS。而且，学习处理部383构成为，将所生成的各数据集DS的数据前处理后的第1演奏信息A1作为训练数据(输入数据)而使用，将相对应的正确信息L1作为教师信号(正确数据)而使用，由此执行学习模型M2的机器学习。作为该机器学习的结果，生成训练好的学习模型M2。学习处理部383生成用于对所生成的训练好的学习模型M2进行播放的学习结果数据，将所生成的学习结果数据保存于任意的存储区域。与上述学习处理部353相同地，学习处理部383也可以参照相关联的用户识别符，使用与特定的用户相关联地收集到的多个数据集DS而实施学习模型M2的机器学习。另外，在生成面向特定的用户的训练好的学习模型M2的情况下，除了与特定的用户相关联的数据集DS以外，还可以将与其他用户相关联的数据集DS任意地用于机器学习。
模型发行部384构成为，与上述模型发行部354相同地，通过将由学习处理部383生成的学习结果数据发送至信息处理装置200，从而将训练好的学习模型M2发行给用户。在面向特定的用户而生成了训练好的学习模型M2的情况下，模型发行部384也可以构成为，对与由用户识别符确定的用户的信息处理装置200对应的学习结果数据(训练好的学习模型M2)进行发行。
(学习模型的机器学习)
第2实施方式涉及的信息处理系统S通过与上述第1实施方式相同的处理流程，生成训练好的学习模型M2，将所生成的训练好的学习模型M2发行给信息处理装置200。
在执行学习处理之前，服务器300的CPU 301经由信息处理装置200对电子乐器100的第1演奏信息A1进行收集。另外，CPU 301对与第1演奏信息A1对应的特性信息C(或由特性信息C确定的参数P2的值)进行收集。收集到的各种数据被关联地储存于存储部360。各种数据也可以与用户识别符有关联。在执行学习处理时，CPU 301使用在存储部360积蓄的各种数据，生成多个数据集DS。
在步骤S610中，CPU 301作为数据前处理部382而进行动作，针对各数据集DS的第1演奏信息A1而执行数据前处理。
在步骤S620中，CPU 301作为学习处理部383而进行动作，将各数据集DS的数据前处理后的第1演奏信息A1作为训练数据而使用，将相对应的正确信息L1作为教师信号而使用，由此执行学习模型M2的机器学习。具体而言，CPU 301针对各数据集DS，以使得通过学习模型M2从数据前处理后的第1演奏信息A1推论出辅助信息的结果适合于相对应的正确信息L1的方式，对学习模型M2进行训练(对构成学习模型M2的运算参数的值进行调整)。作为该机器学习的结果，能够生成获得了下述能力的训练好的学习模型M2，即，根据该演奏信息A对与适合于演奏信息A所表示的演奏的倾向的电子乐器100的参数P2相关的辅助信息(特性信息或参数的值)进行推论的能力。CPU 301可以生成表示训练好的学习模型M2的学习结果数据，将所生成的学习结果数据储存于存储部360。
在步骤S630中，CPU 301经由网络NW而将表示所生成的训练好的学习模型M2的学习结果数据发送至信息处理装置200。由此，服务器300将训练好的学习模型M2发行给信息处理装置200。信息处理装置200的CPU 201将接收到的学习模型M2(学习结果数据)储存于存储部260。根据上述，与本动作例涉及的学习模型M2的机器学习相关的处理流程结束。
(参数的推论处理)
图9是表示由第2实施方式涉及的信息处理系统S进行的与参数的推论相关的处理流程的一个例子的时序图。以下的处理流程是参数推论方法的一个例子。但是，对于以下的处理流程，可以与实施方式相对应地适当进行步骤的省略、置换及追加。
在步骤S910中，信息处理装置200的CPU 201作为演奏接收部252而进行动作，取得表示使用电子乐器100的乐曲的演奏的第2演奏信息A2。与上述第1实施方式相同地，CPU201可以从电子乐器100接收由演奏取得部151得到的第2演奏信息A2。或者，CPU 201可以从存储部260读出第2演奏信息A2。CPU 201将所取得的第2演奏信息A2供给至数据前处理部284。
在步骤S920中，CPU 201作为数据前处理部284而进行动作，针对从演奏接收部252供给的第2演奏信息A2执行数据前处理。而且，CPU 201将数据前处理后的第2演奏信息A2供给至推论处理部285。
在步骤S930中，CPU 201作为推论处理部285而进行动作，使用通过上述机器学习而生成的训练好的学习模型M2，根据第2演奏信息A2对与适合于演奏的倾向的电子乐器100的参数P2相关的辅助信息进行推论。CPU 201参照存储部260所储存的学习结果数据，对训练好的学习模型M2进行设定。CPU 201将进行了前处理后的第2演奏信息A2输入至训练好的学习模型M2，执行训练好的学习模型M2的运算处理。作为该运算处理的结果，CPU 201从训练好的学习模型M2取得与推论出辅助信息的结果对应的输出。CPU 201将辅助信息的推论结果供给至显示控制部286。
在步骤S940中，CPU 201作为显示控制部286而进行动作，基于通过步骤S930的处理而推论出的辅助信息，如上所述对显示于输入输出部204的内容进行控制。作为一个例子，CPU 201可以取得广告信息，该广告信息是适合于所推论出的与参数P2相关的辅助信息的信息，将所取得的广告信息由输入输出部204进行显示。另外，CPU 201也可以基于辅助信息的推论结果，对针对电子乐器100的用户而在信息处理装置200上显示的操作画面进行调整。
(特征)
根据第2实施方式，通过使用训练好的学习模型M2，能够对显示装置(本实施方式中，输入输出部204)的显示内容进行控制，以使得对适合于用户的演奏的倾向的信息(例如，广告信息、操作画面等)进行显示。由此，能够削减进行与用户的演奏的特性相对应的信息提示所花费的工时。
另外，根据第2实施方式，与上述第1实施方式相同地，能够针对通过用户识别符而识别的每个用户，生成训练好的学习模型M2，将所生成的训练好的学习模型M2提供给各用户的信息处理装置200。用户即使将电子乐器100及信息处理装置200中的至少一者更换，也能够继续利用用于对适合于自身的演奏的倾向的参数P2进行推论的训练好的学习模型M2。
＜变形例＞
以上，详细说明了本发明的实施方式，但前述为止的说明在所有方面都是本发明的例示。当然能够在不脱离本发明的范围的情况下进行各种改良或变形。例如，能够进行以下的变更。此外，以下的变形例可以适当组合。
在上述实施方式的机器学习处理及推论处理中，也可以对上述各学习模型(M1、M2)还输入演奏信息A以外的信息作为输入数据。作为其他一个例子，上述各学习模型(M1、M2)可以构成为，除了上述演奏信息A以外，还接受表示针对使用了电子乐器100的乐曲的演奏的附带操作(例如，电子钢琴的踏板操作、电吉他的效果器操作等)的附带信息的输入。与此相对应地，上述各数据集DS还可以包含作为训练数据而使用的附带信息。取得第2演奏信息A2也可以除了第2演奏信息A2以外，还取得表示乐曲结尾演奏的电子乐器100的附带操作的附带信息。进行推论也可以构成为，使用训练好的学习模型(M1、M2)，根据第2演奏信息A2及附带信息对与适合于演奏的倾向的电子乐器100的参数的设定相关的辅助信息进行推论。通过作为说明变量而进一步利用附带信息，从而能够期待对适合于用户的演奏的倾向的参数设定进行推论的精度的提高。
在上述实施方式中，由服务器300生成的训练好的学习模型(M1、M2)被提供给信息处理装置200，在信息处理装置200的推论处理中使用。但是，执行推论处理的计算机可以不限于信息处理装置200。作为其他一个例子，训练好的学习模型(M1、M2)也可以从服务器300经由信息处理装置200而提供给电子乐器100。在该情况下，电子乐器100的控制部150可以具有与信息处理装置200的数据前处理部254、推论处理部255及调整部256(或显示控制部286)对应的软件模块。根据本变形例，电子乐器100自身能够执行由将演奏信息A作为输入数据的学习模型(M1、M2)进行的推论处理。
在上述实施方式中，演奏信息A通过接受乐曲的演奏的用户的操作的演奏操作部104而生成。但是，生成演奏信息A的方法及结构可以不限定上述例子。在其他一个例子中，电子乐器100可以取代演奏操作部104而具有演奏解析部，或者除了演奏操作部104以外还具有演奏解析部。演奏解析部可以适当构成为，接受音响信息的输入，以任意的方法对所输入的音响信息进行解析(例如，音高解析、音频解析)，由此生成演奏信息A。演奏解析部也可以设置于信息处理装置200。
在上述实施方式中，指示信息B与用户针对输入输出部204的指示操作相对应地，通过信息处理装置200的指示取得部253而生成。但是，生成指示信息B的方法及结构可以不限于上述例子。在其他一个例子中，电子乐器100的控制部150可以不具有与指示取得部253对应的软件模块，也可以与用户针对设定操作部105的设定操作相对应地生成指示信息B。
在上述第1实施方式中，步骤S740～S760的针对用户的确认处理可以省略。即，信息处理装置200也可以在得到辅助信息的推论结果之后，通过调整部256将基于所推论出的辅助信息对参数P1进行设定的指示自动发送至电子乐器100(参数设定部152)。根据本变形，能够减少由用户进行确认作业的工时。另一方面，不限于所推论的参数P1的值始终适合于用户的喜好。根据执行步骤S740～S760的处理的上述第1实施方式的结构，能够抑制不适于用户的喜好的参数P1的设定变更。
上述确认处理后的参数设定及参数的自动设定也可以并用。作为一个例子，所调整的参数P1中的、用户容易识别的参数的变更(例如，音色类别的变更等)如上述第1实施方式那样，在对用户的接受或拒绝进行确认之后执行，对于用户难以识别的参数的变更(例如，触摸曲线的调整等)可以自动执行。
在上述第2实施方式的结构中，信息处理装置200可以具有上述第1实施方式的调整部256，调整部256可以构成为，基于通过由推论处理部285推论出的辅助信息而确定的参数P2，对电子乐器100的参数P1进行调整。在参数P2与乐曲的种类相关的情况下，调整部256可以构成为，将把表示适合于种类的音色的参数P1的值设定于声源部107的指示发送至电子乐器100(参数设定部152)。在参数P2与用户的熟练度相关的情况下，调整部256可以构成为，将把表示适合于熟练度的触摸曲线的参数P1的值设定于声源部107的指示发送至电子乐器100(参数设定部152)。
此外，上述各存储介质(92、93)可以由计算机可读取的非暂时性的记录介质构成。另外，程序(82、83)可以经由传输介质等进行供给。此外，“非暂时性的计算机可读取的记录介质”可以包含如成为在经由互联网、电话线路等通信网络而发送了程序的情况下构成例如服务器、客户端等的计算机系统内部的易失性存储器(例如DRAM(Dynamic RandomAccess Memory))等那样将程序保存一定时间的记录介质。
标号的说明
100…电子乐器，150…控制部，160…存储部，200…信息处理装置，250…控制部，260…存储部，300…服务器，350…控制部，360…存储部，A…演奏信息，A1…第1演奏信息，A2…第2演奏信息，B…指示信息，M1…学习模型，M2…学习模型，P1…参数，P2…参数，S…信息处理系统。

Claims (11)

1.一种参数推论方法，其是由计算机实现的，具有如下处理：
取得表示使用了电子乐器的乐曲的演奏的对象演奏信息，
使用通过机器学习而生成的训练好的推论模型，根据所述对象演奏信息对与适合于所述演奏的倾向的所述电子乐器的参数的设定相关的辅助信息进行推论，
输出所推论出的与所述参数的设定相关的辅助信息。
2.根据权利要求1所述的参数推论方法，其中，
取得所述对象演奏信息的处理包含除了所述对象演奏信息以外，还取得表示所述乐曲的演奏的所述电子乐器的附带操作的附带信息的处理，
进行所述推论的处理由如下处理构成，即，使用所述训练好的推论模型，根据所述对象演奏信息及所述附带信息对与适合于所述演奏的倾向的所述电子乐器的参数的设定相关的辅助信息进行推论。
3.根据权利要求1或2所述的参数推论方法，其中，
与所述参数的设定相关的辅助信息包含与演奏的音色的设定相关的信息。
4.根据权利要求1至3中任一项所述的参数推论方法，其中，
输出所述辅助信息的处理包含取得适合于所推论出的与所述参数的设定相关的辅助信息的广告信息，输出所取得的所述广告信息的处理。
5.根据权利要求1至4中任一项所述的参数推论方法，其中，
输出所述辅助信息的处理包含基于所推论出的与所述参数的设定相关的辅助信息，对所述电子乐器的操作画面进行调整的处理。
6.一种参数推论系统，其具有处理器资源和存储器资源，该存储器资源保存由所述处理器资源执行的程序，
所述处理器资源构成为，通过执行所述程序而实现如下处理：
取得表示使用了电子乐器的乐曲的演奏的对象演奏信息，
使用通过机器学习而生成的训练好的推论模型，根据所述对象演奏信息对与适合于所述演奏的倾向的所述电子乐器的参数的设定相关的辅助信息进行推论，
输出所推论出的与所述参数的设定相关的辅助信息。
7.根据权利要求6所述的参数推论系统，其中，
取得所述对象演奏信息的处理包含除了所述对象演奏信息以外，还取得表示所述乐曲的演奏的所述电子乐器的附带操作的附带信息的处理，
进行所述推论的处理由如下处理构成，即，使用所述训练好的推论模型，根据所述对象演奏信息及所述附带信息对与适合于所述演奏的倾向的所述电子乐器的参数的设定相关的辅助信息进行推论。
8.根据权利要求6或7所述的参数推论系统，其中，
与所述参数的设定相关的辅助信息包含与演奏的音色的设定相关的信息。
9.根据权利要求6至8中任一项所述的参数推论系统，其中，
输出所述辅助信息的处理包含取得适合于所推论出的与所述参数的设定相关的辅助信息的广告信息，输出所取得的所述广告信息的处理。
10.根据权利要求6至9中任一项所述的参数推论系统，其中，
输出所述辅助信息的处理包含基于所推论出的与所述参数的设定相关的辅助信息，对所述电子乐器的操作画面进行调整的处理。
11.一种参数推论程序，其用于使计算机执行如下处理：
取得表示使用了电子乐器的乐曲的演奏的对象演奏信息，
使用通过机器学习而生成的训练好的推论模型，根据所述对象演奏信息对与适合于所述演奏的倾向的所述电子乐器的参数的设定相关的辅助信息进行推论，
输出所推论出的与所述参数的设定相关的辅助信息。
CN202180019533.2A 2020-03-17 2021-03-15 参数推论方法、参数推论系统及参数推论程序 Pending CN115244614A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020046516 2020-03-17
JP2020-046516 2020-03-17
PCT/JP2021/010272 WO2021187395A1 (ja) 2020-03-17 2021-03-15 パラメータ推論方法、パラメータ推論システム、及びパラメータ推論プログラム

Publications (1)

Publication Number Publication Date
CN115244614A true CN115244614A (zh) 2022-10-25

Family

ID=77770868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180019533.2A Pending CN115244614A (zh) 2020-03-17 2021-03-15 参数推论方法、参数推论系统及参数推论程序

Country Status (5)

Country Link
US (1) US20230005458A1 (zh)
EP (1) EP4123637A1 (zh)
JP (1) JP7424468B2 (zh)
CN (1) CN115244614A (zh)
WO (1) WO2021187395A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7184218B1 (ja) * 2022-03-24 2022-12-06 ヤマハ株式会社 音響機器および該音響機器のパラメータ出力方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2764961B2 (ja) 1988-11-18 1998-06-11 ヤマハ株式会社 電子楽器
JP4092782B2 (ja) 1998-07-10 2008-05-28 ヤマハ株式会社 エフェクト装置、エフェクト処理方法及びパラメータテーブル生成装置
JP3675287B2 (ja) * 1999-08-09 2005-07-27 ヤマハ株式会社 演奏データ作成装置
JP2007065471A (ja) 2005-09-01 2007-03-15 Kawai Musical Instr Mfg Co Ltd 電子楽音発生装置
CN109478398B (zh) * 2016-07-22 2023-12-26 雅马哈株式会社 控制方法以及控制装置
JP6724938B2 (ja) * 2018-03-01 2020-07-15 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
CN114556465A (zh) * 2019-10-17 2022-05-27 雅马哈株式会社 演奏解析方法、演奏解析装置以及程序

Also Published As

Publication number Publication date
US20230005458A1 (en) 2023-01-05
JPWO2021187395A1 (zh) 2021-09-23
JP7424468B2 (ja) 2024-01-30
WO2021187395A1 (ja) 2021-09-23
EP4123637A1 (en) 2023-01-25

Similar Documents

Publication Publication Date Title
US11651795B2 (en) Audio signal processing device, audio system, and audio signal processing method
US11322124B2 (en) Chord identification method and chord identification apparatus
US11842719B2 (en) Sound processing method, sound processing apparatus, and recording medium
US20230014315A1 (en) Trained model establishment method, estimation method, performance agent recommendation method, performance agent adjustment method, trained model establishment system, estimation system, trained model establishment program, and estimation program
US20220383842A1 (en) Estimation model construction method, performance analysis method, estimation model construction device, and performance analysis device
US11875777B2 (en) Information processing method, estimation model construction method, information processing device, and estimation model constructing device
US20230005458A1 (en) Parameter Inference Method, Parameter Inference System, and Parameter Inference Program
US20220414472A1 (en) Computer-Implemented Method, System, and Non-Transitory Computer-Readable Storage Medium for Inferring Audience's Evaluation of Performance Data
US20230009481A1 (en) Computer-Implemented Method, System, and Non-Transitory Computer-Readable Storage Medium for Inferring Evaluation of Performance Information
JP7388542B2 (ja) 演奏エージェントの訓練方法、自動演奏システム、及びプログラム
US11942106B2 (en) Apparatus for analyzing audio, audio analysis method, and model building method
US20210350783A1 (en) Sound signal synthesis method, neural network training method, and sound synthesizer
JP7103106B2 (ja) 情報処理方法および情報処理装置
CN112825245A (zh) 实时修音方法、装置及电子设备
WO2021100679A1 (ja) 情報処理システム、鍵盤楽器、情報処理方法およびプログラム
KR102637788B1 (ko) 이동 단말기용 악기 장치 및 그의 제어 방법 및 프로그램
US20230419932A1 (en) Information processing device and control method thereof
WO2023181570A1 (ja) 情報処理方法、情報処理システムおよびプログラム
EP4202916A1 (en) Information processing device, terminal, information processing method, and program
JP5953743B2 (ja) 音声合成装置及びプログラム
JP2023124235A (ja) 情報処理装置および情報処理方法
CN117321675A (zh) 乐谱制作装置、训练装置、乐谱制作方法以及训练方法
JP4342965B2 (ja) 通信カラオケ応用システム
CN116092508A (zh) 音频处理方法、装置、终端、存储介质及程序产品
JP2019132978A (ja) カラオケ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination