CN116324932A - 信息处理方法及信息处理系统 - Google Patents

信息处理方法及信息处理系统 Download PDF

Info

Publication number
CN116324932A
CN116324932A CN202180065613.1A CN202180065613A CN116324932A CN 116324932 A CN116324932 A CN 116324932A CN 202180065613 A CN202180065613 A CN 202180065613A CN 116324932 A CN116324932 A CN 116324932A
Authority
CN
China
Prior art keywords
information
musical instrument
student
instrument
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180065613.1A
Other languages
English (en)
Inventor
伊藤理惠
日置友佳子
青木孝光
小关信也
田邑元一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN116324932A publication Critical patent/CN116324932A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/02—Boards or like means for providing an indication of notes
    • G09B15/023—Electrically operated
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G10G1/02—Chord or note indicators, fixed or adjustable, for keyboard of fingerboards
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0016—Means for indicating which keys, frets or strings are to be actuated, e.g. using lights or leds
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058—Transmission between separate instruments or between individual components of a musical system
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

由计算机执行的信息处理方法基于表示从乐器输出的声音的声音信息，从对乐器进行演奏的演奏者的身体决定出关注部位，取得表示所决定的关注部位的图像的图像信息。

Description

信息处理方法及信息处理系统
技术领域
本发明涉及信息处理方法及信息处理系统。
背景技术
专利文献1公开一种自动地对演奏评价的演奏评价装置。
专利文献1：日本特开平10－63175号公报
发明内容
在使用乐器的演奏的培训是利用图像进行的情况下，重要的是对培训所需的演奏者的图像进行确定。
本发明的目的在于提供能够对培训所需的演奏者的图像进行确定的技术。
本发明的一个方式涉及的信息处理方法是由计算机执行的信息处理方法，基于表示乐器的乐器信息，从对由所述乐器信息示出的所述乐器进行演奏的演奏者的身体决定出关注部位，取得表示所述决定出的关注部位的图像的图像信息。
本发明的其他方式涉及的信息处理方法是由计算机执行的信息处理方法，基于表示从乐器输出的声音的声音信息，从对所述乐器进行演奏的演奏者的身体决定出关注部位，取得表示所述决定出的关注部位的图像的图像信息。
本发明的另一其他方式涉及的信息处理系统包含有：决定部，其基于表示乐器的乐器信息，从对由所述乐器信息示出的所述乐器进行演奏的演奏者的身体决定出关注部位；以及取得部，其取得表示由所述决定部决定的关注部位的图像的图像信息。
本发明的另一其他方式涉及的信息处理系统包含有：决定部，其基于表示从乐器输出的声音的声音信息，从对所述乐器进行演奏的演奏者的身体决定出关注部位；以及取得部，其取得表示由所述决定部决定的关注部位的图像的图像信息。
附图说明
图1是表示信息提供系统1的一个例子的图。
图2是表示学生培训系统100的一个例子的图。
图3是表示对应表Ta的一个例子的图。
图4是用于对学生培训系统100的动作进行说明的图。
图5是表示学生图像G3的图。
图6是用于对学生培训系统100的动作进行说明的图。
图7是表示对应表Ta1的一个例子的图。
图8是表示学生培训系统101的图。
图9是用于对表示演奏者的身体的一部分的图像的剪裁进行说明的图。
图10是表示学生培训系统102的图。
图11是表示TAB谱的一个例子的图。
图12是表示吉他和弦谱的一个例子的图。
图13是表示鼓谱的一个例子的图。
图14是表示联弹谱的一个例子的图。
图15是表示多个声音的同时发音的音符的一个例子的图。
图16是表示进度信息所示的进度的一个例子的图。
图17是表示进度信息所示的进度的其他例子的图。
图18是表示学生培训系统103的图。
图19是表示学生培训系统104的图。
图20是表示用户接口的一个例子的图。
图21是表示学生培训系统105的图。
图22是表示学习处理部191的一个例子的图。
图23是表示学习处理的一个例子的图。
图24是表示处理装置180的其他例子的图。
具体实施方式
A：第1实施方式
A1：信息提供系统1
图1是表示本发明的信息提供系统1的一个例子的图。信息提供系统1是信息处理系统的一个例子。信息提供系统1包含学生培训系统100和教师指导系统200。学生培训系统100和教师指导系统200经由网络NW而彼此能够进行通信。教师指导系统200的结构与学生培训系统100的结构相同。
学生培训系统100由使用乐器100A对乐曲的演奏进行学习的学生100B利用。学生培训系统100配置于在音乐教室设置的学生用的房间。学生培训系统100可以配置于与在音乐教室设置的学生用的房间不同的场所、例如学生100B的家。
乐器100A是钢琴或长笛。钢琴和长笛分别是乐器的种类的一个例子及乐器的一个例子。以下，“乐器的种类”这样的语句可以置换为“乐器”这样的语句。学生100B是演奏者的一个例子。学生100B对乐器100A进行演奏的场所是在配置学生培训系统100的房间中预先确定的。因此，演奏中的学生100B、即将演奏前的学生100B及刚演奏后的学生100B能够由固定的照相机进行拍摄。
教师指导系统200由使用乐器200A对乐曲的演奏进行指导的教师200B利用。乐器200A的种类与乐器100A的种类相同。例如，在乐器100A是钢琴的情况下，乐器200A也是钢琴。教师指导系统200配置于音乐教室设置的教师用的房间。教师指导系统200可以配置于与在音乐教室设置的教师用的房间不用的场所、例如教师200B的家。
教师200B是演奏者的一个例子。教师200B对乐器200A进行演奏的场所是在配置教师指导系统200的房间中预先规定的。因此，演奏中的教师200B、即将演奏前的教师200B及刚演奏后的教师200B能够由固定的照相机进行拍摄。
学生培训系统100将学生演奏信息a发送至教师指导系统200。学生演奏信息a表示学生100B对乐器100A进行演奏的状况。学生演奏信息a包含学生图像信息a1和学生声音信息a2。
学生图像信息a1示出表示学生100B对乐器100A进行演奏的状况的图像(以下，称为“学生图像”)。学生声音信息a2示出在学生100B对乐器100A进行演奏的状况中从乐器100A输出的声音(以下，称为“学生演奏音”)。
教师指导系统200从学生培训系统100接收学生演奏信息a。教师指导系统200基于学生演奏信息a所包含的学生图像信息a1，对学生图像进行显示。教师指导系统200基于学生演奏信息a所包含的学生声音信息a2而输出学生演奏音。
教师指导系统200将教师演奏信息b发送至学生培训系统100。教师演奏信息b示出教师200B对乐器200A进行演奏的状况。教师演奏信息b包含教师图像信息b1和教师声音信息b2。
教师图像信息b1示出表示教师200B对乐器200A进行演奏的状况的图像(以下，称为“教师图像”)。教师声音信息b2示出在教师200B对乐器200A进行演奏的状况中从乐器200A输出的乐曲的声音(以下，称为“教师演奏音”)。
学生培训系统100从教师指导系统200接收教师演奏信息b。学生培训系统100基于教师演奏信息b所包含的教师图像信息b1，对教师图像进行显示。学生培训系统100基于教师演奏信息b所包含的教师声音信息b2而输出教师演奏音。
A2：学生培训系统100
图2是表示学生培训系统100的一个例子的图。学生培训系统100包含照相机111～115、传声器120、显示部130、扬声器140、操作部150、通信部160、存储装置170和处理装置180。
照相机111～115分别包含将光变换为电信号的图像传感器。图像传感器例如是CCD(Charge Coupled Device)图像传感器或CMOS(Complementary Metal OxideSemiconductor)图像传感器。
照相机111通过对操作乐器100A的学生100B的手的各手指进行拍摄而生成学生手指信息a11。学生手指信息a11通过图像表示对乐器100A进行操作的学生100B的手的各手指和乐器100A。
照相机112通过对操作乐器100A的学生100B的两脚进行拍摄而生成学生脚信息a12。学生脚信息a12通过图像表示对乐器100A进行操作的学生100B的两脚和乐器100A。
照相机113通过对操作乐器100A的学生100B的全身进行拍摄而生成学生全身信息a13。学生全身信息a13通过图像表示对乐器100A进行操作的学生100B的全身和乐器100A。
照相机114通过对操作乐器100A的学生100B的嘴进行拍摄而生成学生嘴信息a14。学生嘴信息a14通过图像表示对乐器100A进行操作的学生100B的嘴和乐器100A。
照相机115通过对操作乐器100A的学生100B的上半身进行拍摄而生成学生上半身信息a15。学生上半身信息a15通过图像表示对乐器100A进行操作的学生100B的上半身和乐器100A。
学生手指信息a11、学生脚信息a12、学生全身信息a13、学生嘴信息a14及学生上半身信息a15中的至少一个包含于学生图像信息a1。照相机111～115的朝向及姿态能够调整。照相机111～115分别还称为拍摄部。
传声器120对学生演奏音进行拾音。传声器120基于学生演奏音而生成学生声音信息a2。传声器120还称为拾音部。
显示部130是液晶显示器。显示部130不限于液晶显示器，例如可以是OLED(Organic Light Emitting diode)显示器。显示部130可以是触摸面板。显示部130对各种信息进行显示。显示部130例如对基于教师图像信息b1的教师图像进行显示。显示部130可以对基于学生图像信息a1的学生图像进行显示。
扬声器140输出各种声音。扬声器140例如输出基于教师声音信息b2的教师演奏音。扬声器140可以输出基于学生声音信息a2的学生演奏音。
操作部150是触摸面板。操作部150不限于触摸面板，例如可以是各种操作按钮。操作部150从学生100B等用户接受各种信息。操作部150从用户接受例如学生乐器信息c1。学生乐器信息c1表示乐器100A的种类。学生乐器信息c1是表示乐器的种类的乐器信息的一个例子。
通信部160经由网络NW而以有线或无线的方式与教师指导系统200进行通信。通信部160也可以不经由网络NW以有线或无线的方式与教师指导系统200进行通信。通信部160将学生演奏信息a发送至教师指导系统200。通信部160从教师指导系统200接收教师演奏信息b。
存储装置170是计算机可读取的记录介质(例如，计算机可读取的non transitory(非暂时性)的记录介质)。存储装置170包含1个或2个以上存储器。存储装置170例如包含非易失性存储器和易失性存储器。非易失性存储器例如是ROM(Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)及EEPROM(Electrically ErasableProgrammable Read Only Memory)。易失性存储器例如是RAM(Random Access Memory)。
存储装置170对处理程序、运算程序和各种数据进行存储。处理程序规定学生培训系统100的动作。运算程序规定从输入X1对输出Y1进行确定的运算。
存储装置170可以对从未图示的服务器的存储装置读取的处理程序及运算程序进行存储。在这种情况下，服务器的存储装置是计算机可读取的记录介质(例如，计算机可读取的non transitory的记录介质)的一个例子。各种数据包含后述的多个变量K1。
处理装置180包含1个或2个以上的CPU(Central Processing Unit)。1个或2个以上的CPU是1个或2个以上的处理器的一个例子。处理装置、处理器及CPU分别是计算机的一个例子。处理装置180所具有的功能的一部分或全部可以通过DSP(Digital SignalProcessor)、ASIC(Application Specific Integrated Circuit)、PLD(ProgrammableLogic Device)、FPGA(Field Programmable Gate Array)等电路实现。
处理装置180从存储装置170读取处理程序和运算程序。处理装置180通过执行处理程序而作为确定部181、决定部183、取得部184、发送部185及输出控制部186起作用。处理装置180通过执行运算程序并使用多个变量K1而作为训练好的模型182起作用。处理装置180是信息处理装置的一个例子。
确定部181使用学生声音信息a2确定学生乐器信息c2。学生乐器信息c2表示乐器100A的种类。学生乐器信息c2是表示乐器的种类的乐器信息的一个例子。表示乐器的种类(例如，钢琴)的乐器信息是表示乐器(例如，钢琴)的乐器信息的一个例子。学生声音信息a2是与乐器的种类关联的关联信息的一个例子。与乐器的种类(例如，钢琴)关联的关联信息是与乐器(例如，钢琴)相关的关联信息的一个例子。在学生声音信息a2表示钢琴的声音的情况下，确定部181对作为乐器100A的种类而示出钢琴的学生乐器信息c2进行确定。确定部181例如通过使用训练好的模型182而确定学生乐器信息c2。
训练好的模型182由神经网络(Neural Network)构成。例如，训练好的模型182由深度神经网络(DNN：Deep Neural Network)构成。训练好的模型182例如可以由卷积神经网络(CNN：Convolutional Neural Network)构成。深度神经网络和卷积神经网络分别是神经网络的一个例子。训练好的模型182可以由多种神经网络的组合构成。训练好的模型182可以具有Self-Attention等附加要素。训练好的模型182可以不由神经网络构成，而由隐马尔可夫模型(HMM：Hidden Markov Model)、或支持向量机(SVM：support vector machine)构成。
训练好的模型182是已经学习了与乐器的种类关联的第1信息和表示与第1信息关联的乐器的种类的第2信息之间的关系。第1信息是与乐器相关的学习用关联信息的一个例子。第2信息是表示根据学习用关联信息确定出的乐器的学习用乐器信息的一个例子。训练好的模型182使用表示乐器输出的声音的输出声音信息作为第1信息。训练好的模型182使用表示乐器的种类的信息作为第2信息，该乐器输出由输出声音信息表示的声音。训练好的模型182是第1训练好的模型的一个例子。
为了实现训练好的模型182而使用的多个变量K1是通过利用多个训练数据T1的机器学习而确定的。训练数据T1包含训练用的输入数据、训练用的输出数据的组合。训练数据T1包含第1信息作为训练用的输入数据。训练数据T1包含第2信息作为训练用的输出数据。训练数据T1的一个例子是表示由乐器输出的声音的输出声音信息(第1信息)、和表示输出由输出声音信息所表示的声音的乐器的种类的信息(第2信息)的组合。
训练好的模型182生成与输入X1相对应的输出Y1。训练好的模型182使用“与乐器的种类关联的关联信息(例如，学生声音信息a2)”作为输入X1，使用“表示输出由关联信息表示的声音的乐器的种类的信息”作为输出Y1。
此外，多个训练数据T1可以不具有训练用的输出数据(第2信息)而仅具有训练用的输入数据(第1信息)。在这种情况下，以多个训练数据T1基于多个训练数据T1的相似度而分为多个集群的方式，通过机器学习而确定多个变量K1。而且，在训练好的模型182中，针对每个集群，将适于该集群的第2信息根据人而建立关联。训练好的模型182对与输入X1相对应的集群进行确定，生成与确定出集群对应的第2信息，作为输出Y1。
决定部183基于乐器信息(学生乐器信息c1或c2)，从使用由乐器信息所表示的种类的乐器的演奏者(例如，学生100B)的身体决定关注部位。使用由乐器信息所表示的种类的乐器的演奏者是对由乐器信息所表示的乐器进行演奏的演奏者的一个例子。关注部位是针对由乐器信息所表示的种类的乐器由教师关注的身体的部位。决定部183通过参照表示乐器的种类和身体的部位(关注部位)之间的对应关系的对应表Ta而决定关注部位。关注部位例如是学生100B的手的各手指、学生100B的两脚、学生100B的全身、学生100B的嘴及学生100B的上半身中的至少1个。对应表Ta存储于存储装置170。
取得部184取得各种信息。例如，取得部184取得表示由决定部183决定的关注部位的图像的图像信息。取得部184取得表示学生手指信息a11、学生脚信息a12、学生全身信息a13、学生嘴信息a14及学生上半身信息a15之中的由决定部183决定的关注部位的图像的信息，作为对象图像信息。对象图像信息是图像信息的一个例子。取得部184通过使用对象图像信息而生成学生图像信息a1。例如，取得部184生成包含对象图像信息的学生图像信息a1。
发送部185将由取得部184生成的学生图像信息a1从通信部160发送至教师指导系统200。教师指导系统200是发送目标的一个例子。发送目标是外部设备的一个例子。
输出控制部186对显示部130及扬声器140进行控制。例如，输出控制部186基于教师图像信息b1将教师图像显示于显示部130。在这种情况下，首先，取得部184从通信部160取得教师图像信息b1。取得部184将教师图像信息b1提供给输出控制部186。输出控制部186使用教师图像信息b1将教师图像显示于显示部130。
输出控制部186可以基于学生图像信息a1将学生图像显示于显示部130。在这种情况下，取得部184将学生图像信息a1提供给输出控制部186。输出控制部186使用学生图像信息a1将学生图像显示于显示部130。在这种情况下，即使教师200B不在，学生100B也能够一边观察由学生图像信息a1表示的学生图像(关注部位的图像)一边自学乐器100A的演奏。另外，如果是不存在教师指导系统200而至少存在学生培训系统100的状况，则学生100B能够一边观察由学生图像信息a1表示的学生图像(关注部位的图像)一边自学乐器100A的演奏。
输出控制部186可以基于教师图像信息b1和学生图像信息a1，将教师图像和学生图像彼此排列地显示于显示部130。在这种情况下，取得部184以上述方式取得教师图像信息b1和学生图像信息a1的每一者。取得部184将教师图像信息b1和学生图像信息a1提供给输出控制部186。输出控制部186基于教师图像信息b1和学生图像信息a1，将教师图像和学生图像彼此排列地显示于显示部130。
输出控制部186基于教师声音信息b2将教师演奏音输出至扬声器140。在这种情况下，首先，取得部184从通信部160取得教师声音信息b2。取得部184将教师声音信息b2提供给输出控制部186。输出控制部186使用教师声音信息b2将教师演奏音输出至扬声器140。
输出控制部186可以基于学生声音信息a2将学生演奏音输出至扬声器140。在这种情况下，首先，取得部184从传声器120取得学生声音信息a2。取得部184将学生声音信息a2提供给输出控制部186。输出控制部186使用学生声音信息a2将学生演奏音输出至扬声器140。
输出控制部186可以基于教师声音信息b2和学生声音信息a2，将教师演奏音和学生演奏音交替地输出至扬声器140。在这种情况下，取得部184以上述方式取得教师声音信息b2和学生声音信息a2的每一者。取得部184将教师声音信息b2和学生声音信息a2提供给输出控制部186。输出控制部186基于教师声音信息b2和学生声音信息a2，将教师演奏音和学生演奏音交替地输出至扬声器140。
A3：教师指导系统200
教师指导系统200在不是学生100B而是由教师200B利用这一点与学生培训系统100不同。教师指导系统200的结构如上述那样与学生培训系统100的结构相同。
教师指导系统200的结构的主要说明是通过在上述学生培训系统100的说明中进行以下的换称而实现的。将“乐器100A”换称为“乐器200A”。“学生100B”换称为“教师200B”。“学生演奏信息a”换称为“教师演奏信息b”。“学生图像信息a1”换称为“教师图像信息b1”。“学生手指信息a11”换称为“教师手指信息b11”。“学生脚信息a12”换称为“教师脚信息b12”。“学生全身信息a13”换称为“教师全身信息b13”。“学生嘴信息a14”换称为“教师嘴信息b14”。“学生上半身信息a15”换称为“教师上半身信息b15”。“学生声音信息a2”换称为“教师声音信息b2”。“学生乐器信息c1、c2”换称为“教师乐器信息d1、d2”。“教师演奏信息b”换称为“学生演奏信息a”。“教师图像信息b1”换称为“学生图像信息a1”。“教师声音信息b2”换称为“学生声音信息a2”。因此，关于教师指导系统200的结构，省略详细的说明。
A4：对应表Ta
图3是表示对应表Ta的一个例子的图。对应表Ta示出乐器的种类和身体的部位(关注部位)之间的对应关系。对应表Ta的乐器的种类的栏示出培训的对象即乐器的种类。对应表Ta示出“钢琴”和“长笛”作为乐器的种类。对应表Ta的身体的部位(关注部位)的栏示出针对乐器的种类的栏所示的乐器在培训中作为图像所需的演奏者的身体的部位。
在钢琴的培训中，学生以学生喜好的姿态朝向钢琴，用学生的手的各手指对钢琴的键盘进行按压，利用学生的脚对钢琴的制音踏板进行操作。教师为了指导学生而关注学生的手的各手指、学生的两脚及学生的全身(例如，姿态)。例如，教师为了指导乐曲的乐段(passage)部分的手的各手指的移动而关注学生的手的各手指。教师为了指导制音踏板的操作而关注学生的脚。教师为了指导正确的击键而关注学生的手的各手指和键盘之间的位置关系。教师为了指导演奏时的学生的姿态而关注学生的全身。教师通过对学生示出教师的手的各手指、教师的两脚及教师的全身(姿态等)中的至少1个而指导学生。因此，在对应表Ta中，乐器的种类“钢琴”与身体的部位“手的各手指、两脚及全身”建立关联。
在长笛的培训中，学生使长笛位于学生的上半身附近，从学生的嘴向长笛吹入气息，通过学生的手指对长笛的键进行操作。教师为了指导学生而关注学生的嘴及学生的上半身(例如，学生的姿态、学生和长笛之间的角度及学生的运指)。例如，教师为了指导演奏时的唇的形状而关注学生的嘴。教师为了指导学生和长笛之间的位置关系而关注学生的上半身。教师通过对学生示出教师的嘴及教师的上半身中的至少1个而指导学生。因此，在对应表Ta中，乐器的种类“长笛”与身体的部位“嘴及上半身”建立关联。
A5：学生培训系统100的动作
图4是用于对学生培训系统100发送学生演奏信息a的动作进行说明的图。此外，存储装置170对表示照相机111～115各自的拍摄对象的拍摄对象信息进行存储。
学生100B为了使学生培训系统100确定乐器100A的种类而奏响乐器100A。在步骤S101中，传声器120基于从乐器100A输出的声音而生成学生声音信息a2。
接着，在步骤S102中，确定部181使用学生声音信息a2而确定表示乐器100A的种类的学生乐器信息c2。
在步骤S102中，确定部181首先将学生声音信息a2输入至训练好的模型182。接着，确定部181将与学生声音信息a2的输入相对应地由训练好的模型182输出的信息确定为学生乐器信息c2。
接着，在步骤S103中，决定部183基于学生乐器信息c2而从演奏者即学生100B的身体决定关注部位。
在步骤S103中，决定部183将在对应表Ta中与由学生乐器信息c2表示的乐器的种类对应的身体的部位决定为关注部位。例如，在学生乐器信息c2表示钢琴的情况下，决定部183将学生100B的手的各手指、学生100B的两脚及学生100B的全身分别决定为学生100B的关注部位。
此外，在操作部150从学生100B等用户接受表示乐器100A的种类的学生乐器信息c1的情况下，在步骤S103中，决定部183也可以基于学生乐器信息c1而决定学生100B的身体的关注部位。
接着，在步骤S104中，取得部184基于关注部位而从照相机111～115之中决定用于学生100B的拍摄的照相机(以下，称为“使用照相机”)。
在步骤S104中，取得部184通过参照表示照相机111～115各自的拍摄对象的拍摄对象信息，将照相机111～115之中对关注部位进行拍摄的照相机决定为使用照相机。
接着，在步骤S105中，取得部184取得由使用照相机生成的信息，作为对象图像信息。
接着，在步骤S106中，取得部184通过使用对象图像信息而生成学生图像信息a1。
例如，在照相机114及115各自为使用照相机的情况下，取得部184生成包含由照相机114生成的学生嘴信息a14和由照相机115生成的学生上半身信息a15在内的学生图像信息a1。图5是表示由学生图像信息a1示出的学生图像G3的一个例子的图。学生图像G3包含由学生嘴信息a14表示的图像G1和由学生上半身信息a15表示的图像G2的每一者。
接着，在图4的步骤S107中，发送部185将包含学生图像信息a1和学生声音信息a2在内的学生演奏信息a从通信部160发送至教师指导系统200。
教师指导系统200也通过与学生培训系统100相同地进行动作，将教师演奏信息b发送至学生培训系统100。
图6是用于对学生培训系统100基于教师演奏信息b而输出教师图像及教师演奏音的动作进行说明的图。
在步骤S201中，通信部160接收教师演奏信息b。教师演奏信息b包含教师图像信息b1和教师声音信息b2。
接着，在步骤S202中，输出控制部186将基于教师图像信息b1的教师图像显示于显示部130。
接着，在步骤S203中，输出控制部186将基于教师声音信息b2的教师演奏音从扬声器140输出。此外，执行步骤S203的时机(timing)可以比执行步骤S202的时机靠前。
教师指导系统200也通过与学生培训系统100相同地进行动作而对基于学生图像信息a1的学生图像进行显示，并且输出基于学生声音信息a2的学生演奏音。
根据本实施方式，能够与乐器的种类相对应地(乐器相对应地)，对使用乐器的演奏的培训所需的演奏者(学生或教师)的图像进行确定。另外，本实施方式能够将培训所需的演奏者的图像传送至发送目标。因此，教师200B即使处于与学生100B对乐器100A进行演奏的房间不同的房间，也能够观察使用乐器100A的演奏的指导所需的学生100B的图像。学生100B即使处于与教师200B对乐器200A进行演奏的房间不同的房间，也能够看到由使用乐器200A的演奏的范本即教师200B进行的演奏的图像。
学生培训系统100的决定部183可以取代学生乐器信息c1或c2，，使用教师乐器信息d1或d2而决定关注部位。例如，教师指导系统200的通信部160将教师乐器信息d1或d2发送至学生培训系统100。学生培训系统100的决定部183经由学生培训系统100的通信部160而获得教师乐器信息d1或d2。在这种情况下，在学生培训系统100中，能够省略确定部181及训练好的模型182。
教师指导系统200的决定部183可以取代教师乐器信息d1或d2，使用学生乐器信息c1或c2而决定关注部位。例如，学生培训系统100的通信部160将学生乐器信息c1或c2发送至教师指导系统200。教师指导系统200的决定部183经由教师指导系统200的通信部160而获得学生乐器信息c1或c2。在这种情况下，在教师指导系统200中，能够省略确定部181及训练好的模型182。
B：变形例
以下，示出上述实施方式的变形的方式。从以下方式任意选择出的2个以上方式可以在彼此不相矛盾的范围适当进行合并。
B1：第1变形例
在上述实施方式中，乐器的种类不限于钢琴和长笛，也可以是2种以上。例如，乐器的种类可以是钢琴、长笛、电子琴(electone)(注册商标)、小提琴、吉他、萨克管及鼓中的2个以上。钢琴、长笛、电子琴、小提琴、吉他、萨克管及鼓分别是乐器的一个例子。
图7是表示在乐器的种类是钢琴、长笛、电子琴、小提琴、吉他、萨克管及鼓的情况下使用的对应表Ta1的一个例子的图。
例如，在电子琴的培训中，学生以如下方式操作电子琴。学生以学生喜爱的姿态朝向电子琴。学生通过学生的手的各手指对电子琴的上键盘及下键盘进行操作。学生通过学生的脚(脚尖、脚后跟)对电子琴的踏板键盘进行操作。学生通过学生的右脚对电子琴的表情踏板进行操作。
在电子琴的培训中，教师为了指导学生而关注学生的手的各手指、学生的两脚(特别是右脚)及学生的全身(例如姿态)。教师通过对学生示出教师的手的各手指、教师的两脚(特别是右脚)及教师的全身(姿态等)中的至少1个而指导学生。
因此，在对应表Ta1中，乐器的种类“电子琴”与身体的部位“手的各手指、两脚、右脚及全身”建立关联。
在小提琴的培训中，学生以如下方式操作小提琴。学生通过学生的下巴、肩膀和左手对小提琴进行支撑，通过学生的右手拿着弓。学生通过学生的左手的手指按压小提琴的弦。学生一边对小提琴相对于学生的角度、弓相对于小提琴的角度、及学生的左右的手指的位置相对于小提琴的弦的位置各自进行变更一边对小提琴进行演奏。
在小提琴的培训中，教师为了指导学生而关注学生的上半身(学生和小提琴之间的位置关系)及学生的左手。教师通过对学生示出教师的上半身(教师和小提琴之间的位置关系)及教师的左手中的至少1个而指导学生。
因此，在对应表Ta1中，乐器的种类“小提琴”与身体的部位“上半身及左手”建立关联。
在吉他的培训中，学生通过学生的左手按压吉他的弦，通过学生的右手弹奏吉他的弦。教师为了指导学生而关注学生的右手及学生的左手。教师通过对学生示出教师的右手及教师的左手中的至少1个而指导学生。
因此，在对应表Ta1中，乐器的种类“吉他”与身体的部位“左手及右手”建立关联。
在萨克管的培训中，学生使萨克管位于学生的上半身附近，通过学生的嘴衔着萨克管的簧片，通过学生的手的手指对萨克管的键及杆进行操作。教师为了指导学生而关注学生的嘴及学生的上半身(例如，萨克管的簧片的衔法、嘴向萨克管的吹口的接触法、学生的姿态、学生和萨克管的角度及学生的运指)。教师通过对学生示出教师的嘴及教师的上半身中的至少1个而指导学生。
因此，在对应表Ta1中，乐器的种类“萨克管”与身体的部位“嘴及上半身”建立关联。
在鼓的培训中，学生使用学生的手脚对鼓进行演奏。教师为了指导学生(例如指导移动手脚的时机)而关注学生的手脚及学生的全身。教师通过对学生示出教师的手脚的移动及教师的全身而指导学生。
因此，在对应表Ta1中，乐器的种类“鼓”与身体的部位“手、脚及全身”建立关联。
此外，学生培训系统100及教师指导系统200分别具有用于对对应表Ta1所示的身体的部位进行拍摄的照相机。
根据第1变形例，能够相应于与钢琴及长笛都不同的乐器的种类，对使用乐器的演奏的培训所需的演奏者的图像进行切换，能够将该图像传送给发送目标。
B2：第2变形例
在上述实施方式及第1变形例中，决定部183可以不使用对应表Ta及Ta1的任意者而决定演奏者的身体的关注部位。例如，决定部183可以通过使用对乐器的种类和身体的部位之间的关系进行了学习的训练好的模型而决定演奏者的身体的关注部位。
图8是表示包含训练好的模型187的学生培训系统101的图，该训练好的模型187对乐器的种类和身体的部位之间的关系进行了学习。
训练好的模型187由神经网络构成。例如，训练好的模型187由深度神经网络构成。训练好的模型187例如可以由卷积神经网络构成。训练好的模型187也可以由多种神经网络的组合构成。训练好的模型187可以具有Self-Attention等附加要素。训练好的模型187可以不由神经网络构成，而由隐马尔可夫模型、或支持向量机构成。
处理装置180基于对根据输入X1而确定输出Y1的运算进行规定的运算程序和多个变量K2的组合，作为训练好的模型187起作用。多个变量K2通过利用多个训练数据T2的机器学习而确定。训练数据T2包含表示乐器的种类的信息(训练用的输入数据)和表示身体的部位的信息(训练用的输出数据)的组合。在训练数据T2中表示乐器的种类的信息例如表示图7所示的乐器的种类。在训练数据T2中表示身体的部位的信息例如表示图7所示的身体的部位。在训练数据T2中，表示乐器的种类的信息和表示身体的部位的信息的组合与图7所示的乐器的种类和身体的部位的组合对应。因此，在训练数据T2中表示身体的部位的信息，表示在使用由训练数据T2的训练用的输入数据示出的种类的乐器的演奏者的身体中被该乐器的教师关注的部位(关注部位)。
决定部183将学生乐器信息c1或c2输入至训练好的模型187。接着，决定部183将由与学生乐器信息c1或c2的输入相对应地由训练好的模型187输出的信息所表示的部位决定为演奏者的身体的关注部位。
此外，多个训练数据T2可以不具有训练用的输出数据而仅具有训练用的输入数据。在这种情况下，以多个训练数据T2基于多个训练数据T2的相似度而分为多个集群的方式，通过机器学习而确定多个变量K2。而且，在训练好的模型187中，针对每个集群，将适于该集群的表示身体的部位(关注部位)的信息根据人而建立关联。训练好的模型187对与输入X1相对应的集群进行确定，生成与确定出的集群对应的信息，作为输出Y1。
根据第2变形例，决定部183能够不使用对应表Ta及Ta1的任意者而决定演奏者的身体的部位。
B3：第3变形例
在上述实施方式及第1～第2变形例中，在关注部位是身体的一部分(例如，两脚)的情况下，取得部184可以从表示演奏者的全身的全身图像信息取得表示关注部位的图像信息。
图9是表示由全身图像信息示出的图像G11和表示演奏者的身体的一部分的图像G12之间的关系的一个例子的图。图像G12作为演奏者的身体的一部分而示出演奏者的两脚。图像G12作为演奏者的身体的一部分也可以示出演奏者的与两脚不同的部位。
图像G11的图像G12的位置是针对乐器的每个种类，以像素单位预先设定的。因此，图像G11的图像G12的位置可以与乐器的种类相对应地进行变更。取得部184从表示图像G11的全身图像信息取得与学生乐器信息c1或c2示出的种类相对应地预先设定的部分，作为表示图像G12的图像信息。
图像G11的图像G12的位置可以不针对乐器的每个种类而预先设定。例如，取得部184首先通过使用图像识别技术，从图像G1对表示关注部位的部分进行确定。接着，取得部184从全身图像信息取得表示关注部位的部分。
取得部184可以仅针对如长笛、小提琴、吉他及萨克管那样演奏者和乐器之间的位置关系容易变化的乐器，使用图像识别技术对图像G11的图像G12的位置进行确定。在这种情况下，与图像G11中的图像G12的位置被固定的结构相比，容易取得表示关注部位的图像信息。
取得部184针对如钢琴、电子琴及鼓那样演奏者和乐器之间的位置关系不易变化的乐器，从全身图像信息取得与学生乐器信息c1或c2示出的种类相对应地预先设定的部分，作为表示图像G12的图像信息。在这种情况下，取得部184能够不使用图像识别技术而容易地确定图像G12的位置。
根据第3变形例，与使多个照相机与多个身体的部位(关注部位)一对一地对应的结构相比，能够减少照相机的数量。
B4：第4变形例
在上述实施方式及第1～第3变形例中，教师演奏信息b的发送目标不限于学生培训系统100，例如可以是学生100B的监护人(例如，学生100B的父母)使用的电子设备。电子设备例如是智能手机、平板或笔记本型个人计算机。教师演奏信息b的发送目标也可以是学生培训系统100和由学生100B的监护人使用的电子设备这两者。
根据第4变形例，学生100B的监护人能够一边观看教师的影像一边指导学生100B。
B5：第5变形例
在上述实施方式及第1～第4变形例中，与乐器的种类关联的关联信息(与乐器相关的关联信息)不限于学生声音信息a2。关联信息可以是表示乐器100A的图像信息(示出表示乐器100A的图像的图像信息)。
在表示乐器100A的图像信息被用作关联信息的结构中，确定部181通过使用对将乐器以图像表示的信息和表示由该信息以图像示出的乐器的种类的信息之间的关系进行了学习的训练好的模型而确定乐器信息(学生乐器信息c2)。
图10是表示包含训练好的模型188的学生培训系统102的图，该训练好的模型188对将乐器以图像表示的信息和表示乐器的种类的信息之前的关系进行了学习。训练好的模型188是第1训练好的模型的一个例子。
训练好的模型188由神经网络构成。例如，训练好的模型188由深度神经网络构成。训练好的模型188例如可以由卷积神经网络构成。训练好的模型188例如可以由多种神经网络的组合构成。训练好的模型188可以具有Self-Attention等附加要素。训练好的模型188可以不由神经网络构成而由隐马尔可夫模型、或支持向量机构成。
处理装置180基于对根据输入X1而确定输出Y1的运算进行规定的运算程序和多个变量K3的组合，作为训练好的模型188起作用。多个变量K3通过利用多个训练数据T3的机器学习而确定。训练数据T3包含将乐器以图像表示的信息(训练用的输入数据)和表示由训练用的输入数据以图像示出的乐器的种类的信息(训练用的输出数据)的组合。
确定部181将表示乐器100A的图像信息输入至训练好的模型188。接着，确定部181将与表示乐器100A的图像信息的输入相对应地由训练好的模型188输出的信息确定为学生乐器信息c2。
此外，多个训练数据T3可以不具有训练用的输出数据而仅具有训练用的输入数据。在这种情况下，以多个训练数据T3基于多个训练数据T3的相似度而分为多个集群的方式，通过机器学习而确定多个变量K3。而且，在训练好的模型188中，针对每个集群，将适于该集群的表示“乐器的种类的信息”根据人而建立关联。训练好的模型188对与输入X1相对应的集群进行确定，生成与确定出的集群对应的信息，作为输出Y1。
根据第5变形例，能够将表示乐器100A的图像信息作为表示乐器的关联信息而使用。
B6：第6变形例
在第5变形例中，确定部181可以使用由照相机111～115的任意者生成的信息(以下，称为“照相机图像信息”)，作为表示乐器100A的图像信息。
照相机图像信息除了乐器100A和学生100B以外，有时表示与乐器100A不同的种类的乐器。在表示多种类的乐器的照相机图像信息被输入至训练好的模型188的情况下，从训练好的模型188输出的信息有可能不表示乐器100A的种类。因此，确定部181首先从照相机图像信息提取仅表示乐器100A的部分图像信息。然后，确定部181将部分图像信息输入至训练好的模型188。
例如，确定部181首先从由照相机图像信息示出的图像对人(学生100B)进行确定。人与乐器相比容易识别。接着，确定部181在照相机图像信息表示的图像中将与人(学生100B)之前的距离最短的物体确定为乐器100A。接着，确定部181从照相机图像信息提取仅表示作为乐器100A而确定出的物体的部分图像信息。接着，确定部181将部分图像信息输入至训练好的模型188。
根据第6变形例，能够将由照相机111～115的任意者生成的照相机图像信息作为与乐器的种类关联的关联信息而使用。因此，能够将照相机111～115的任意者兼用为生成关联信息的设备。
B7：第7变形例
在上述实施方式及第1～第6变形例中，与乐器的种类关联的关联信息可以是表示与乐器的种类相对应的乐谱的乐谱信息。与乐器的种类(例如，吉他)相对应的乐谱是与乐器(例如，吉他)相对应的乐谱的一个例子。乐谱还称为谱面。乐谱信息例如由对乐谱进行拍摄的照相机生成。在由照相机111～115的任意者生成乐谱信息的情况下，能够将照相机111～115的任意者兼用作生成乐谱信息的设备。
确定部181基于由乐谱信息示出的乐曲，确定学生乐器信息c2。例如，确定部181基于乐谱的种类，确定学生乐器信息c2。
在由乐谱信息表示的乐谱是TAB谱的情况下，确定部181对作为乐器的种类而示出吉他的学生乐器信息c2进行确定。TAB谱如图11所示通过彼此平行的6条线表示吉他的弦。因此，在由乐谱信息表示的乐谱由彼此平行的6条线构成的情况下，确定部181判定为由乐谱信息表示的乐谱是TAB谱(六线谱)。
在由乐谱信息表示的乐谱是吉他和弦谱的情况下，确定部181对作为乐器的种类而示出吉他的学生乐器信息c2进行确定。吉他和弦谱如图12所示，表现为沿歌词的排列的吉他和弦。因此，在由乐谱信息表示的乐谱表现为吉他和弦的情况下，确定部181判定为由乐谱信息表示的乐谱是吉他和弦谱。
在由乐谱信息表示的乐谱是鼓谱的情况下，确定部181对作为乐器的种类而示出鼓的学生乐器信息c2进行确定。鼓谱如图13所示，表现为与鼓组所包含的各乐器对应的记号。因此，在由乐谱信息表示的乐谱表现为与鼓组的各乐器对应的记号的情况下，确定部181判定为由乐谱信息表示的乐谱是鼓谱。
在由乐谱信息表示的乐谱是联弹谱的情况下，确定部181对作为乐器的种类而示出钢琴的学生乐器信息c2进行确定。联弹谱如图14所示，表现为表示联弹的记号14a。因此，在由乐谱信息表示的乐谱表现为表示联弹的记号14a的情况下，确定部181判定为由乐谱信息表示的乐谱是联弹谱。
确定部181可以基于乐谱信息表示的乐谱中的音符的排列而确定学生乐器信息c2。如图15所示，在由乐谱信息表示的乐谱表现为表示多个声音的同时发音的音符15a的情况下，确定部181确定为由乐谱信息表示的乐谱是键盘乐器(例如，钢琴或电子琴)用的乐谱。在这种情况下，确定部181对作为乐器的种类而示出钢琴或电子琴的学生乐器信息c2进行确定。
在由乐谱信息表示的乐谱示出对乐器的种类进行确定的记号(例如，代表乐器名的字符串、或与乐器的种类相关的符号)的情况下，确定部181可以将表示通过该记号确定出的乐器的种类的信息确定为学生乐器信息c2。例如，在存储装置170对示出表示乐器的种类的信息和与乐器的种类相关的符号之间的对应关系的乐器表进行存储的情况下，确定部181通过参照乐器表，将与乐谱所示出的符号对应的信息(表示乐器的种类的信息)确定为学生乐器信息c2。在这种情况下，与乐器的种类相关的符号是关联信息的一个例子。乐器表是示出与乐器的种类关联的信息和表示乐器的种类的信息之间的对应关系的表的一个例子。与乐器的种类关联的信息是与乐器相关的参照用关联信息的一个例子。表示乐器的种类的信息是表示乐器的参照用乐器信息的一个例子。
乐谱信息不限于由对乐谱进行拍摄的照相机生成的信息，也可以是所谓的电子乐谱。在电子乐谱具有表示乐器的种类的种类数据的情况下，确定部181可以将种类数据确定为学生乐器信息c2。
根据第7变形例，能够将乐谱信息作为与乐器的种类关联的关联信息而使用。
B8：第8变形例
在上述实施方式及第1～第7变形例中，在表示学生100B的进度的进度信息示出乐器的种类的情况下，作为与乐器的种类关联的关联信息，可以使用进度信息。进度信息如果示出乐器的种类和该种类的乐器的培训进度的组合，则也可以示出学生100B、教师200B、音乐教室的学生用房间、及音乐教室的教师用房间的任意者的进度。乐器的种类(例如，钢琴)和该种类的乐器(例如，钢琴)的培训进度的组合是乐器(例如，钢琴)和该乐器(例如，钢琴)的培训进度的组合的一个例子。
图16是表示由进度信息示出的进度的一个例子的图。在图16中，针对培训(课程)的每个时间段而示出培训对象的乐器的种类(钢琴、长笛或小提琴)。确定部181首先使用进度信息而确定包含当前的时刻的培训的时间段。接着，确定部181对与确定出的时间段对应的培训对象的乐器的种类进行确定。接着，确定部181将表示确定出的培训对象的乐器的种类的信息确定为学生乐器信息c2。
图17是表示进度信息示出的进度的其他例子的图。在图17中，针对培训的每个日期而示出培训对象的乐器的种类。确定部181首先使用进度信息而确定与当前的日期对应的培训对象的乐器的种类。接着，确定部181将表示确定出的培训对象的乐器的种类的信息确定为学生乐器信息c2。
根据第8变形例，能够将进度信息兼用作与乐器的种类关联的关联信息。
B9：第9变形例
在上述实施方式及第1～第8变形例中，决定部183可以基于学生乐器信息c1或c2和学生声音信息a2而决定关注部位。
在钢琴的培训中，教师200B针对在指导中使用的乐曲之中曲调快的部分，大多关注学生100B的手的各手指的移动。因此，在钢琴的培训中，在由学生声音信息a2示出的学生演奏音表示乐曲之中曲调快的部分的前方紧邻部分的情况下，决定部183仅将手的各手指决定为关注部位。然后，如果由学生声音信息a2示出的学生演奏音表示曲调快的部分的后方紧邻部分，则决定部183将演奏者的手的各手指、演奏者的两脚及演奏者的全身决定为关注部位。
在这种情况下，存储装置170对表示曲调快的部分的前方紧邻部分和曲调快的部分的后方紧邻部分的乐谱数据进行存储。决定部183基于学生声音信息a2而生成表示学生演奏音的音符数据。在音符数据与乐谱数据之中曲调快的部分的前方紧邻部分一致的情况下，决定部183判断为学生演奏音表示曲调快的部分的前方紧邻部分。此外，决定部183在音符数据和前方紧邻部分之间的一致度为第1阈值(例如，90％)以上的情况下，可以判断为学生演奏音表示前方紧邻部分。第1阈值不限于90％，可以适当变更。在音符数据与乐谱数据之中曲调快的部分的后方紧邻部分一致的情况下，决定部183判断为学生演奏音表示曲调快的部分的后方紧邻部分。此外，决定部183在音符数据和后方紧邻部分之间的一致度为第2阈值(例如，90％)以上的情况下，可以判断为学生演奏音表示后方紧邻部分。第2阈值不限于90％，可以适当变更。
关于钢琴，变更关注部位的时机不限于学生演奏音表示曲调快的部分的前方紧邻部分的时机、及学生演奏音表示曲调快的部分的后方紧邻部分的时机，可以适当变更。关于钢琴，关注部位的转换不限于上述转换，可以适当变更。
针对与钢琴不同的种类的乐器，决定部183也可以基于学生乐器信息c1或c2和学生声音信息a2而决定关注部位。
例如，在长笛的培训中，教师200B针对乐曲的开头部分，大多关注学生100B的嘴形。因此，在长笛的培训中，在由学生声音信息a2示出的学生演奏音表示乐曲的开头部分的情况下，决定部183仅将嘴决定为关注部位。然后，如果由学生声音信息a2示出的学生演奏音表示乐曲中开头部分的后方紧邻部分，则决定部183将演奏者的嘴及演奏者的上半身决定为关注部位。
在这种情况下，存储装置170对表示乐曲的开头部分和乐曲的开头部分的后方紧邻部分的乐谱数据进行存储。决定部183基于学生声音信息a2而生成表示学生演奏音的音符数据。在音符数据与乐谱数据之中乐曲的开头部分一致的情况下，决定部183判断为学生演奏音表示乐曲的开头部分。此外，决定部183在音符数据和开头部分之间的一致度为第3阈值(例如，90％)的情况下，也可以判断为学生演奏音表示开头部分。第3阈值不限于90％，可以适当变更。在音符数据与乐谱数据之中乐曲的开头部分的后方紧邻部分一致的情况下，决定部183判断为学生演奏音表示乐曲的开头部分的后方紧邻部分。此外，决定部183在音符数据和开头部分的后方紧邻部分之间的一致度为第4阈值(例如，90％)以上的情况下，也可以判断为学生演奏音表示开头部分的后方紧邻部分。第4阈值不限于90％，可以适当变更。
关于长笛，变更关注部位的时机不限于学生演奏音表示乐曲的开头部分的时机、及学生演奏音表示乐曲的开头部分的后方紧邻部分的时机，可以适当变更。关于长笛，关注部位的转换不限于上述转换，可以适当变更。
决定部183可以使用训练好的模型而决定关注部位，该训练好的模型对包含表示乐器的种类的乐器种类信息和表示从由乐器种类信息示出的种类的乐器输出的声音的乐器声音信息在内的信息、和表示演奏者的身体的关注部位的信息之间的关系进行了学习。乐器种类信息是表示乐器的学习用乐器信息的一个例子。乐器声音信息是表示从由学习用乐器信息示出的乐器输出的声音的学习用声音信息的一个例子。包含乐器种类信息和乐器声音信息的信息是学习用输入信息的一个例子。表示演奏者的身体中的关注部位的信息将在从由乐器种类信息示出的种类的乐器输出由乐器声音信息示出的声音的演奏者的身体中被该乐器的教师关注的部位，表示为关注部位。表示演奏者的身体的关注部位的信息是表示在对由学习用乐器信息示出的乐器即输出由学习用声音信息示出的声音的乐器进行演奏的演奏者的身体中被关注的部位的学习用输出信息的一个例子。
图18是表示包含训练好的模型189的学生培训系统103的图，该训练好的模型189对乐器种类信息和乐器声音信息的组合与表示关注部位的信息之间的对应关系进行了学习。训练好的模型189是第2训练好的模型的一个例子。
训练好的模型189由神经网络构成。例如，训练好的模型189由深度神经网络构成。训练好的模型189例如可以由卷积神经网络构成。训练好的模型189例如可以由多种神经网络的组合构成。训练好的模型189可以具有Self-Attention等附加要素。训练好的模型189可以不由神经网络构成而由隐马尔可夫模型、或支持向量机构成。
处理装置180基于对根据输入X1而确定输出Y1的运算进行规定的运算程序和多个变量K4的组合，作为训练好的模型189起作用。多个变量K4通过利用多个训练数据T4的机器学习而确定。训练数据T4包含乐器种类信息和乐器声音信息的组(训练用的输入数据)、和表示身体的关注部位的关注部位信息(训练用的输出数据)的组合。关注部位信息将在从由乐器种类信息示出的种类的乐器输出由乐器声音信息示出的声音的演奏者的身体中被该乐器的教师关注的部位，表示为关注部位。
乐器声音信息针对所演奏的乐曲的每1小节而使用。乐器声音信息不限于针对每1小节，例如也可以针对每4小节而使用。关注部位信息(训练用的输出数据)表示在对由训练用的输入数据内的乐器声音信息示出的小节的后方紧邻的小节进行演奏时使用由乐器种类信息示出的乐器的演奏者的身体的关注部位。
决定部183针对每1小节，将学生乐器信息c1或c2和学生声音信息a2的组输入至训练好的模型189。此外，决定部183基于学生声音信息a2而生成表示学生演奏音的音符数据，基于该音符数据的排列而确定学生声音信息a2的1小节。接着，决定部183将由与学生乐器信息c1或c2和学生声音信息a2的组的输入相对应地由训练好的模型189输出的信息表示的部位，决定为关注部位。
此外，多个训练数据T4可以不具有训练用的输出数据而仅具有训练用的输入数据。在这种情况下，以多个训练数据T4基于多个训练数据T4的相似度而分为多个集群的方式，通过机器学习而确定多个变量K4。而且，训练好的模型189中，针对每个集群，适于该集群的表示“身体的部位(关注部位)的信息”根据人而建立关联。训练好的模型189对与输入X1相对应的集群进行确定，生成与确定出的集群对应的信息，作为输出Y1。
根据第9变形例，能够基于演奏音而确定由学生乐器信息c1或c2示出的种类的乐器的指导所需的图像。
B10：第10变形例
在第9变形例中，学生培训系统100和教师指导系统200可以用于针对1个种类的乐器(例如，钢琴)的演奏的培训。1个种类的乐器不限于钢琴，可以适当变更。在这种情况下，决定部183基于学生声音信息a2而决定演奏者的身体的关注部位。例如，决定部183针对每1小节，将学生声音信息a2向对乐器声音信息(训练用的输入数据)和表示身体的关注部位的关注部位信息(训练用的输出数据)的组合即训练数据学习完毕的模型(训练好的模型)输入。在这种情况下，表示身体的关注部位的关注部位信息(训练用的输出数据)表示在使用输出由乐器声音信息(训练用的输入数据)示出的声音的乐器的演奏者的身体中被该乐器的教师关注的部位(关注部位)。接着，决定部183将由与学生声音信息a2的输入相对应地由该训练好的模型输出的信息表示的部位，决定为关注部位。根据第10变形例，能够基于演奏音而确定乐器的指导所需的图像。
B11：第11变形例
在上述实施方式及第1～第10变形例中，决定部183可以基于学生声音信息a2和表示乐曲的乐谱的乐谱信息之间的对应关系而决定身体的关注部位。学生声音信息a2和乐谱信息之间的对应关系是学生声音信息a2和乐谱信息之间的关系的一个例子。
决定部183对由学生声音信息a2示出的声音和由乐谱信息示出的乐谱所表现出的声音之间的一致度进行判定。
例如，在钢琴的培训中，在学生演奏音杂乱的情况下，教师200B大多关注学生100B的手的各手指的移动。在钢琴的培训中，在一致度小于阈值的情况下，决定部183仅将手的各手指决定为关注部位。在一致度为阈值以上的情况下，决定部183将演奏者的手的各手指、演奏者的两脚及演奏者的全身决定为关注部位。
在长笛的培训中，在学生演奏音杂乱的情况下，教师200B大多关注学生100B的嘴及上半身。在长笛的培训中，在一致度小于阈值的情况下，决定部183将嘴及上半身决定为关注部位。在一致度为阈值以上的情况，决定部183将演奏者的上半身决定为关注部位。
决定部183可以使用训练好的模型而决定关注部位，该训练好的模型对包含表示从乐器输出的声音的输出声音信息和表示乐谱的乐谱关系信息在内的信息、与表示演奏者的身体的部位的信息之间的关系进行了学习。输出声音信息是表示从乐器输出的声音的学习用声音信息的一个例子。乐谱关系信息是表示乐谱的学习用乐谱信息的一个例子。包含输出声音信息和乐谱关系信息在内的信息是学习用输入信息的一个例子。表示演奏者的身体的部位的信息表示在按照由乐谱关系信息示出的乐谱使由输出声音信息示出的声音从乐器输出的演奏者的身体中被关注的部位(关注部位)。表示演奏者的身体的部位的信息是，表示在按照由学习用乐谱信息示出的乐谱而对输出由学习用声音信息示出的声音的乐器进行演奏的演奏者的身体中被关注的部位的学习用输出信息的一个例子。
图19是表示包含训练好的模型190的学生培训系统104的图，该训练好的模型190对输出声音信息和乐谱关系信息的组与表示演奏者的身体的关注部位的信息之间的关系进行了学习。训练好的模型190是第3训练好的模型的一个例子。
训练好的模型190由神经网络构成。例如，训练好的模型187由深度神经网络构成。训练好的模型190例如可以由卷积神经网络构成。训练好的模型190例如可以由多种神经网络的组合构成。训练好的模型190可以具有Self-Attention等附加要素。训练好的模型190可以不由神经网络构成而由隐马尔可夫模型、或支持向量机构成。
处理装置180基于对根据输入X1而确定输出Y1的运算进行规定的运算程序和多个变量K5的组合，作为训练好的模型190起作用。多个变量K5通过利用多个训练数据T5的机器学习而确定。训练数据T5是输出声音信息和乐谱关系信息的组(训练用的输入数据)、与表示身体的关注部位的关注部位信息(训练用的输出数据)的组合。关注部位信息(训练用的输出数据)表示在按照由乐谱关系信息示出的乐谱而使由输出声音信息示出的声音从乐器输出的演奏者的身体中被该乐器的教师关注的部位。
输出声音信息针对所演奏的乐曲的每1小节而使用。输出声音信息不限于针对每1小节，例如也可以针对每4小节而使用。关注部位信息(训练用的输出数据)表示由训练用的输入数据内的输出声音信息示出的小节的后方紧邻的小节中的关注部位。
决定部183针对每1小节，将学生声音信息a2和乐谱信息的组输入至训练好的模型190。学生声音信息a2和乐谱信息的组是包含声音信息和乐谱信息的输入信息的一个例子。此外，决定部183基于学生声音信息a2而生成表示学生演奏音的音符数据，基于该音符数据的排列而确定学生声音信息a2的1小节。接着，决定部183将由与学生声音信息a2和乐谱信息的组的输入相对应地由训练好的模型190输出的信息表示的部位，决定为关注部位。
此外，多个训练数据T5可以不具有训练用的输出数据而仅具有训练用的输入数据。在这种情况下，以多个训练数据T5基于多个训练数据T5的相似度而分为多个集群的方式，通过机器学习而确定多个变量K5。而且，在训练好的模型190中，针对每个集群，适于该集群的表示“身体的部位(关注部位)的信息”根据人而建立关联。训练好的模型190对与输入X1相对应的集群进行确定，生成与确定出的集群对应的信息，作为输出Y1。
根据第11变形例，能够与学生演奏音和乐谱之间的对应关系相对应地，对指导所需的图像进行切换。
B12：第12变形例
在上述实施方式及第1～第11变形例中，学生培训系统100的决定部183可以进一步基于记入信息而决定身体的关注部位。记入信息表示针对演奏记入的注意事项。注意事项可以由字符表示，也可以由记号表示。记入信息是表示针对演奏的注意事项的注意信息的一个例子。
例如，学生培训系统100的决定部183基于教师记入信息而决定关注部位。教师记入信息表示由教师200B记入至乐谱的注意事项。教师记入信息由对记入了注意事项的乐谱进行拍摄的教师指导系统200的照相机111～115的任意者生成。教师指导系统200的通信部160将教师记入信息发送至学生培训系统100。学生培训系统100的决定部183经由学生培训系统100的通信部160而接收教师记入信息。学生培训系统100的存储装置170预先对表示注意事项和身体的部位之间的对应关系的注意事项表进行存储。学生培训系统100的决定部183进一步将注意事项表中与由教师记入信息示出的注意事项对应的身体的部位，决定为关注部位。
学生培训系统100的决定部183可以基于乐谱中的注意事项的位置而决定关注部位。在这种情况下，学生培训系统100的存储装置170预先对表示乐谱中的位置和身体的部位之间的对应关系的位置表进行存储。学生培训系统100的决定部183进一步将位置表中与乐谱中的注意事项的位置对应的身体的部位，决定为关注部位。
注意事项可以记载于与乐谱不同的物体(例如，便签纸、笔记本或白板)。
根据第12变形例，能够基于针对演奏所记入的注意事项而追加关注部位。
B13：第13变形例
在上述实施方式及第1～第12变形例中，学生培训系统100的决定部183可以进一步基于与演奏者相关的演奏者信息而决定身体的关注部位。演奏者信息例如是教师200B的识别信息。
在乐器的培训中，有时针对每个教师200B而关注部位不同。例如，在钢琴的培训中，有时教师200B1在学生100B的手的各手指、两脚及全身的基础上，关注学生100B的右手腕，教师200B1在学生100B的手的各手指、两脚及全身的基础上，关注学生100B的左手腕。因此，学生培训系统100的决定部183进一步基于教师200B的识别信息(例如，识别代码)而决定关注部位。
教师200B的识别信息例如由学生100B等用户从操作部150输入。教师200B的识别信息可以从教师指导系统200发送至学生培训系统100。学生培训系统100的存储装置170预先对示出教师200B的识别信息和身体的部位之间的对应关系的识别信息表进行存储。学生培训系统100的决定部183进一步将识别信息表中与教师200B的识别信息对应的身体的部位，决定为关注部位。
演奏者信息不限于教师200B的识别信息，例如可以是表示教师200B的移动的移动信息。例如，通过由教师指导系统200的照相机111～115的任意者对教师200B进行拍摄而生成移动信息。教师指导系统200的通信部160将移动信息发送至学生培训系统100。学生培训系统100的决定部183经由学生培训系统100的通信部160而接收移动信息。学生培训系统100的存储装置170预先对示出人的移动和身体的部位之间的对应关系的移动表进行存储。学生培训系统100的决定部183进一步将移动表中与移动信息所示的移动对应的身体的部位，决定为关注部位。因此，教师200B能够与教师200B的移动相对应地对关注部位进行指定。演奏者信息可以是学生100B的识别信息、或表示学生100B的移动的移动信息。在这种情况下，决定部183能够与学生100B相对应地决定关注部位。
根据第13变形例，能够基于与演奏者相关的演奏者信息而追加演奏者的身体的部位。
B14：第14变形例
在上述实施方式及第1～第13变形例中，触摸面板即操作部150可以具有如图20所示的用户接口作为接受学生乐器信息c1的用户接口。向钢琴按钮151的触摸是指，作为乐器的种类而示出钢琴的学生乐器信息c1的输入。向长笛按钮152的触摸是指，作为乐器的种类而示出长笛的学生乐器信息c1的输入。接受学生乐器信息c1的用户接口不限于图20所示的用户接口。根据第14变形例，用户能够直观地输入学生乐器信息c1。
B15：第15变形例
在上述实施方式及第1～第14变形例中，教师指导系统200的通信部160可以将教师乐器信息d1或d2发送至学生培训系统，学生培训系统的决定部183可以基于教师乐器信息d1或d2而决定关注部位。另外，学生培训系统的通信部160可以将学生乐器信息c1或c2发送至教师指导系统，教师指导系统的决定部183可以基于学生乐器信息c1或c2而决定关注部位。另外，教师指导系统200的结构可以与学生培训系统101～105的任一者的结构相同。
B16：第16变形例
在上述实施方式及第1～第15变形例中，处理装置180可以生成训练好的模型182。
图21是表示第16变形例涉及的学生培训系统105的图。学生培训系统105在具有学习处理部191这一点上，与图19所示的学生培训系统104不同。学习处理部191通过执行机器学习程序的处理装置180而实现。机器学习程序存储于存储装置170。
图22是表示学习处理部191的一个例子的图。学习处理部191包含数据取得部192和训练部193。数据取得部192取得多个训练数据T1。例如，数据取得部192经由操作部150或通信部160而取得多个训练数据T1。在存储装置170对多个训练数据T1进行存储的情况下，数据取得部192从存储装置170取得多个训练数据T1。
训练部193通过执行利用多个训练数据T1的处理(以下，称为“学习处理”)而生成训练好的模型182。学习处理是利用多个训练数据T1的有教师的机器学习。训练部193通过使用多个训练数据T1对学习对象模型182a进行训练，而将学习对象模型182a变更为训练好的模型182。
学习对象模型182a由使用暂定的多个变量K1和运算程序的处理装置180生成。暂定的多个变量K1存储于存储装置170。学习对象模型182a在使用暂定的多个变量K1这一点上，与训练好的模型182不同。学习对象模型182a生成与所输入的信息(输入数据)相对应的信息(输出数据)。
训练部193对损失函数L的值进行确定，该损失函数L表示在将训练数据T1的输入数据输入至学习对象模型182a的情况下由学习对象模型182a生成的输出数据与该训练数据T1的输出数据之间的误差。训练部193以使得损失函数L的值降低的方式对暂定的多个变量K1进行更新。训练部193针对每多个训练数据T1而执行对暂定的多个变量K1进行更新的处理。伴随着由训练部193进行的训练的完毕而确定多个变量K1。由训练部193进行训练后的学习对象模型182a、即训练好的模型182针对未知的输入数据而输出统计上合理的输出数据。
图23是表示学习处理的一个例子的图。例如以来自用户的指示为契机而开始学习处理。
在步骤S301中，数据取得部192从多个训练数据T1之中取得未取得的训练数据T1。接着，在步骤S302中，训练部193使用该训练数据T1对学习对象模型182a进行训练。在步骤S302中，训练部193以使得使用该训练数据T1确定出的损失函数L的值降低的方式对暂定的多个变量K1进行更新。对于与损失函数L的值相对应地将暂定的多个变量K1更新的处理，例如利用误差反向传播法。
接着，在步骤S303中，训练部193对与学习处理相关的结束条件是否成立进行判定。结束条件例如是损失函数L的值小于规定的阈值、或者损失函数L的值的变化量小于规定的阈值。在结束条件不成立的情况下，处理返回至步骤S301。因此，直至结束条件的成立为止，反复进行训练数据T1的取得和利用该训练数据T1的暂定的多个变量K1的更新。在结束条件成立的情况下，学习处理结束。
学习处理部191可以在与处理装置180不同的处理装置中实现。与处理装置180不同的处理装置包含至少1个计算机。
数据取得部192可以取得与多个训练数据T1不同的多个训练数据、例如多个训练数据T2、T3、T4及T5这4种类的多个训练数据之中的1个种类以上的多个训练数据。训练部193对与数据取得部192取得的多个训练数据的种类相对应的学习对象模型进行训练。与多个训练数据T2相对应的学习对象模型是由使用暂定的多个变量K2和运算程序的处理装置180生成的学习对象模型。与多个训练数据T3相对应的学习对象模型是由使用暂定的多个变量K3和运算程序的处理装置180生成的学习对象模型。与多个训练数据T4相对应的学习对象模型是由使用暂定的多个变量K4和运算程序的处理装置180生成的学习对象模型。与多个训练数据T5相对应的学习对象模型是由使用暂定的多个变量K5和运算程序的处理装置180生成的学习对象模型。
数据取得部192可以针对多个训练数据的每个种类而设置。在这种情况下，各数据取得部192取得对应的多个训练数据。
训练部193可以针对多个训练数据的每个种类而设置。在这种情况下，各训练部193使用对应的多个训练数据对与该对应的多个训练数据相对应的学习对象模型进行训练。
根据第16变形例，学习处理部241能够生成至少1个训练好的模型。
B17：第17变形例
在上述实施方式及第1～第16变形例中，处理装置180可以如图24所示仅作为决定部183及取得部184起作用。图24所示的决定部183基于表示乐器的种类的乐器信息，从使用由该乐器信息示出的种类的乐器的演奏者的身体决定出关注部位。图24所示的取得部184取得表现为由决定部183决定的关注部位的图像的图像信息。根据第17变形例，能够与乐器的种类相对应地对使用乐器的演奏的培训所需的演奏者的图像进行确定。
B18：第18变形例
在第17变形例中，图24所示的决定部183可以不基于表示乐器的种类的乐器信息，而基于表示从乐器输出的声音的声音信息，从使用该乐器的演奏者的身体决定出关注部位。进一步地，在第17变形例中，图24所示的取得部184可以基于表示从乐器输出的声音的声音信息，取得表现为由决定部183决定的关注部位的图像的图像信息。根据第18变形例，能够与乐器输出的声音相对应地，对使用乐器的演奏的培训所需的演奏者的图像进行确定。
C：根据上述方式能掌握的方式
根据上述方式中的至少1个能掌握以下方式。
C1：第1方式
本发明的方式(第1方式)涉及的信息处理方法是由计算机执行的信息处理装置，基于表示乐器的乐器信息，从对由所述乐器信息示出的所述乐器进行演奏的演奏者的身体决定出关注部位，取得表示所述决定出的关注部位的图像的图像信息。根据该方式，能够与乐器相对应地对使用乐器的演奏的培训所需的演奏者的图像进行确定。
C2：第2方式
在第1方式的例子(第2方式)中，进一步地，将所述取得的图像信息发送至外部设备。根据该方式，能够将使用乐器的演奏的培训所需的演奏者的图像传送至外部设备。
C3：第3方式
在第1方式或第2方式的例子(第3方式)中，进一步地，使用与所述乐器相关的关联信息而确定所述乐器信息，在所述关注部位的决定中包含有基于所述确定的乐器信息而决定所述关注部位。根据该方式，能够基于与乐器相关的关联信息，对使用乐器的演奏的培训所需的演奏者的图像进行确定。
C4：第4方式
在第3方式的例子(第4方式)中，所述关联信息是表示由所述乐器输出的声音的信息、表示代表所述乐器的图像的信息、表示与所述乐器相对应的乐谱的信息、或者表示所述乐器和该乐器的培训进度的组合的信息。根据该方式，能够将各种信息作为关联信息而使用。
C5：第5方式
在第3方式或第4方式的例子(第5方式)中，在所述乐器信息的确定中，包含有：向第1训练好的模型输入所述关联信息，该第1训练好的模型对与所述乐器相关的学习用关联信息和表示根据所述学习用关联信息确定出的乐器的学习用乐器信息之间的关系进行了学习；以及将与所述关联信息相对应地由所述第1训练好的模型输出的信息确定为所述乐器信息。根据该方式，使用训练好的模型而确定乐器信息，因此乐器信息能够以高精度表示由演奏者演奏的乐器。
C6：第6方式
在第5方式的例子(第6方式)中，所述关联信息及所述学习用关联信息表示由所述乐器输出的声音，所述学习用乐器信息表示输出由所述学习用关联信息示出的所述声音的乐器。根据该方式，能够基于由乐器输出的声音而确定乐器。
C7：第7方式
第5方式的例子(第7方式)中，所述关联信息及所述学习用关联信息对示出所述乐器的图像进行表示，所述学习用乐器信息表示所述乐器，所述乐器由所述学习用关联信息所示的所述图像示出。根据该方式，能够基于示出乐器的图像而确定乐器。
C8：第8方式
在第3方式的例子(第8方式)中，在所述乐器信息的确定中，包含有：通过参照示出与所述乐器相关的参照用关联信息和表示所述乐器的参照用乐器信息之间的对应关系的表，将与所述关联信息对应的参照用乐器信息确定为所述乐器信息。根据该方式，能够不使用训练好的模型而确定乐器信息。
C9：第9方式
在第1方式至第8方式的任一例子(第9方式)中，在所述关注部位的决定中，包含有：基于表示从由所述乐器信息示出的所述乐器输出的声音的声音信息和所述乐器信息而决定所述关注部位。根据该方式，能够基于从乐器输出的声音，对使用乐器的演奏的培训所需的演奏者的图像进行确定。
C10：第10方式
在第9方式的例子(第10方式)中，在所述关注部位的决定中，包含有：向对学习用输入信息和学习用输出信息之间的关系进行了学习的第2训练好的模型输入包含所述乐器信息和所述声音信息在内的输入信息，该学习用输入信息包含表示所述乐器的学习用乐器信息和表示从由所述学习用乐器信息示出的所述乐器输出的声音的学习用声音信息，该学习用输出信息表示在对由所述学习用乐器信息示出的所述乐器即输出由所述学习用声音信息示出的所述声音的所述乐器进行演奏的演奏者的身体中被关注的部位；以及基于与所述输入信息相对应地由所述第2训练好的模型输出的输出信息而决定所述关注部位。根据该方式，使用训练好的模型而确定关注部位，因此能够基于从乐器输出的声音，以高精度对使用乐器的演奏的培训所需的演奏者的图像进行确定。
C11：第11方式
本发明的方式(第11方式)涉及的信息处理方法是由计算机执行的信息处理方法，基于表示从乐器输出的声音的声音信息，从对所述乐器进行演奏的演奏者的身体决定出关注部位，取得表示所述决定出的关注部位的图像的图像信息。根据该方式，能够与从乐器输出的声音相对应地对使用乐器的演奏的培训所需的演奏者的图像进行确定。
C12：第12方式
在第9方式或第11方式的例子(第12方式)中，在所述关注部位的决定中，包含有：基于表示乐谱的乐谱信息和所述声音信息之间的关系而决定所述关注部位。根据该方式，能够基于乐谱信息和声音信息之间的关系，对使用乐器的演奏的培训所需的演奏者的图像进行确定。
C13：第13方式
在第11方式的例子(第13方式)中，在所述关注部位的决定中，包含有：向对学习用输入信息和学习用输出信息之间的关系进行了学习的第3训练好的模型输入包含表示乐谱的乐谱信息和所述声音信息在内的输入信息，该学习用输入信息包含表示从所述乐器输出的声音的学习用声音信息和表示乐谱的学习用乐谱信息，该学习用输出信息表示在按照由所述学习用乐谱信息示出的所述乐谱对输出由所述学习用声音信息示出的所述声音的乐器进行演奏的演奏者的身体中被关注的部位；以及基于与所述输入信息相对应地由所述第3训练好的模型输出的输出信息而决定所述关注部位。根据该方式，使用训练好的模型而确定关注部位，因此能够以高精度对使用乐器的演奏的培训所需的演奏者的图像进行确定。
C14：第14方式
在第1方式至第13方式的任一例子(第14方式)中，在所述关注部位的决定中，包含有：基于表示针对演奏的注意事项的注意信息而决定所述关注部位。根据该方式，能够与针对演奏的注意事项相对应地，对使用乐器的演奏的培训所需的演奏者的图像进行切换。
C15：第15方式
在第1方式至第14方式的任一例子(第15方式)中，在所述关注部位的决定中，包含有：基于与所述演奏者相关的演奏者信息而决定所述关注部位。根据该方式，能够对应于与演奏者相关的演奏者信息而对使用乐器的演奏的培训所需的演奏者的图像进行切换。
C16：第16方式
本发明的方式(第16方式)涉及的信息处理系统包含：决定部，其基于表示乐器的乐器信息，从对由所述乐器信息示出的所述乐器进行演奏的演奏者的身体决定出关注部位；以及取得部，其取得表示由所述决定部决定的关注部位的图像的图像信息。根据该方式，能够与乐器相对应地对使用乐器的演奏的培训所需的演奏者的图像进行确定。
C17：第17方式
本发明的方式(第17方式)涉及的信息处理系统包含：决定部，其基于表示从乐器输出的声音的声音信息，从对所述乐器进行演奏的演奏者的身体决定出关注部位；以及取得部，其取得表示由所述决定部决定的关注部位的图像的图像信息。根据该方式，能够与从乐器输出的声音相对应地，对使用乐器的演奏的培训所需的演奏者的图像进行确定。
标号的说明
1…信息提供系统，100…学生培训系统，100A…乐器，100B…学生，111～115…照相机，120…传声器，130…显示部，140…扬声器，150…操作部，160…通信部，170…存储装置，180…处理装置，181…确定部，182…训练好的模型，182a…学习对象模型，183…决定部，184…取得部，185…发送部，186…输出控制部，187～190…训练好的模型，191…学习处理部，192…数据取得部，193…训练部，200…教师指导系统，200A…乐器，200B…教师。

Claims (17)

1.一种信息处理方法，其是由计算机执行的信息处理方法，
基于表示乐器的乐器信息，从对由所述乐器信息示出的所述乐器进行演奏的演奏者的身体决定出关注部位，
取得图像信息，该图像信息表示决定出的所述关注部位的图像。
2.根据权利要求1所述的信息处理方法，其中，
进一步地，将取得的所述图像信息发送至外部设备。
3.根据权利要求1或2所述的信息处理方法，其中，
进一步地，使用与所述乐器相关的关联信息而确定所述乐器信息，
在所述关注部位的决定中包含有基于确定的所述乐器信息而决定所述关注部位。
4.根据权利要求3所述的信息处理方法，其中，
所述关联信息是，
表示由所述乐器输出的声音的信息、
对示出所述乐器的图像进行表示的信息、
表示与所述乐器相对应的乐谱的信息、或者
表示所述乐器和该乐器的培训进度的组合的信息。
5.根据权利要求3所述的信息处理方法，其中，
在所述乐器信息的确定中，包含有：
向第1训练好的模型输入所述关联信息，该第1训练好的模型对与所述乐器相关的学习用关联信息和表示根据所述学习用关联信息确定出的乐器的学习用乐器信息之间的关系进行了学习；以及
将与所述关联信息相对应地由所述第1训练好的模型输出的信息确定为所述乐器信息。
6.根据权利要求5所述的信息处理方法，其中，
所述关联信息及所述学习用关联信息表示由所述乐器输出的声音，
所述学习用乐器信息表示输出由所述学习用关联信息示出的所述声音的所述乐器。
7.根据权利要求5所述的信息处理方法，其中，
所述关联信息及所述学习用关联信息对示出所述乐器的图像进行表示，
所述学习用乐器信息表示所述乐器，所述乐器由所述学习用关联信息示出的所述图像示出。
8.根据权利要求3所述的信息处理方法，其中，
在所述乐器信息的确定中，包含有：
通过参照示出与所述乐器相关的参照用关联信息和表示所述乐器的参照用乐器信息之间的对应关系的表，将与所述关联信息对应的参照用乐器信息确定为所述乐器信息。
9.根据权利要求1至8中任一项所述的信息处理方法，其中，
在所述关注部位的决定中，包含有：
基于表示从由所述乐器信息示出的所述乐器输出的声音的声音信息和所述乐器信息而决定所述关注部位。
10.根据权利要求9所述的信息处理方法，其中，
在所述关注部位的决定中，包含有：
向对学习用输入信息和学习用输出信息之间的关系进行了学习的第2训练好的模型输入包含所述乐器信息和所述声音信息在内的输入信息，该学习用输入信息包含表示所述乐器的学习用乐器信息和表示从由所述学习用乐器信息示出的所述乐器输出的声音的学习用声音信息，该学习用输出信息表示在对由所述学习用乐器信息示出的所述乐器即输出由所述学习用声音信息示出的所述声音的所述乐器进行演奏的演奏者的身体中被关注的部位；以及
基于与所述输入信息相对应地由所述第2训练好的模型输出的输出信息而决定所述关注部位。
11.一种信息处理方法，其是由计算机执行的信息处理方法，
基于表示从乐器输出的声音的声音信息，从对所述乐器进行演奏的演奏者的身体决定出关注部位，
取得该图像信息，该图像信息表示决定出的所述关注部位的图像。
12.根据权利要求9或11所述的信息处理方法，其中，
在所述关注部位的决定中，包含有：
基于表示乐谱的乐谱信息和所述声音信息之间的关系而决定所述关注部位。
13.根据权利要求11所述的信息处理方法，其中，
在所述关注部位的决定中，包含有：
向对学习用输入信息和学习用输出信息之间的关系进行了学习的第3训练好的模型输入包含表示乐谱的乐谱信息和所述声音信息在内的输入信息，该学习用输入信息包含表示从所述乐器输出的声音的学习用声音信息和表示乐谱的学习用乐谱信息，该学习用输出信息表示在按照由所述学习用乐谱信息示出的所述乐谱对输出由所述学习用声音信息示出的所述声音的乐器进行演奏的演奏者的身体中被关注的部位；以及
基于与所述输入信息相对应地由所述第3训练好的模型输出的输出信息而决定所述关注部位。
14.根据权利要求1至13中任一项所述的信息处理方法，其中，
在所述关注部位的决定中，包含有：
基于表示针对演奏的注意事项的注意信息而决定所述关注部位。
15.根据权利要求1至14中任一项所述的信息处理方法，其中，
在所述关注部位的决定中，包含有：
基于与所述演奏者相关的演奏者信息而决定所述关注部位。
16.一种信息处理系统，其包含：
决定部，其基于表示乐器的乐器信息，从对由所述乐器信息示出的所述乐器进行演奏的演奏者的身体决定出关注部位；以及
取得部，其取得表示由所述决定部决定的关注部位的图像的图像信息。
17.一种信息处理系统，其包含：
决定部，其基于表示从乐器输出的声音的声音信息，从对所述乐器进行演奏的演奏者的身体决定出关注部位；以及
取得部，其取得表示由所述决定部决定的关注部位的图像的图像信息。
CN202180065613.1A 2020-09-30 2021-09-03 信息处理方法及信息处理系统 Pending CN116324932A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020164977 2020-09-30
JP2020-164977 2020-09-30
PCT/JP2021/032458 WO2022070769A1 (ja) 2020-09-30 2021-09-03 情報処理方法および情報処理システム

Publications (1)

Publication Number Publication Date
CN116324932A true CN116324932A (zh) 2023-06-23

Family

ID=80950218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180065613.1A Pending CN116324932A (zh) 2020-09-30 2021-09-03 信息处理方法及信息处理系统

Country Status (4)

Country Link
US (1) US20230230494A1 (zh)
JP (1) JPWO2022070769A1 (zh)
CN (1) CN116324932A (zh)
WO (1) WO2022070769A1 (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3597343B2 (ja) * 1997-07-09 2004-12-08 株式会社河合楽器製作所 楽譜読み取り方法及び楽譜読み取りプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002133238A (ja) * 2000-10-30 2002-05-10 Yamaha Music Foundation ブッキング方法、装置、記録媒体及び遠隔教育システム
JP5154886B2 (ja) * 2007-10-12 2013-02-27 株式会社河合楽器製作所 楽譜認識装置及びコンピュータプログラム
WO2012051605A2 (en) * 2010-10-15 2012-04-19 Jammit Inc. Dynamic point referencing of an audiovisual performance for an accurate and precise selection and controlled cycling of portions of the performance
JP5803956B2 (ja) * 2013-02-28 2015-11-04 ブラザー工業株式会社 カラオケシステム及びカラオケ装置
JP5800247B2 (ja) * 2013-02-28 2015-10-28 ブラザー工業株式会社 カラオケシステム及びカラオケ装置
JP6065871B2 (ja) * 2014-03-31 2017-01-25 ブラザー工業株式会社 演奏情報表示装置、および演奏情報表示プログラム
JP6277927B2 (ja) * 2014-09-30 2018-02-14 ブラザー工業株式会社 楽曲再生装置、および楽曲再生装置のプログラム
JP2017032693A (ja) * 2015-07-30 2017-02-09 ヤマハ株式会社 映像記録再生装置
JP6565548B2 (ja) * 2015-09-29 2019-08-28 ヤマハ株式会社 音響解析装置
JP2017139592A (ja) * 2016-02-03 2017-08-10 ヤマハ株式会社 音響処理方法および音響処理装置
JP6836877B2 (ja) * 2016-02-16 2021-03-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 吹奏楽器の練習支援装置及び練習支援方法
JP2019053170A (ja) * 2017-09-14 2019-04-04 京セラドキュメントソリューションズ株式会社 楽器練習装置
JP2020046500A (ja) * 2018-09-18 2020-03-26 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム

Also Published As

Publication number Publication date
US20230230494A1 (en) 2023-07-20
WO2022070769A1 (ja) 2022-04-07
JPWO2022070769A1 (zh) 2022-04-07

Similar Documents

Publication Publication Date Title
US10825432B2 (en) Smart detecting and feedback system for smart piano
CN111052223B (zh) 播放控制方法、播放控制装置及记录介质
US20200365126A1 (en) Information processing method
US20080167739A1 (en) Autonomous robot for music playing and related method
US11488567B2 (en) Information processing method and apparatus for processing performance of musical piece
CN103680486A (zh) 演奏信息处理装置、演奏信息处理方法
US20230230493A1 (en) Information Processing Method, Information Processing System, and Recording Medium
JP2019053170A (ja) 楽器練習装置
KR102433890B1 (ko) 인공지능 기반 악기 연주 보조 시스템 및 방법
JP2013083845A (ja) 情報処理装置および方法、並びにプログラム
CN116324932A (zh) 信息处理方法及信息处理系统
US20220414472A1 (en) Computer-Implemented Method, System, and Non-Transitory Computer-Readable Storage Medium for Inferring Audience's Evaluation of Performance Data
WO2022202264A1 (ja) 演奏解析方法、演奏解析システムおよびプログラム
US20230009481A1 (en) Computer-Implemented Method, System, and Non-Transitory Computer-Readable Storage Medium for Inferring Evaluation of Performance Information
US10319352B2 (en) Notation for gesture-based composition
Yamamoto et al. Livo: Sing a song with a vowel keyboard
JP2002182553A (ja) 演奏教習装置および演奏教習方法
CN112019910A (zh) 一种乐器演奏方法、装置、电视及存储介质
WO2022202266A1 (ja) 画像処理方法、画像処理システムおよびプログラム
CN117083635A (zh) 图像处理方法、图像处理系统及程序
WO2022202267A1 (ja) 情報処理方法、情報処理システムおよびプログラム
JP2023176117A (ja) カラオケ装置
US20220392425A1 (en) Musical instrument system
CN116600863A (zh) 信息处理方法、信息处理系统、信息终端和计算机程序
KR20220145675A (ko) 음악적 요소를 이용한 인공지능 기반의 발레동작 평가 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination